| 1 |
On iterated learning for task-oriented dialogue
|
|
|
|
Abstract:
Dans le traitement de langue et des système de dialogue, il est courant de pré-entraîner des modèles de langue sur corpus humain avant de les affiner par le biais d'un simulateur et de résolution de tâches. Malheuresement, ce type d'entrainement tend aussi à induire un phénomène connu sous le nom de dérive du langage. Concrétement, les propriétés syntaxiques et sémantiques de la langue intiallement apprise se détériorent: les agents se concentrent uniquement sur la résolution de la tâche, et non plus sur la préservation de la langue. En s'inspirant des travaux en sciences cognitives, et notamment l'apprentigssage itératif Kirby and Griffiths (2014), nous proposons ici une approche générique pour contrer cette dérive du langage. Nous avons appelé cette méthode Seeded iterated learning (SIL), ou apprentissage itératif capitalisé. Ce travail a été publié sous le titre (Lu et al., 2020b) et est présenté au chapitre 2. Afin d'émuler la transmission de la langue entre chaque génération d'agents, un agent étudiant est d'abord pré-entrainé avant d'être affiné de manière itérative, et ceci, en imitant des données échantillonnées à partir d'un agent enseignant nouvellement formé. À chaque génération, l'enseignant est créé en copiant l'agent étudiant, avant d'être de nouveau affiné en maximisant le taux de réussite de la tâche sous-jacente. Dans un second temps, nous présentons Supervised Seeded iterated learning (SSIL) dans le chapitre 3, où apprentissage itératif capitalisé avec supervision, qui a été publié sous le titre (Lu et al., 2020b). SSIL s'appuie sur SIL en le combinant avec une autre méthode populaire appelée Supervised SelfPlay (S2P) (Gupta et al., 2019), où apprentissage supervisé par auto-jeu. SSIL est capable d'atténuer les problèmes de S2P et de SIL, i.e. la dérive du langage dans les dernier stades de l'entrainement tout en préservant une plus grande diversité linguistique. Tout d'abord, nous évaluons nos méthodes dans sous la forme d'une preuve de concept à traver le Jeu de Lewis avec du langage synthetique. Dans un second temps, nous l'étendons à un jeu de traduction se utilisant du langage naturel. Dans les deux cas, nous soulignons l'efficacité de nos méthodes par rapport aux autres méthodes de la litterature. Dans le chapitre 1, nous discutons des concepts de base nécessaires à la compréhension des articles présentés dans les chapitres 2 et 3. Nous décrivons le problème spécifique du dialogue orienté tâche, y compris les approches actuelles et les défis auxquels ils sont confrontés : en particulier, la dérive linguistique. Nous donnons également un aperçu du cadre d'apprentissage itéré. Certaines sections du chapitre 1 sont empruntées aux articles pour des raisons de cohérence et de facilité de compréhension. Le chapitre 2 comprend les travaux publiés sous le nom de (Lu et al., 2020b) et le chapitre 3 comprend les travaux publiés sous le nom de (Lu et al., 2020a), avant de conclure au chapitre 4. ; In task-oriented dialogue, pretraining on human corpus followed by finetuning in a simulator using selfplay suffers from a phenomenon called language drift. The syntactic and semantic properties of the learned language deteriorates as the agents only focuses on solving the task. Inspired by the iterative learning framework in cognitive science Kirby and Griffiths (2014), we propose a generic approach to counter language drift called Seeded iterated learning (SIL). This work was published as (Lu et al., 2020b) and is presented in Chapter 2. In an attempt to emulate transmission of language between generations, a pretrained student agent is iteratively refined by imitating data sampled from a newly trained teacher agent. At each generation, the teacher is created by copying the student agent, before being finetuned to maximize task completion.We further introduce Supervised Seeded iterated learning (SSIL) in Chapter 3, work which was published as (Lu et al., 2020a). SSIL builds upon SIL by combining it with the other popular method called Supervised SelfPlay (S2P) (Gupta et al., 2019). SSIL is able to mitigate the problems of both S2P and SIL namely late-stage training collapse and low language diversity. We evaluate our methods in a toy setting of Lewis Game, and then scale it up to the translation game with natural language. In both settings, we highlight the efficacy of our methods compared to the baselines. In Chapter 1, we talk about the core concepts required for understanding the papers presented in Chapters 2 and 3. We describe the specific problem of task-oriented dialogue including current approaches and the challenges they face: particularly, the challenge of language drift. We also give an overview of the iterated learning framework. Some sections in Chapter 1 are borrowed from the papers for coherence and ease of understanding. Chapter 2 comprises of the work published as (Lu et al., 2020b) and Chapter 3 comprises of the work published as (Lu et al., 2020a). Chapter 4 gives a conclusion on the work.
|
|
Keyword:
Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800); apprentissage en profondeur; apprentissage itératif; apprentissage multi-agents; apprentissage multi-tâches; deep-learning; dérive du langage; dialogue orienté tâche; iterated learning; language drift; multi-agent learning; multi-task learning; natural language processing; task-oriented dialogue; traitement du langage naturel
|
|
URL: http://hdl.handle.net/1866/26542
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Unsupervised Word embedding Alignment in the biomedical domain ; Alignement non supervisé d'embeddings de mots dans le domaine biomédical
|
|
|
|
In: CIFSD - Conférence Internationale Francophone sur la Science des Données ; https://hal.archives-ouvertes.fr/hal-03259987 ; CIFSD - Conférence Internationale Francophone sur la Science des Données, Jun 2021, Marseille/Virtuel, France (2021)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Convertir le Trésor de la Langue Française en Ontolex-Lemon : un zeste de données liées
|
|
|
|
In: Journées LIFT 2021 - Linguistique informatique, formelle et de terrain ; https://hal.inria.fr/hal-03463294 ; Journées LIFT 2021 - Linguistique informatique, formelle et de terrain, Dec 2021, Grenoble, France (2021)
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Representation learning of writing style, application to news recommendation ; Apprentissage de la représentation du style écrit, application à la recommandation d’articles d’actualité
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03420487 ; Apprentissage [cs.LG]. Université Paris-Saclay, 2021. Français. ⟨NNT : 2021UPASG010⟩ (2021)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Automatic sentence simplification using controllable and unsupervised methods ; Simplification automatique de phrases à l'aide de méthodes contrôlables et non supervisées
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03543971 ; Computation and Language [cs.CL]. Sorbonne Université, 2021. English. ⟨NNT : 2021SORUS265⟩ (2021)
|
|
BASE
|
|
Show details
|
|
|
| 6 |
A logistic regression model for predicting child language performance ; Un modèle de régression logistique pour la prédiction du développement langagier chez l'enfant
|
|
|
|
In: SIS 2021, 50th Annuale Conference of the Italian Statistical Society" ; https://hal.archives-ouvertes.fr/hal-03318721 ; SIS 2021, 50th Annuale Conference of the Italian Statistical Society", Jun 2021, Pise, Italy (2021)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Named Entity Recognition for French medieval charters
|
|
|
|
In: Workshop on Natural Language Processing for Digital Humanities ; https://hal.archives-ouvertes.fr/hal-03503055 ; Workshop on Natural Language Processing for Digital Humanities, Dec 2021, Helsinki, Finland (2021)
|
|
BASE
|
|
Show details
|
|
|
| 8 |
Proofs as games and games as proofs: dialogical semantics for logic and natural language. ; Les preuves vues comme des jeux et réciproquement : sémantique dialogique de langages naturels ou logiques.
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03553000 ; Logic in Computer Science [cs.LO]. Université de Montpellier, 2021. English (2021)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Proofs as games and games as proofs: dialogical semantics for logic and natural language. ; Les preuves vues comme des jeux et réciproquement : sémantique dialogique de langages naturels ou logiques.
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03553000 ; Logic in Computer Science [cs.LO]. Université de Montpellier, 2021. English (2021)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
L’utilisation du discours spontané pour le diagnostic précoce de la maladie d’Alzheimer
|
|
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Une approche computationnelle de la complexité linguistique par le traitement automatique du langage naturel et l'oculométrie
|
|
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Marqueurs discursifs de neurodégénérescence liée à la pathologie Alzheimer
|
|
|
|
BASE
|
|
Show details
|
|
|
| 13 |
A Hybrid Bi-LSTM-CRF Model for Sequence Labeling Applied to the Sourcing Domain
|
|
|
|
In: PFIA-APIA 2020 - 5ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle ; https://hal.inria.fr/hal-02932095 ; PFIA-APIA 2020 - 5ème Conférence Nationale sur les Applications Pratiques de l’Intelligence Artificielle, Jun 2020, Angers, France (2020)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Coreference resolution for spoken French ; Reconnaissance automatique de chaînes de coréférences en français parlé
|
|
|
|
In: https://hal.archives-ouvertes.fr/tel-02928209 ; Computation and Language [cs.CL]. Université Sorbonne Nouvelle - Paris 3, 2020. English (2020)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Assisted authoring for avoiding inadequate claims in scientific reporting ; Rédaction assistée pour éviter les affirmations inappropriées dans la rédaction scientifique
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-02938856 ; Bioinformatics [q-bio.QM]. Université Paris-Saclay; Universiteit van Amsterdam, 2020. English. ⟨NNT : 2020UPASS021⟩ (2020)
|
|
BASE
|
|
Show details
|
|
|
| 16 |
Presuppositions : an experimental investigation ; Présuppositions : une investigation expérimentale
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03170719 ; Philosophy. Université de Lyon, 2020. English. ⟨NNT : 2020LYSEN067⟩ (2020)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
From graphemes to language and to knowledge ; Des graphèmes à la langue et à la connaissance
|
|
|
|
In: https://hal.archives-ouvertes.fr/tel-02986651 ; Intelligence artificielle [cs.AI]. Université de Bretagne Occidentale, 2020 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
Une poésie machinique ? Génération automatisée, intelligence artificielle et création littéraire
|
|
|
|
In: Communication & langages, N 203, 1, 2020-02-27, pp.151-173 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
Automatic and Adaptative Emojis Recommendation ; Recommandation automatique et adaptative d'emojis
|
|
|
|
In: https://hal-amu.archives-ouvertes.fr/tel-02491135 ; Informatique et langage [cs.CL]. Aix-Marseille Université, 2019. Français (2019)
|
|
BASE
|
|
Show details
|
|
|
| 20 |
Some Russian Prepositional Constructions through Russian Learner Corpus ; Constructions prépositionnelles russes à travers le corpus des apprenants RLC
|
|
|
|
In: AATSEEL (American Association of Teachers of Slavic and East European Languages) Conference ; https://hal.archives-ouvertes.fr/hal-02099331 ; AATSEEL (American Association of Teachers of Slavic and East European Languages) Conference, Feb 2019, New-Orleans, United States ; https://www.aatseel.org/cfp_program_2019 (2019)
|
|
BASE
|
|
Show details
|
|
|
|
|
