3 |
The Karlsruhe Institute of Technology Systems for the News Translation Task in WMT 2016
|
|
|
|
BASE
|
|
Show details
|
|
5 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
|
|
In: INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
BASE
|
|
Show details
|
|
6 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
|
|
In: INTERSPEECH 2021: ; INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
BASE
|
|
Show details
|
|
7 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
|
|
In: INTERSPEECH 2021: ; INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
BASE
|
|
Show details
|
|
8 |
État de l'art du changement sémantique à partir de plongements contextualisés
|
|
|
|
In: COnférence en Recherche d'Informations et Applications - CORIA 2021, French Information Retrieval Conference ; https://hal.archives-ouvertes.fr/hal-03320337 ; COnférence en Recherche d'Informations et Applications - CORIA 2021, French Information Retrieval Conference, Apr 2021, Grenoble (virtuel), France (2021)
|
|
BASE
|
|
Show details
|
|
9 |
Transport Optimal pour le Changement Sémantique à partir de Plongements Contextualisés
|
|
|
|
In: Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale ; TALN 2021 - Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-03265889 ; TALN 2021 - Traitement Automatique des Langues Naturelles, Jun 2021, Lille / Virtuel, France. pp.235-244 (2021)
|
|
BASE
|
|
Show details
|
|
10 |
Measure and Evaluation of Semantic Divergence across Two Languages ...
|
|
|
|
BASE
|
|
Show details
|
|
11 |
FlauBERT: Unsupervised Language Model Pre-training for French
|
|
|
|
In: Proceedings of the 12th Language Resources and Evaluation Conference ; LREC ; https://hal.archives-ouvertes.fr/hal-02890258 ; LREC, 2020, Marseille, France (2020)
|
|
BASE
|
|
Show details
|
|
12 |
FlauBERT : Unsupervised Language Model Pre-training for French ; FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français
|
|
|
|
In: Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02784776 ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles, Jun 2020, Nancy, France. pp.268-278 (2020)
|
|
BASE
|
|
Show details
|
|
13 |
Étude des variations sémantiques à travers plusieurs dimensions
|
|
|
|
In: Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02784781 ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles, 2020, Nancy, France. pp.314-322 (2020)
|
|
BASE
|
|
Show details
|
|
14 |
Apprentissage de plongements de mots dynamiques avec régularisation de la dérive
|
|
|
|
In: Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume I : Articles longs ; 26e Conférence sur le Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02566346 ; 26e Conférence sur le Traitement Automatique des Langues Naturelles, 2019, Toulouse, France. pp.13-26 (2019)
|
|
BASE
|
|
Show details
|
|
15 |
Exploring sentence informativeness ; Explorer l'informativité d'une phrase
|
|
|
|
In: Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) - PFIA 2019 - Volume II : Articles courts ; https://hal.archives-ouvertes.fr/hal-02567774 ; Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) - PFIA 2019 - Volume II : Articles courts, Jul 2019, Toulouse, France. pp.303-312 (2019)
|
|
BASE
|
|
Show details
|
|
16 |
Towards Recognizing Phrase Translation Processes: Experiments on English-French
|
|
|
|
In: 20th International Conference on Computational Linguistics and Intelligent Text Processing ; https://hal.archives-ouvertes.fr/hal-02265645 ; 20th International Conference on Computational Linguistics and Intelligent Text Processing, Apr 2019, La Rochelle, France (2019)
|
|
BASE
|
|
Show details
|
|
17 |
Unsupervised Word Segmentation: does tone matter ?
|
|
|
|
In: International Conference on Intelligent Text Processing and Computational Linguistics ; https://hal.archives-ouvertes.fr/hal-01910756 ; International Conference on Intelligent Text Processing and Computational Linguistics, Mar 2018, Hanoï, Vietnam (2018)
|
|
BASE
|
|
Show details
|
|
18 |
Learning with Noise-Contrastive Estimation: Easing training by learning to scale
|
|
|
|
In: 27th International Conference on Computational Linguistics (COLING 2018) ; https://hal.archives-ouvertes.fr/hal-02912385 ; 27th International Conference on Computational Linguistics (COLING 2018), Aug 2018, Santa Fe, NM, United States. pp.3090-3101 ; http://coling2018.org/ (2018)
|
|
Abstract:
International audience ; Noise-Contrastive Estimation (NCE) is a learning criterion that is regularly used to train neural language models in place of Maximum Likelihood Estimation, since it avoids the computational bottleneck caused by the output softmax. In this paper, we analyse and explain some of the weaknesses of this objective function, linked to the mechanism of self-normalization, by closely monitoring comparative experiments. We then explore several remedies and modifications to propose tractable and efficient NCE training strategies. In particular, we propose to make the scaling factor a trainable parameter of the model, and to use the noise distribution to initialize the output bias. These solutions, yet simple, yield stable and competitive performances in either small and large scale language modelling tasks.
|
|
Keyword:
[INFO.INFO-CL]Computer Science [cs]/Computation and Language [cs.CL]; [STAT]Statistics [stat]
|
|
URL: https://hal.archives-ouvertes.fr/hal-02912385 https://hal.archives-ouvertes.fr/hal-02912385/file/C18-1261.pdf https://hal.archives-ouvertes.fr/hal-02912385/document
|
|
BASE
|
|
Hide details
|
|
19 |
Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux
|
|
|
|
In: Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN ; 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN) ; https://hal.archives-ouvertes.fr/hal-02912471 ; 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN), May 2018, Rennes, France (2018)
|
|
BASE
|
|
Show details
|
|
20 |
A comparison of discriminative training criteria for continuous space translation models
|
|
|
|
In: ISSN: 0922-6567 ; EISSN: 1573-0573 ; Machine Translation ; https://hal.archives-ouvertes.fr/hal-01621763 ; Machine Translation, Springer Verlag, 2017, 1-2, 31, pp.19-33 (2017)
|
|
BASE
|
|
Show details
|
|
|
|