3 |
The Karlsruhe Institute of Technology Systems for the News Translation Task in WMT 2016
|
|
|
|
BASE
|
|
Show details
|
|
5 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
|
|
In: INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
BASE
|
|
Show details
|
|
6 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
|
|
In: INTERSPEECH 2021: ; INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
BASE
|
|
Show details
|
|
7 |
LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech
|
|
Evain, Solène; Nguyen, Ha; Le, Hang; Zanon Boito, Marcely; Mdhaffar, Salima; Alisamir, Sina; Tong, Ziyi; Tomashenko, Natalia; Dinarelli, Marco; Parcollet, Titouan; Allauzen, Alexandre; Estève, Yannick; Lecouteux, Benjamin; Portet, François; Rossato, Solange; Ringeval, Fabien; Schwab, Didier; Besacier, Laurent
|
|
In: INTERSPEECH 2021: ; INTERSPEECH 2021: Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-03317730 ; INTERSPEECH 2021: Conference of the International Speech Communication Association, Aug 2021, Brno, Czech Republic (2021)
|
|
Abstract:
International audience ; Self-Supervised Learning (SSL) using huge unlabeled data has been successfully explored for image and natural language processing. Recent works also investigated SSL from speech. They were notably successful to improve performance on downstream tasks such as automatic speech recognition (ASR). While these works suggest it is possible to reduce dependence on labeled data for building efficient speech systems, their evaluation was mostly made on ASR and using multiple and heterogeneous experimental settings (most of them for English). This questions the objective comparison of SSL approaches and the evaluation of their impact on building speech systems. In this paper, we propose LeBenchmark: a reproducible framework for assessing SSL from speech. It not only includes ASR (high and low resource) tasks but also spoken language understanding, speech translation and emotion recognition. We also focus on speech technologies in a language different than English: French. SSL models of different sizes are trained from carefully sourced and documented datasets. Experiments show that SSL is beneficial for most but not all tasks which confirms the need for exhaustive and reliable benchmarks to evaluate its real impact. LeBenchmark is shared with the scientific community for reproducible research in SSL from speech.
|
|
Keyword:
[INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]; ASR; Automatic Emotion Recognition; Self-Supervised Representation Learning; SLU; Speech Translation
|
|
URL: https://hal.archives-ouvertes.fr/hal-03317730v2/file/FLOWBERT_IS2021.pdf https://hal.archives-ouvertes.fr/hal-03317730v2/document https://hal.archives-ouvertes.fr/hal-03317730
|
|
BASE
|
|
Hide details
|
|
8 |
État de l'art du changement sémantique à partir de plongements contextualisés
|
|
|
|
In: COnférence en Recherche d'Informations et Applications - CORIA 2021, French Information Retrieval Conference ; https://hal.archives-ouvertes.fr/hal-03320337 ; COnférence en Recherche d'Informations et Applications - CORIA 2021, French Information Retrieval Conference, Apr 2021, Grenoble (virtuel), France (2021)
|
|
BASE
|
|
Show details
|
|
9 |
Transport Optimal pour le Changement Sémantique à partir de Plongements Contextualisés
|
|
|
|
In: Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale ; TALN 2021 - Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-03265889 ; TALN 2021 - Traitement Automatique des Langues Naturelles, Jun 2021, Lille / Virtuel, France. pp.235-244 (2021)
|
|
BASE
|
|
Show details
|
|
10 |
Measure and Evaluation of Semantic Divergence across Two Languages ...
|
|
|
|
BASE
|
|
Show details
|
|
11 |
FlauBERT: Unsupervised Language Model Pre-training for French
|
|
|
|
In: Proceedings of the 12th Language Resources and Evaluation Conference ; LREC ; https://hal.archives-ouvertes.fr/hal-02890258 ; LREC, 2020, Marseille, France (2020)
|
|
BASE
|
|
Show details
|
|
12 |
FlauBERT : Unsupervised Language Model Pre-training for French ; FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français
|
|
|
|
In: Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02784776 ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles, Jun 2020, Nancy, France. pp.268-278 (2020)
|
|
BASE
|
|
Show details
|
|
13 |
Étude des variations sémantiques à travers plusieurs dimensions
|
|
|
|
In: Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02784781 ; 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles, 2020, Nancy, France. pp.314-322 (2020)
|
|
BASE
|
|
Show details
|
|
14 |
Apprentissage de plongements de mots dynamiques avec régularisation de la dérive
|
|
|
|
In: Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) PFIA 2019. Volume I : Articles longs ; 26e Conférence sur le Traitement Automatique des Langues Naturelles ; https://hal.archives-ouvertes.fr/hal-02566346 ; 26e Conférence sur le Traitement Automatique des Langues Naturelles, 2019, Toulouse, France. pp.13-26 (2019)
|
|
BASE
|
|
Show details
|
|
15 |
Exploring sentence informativeness ; Explorer l'informativité d'une phrase
|
|
|
|
In: Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) - PFIA 2019 - Volume II : Articles courts ; https://hal.archives-ouvertes.fr/hal-02567774 ; Actes de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) - PFIA 2019 - Volume II : Articles courts, Jul 2019, Toulouse, France. pp.303-312 (2019)
|
|
BASE
|
|
Show details
|
|
16 |
Towards Recognizing Phrase Translation Processes: Experiments on English-French
|
|
|
|
In: 20th International Conference on Computational Linguistics and Intelligent Text Processing ; https://hal.archives-ouvertes.fr/hal-02265645 ; 20th International Conference on Computational Linguistics and Intelligent Text Processing, Apr 2019, La Rochelle, France (2019)
|
|
BASE
|
|
Show details
|
|
17 |
Word Usage Similarity Estimation with Sentence Representations and Automatic Substitutes ...
|
|
|
|
BASE
|
|
Show details
|
|
18 |
Unsupervised Word Segmentation: does tone matter ?
|
|
|
|
In: International Conference on Intelligent Text Processing and Computational Linguistics ; https://hal.archives-ouvertes.fr/hal-01910756 ; International Conference on Intelligent Text Processing and Computational Linguistics, Mar 2018, Hanoï, Vietnam (2018)
|
|
BASE
|
|
Show details
|
|
19 |
Learning with Noise-Contrastive Estimation: Easing training by learning to scale
|
|
|
|
In: 27th International Conference on Computational Linguistics (COLING 2018) ; https://hal.archives-ouvertes.fr/hal-02912385 ; 27th International Conference on Computational Linguistics (COLING 2018), Aug 2018, Santa Fe, NM, United States. pp.3090-3101 ; http://coling2018.org/ (2018)
|
|
BASE
|
|
Show details
|
|
20 |
Algorithmes à base d'échantillonage pour l'entraînement de modèles de langue neuronaux
|
|
|
|
In: Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN ; 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN) ; https://hal.archives-ouvertes.fr/hal-02912471 ; 25e conférence sur le Traitement Automatique des Langues Naturelles (TALN), May 2018, Rennes, France (2018)
|
|
BASE
|
|
Show details
|
|
|
|