| 1 |
Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues
|
|
|
|
In: Techniques de l'Ingenieur ; https://hal.archives-ouvertes.fr/hal-03619077 ; Techniques de l'Ingenieur, Techniques de l'ingénieur, 2022, ⟨10.51257/a-v1-in195⟩ ; https://www.techniques-ingenieur.fr/base-documentaire/innovation-th10/innovations-en-electronique-et-tic-42257210/transformer-des-reseaux-de-neurones-pour-le-traitement-automatique-des-langues-in195/ (2022)
|
|
BASE
|
|
Show details
|
|
|
| 2 |
Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information
|
|
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Automatic Speech Recognition for Under-Ressourced Languages ; Reconnaissance automatique de la parole pour des langues peu dotées
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00081061 ; Interface homme-machine [cs.HC]. Université Joseph-Fourier - Grenoble I, 2006. Français (2006)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Notions d'événements distants et d'évenements impossibles en modélisation stochastique du langage : application aux modèles n-grammes de mots et de séquences
|
|
|
|
In: https://hal.univ-lorraine.fr/tel-01746703 ; Autre [cs.OH]. Université Henri Poincaré - Nancy 1, 2002. Français. ⟨NNT : 2002NAN10048⟩ (2002)
|
|
Abstract:
Texte intégral accessible uniquement aux membres de l'Université de Lorraine ; A statistical language model (LM) deals only with specific linguistic events and so, is not sufficient to describe the entire language. One must then combine several LM in order to recover a great part of the language. I propose, instead of systematically and linearly combining all the LMs, to select the best one following the linguistic context. I define a measure of the prediction capacity of a LM depending on the history. I apply this measure to the comparison of several distant n-gram LMs. This improves by 5.4% the performance of the linear combination. Moreover, this method allows to define phrases as new lexical units in the vocabulary. These new units outperforms a baseline model by 21% in terms of perplexity and 12.5% in terms of word error rate for a speech recognition task. An other contribution of this work consists in automatically collecting impossible events in french language. 60 millions of impossible bigrams are collected using heuristics based on information theory. ; Un modèle de langage statistique (ML), ne décrivant que des événements linguistiques bien spécifiques ne suffit pas à décrire toute la langue. Il faut donc combiner plusieurs MLs pour recouvrir en grande partie la langue. Je propose, plutôt que de systématiquement combiner linéairement tous les MLs pour obtenir un ML moyen, de sélectionner le plus efficace en fonction du contexte linguistique ; je développe une mesure de la capacité de prédiction du ML en fonction de l'historique et l'applique à la comparaison de plusieurs MLs de type n-grammes distants améliorant ainsi les performances de la combinaison linéaire de 5.4%. La méthode permet aussi de déterminer des séquences de mots comme nouvelles unités du lexique, ce qui améliore un modèle de référence de 21%. Une autre contribution de ce travail est le recensement automatique d'événements impossibles dans la langue française. 60 millions de bigrammes impossibles sont recensés grâce à des méthodes issues de la théorie de l'information.
|
|
Keyword:
[INFO.INFO-OH]Computer Science [cs]/Other [cs.OH]; Langage et langues-Modèles mathématiques; Processus stochastiques; Reconnaissance automatique de la parole
|
|
URL: https://hal.univ-lorraine.fr/tel-01746703
|
|
BASE
|
|
Hide details
|
|
|
|
|
