| 1 |
Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues
|
|
|
|
In: Techniques de l'Ingenieur ; https://hal.archives-ouvertes.fr/hal-03619077 ; Techniques de l'Ingenieur, Techniques de l'ingénieur, 2022, ⟨10.51257/a-v1-in195⟩ ; https://www.techniques-ingenieur.fr/base-documentaire/innovation-th10/innovations-en-electronique-et-tic-42257210/transformer-des-reseaux-de-neurones-pour-le-traitement-automatique-des-langues-in195/ (2022)
|
|
Abstract:
This paper presents an overview of the state of the art in natural language processing, exploring one specific computational architecture, the Transformer model, which plays a central role in a wide range of applications. This architecture condenses many advances in neural learning methods and can be exploited in many ways : to learn representations for linguistic entities ; to generate coherent utterances and answer questions; to perform utterance transformations, an illustration being their automatic translation. These different facets of the architecture will be successively presented, which will also allow us to discuss its limitations. ; Cet article présente un survol de l’état de l’art en traitement automatique des langues, en explorant une architecture computationnelle, le modèle Transformer, qui joue un rôle central dans une large gamme d’applications. Cette architecture condense de nombreuses avancées des méthodes d’apprentissage neuronales et peut être exploitée de multiples manières : pour apprendre à représenter les entités linguistiques ; pour générer des énoncés cohérents et répondre à des questions ; pour réaliser des transformations des énoncés, une illustration étant leur traduction automatique. Ces différentes facettes de l’architecture seront successivement présentées, ce qui permettra également d’évoquer ses limitations.
|
|
Keyword:
[INFO.INFO-TT]Computer Science [cs]/Document and Text Processing; Apprentissage Automatique; Language Models; Machine Learning; Modèles de Langues; Natural Language Processing; Neural Machine Translation; Traduction automatique neuronale; Traitement Automatique des Langues
|
|
URL: https://doi.org/10.51257/a-v1-in195
https://hal.archives-ouvertes.fr/hal-03619077/file/Transformers.pdf
https://hal.archives-ouvertes.fr/hal-03619077/document
https://hal.archives-ouvertes.fr/hal-03619077
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information
|
|
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Automatic Speech Recognition for Under-Ressourced Languages ; Reconnaissance automatique de la parole pour des langues peu dotées
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00081061 ; Interface homme-machine [cs.HC]. Université Joseph-Fourier - Grenoble I, 2006. Français (2006)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Notions d'événements distants et d'évenements impossibles en modélisation stochastique du langage : application aux modèles n-grammes de mots et de séquences
|
|
|
|
In: https://hal.univ-lorraine.fr/tel-01746703 ; Autre [cs.OH]. Université Henri Poincaré - Nancy 1, 2002. Français. ⟨NNT : 2002NAN10048⟩ (2002)
|
|
BASE
|
|
Show details
|
|
|
|
|
