1 |
Le modèle Transformer: un « couteau suisse » pour le traitement automatique des langues
|
|
|
|
In: Techniques de l'Ingenieur ; https://hal.archives-ouvertes.fr/hal-03619077 ; Techniques de l'Ingenieur, Techniques de l'ingénieur, 2022, ⟨10.51257/a-v1-in195⟩ ; https://www.techniques-ingenieur.fr/base-documentaire/innovation-th10/innovations-en-electronique-et-tic-42257210/transformer-des-reseaux-de-neurones-pour-le-traitement-automatique-des-langues-in195/ (2022)
|
|
Abstract:
This paper presents an overview of the state of the art in natural language processing, exploring one specific computational architecture, the Transformer model, which plays a central role in a wide range of applications. This architecture condenses many advances in neural learning methods and can be exploited in many ways : to learn representations for linguistic entities ; to generate coherent utterances and answer questions; to perform utterance transformations, an illustration being their automatic translation. These different facets of the architecture will be successively presented, which will also allow us to discuss its limitations. ; Cet article présente un survol de l’état de l’art en traitement automatique des langues, en explorant une architecture computationnelle, le modèle Transformer, qui joue un rôle central dans une large gamme d’applications. Cette architecture condense de nombreuses avancées des méthodes d’apprentissage neuronales et peut être exploitée de multiples manières : pour apprendre à représenter les entités linguistiques ; pour générer des énoncés cohérents et répondre à des questions ; pour réaliser des transformations des énoncés, une illustration étant leur traduction automatique. Ces différentes facettes de l’architecture seront successivement présentées, ce qui permettra également d’évoquer ses limitations.
|
|
Keyword:
[INFO.INFO-TT]Computer Science [cs]/Document and Text Processing; Apprentissage Automatique; Language Models; Machine Learning; Modèles de Langues; Natural Language Processing; Neural Machine Translation; Traduction automatique neuronale; Traitement Automatique des Langues
|
|
URL: https://doi.org/10.51257/a-v1-in195 https://hal.archives-ouvertes.fr/hal-03619077/file/Transformers.pdf https://hal.archives-ouvertes.fr/hal-03619077/document https://hal.archives-ouvertes.fr/hal-03619077
|
|
BASE
|
|
Hide details
|
|
3 |
Representation learning of natural language and its application to language understanding and generation
|
|
|
|
BASE
|
|
Show details
|
|
4 |
Neural-based Knowledge Transfer in Natural Language Processing
|
|
|
|
BASE
|
|
Show details
|
|
5 |
Impact of textual data augmentation on linguistic pattern extraction to improve the idiomaticity of extractive summaries
|
|
|
|
In: Lecture Notes in Computer Science ; https://hal.archives-ouvertes.fr/hal-03271380 ; Matteo Golfarelli; Robert Wrembel. Lecture Notes in Computer Science, Springer, In press, Lecture Notes in Computer Science (2021)
|
|
BASE
|
|
Show details
|
|
6 |
The Mapping of Deep Language Models on Brain Responses Primarily Depends on their Performance
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-03361439 ; 2021 (2021)
|
|
BASE
|
|
Show details
|
|
7 |
A logistic regression model for predicting child language performance ; Un modèle de régression logistique pour la prédiction du développement langagier chez l'enfant
|
|
|
|
In: SIS 2021, 50th Annuale Conference of the Italian Statistical Society" ; https://hal.archives-ouvertes.fr/hal-03318721 ; SIS 2021, 50th Annuale Conference of the Italian Statistical Society", Jun 2021, Pise, Italy (2021)
|
|
BASE
|
|
Show details
|
|
8 |
Hierarchical-Task Reservoir for Online Semantic Analysis from Continuous Speech
|
|
|
|
In: ISSN: 2162-237X ; IEEE Transactions on Neural Networks and Learning Systems ; https://hal.inria.fr/hal-03031413 ; IEEE Transactions on Neural Networks and Learning Systems, IEEE, 2021, ⟨10.1109/TNNLS.2021.3095140⟩ ; https://ieeexplore.ieee.org/abstract/document/9548713/metrics#metrics (2021)
|
|
BASE
|
|
Show details
|
|
10 |
On Multi-domain Sentence Level Sentiment Analysis for Roman Urdu ...
|
|
|
|
BASE
|
|
Show details
|
|
12 |
Multilingual Email Zoning - Segmenting Multilingual Email Text Into Zones
|
|
|
|
BASE
|
|
Show details
|
|
14 |
Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication ...
|
|
|
|
BASE
|
|
Show details
|
|
15 |
DiS-ReX: A Multilingual Dataset for Distantly Supervised Relation Extraction ...
|
|
|
|
BASE
|
|
Show details
|
|
16 |
DiS-ReX: A Multilingual Dataset for Distantly Supervised Relation Extraction ...
|
|
|
|
BASE
|
|
Show details
|
|
20 |
Rule-based Morphological Inflection Improves Neural Terminology Translation ...
|
|
|
|
BASE
|
|
Show details
|
|
|
|