1 |
Analysis of cortical activity for the development of brain-computer interfaces for speech ; Analyse d'activité corticale pour le développement d'interfaces cerveau-machine pour la parole
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03578854 ; Bioinformatics [q-bio.QM]. Université Grenoble Alpes [2020-.], 2021. English. ⟨NNT : 2021GRALS022⟩ (2021)
|
|
Abstract:
Brain-computer interfaces for speech have the potential to restore the ability to speak in people with severe paralysis. Such a system would decode features of what the user wants to say from their brain activity and synthesize the associated sounds in real time. Recent studies show promising results in this direction by decoding speech from brain recordings of healthy participants speaking aloud. However, several challenges must be overcome to enable speech decoding in people unable to speak. This thesis aims to contribute to the development of brain-computer interfaces and to the understanding of cortical activity underlying speech.First, we highlighted a phenomenon of acoustic contamination of electrophysiological signals during speech. Our analyses revealed that this phenomenon was present in several recordings from different laboratories around the world and that it could have an important impact on speech decoding studies by biasing the obtained performances. We studied the origin of this phenomenon and proposed a methodology to quantify it.It is expected that the cortical activity of paralyzed subjects attempting to speak is partially different from that of healthy subjects speaking aloud, in particular because of the absence of auditory and somatosensory feedback. Understanding the differences between these two conditions is important to know if the models currently developed on overt speech would be easily applicable to paralyzed people. In this perspective, studying covert speech in healthy participants allows us to study the activity underlying speech production in the absence of sensory feedback, as it is the case for people with paralysis.Using an intracortical recording, we showed that the dynamics of the activity of a population of neurons in Broca's area were different during overt and covert speech. Moreover, we found that the temporal arrangement of action potentials recorded during the pronunciation of sentences allowed to discriminate these sentences. The similarity of spike trains appeared to be correlated with the phonological similarity of the sentences. Finally, using the same recording, we showed that the low frequency component of local field potentials was modulated by overt speech and to a lesser extent by covert speech.Another obstacle concerning the decoding of attempted speech in participants unable to speak is the difficulty to calibrate the decoder. Indeed, in the absence of behavioral output, it is not possible to know precisely the timing at which the participant attempts to speak. We therefore tested, in a non-paralyzed participant, a protocol allowing to build a covert speech decoder from electrophysiological activity. Our offline analyses showed that it was possible to decode acoustic features of imagined phonemes with performances statistically superior to chance. We also performed a preliminary test of real-time, closed-loop decoding in the same participant. ; Les interfaces cerveau-ordinateur pour la parole pourraient permettre de restaurer la faculté de parler chez des personnes souffrant de paralysie sévère. Un tel système décoderait des caractéristiques de ce que l'utilisateur souhaite prononcer à partir de son activité cérébrale et synthétiserait les sons associés en temps réel. De récentes études montrent des résultats prometteurs en ce sens, en réalisant des décodages à partir d'enregistrements cérébraux effectués chez des participants sains parlant à voix haute. Cependant, plusieurs défis doivent être relevés pour permettre le décodage de la parole chez des personnes dans l'incapacité de parler. Cette thèse vise à contribuer au développement des interfaces cerveau-ordinateur ainsi qu'à la compréhension de l'activité corticale sous-tendant la parole.Premièrement, nous avons mis en évidence un phénomène de contamination acoustique des signaux électrophysiologiques pendant la parole. Nos analyses ont révélé que ce phénomène était présent dans plusieurs enregistrements, provenant de différents laboratoires dans le monde, et qu'il pouvait avoir un impact important sur les études de décodage de la parole en biaisant les performances obtenues. Nous avons étudié l'origine de ce phénomène et proposé une méthodologie pour le quantifier.Il est attendu que l'activité corticale de sujets paralysés essayant de parler soit partiellement différente de celle de sujets sains s'exprimant à voix haute, en particulier à cause de l'absence de retours auditif et somatosensoriel. Comprendre les différences entre ces deux conditions est important pour savoir si les modèles actuellement développés sur la parole à voix haute seraient facilement applicable à des personnes paralysées. Dans cette optique, étudier la parole imaginée chez des participants sains permet d'étudier l'activité sous-tendant la parole en l'absence de retours sensoriels, comme c'est le cas chez les personnes paralysées.A partir d'un enregistrement intracortical, nous avons montré que la dynamique de l'activité d'une population de neurones dans l'aire de Broca était différente pendant la parole à voix haute et imaginée. De plus nous avons trouvé que l'arrangement temporel des potentiels d'action enregistrés pendant la prononciation de phrases permettait de discriminer ces phrases. La similarité des trains de potentiels d'action s'est avérée être corrélée à la similarité phonologique des phrases. Enfin, à partir du même enregistrement, nous avons montré que la composante basse fréquence de potentiels de champ locaux était modulée par la parole à voix haute et dans une moindre mesure par la parole imaginée.Un autre obstacle concernant le décodage de la parole interne chez des participants en incapacité de parler est la difficulté de calibrer le décodeur. En effet, en l'absence de signaux comportementaux il est n'est alors pas possible de connaitre précisément le timing auquel le participant imagine parler. Nous avons donc testé, chez un participant non-paralysé, un protocole permettant de construire un décodeur de parole imaginée à partir d'activité électrophysiologique. Nos analyses a posteriori ont montré qu'il était possible de décoder des caractéristiques acoustiques de phonèmes imaginés avec des performances statistiquement supérieures à la chance. Nous avons également réalisé chez le même participant un test préliminaire de décodage en temps réel et en boucle fermée.
|
|
Keyword:
[INFO.INFO-BI]Computer Science [cs]/Bioinformatics [q-bio.QM]; [INFO.INFO-HC]Computer Science [cs]/Human-Computer Interaction [cs.HC]; Acoustic contamination; Aire de Broca; Apprentissage automatique; Broca's area; Contamination acoustique; Décodage neuronal; Electrophysiologie; Electrophysiology; Machine learning; Neural decoding; Parole; Speech
|
|
URL: https://tel.archives-ouvertes.fr/tel-03578854/document https://tel.archives-ouvertes.fr/tel-03578854 https://tel.archives-ouvertes.fr/tel-03578854/file/ROUSSEL_2021_archivage.pdf
|
|
BASE
|
|
Hide details
|
|
3 |
Contagio / Contaminazione
|
|
|
|
In: Lexicon Philosophicum: International Journal for the History of Texts and Ideas; Nr. 8 (2020): Lexicon Philosophicum ; Lexicon Philosophicum: International Journal for the History of Texts and Ideas; No. 8 (2020): Lexicon Philosophicum ; Lexicon Philosophicum: International Journal for the History of Texts and Ideas; Núm. 8 (2020): Lexicon Philosophicum ; Lexicon Philosophicum: International Journal for the History of Texts and Ideas; N. 8 (2020): Lexicon Philosophicum ; 2283-7833 (2021)
|
|
BASE
|
|
Show details
|
|
4 |
ЭКСПРЕССИВНО-ИГРОВЫЕ ОККАЗИОНАЛИЗМЫ В ЯЗЫКЕ СОВРЕМЕННЫХ РОССИЙСКИХ СМИ ... : EXPRESSIVE-GAME OCCASIONALISMS IN THE LANGUAGE OF MODERN RUSSIAN MEDIA ...
|
|
|
|
BASE
|
|
Show details
|
|
5 |
PRAGMALINGUISTIC FEATURES OF TELESCOPIC UNITS’ REPRODUCTION IN MEDIA TEXTS WHEN TRANSLATED FROM ENGLISH INTO UKRAINIAN
|
|
|
|
In: Advanced Linguistics; № 6 (2020): ADVANCED LINGUISTICS; 23-29 ; Новітня лінгвістика; № 6 (2020): ; 23-29 ; 2663-6646 ; 2617-5339 (2020)
|
|
BASE
|
|
Show details
|
|
6 |
Unfailure in Ukrainian football Internet discourse
|
|
Максимчук, Віталій. - : University of Maribor, Department of Slavic Languages and Literatures, 2020
|
|
BASE
|
|
Show details
|
|
8 |
LINGUISTIC CONTAMINATION IN MAJOR HINDI NEWSPAPERS PUBLISHED FROM NEW DELHI. ...
|
|
|
|
BASE
|
|
Show details
|
|
9 |
LINGUISTIC CONTAMINATION IN MAJOR HINDI NEWSPAPERS PUBLISHED FROM NEW DELHI. ...
|
|
|
|
BASE
|
|
Show details
|
|
10 |
Синкретизм в сложноподчиненных предложениях разных видов как одно из явлений современного синтаксиса ...
|
|
|
|
BASE
|
|
Show details
|
|
11 |
Синкретизм в сложноподчиненных предложениях разных видов как одно из явлений современного синтаксиса ...
|
|
|
|
BASE
|
|
Show details
|
|
13 |
ОКАЗІОНАЛЬНІ КОНТАМІНАЦІЇ В СУЧАСНОМУ УКРАЇНСЬКОМУ ПОЕТИЧНОМУ ДИСКУРСІ ; OCCASIONAL CONTAMINATIONS IN THE MODERN UKRAINIAN POETICAL DISCOURSE
|
|
|
|
In: Philological Studies; № 30 (2019); 81-84 ; Філологічні науки; № 30 (2019); 81-84 ; 2524-2504 ; 2524-2490 (2019)
|
|
BASE
|
|
Show details
|
|
16 |
Maǧnūn et mabrūk : des participes en quête de verbes
|
|
|
|
In: ISSN: 0570-5398 ; EISSN: 1570-0585 ; Arabica ; https://halshs.archives-ouvertes.fr/halshs-01868790 ; Arabica, Brill Academic Publishers, 2018, 65 (4), pp.537-544. ⟨10.1163/15700585-12341503⟩ (2018)
|
|
BASE
|
|
Show details
|
|
18 |
О специфике семантической и лексической деривации в современном русском языке ... : ABOUT THE SPECIFICITY OF LEXICAL DERIVATION IN CONTEMPORARY RUSSIAN LANGUAGE ...
|
|
|
|
BASE
|
|
Show details
|
|
19 |
The “redundant” dative case with the Russian verb
|
|
|
|
In: Vestnik Tomskogo Gosudarstvennogo Universiteta, Filologiya (2018)
|
|
BASE
|
|
Show details
|
|
20 |
Language continuity despite population replacement in Remote Oceania
|
|
|
|
BASE
|
|
Show details
|
|
|
|