| 3 |
Adaptations in Speech Processing
|
|
Xu, Jue. - : Humboldt-Universität zu Berlin, 2021
|
|
Abstract:
Wie sich die Sprachwahrnehmung an ständig eingehende Informationen anpasst, ist eine Schlüsselfrage in der Gedanken- und Gehirnforschung. Die vorliegende Dissertation zielt darauf ab, zum Verständnis von Anpassungen an die Sprecheridentität und Sprachfehler während der Sprachverarbeitung beizutragen und unser Wissen über die Rolle der kognitiven Kontrolle bei der Sprachverarbeitung zu erweitern. Zu diesem Zweck wurden ereigniskorrelierte Potentiale (EKPs, englisch: event-related potentials, ERPs) N400 und P600 in der Elektroenzephalographie (EEG) analysiert. Die vorliegende Arbeit befasste sich insbesondere mit der Frage nach der Anpassung an die Sprecheridentität bei der Verarbeitung von zwei Arten von Sprachfehlern (Xu, Abdel Rahman, & Sommer, 2019), und untersuchte die proaktive Anpassungen, die durch die Erkennung von Sprachfehlern (Xu, Abdel Rahman, & Sommer, 2021) und durch die Sprecher(dis)kontinuität über aufeinanderfolgende Sätze in Situationen mit mehreren Sprechern ausgelöst wurden (Xu, Abdel Rahman, & Sommer, 2021, in press). Die Ergebnisse zeigten, dass unterschiedliche Sprachverarbeitungsstrategien entsprechend der Sprecheridentität von Muttersprachlern oder Nicht-Muttersprachlern und zwei verschiedenen Arten von Sprachfehlern angepasst wurden, was sich in unterschiedlichen N400- und P600-Effekten widerspiegelte. Darüber hinaus kann die Erkennung von Konflikten (Sprachfehler) und Sprecher(dis)kontinuität über aufeinanderfolgende Sätze hinweg eine proaktive kognitive Kontrolle erfordern, die die Verarbeitungsstrategien für den folgenden Satz schnell anpasst, was sich in bisher nicht gemeldeten sequentiellen Anpassungseffekten in der P600-Amplitude manifestierte. Basierend auf dem DMC Modell (Braver, 2012; Braver, Gray, & Burgess, 2007) und dem Überwachungsmodell der Sprachverarbeitung (van de Meerendonk, Indefrey, Chwilla, & Kolk, 2011) schlage ich vor, dass die P600-Amplitude nicht nur reaktive Anpassungen manifestiert, die durch Konflikterkennung ausgelöst werden, nämlich die klassischen P600-Effekte, die eine erneute Analyse der Sprachverarbeitung widerspiegeln, sondern auch proaktive Anpassungen in der Überwachung der Sprachverarbeitung, die Mechanismen der kognitiven Kontrolle von Aufmerksamkeit und Gedächtnis beinhalten. ; How language perception adapts to constantly incoming information is a key question in mind and brain research. This doctoral thesis aims to contribute to the understanding of adaptation to speaker identity and speech error during speech processing, and to enhance our knowledge about the role of cognitive control in speech processing. For this purpose, event-related brain potentials (ERPs) N400 and P600 in the electroencephalography (EEG) were analyzed. Specifically, the present work addressed the question about adaptation to the speaker’s identity in processing two types of speech errors (Xu, Abdel Rahman, & Sommer, 2019), and explored proactive adaptation initiated by the detection of speech errors (Xu, Abdel Rahman, & Sommer, 2021) and by speaker (dis-)continuity across consecutive sentences in multi-speaker situations (Xu, Abdel Rahman, & Sommer, 2021, in press). Results showed that different speech processing strategies were adapted according to native or non-native speaker identity and two different types of speech errors, reflected in different N400 and P600 effects. In addition, detection of conflict (speech error) and speaker (dis-)continuity across consecutive sentences engage cognitive control to rapidly adapt processing strategies for the following sentence, manifested in hitherto unreported sequential adaptation effects in the P600 amplitude. Based on the DMC model (Braver, 2012; Braver, Gray, & Burgess, 2007) and the monitoring theory of language perception (van de Meerendonk, Indefrey, Chwilla, & Kolk, 2011), I propose that the P600 amplitude manifests not only reactive adaptations triggered by conflict detection, i.e., the classic P600 effect, reflecting reanalysis of speech processing, but also proactive adaptations in monitoring the speech processing, engaging cognitive control mechanisms of attention and memory.
|
|
Keyword:
150 Psychologie; 410 Linguistik; Adaptation; cognition; ddc:150; ddc:410; Erfahrung; expectation; experience; Kognition; N400; P600; proactive control; Proaktive Kontrolle; sequential effect; Sequenzeffekt; speaker identity; speech error; Sprachfehler; Sprecheridentität
|
|
URN:
urn:nbn:de:kobv:11-110-18452/23706-1
|
|
URL: https://doi.org/10.18452/23030
http://edoc.hu-berlin.de/18452/23706
|
|
BASE
|
|
Hide details
|
|
|
| 4 |
Learning speech embeddings for speaker adaptation and speech understanding
|
|
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Towards unsupervised learning of speech features in the wild
|
|
|
|
In: SLT 2020 : IEEE Spoken Language Technology Workshop ; https://hal.archives-ouvertes.fr/hal-03070411 ; SLT 2020 : IEEE Spoken Language Technology Workshop, Dec 2020, Shenzhen / Virtual, China (2020)
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Achieving Multi-Accent ASR via Unsupervised Acoustic Model Adaptation
|
|
|
|
In: INTERSPEECH 2020 ; https://hal.inria.fr/hal-02907929 ; INTERSPEECH 2020, Oct 2020, Shanghai, China (2020)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Preschoolers' Attention to Emotional Prosody as a Function of Speaker Conventionality ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 8 |
Learning to adapt: meta-learning approaches for speaker adaptation
|
|
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Introducing Phonetic Information to Speaker Embedding for Speaker Verification
|
|
|
|
In: Electrical and Computer Engineering Faculty Publications (2019)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Speaker-Adapted Confidence Measures for ASR using Deep Bidirectional Recurrent Neural Networks
|
|
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Extending the Cascaded Gaussian Mixture Regression Framework for Cross-Speaker Acoustic-Articulatory Mapping
|
|
|
|
In: ISSN: 2329-9290 ; EISSN: 2329-9304 ; IEEE/ACM Transactions on Audio, Speech and Language Processing ; https://hal.archives-ouvertes.fr/hal-01485540 ; IEEE/ACM Transactions on Audio, Speech and Language Processing, Institute of Electrical and Electronics Engineers, 2017, 25 (3), pp.662-673. ⟨10.1109/TASLP.2017.2651398⟩ (2017)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Articulatory representations to address acoustic variability in speech ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Articulatory representations to address acoustic variability in speech
|
|
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Adaptation au locuteur pour la séparation de la parole par NMF
|
|
|
|
In: https://hal.sorbonne-universite.fr/hal-01482183 ; [Stage] STMS - Sciences et Technologies de la Musique et du Son UMR 9912 IRCAM-CNRS-UPMC. 2016 (2016)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Iterative PLDA Adaptation for Speaker Diarization
|
|
|
|
In: Interspeech 2016 ; https://hal.archives-ouvertes.fr/hal-01433172 ; Interspeech 2016, Sep 2016, San Francisco, United States. pp.2175 - 2179, ⟨10.21437/Interspeech.2016-572⟩ (2016)
|
|
BASE
|
|
Show details
|
|
|
| 16 |
Speaker-dependent Multipitch Tracking Using Deep Neural Networks
|
|
|
|
BASE
|
|
Show details
|
|
|
| 17 |
Phonetic reduction in spontaneous speech by children aged 9-14 years
|
|
|
|
In: Presented at: 18th International Congress of Phonetic Sciences, Glasgow, UK. (2015) (2015)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
The Acquisition of Vowel Normalization during Early Infancy: Theory and Computational Framework
|
|
|
|
In: http://rave.ohiolink.edu/etdc/view?acc_num=osu1388689249 (2014)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
'All the better for not seeing you': effects of communicative context on the speech of an individual with acquired communication difficulties.
|
|
|
|
In: J Commun Disord , 46 (5-6) 475 - 483. (2013) (2013)
|
|
BASE
|
|
Show details
|
|
|
| 20 |
Contributions to Adaptation on Automatic Speech Recognition and Multilingual Handwritten Text Recognition
|
|
|
|
BASE
|
|
Show details
|
|
|
|
|
