| 1 |
Discovering Acoustic Units from Speech: A Bayesian Approach ; Découverte d'unités acoustiques dans la parole : une approche Bayésienne
|
|
|
|
In: https://hal.archives-ouvertes.fr/tel-03478075 ; Computation and Language [cs.CL]. Brno University of Technology (MAIS), 2021. English (2021)
|
|
Abstract:
Dès leur plus jeune age, les enfants montrent une capacité innée d’apprendre les structures linguistiques du signal de la parole, bien avant de savoir lire et écrire. A l’inverse, les systèmes de reconnaissance vocale nécessitent de large ensembles de données préalablement transcrits pour atteindre un faible taux d’erreur. Le champ de recherche relativement récent de « l’apprentissage de la parole de manière non-supervisée » s’efforce de donner aux machines des capacités d’apprentissages similaires. Cette thèse s’inscrit dans cet effort de recherche et se concentre sur leproblème d’apprendre un ensemble d’unités acoustiques pour une langue à partir enregistrements audios non-transcrits. Plus particulièrement, nous explorons le potentiel de « l’inférence bayésienne » pour cette tâche.Dans une première partie, nous revisitons le modèle bayésien non-paramétrique de l’état de l’art et nous proposons un algorithme d’apprentissage efficace d’inférence variationnelle bayésienne. Notre approche se base sur la construction du processus de Dirichlet à partir du « découpage de bâton » qui permet de représenter le modèle comme un modèle de Markov caché de type « boucle phonétique ». Avec ce modèle et l’utilisation de l’approximation des champs moyens de la distribution à posteriori, l’apprentissage s’apparente à un algorithme d’espérance-maximisation. Lesrésultats montrent que cette approche obtient un meilleur clustering que le modèle original tout en étant bien plus rapide. Dans une deuxième partie, nous nous attelons à la tâche de correctement définir une distribution a priori sur les possibles unités acoustiques. Pour arriver à nos fins, nous présentons le concept de modèle de sous-espaces généralisés, un cadre théorique qui nous permet de définir des distributions plongées dans des variétés de petites dimensions. Avec cet outil, nous apprenons un sous-espace phonétique – un continuum de plongement phonétique – à partir d‘enregistrements transcrits dans plusieurs langues. Ensuite, le sous-espace est utilisé pour contraindre notre système pour apprendredes unités acoustiques qui sont similaires aux phones des autres langues. Les résultatsexpérimentaux montrent que cette approche améliore de manière significative la qualité du clustering et la la précision de la segmentation. Finalement, nous améliorons notre système d’extraction d’unités acoustiques en utilisant un processus de Dirichlet hiérarchique au lieu d’un processus de Dirichlet classique. En faisant cela, nous introduisons un modèle le langue phonotactique bayésien dans notre système. Cette approche capture de manière plus fine la structure phonétique de la langue cible et, par voie de conséquence, améliore le clustering du signal de la parole. Aussi, afin de mieux exploiter le modèle de langue phonotactique, nous proposons un algorithme d’inférence variationnelle bayésienne qui peut pondérer le rôle du modèle acoustique et du modèle de langue pendant l’apprentissage. ; From an early age, infants show an innate ability to infer linguistic structures fromthe speech signal long before they learn to read and write. In contrast, modern speechrecognition systems require large collections of transcribed data to achieve a low error rate. The relatively recent field of Unsupervised Speech Learning has been dedicated to endow machines with a similar ability. As a part of this ongoing effort, this thesis focuses on the problem of discovering a set of acoustic units from a language given untranscribed audio recordings. Particularly, we explore the potential of Bayesian inference to address this problem.First, we revisit the state-of-the-art non-parametric Bayesian model for the task of acoustic unit discovery and derive a fast and efficient Variational Bayes inference algorithm. Our approach relies on the stick-breaking construction of the Dirichlet Process which allows expressing the model as a Hidden Markov Model-based phone-loop. With this model and a suitable mean-field approximation of the variational posterior, the inference is made with an efficient iterative algorithm similar to the Expectation-Maximization scheme. Experiments show that this approach performs a better clustering than the original model while being orders of magnitude faster.Secondly, we address the problem of defining a meaningful a priori distribution overthe potential acoustic units. To do so, we introduce the Generalized Subspace Model, atheoretical framework that allows defining distributions over low-dimensional manifoldsin high-dimensional parameter space. Using this tool, we learn a phonetic subspace—a continuum of phone embeddings—from several languages with transcribed recordings.Then, this phonetic subspace is used to constrain our system to discover acoustic units that are similar to phones from other languages. Experimental results show that this approach significantly improves the clustering quality as well as the segmentation accuracy of the acoustic unit discovery system.Finally, we enhance our acoustic units discovery model by using a Hierarchical DirichletProcess prior instead of the simple Dirichlet Process. By doing so, we introduce a Bayesian bigram phonotactic language model to the acoustic unit discovery system. This approach captures more accurately the phonetic structure of the target language and consequently helps the clustering of the speech signal. Also, to fully exploit the benefits of the phonotactic language model, we derive a modified Variational Bayes algorithm that can balance the preponderance of the role of the acoustic and language model during inference.
|
|
Keyword:
[INFO.INFO-CL]Computer Science [cs]/Computation and Language [cs.CL]; [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG]; Acoustic unit discovery; Decouverte d'unités acoustiques; Generalized subspace model; Modèle bayésien non-paramétrique; Modèle de sous-espace généralisé; Non-parametric Bayesian model
|
|
URL: https://hal.archives-ouvertes.fr/tel-03478075
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Non-Parametric Bayesian Subspace Models for Acoustic Unit Discovery
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-03467205 ; 2021 (2021)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Unsupervised Word Segmentation from Discrete Speech Units in Low-Resource Settings ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
The Zero Resource Speech Challenge 2020: Discovering discrete subword and word units
|
|
|
|
In: Interspeech 2020 - Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-02962224 ; Interspeech 2020 - Conference of the International Speech Communication Association, Oct 2020, Shangai / Virtual, China (2020)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Speech technology for unwritten languages
|
|
|
|
In: ISSN: 2329-9290 ; EISSN: 2329-9304 ; IEEE/ACM Transactions on Audio, Speech and Language Processing ; https://hal.inria.fr/hal-02480675 ; IEEE/ACM Transactions on Audio, Speech and Language Processing, Institute of Electrical and Electronics Engineers, 2020, ⟨10.1109/TASLP.2020.2973896⟩ (2020)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
A Hierarchical Subspace Model for Language-Attuned Acoustic Unit Discovery ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 8 |
The Zero Resource Speech Challenge 2019: TTS without T
|
|
|
|
In: Interspeech 2019 - 20th Annual Conference of the International Speech Communication Association ; https://hal.archives-ouvertes.fr/hal-02274112 ; Interspeech 2019 - 20th Annual Conference of the International Speech Communication Association, Sep 2019, Graz, Austria (2019)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
AUTOMATIC LEARNING OF A PHONOLOGICAL SYSTEM: A CASE STUDY ON MBOSHI
|
|
|
|
In: International Conference Language Technologies for All (LT4ALL) ; https://hal.archives-ouvertes.fr/hal-03478242 ; International Conference Language Technologies for All (LT4ALL), 2019, Paris, France (2019)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Unsupervised Word Segmentation from Speech with Attention
|
|
|
|
In: Interspeech 2018 ; https://hal.archives-ouvertes.fr/hal-01818092 ; Interspeech 2018, Sep 2018, Hyderabad, India (2018)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Bayesian models for unit discovery on a very low resource language
|
|
|
|
In: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) ; https://hal.archives-ouvertes.fr/hal-01709589 ; IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Apr 2018, Calgary, Alberta, Canada (2018)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Linguistic unit discovery from multi-modal inputs in unwritten languages: Summary of the “Speaking rosetta” JSALT 2017 workshop
|
|
|
|
In: ICASSP 2018 - IEEE International Conference on Acoustics, Speech and Signal Processing ; https://hal.archives-ouvertes.fr/hal-01709578 ; ICASSP 2018 - IEEE International Conference on Acoustics, Speech and Signal Processing, Apr 2018, Calgary, Alberta, Canada (2018)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Linguistic unit discovery from multi-modal inputs in unwritten languages: Summary of the "Speaking Rosetta" JSALT 2017 Workshop ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Unsupervised Word Segmentation from Speech with Attention ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 15 |
An Empirical Evaluation of Zero Resource Acoustic Unit Discovery ...
|
|
|
|
BASE
|
|
Show details
|
|
|
|
|
