| 1 |
Suivi de formants par analyse en multirésolution ; Formant tracking by Multiresolution Analysis
|
|
|
|
Abstract:
Nos travaux de recherches présentés dans ce manuscrit ont pour objectif, l'optimisation des performances des algorithmes de suivi des formants. Pour ce faire, nous avons commencé par l'analyse des différentes techniques existantes utilisées dans le suivi automatique des formants. Cette analyse nous a permis de constater que l'estimation automatique des formants reste délicate malgré l'emploi de diverses techniques complexes. Vue la non disponibilité des bases de données de référence en langue arabe, nous avons élaboré un corpus phonétiquement équilibré en langue arabe tout en élaborant un étiquetage manuel phonétique et formantique. Ensuite, nous avons présenté nos deux nouvelles approches de suivi de formants dont la première est basée sur l'estimation des crêtes de Fourier (maxima de spectrogramme) ou des crêtes d'ondelettes (maxima de scalogramme) en utilisant comme contrainte de suivi le calcul de centre de gravité de la combinaison des fréquences candidates pour chaque formant, tandis que la deuxième approche de suivi est basée sur la programmation dynamique combinée avec le filtrage de Kalman. Finalement, nous avons fait une étude exploratrice en utilisant notre corpus étiqueté manuellement comme référence pour évaluer quantitativement nos deux nouvelles approches par rapport à d'autres méthodes automatiques de suivi de formants. Nous avons testé la première approche par détection des crêtes ondelette, utilisant le calcul de centre de gravité, sur des signaux synthétiques ensuite sur des signaux réels de notre corpus étiqueté en testant trois types d'ondelettes complexes (CMOR, SHAN et FBSP). Suite à ces différents tests, il apparaît que le suivi de formants et la résolution des scalogrammes donnés par les ondelettes CMOR et FBSP sont meilleurs qu'avec l'ondelette SHAN. Afin d'évaluer quantitativement nos deux approches, nous avons calculé la différence moyenne absolue et l'écart type normalisée. Nous avons fait plusieurs tests avec différents locuteurs (masculins et féminins) sur les différentes voyelles longues et courtes et la parole continue en prenant les signaux étiquetés issus de la base élaborée comme référence. Les résultats de suivi ont été ensuite comparés à ceux de la méthode par crêtes de Fourier en utilisant le calcul de centre de gravité, de l'analyse LPC combinée à des bancs de filtres de Mustafa Kamran et de l'analyse LPC dans le logiciel Praat. D'après les résultats obtenus sur les voyelles /a/ et /A/, nous avons constaté que le suivi fait par la méthode ondelette avec CMOR est globalement meilleur que celui des autres méthodes Praat et Fourier. Cette méthode donne donc un suivi de formants (F1, F2 et F3) pertinent et plus proche de suivi référence. Les résultats des méthodes Fourier et ondelette sont très proches dans certains cas puisque toutes les deux présentent moins d'erreurs que la méthode Praat pour les cinq locuteurs masculins ce qui n'est pas le cas pour les autres voyelles où il y a des erreurs qui se présentent parfois sur F2 et parfois sur F3. D'après les résultats obtenus sur la parole continue, nous avons constaté que dans le cas des locuteurs masculins, les résultats des deux nouvelles approches sont notamment meilleurs que ceux de la méthode LPC de Mustafa Kamran et ceux de Praat même si elles présentent souvent quelques erreurs sur F3. Elles sont aussi très proches de la méthode par détection de crêtes de Fourier utilisant le calcul de centre de gravité. Les résultats obtenus dans le cas des locutrices féminins confirment la tendance observée sur les locuteurs ; Our research work presented in this thesis aims the optimization of the performance of formant tracking algorithms. We began by analyzing different existing techniques used in the automatic formant tracking. This analysis showed that the automatic formant estimation remains difficult despite the use of complex techniques. For the non-availability of database as reference in Arabic, we have developed a phonetically balanced corpus in Arabic while developing a manual phonetic and formant tracking labeling. Then we presented our two new automatic formant tracking approaches which are based on the estimation of Fourier ridges (local maxima of spectrogram) or wavelet ridges (local maxima of scalogram) using as a tracking constraint the calculation of center of gravity of a set of candidate frequencies for each formant, while the second tracking approach is based on dynamic programming combined with Kalman filtering. Finally, we made an exploratory study using manually labeled corpus as a reference to quantify our two new approaches compared to other automatic formant tracking methods. We tested the first approach based on wavelet ridges detection, using the calculation of the center of gravity on synthetic signals and then on real signals issued from our database by testing three types of complex wavelets (CMOR, SHAN and FBSP). Following these tests, it appears that formant tracking and scalogram resolution given by CMOR and FBSP wavelets are better than the SHAN wavelet. To quantitatively evaluate our two approaches, we calculated the absolute difference average and standard deviation. We made several tests with different speakers (male and female) on various long and short vowels and continuous speech signals issued from our database using it as a reference. The formant tracking results are compared to those of Fourier ridges method calculating the center of gravity, LPC analysis combined with filter banks method of Kamran.M and LPC analysis integrated in Praat software. According to the results of the vowels / a / and / A /, we found that formant tracking by the method with wavelet CMOR is generally better than other methods. Therefore, this method provides a correct formant tracking (F1, F2 and F3) and closer to the reference. The results of Fourier and wavelet methods are very similar in some cases since both have fewer errors than the method Praat. These results are proven for the five male speakers which is not the case for the other vowels where there are some errors which are present sometimes in F2 and sometimes in F3. According to the results obtained on continuous speech, we found that in the case of male speakers, the result of both approaches are particularly better than those of Kamran.M method and those of Praat even if they are often few errors in F3. They are also very close to the Fourier ridges method using the calculation of center of gravity. The results obtained in the case of female speakers confirm the trend observed over the male speakers
|
|
Keyword:
006.454; 414; Acoustic; Acoustique; Centre de gravité; Centre of gravity; Crêtes d'ondelettes; Crêtes de Fourier; Dynamic programming; Filtrage de Kalman; Formant tracking; Fourier ridges; Kalman filtering; Parole; Programmation dynamique; Représentation temps-fréquence; Scalogramme; Sclogram; Spectrogram; Spectrogramme; Speech; Suivi de formant; Time-frequency representation; Wavelet ridges
|
|
URL: http://docnum.univ-lorraine.fr/public/DDOC_T_2013_0026_JEMAA.pdf
|
|
BASE
|
|
Hide details
|
|
|
| 5 |
Frame-Synchronous and Local Confidence Measures for on-the-fly Automatic Speech Recognition.
|
|
|
|
In: InterSpeech ; https://hal.inria.fr/inria-00325519 ; InterSpeech, Sep 2008, Brisbane, Australia (2008)
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Mesures de confiance locales et trame-synchrones
|
|
|
|
In: XXVIIèmes Journées d'Etude sur la Parole - JEP 2008 ; https://hal.inria.fr/inria-00289905 ; XXVIIèmes Journées d'Etude sur la Parole - JEP 2008, 2008, Avignon, France (2008)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Transcribing Southern Min Speech Corpora with a Web-Based Language Learning System
|
|
|
|
In: International Conference on Audio, Language and Image Processing - ICALIP 2008 ; https://hal.inria.fr/inria-00336375 ; International Conference on Audio, Language and Image Processing - ICALIP 2008, Jul 2008, Shangai, China (2008)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Frame-Synchronous And Local Confidence Measures For On-The-Fly Keyword Spotting
|
|
|
|
In: International Symposium on Signal Processing and its Applications - ISSPA 2007 ; https://hal.inria.fr/inria-00134135 ; International Symposium on Signal Processing and its Applications - ISSPA 2007, Feb 2007, Sharjah, United Arab Emirates. pp.1-4 (2007)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Amélioration des Performances des Systèmes Automatiques de Reconnaissance de la Parole pour la Parole Non Native
|
|
|
|
In: Traitement et Analyse de l'Information : Méthodes et Applications - TAIMA'07 ; https://hal.inria.fr/inria-00184565 ; Traitement et Analyse de l'Information : Méthodes et Applications - TAIMA'07, Jean-Paul Haton and Faouzi Ghorbel, May 2007, Hammamet, Tunisie (2007)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Using inter-lingual triggers for Machine translation
|
|
|
|
In: 8th Annual Conference of the International Speech Communication Association - INTERSPEECH 2007 ; https://hal.inria.fr/inria-00155791 ; 8th Annual Conference of the International Speech Communication Association - INTERSPEECH 2007, Aug 2007, Antwerp, Belgium. pp.2829-2832 (2007)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
How to handle gender and number agreement in statistical language models?
|
|
|
|
In: Ninth International Conference on Spoken Language Processing - INTERSPEECH 2006 ; https://hal.inria.fr/inria-00103497 ; Ninth International Conference on Spoken Language Processing - INTERSPEECH 2006, Sep 2006, Pittsburgh, Pennsylvania/USA (2006)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Linguistic features modeling based on Partial New Cache
|
|
|
|
In: International Conference on Language Resources and Evaluation - LREC 2006 ; https://hal.inria.fr/inria-00077321 ; International Conference on Language Resources and Evaluation - LREC 2006, May 2006, Magazzini del Cotone Conference Center, Genoa/ITALY (2006)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Fully Automated Non-Native Speech Recognition Using Confusion-Based Acoustic Model Integration And Graphemic Constraints
|
|
|
|
In: IEEE International Conference on Acoustics, Speech, and Signal Processing - ICASSP 2006 ; https://hal.inria.fr/inria-00110492 ; IEEE International Conference on Acoustics, Speech, and Signal Processing - ICASSP 2006, May 2006, Toulouse/France (2006)
|
|
BASE
|
|
Show details
|
|
|
| 16 |
From speech to SQL queries : a speech understanding system
|
|
|
|
In: The twentieth national Conference on Artificial Intelligence workshop on spoken language understanding ; https://hal.archives-ouvertes.fr/hal-01564249 ; The twentieth national Conference on Artificial Intelligence workshop on spoken language understanding, 2005, Pittsburg, United States (2005)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
Statistical Feature Language Model
|
|
|
|
In: 8th International Conference on Spoken Language Processing - ICSLP' 2004 ; https://hal.inria.fr/inria-00100021 ; 8th International Conference on Spoken Language Processing - ICSLP' 2004, 2004, Jeju, South Korea. 4 p (2004)
|
|
BASE
|
|
Show details
|
|
|
|
|
