| 2 |
LATIC: A Non-native Pre-labelled Mandarin Chinese Validation Corpus for Automatic Speech Scoring and Evaluation Task ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Investigating the attitude towards ambiguity: Interindividual differences in automatic activations of evaluations of ambiguity ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Human evaluation of three machine translation systems : from quality to attitudes by professional translators
|
|
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Identifying language disorder in bilingual children using automatic speech recognition : a feasibility study
|
|
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Investigating the attitude towards ambiguity: Interindividual differences in automatic activations of evaluations of ambiguity
|
|
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Rapid development of competitive translation engines for access to multilingual COVID-19 information
|
|
|
|
In: Way, Andy orcid:0000-0001-5736-5930 , Haque, Rejwanul orcid:0000-0003-1680-0099 , Xie, Guodong, Gaspari, Federico orcid:0000-0003-3808-8418 , Popović, Maja orcid:0000-0001-8234-8745 and Poncelas, Alberto orcid:0000-0002-5089-1687 (2020) Rapid development of competitive translation engines for access to multilingual COVID-19 information. Informatics . ISSN 2227-9709 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 8 |
Fine-grained text simplification in French: steps towards a better grammaticality
|
|
|
|
In: ISHIMR Proceedings of the 18th International Symposium on Health Information Management Research ; https://hal.archives-ouvertes.fr/hal-03095247 ; ISHIMR Proceedings of the 18th International Symposium on Health Information Management Research, Sep 2020, Kalmar, Sweden. ⟨10.15626/ishimr.2020.xxx⟩ (2020)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
French coreference for spoken and written language
|
|
|
|
In: Language Resources and Evaluation Conference (LREC 2020) ; https://hal.archives-ouvertes.fr/hal-02476902 ; Language Resources and Evaluation Conference (LREC 2020), 2020, Marseille, France. pp.80-89 ; https://www.aclweb.org/anthology/2020.lrec-1.10 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Speech recognition in the context of lectures : assessment, progress and enrichment ; Reconnaissance de la parole dans un contexte de cours magistraux : évaluation, avancées et enrichissement
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-02928451 ; Informatique et langage [cs.CL]. Le Mans Université, 2020. Français. ⟨NNT : 2020LEMA1008⟩ (2020)
|
|
Abstract:
This thesis is part of a study that explores automatic transcription potential for the instrumentation of educational situations.Our contribution covers several axes.First, we describe the enrichment and the annotation of COCo dataset that we produced as part of the ANR PASTEL project.This corpus is composed of different lectures' videos. Each lecture is related to a particular field (natural language, graphs, functions .).In this multi-thematic framework, we are interested in the problem of the linguistic adaptation of automatic speech recognition systems (ASR).The proposed language model adaptation is based both on the lecture presentation supports provided by the teacher and in-domain data collected automatically from the web.Then, we focused on the ASR evaluation problem.The existing metrics don't allow a precise evaluation of the transcriptions' quality.Thus, we proposed two evaluation protocols.The first one deals with an intrinsic evaluation, making it possible to estimate performance only for domain words of each lecture (IWER_Average).The second protocol offers an extrinsic evaluation, which estimates the performance for two tasks exploiting transcription: information retrieval and indexability.Our experimental results show that the global word error rate (WER) masks the gain provided by language model adaptation.So, to better evaluate this gain, it seems particularly relevant to use specific measures, like those presented in this thesis.As LM adaptation is based on a collection of data from the web, we study the reproducibility of language model adaptation results by comparing the performances obtained over a long period of time.Over a collection period of one year, we were able to show that, although the data on the Web changed in part from one month to the next, the performance of the adapted transcription systems remainedconstant (i.e. no significant performance changes), no matter the period considered.Finally, we are intersted on thematic segmentation of ASR output and alignment of slides with oral lectures.For thematic segmentation, the integration of slide's change information into the TextTiling algorithm provides a significant gain in terms of F-measure.For alignment of slides with oral lectures, we have calculated a cosine similarity between the TF-IDF representation of the transcription segments andthe TF-IDF representation of text slides and we have imposed a constraint torespect the sequential order of the slides and transcription segments.Also, we have considered a confidence measure todiscuss the reliability of the proposed approach. ; Cette thèse s’inscrit dans le cadre d’une étude sur le potentiel de la transcription automatique pour l'instrumentation de situations pédagogiques.Notre contribution porte sur plusieurs axes. Dans un premier temps, nous décrivons l'enrichissement et l'annotation du corpus COCo que nous avons réalisés dans le cadre du projet ANR PASTEL.Ce corpus est composé de vidéos de différents cours magistraux, chacun étant spécialisé dans un domaine particulier (langage naturel, graphes, fonctions.).Dans ce cadre multi-thématiques, nous nous sommes ensuite intéressés à la problématique de l'adaptation linguistique des systèmes de reconnaissance automatique de la parole (SRAP). La proposition d'adaptation des modèles s'appuie à la fois sur les supports de présentation de cours fournis par les enseignants et sur des données spécialisées récoltées automatiquement à partir du web.Puis, nous nous sommes focalisés sur la problématique de l'évaluation des SRAP, les métriques existantes ne permettant pas une évaluation précise de la qualité des transcriptions dans un cadre applicatif déterminé. Ainsi, nous avons proposé deux protocoles d'évaluation. Le premier porte sur une évaluation intrinsèque, permettant d'estimer la performance seulement pour des mots spécialisés de chacun des cours (IWER_Average). D'autre part, nous proposons une évaluation extrinsèque, qui estime la performance pour deux tâches exploitant la transcription: la recherche d'informations et l'indexabilité.Nos résultats expérimentaux montrent que le taux d'erreurs-mots global (WER) masque les apports effectifs de l’adaptation des modèles de langage et prouve la nécessité d’utiliser de nouvelles mesures, telles que celles présentées dans ce manuscrit, pour évaluer l’apport réel de l’adaptation des modèles de langage.L'adaptation reposant sur une collecte de données issues du web, nous avons cherché à rendre compte de la reproductibilité des résultats sur l'adaptation de modèles de langage en comparant les performances obtenues sur une longue période temporelle.Nos résultats expérimentaux montrent que même si les données sur le web changent en partie d’une période à l’autre, la variabilité de la performance des systèmes de transcription adaptés est restée non significative à partir d'un nombre minimum de documents collectés.Enfin, nous avons proposé une approche permettant de structurer la sortie de la transcription automatique en segmentant thématiquement la transcription et en alignant la transcription avec les diapositives des supports de cours.Pour la segmentation, l'intégration de l'information de changement de diapositives dans l'algorithme TextTiling apporte un gain significatif en termes de F-mesure.Pour l'alignement, nous avons développé une technique basé sur des représentations TF-IDF en imposant une contrainte pour respecter l’ordre séquentiel des diapositives et des segments de transcription et nous avons vérifié la fiabilité de l'approche utilisée à l'aide d'une mesure de confiance.
|
|
Keyword:
[INFO.INFO-CL]Computer Science [cs]/Computation and Language [cs.CL]; Automatic structuration; Cours magistraux; Evaluation; Évaluation; Language model; Lectures; Modèle de langage; Structuration automatique; Transcription
|
|
URL: https://tel.archives-ouvertes.fr/tel-02928451
https://tel.archives-ouvertes.fr/tel-02928451/file/2020LEMA1008.pdf
https://tel.archives-ouvertes.fr/tel-02928451/document
|
|
BASE
|
|
Hide details
|
|
|
| 11 |
An English-Chinese Machine Translation and Evaluation Method for Geographical Names
|
|
|
|
In: ISPRS International Journal of Geo-Information ; Volume 9 ; Issue 3 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
A Framework for Word Embedding Based Automatic Text Summarization and Evaluation
|
|
|
|
In: Information ; Volume 11 ; Issue 2 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
RuBQ: A Russian Dataset for Question Answering over Wikidata
|
|
|
|
In: Lect. Notes Comput. Sci. ; Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (2020)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
A Survey on evaluation of summarization methods
|
|
|
|
In: ISSN: 1873-5371 ; EISSN: 1873-5371 ; Information processing & management ; https://hal.univ-brest.fr/hal-02130700 ; Information processing & management, [Oxford]: Elsevier Ltd., 2019, 56 (5), pp.1794-1814. ⟨10.1016/j.ipm.2019.04.001⟩ ; https://www.sciencedirect.com/science/article/abs/pii/S0306457318306241?via%3Dihub (2019)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Investigating backtranslation for the improvement of English-Irish machine translation
|
|
|
|
In: Dowling, Meghan orcid:0000-0003-1637-4923 , Lynn, Teresa and Way, Andy orcid:0000-0001-5736-5930 (2019) Investigating backtranslation for the improvement of English-Irish machine translation. Teanga, 26 . pp. 1-25. ISSN 0332-205X (2019)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
Webinar: Social Transportation Analytic Toolbox (STAT) for Transit Networks
|
|
|
|
In: TREC Webinar Series (2019)
|
|
BASE
|
|
Show details
|
|
|
| 20 |
Evaluación basada en errores: estudio comparativo de Google Traductor y Deeplerror-based ; Evaluation: comparative study of Google Translate and Deepl
|
|
|
|
BASE
|
|
Show details
|
|
|
|
|
