DE eng

Search in the Catalogues and Directories

Page: 1 2
Hits 1 – 20 of 33

1
Phrase table expansion for statistical machine translation with reduced parallel corpora: the Chinese-Spanish case
Han, Jingyi. - : Universitat Pompeu Fabra, 2017
In: TDX (Tesis Doctorals en Xarxa) (2017)
Abstract: Parallel data scarcity problem is a major challenge faced by Statistical Machine Translation (SMT). The aim of this thesis is to enrich a SMT system by adding more morphological variants and new translation lexicon automatically generated out of monolingual data. To induce bilingual lexicon, instead of taking advantages of comparable corpora or parallel data, we proposed a supervised classifier trained using monolingual features (e.g. word embedding vectors, plus Brown clustering or word frequency information) of only a small amount of translation equivalent word pairs. The classifier is able to predict whether a new word pair is under a translation relation or not. Our experiments of SMT phrase table expansion were conducted on Chinese and Spanish, since we realised that although they are two of the most widely spoken languages of the world, this language pair is suffering from a data scarcity situation. In addition to the problems caused by the words that are not included in the training corpus, the inflection differences between this language pair make the translation even more challenging when only limited parallel data are available. The obtained results demonstrate that, on the one hand, with the method of morphology expansion, the SMT system achieves an improvement of up to + 0.61 BLEU compared to the results of a low resource Chinese-Spanish phrase-based SMT baseline. On the other hand, our supervised classifier reaches a 0.94 F1-score and the SMT experiment results show an improvement of up to +0.70 BLEU with the resulting bilingual lexicon, demonstrating that the errors of the classifier are ultimately controlled by the SMT system. ; La escasez de datos paralelos es un problema importante para la Traducción Automática Estadística (TAE). El objetivo de esta tesis es enriquecer un sistema de TAE añadiendo más variantes morfológicas y un nuevo léxico de traducción generado automáticamente desde datos monolingües. Para inducir el léxico bilingüe, en lugar de depender de corpus comparables o de datos paralelos, proponemos un clasificador supervisado entrenado con representaciones monolingües (por ejemplo, vectores distribuidos, agrupaciones de Brown e información de la frecuencia de palabras) de sólo una pequeña cantidad de traducciones. El clasificador es capaz de predecir si un nuevo par de palabras es una traducción la una de la otra, o no. Realizamos los experimentos para enriquecer el sistema de TAE con chino y español, porque a pesar de que estas lenguas son dos de las más habladas del mundo, este par de idiomas sufre de escasez de datos paralelos. Además de los problemas causados por las palabras que no están incluidas en el corpus de entrenamiento, las diferencias de flexión morfológica entre este par de idiomas hace que la traducción sea de peor calidad cuando se dispone de pocos recursos paralelos. Los resultados obtenidos demuestran que, por un lado, con el método de expansión morfológica, el sistema de TAE logra una mejora de hasta + 0,61 BLEU en comparación con los resultados obtenidos con un sistema básico chino-español con poco corpus. Por otro lado, nuestro clasificador supervisado, que alcanza una F1 de 0,94, proporciona nuevos pares de traducción que resultan en una mejora de hasta +0,70 BLEU con respecto al sistema básico, demostrando que los errores del clasificador son, en último término, controlados por el sistema de TAE.
Keyword: 81; Aprendizaje automático; Bilingual lexicon induction; Expansión de vocabulario; Inducción de léxicos bilingües; Machine learning; Natural language processing; Phrase table expansion; Procesamiento del lenguaje natural; Statistical Machine translation; Traducción automática
URL: http://hdl.handle.net/10803/458530
BASE
Hide details
2
Towards the automatic classification of complex-type nominals
Romeo, Lauren; Mendes, Sara; Bel Rafecas, Núria. - : ACL (Association for Computational Linguistics)
BASE
Show details
3
First version (v1) of the integrated platform/nand documentation
BASE
Show details
4
A Classification of Adjectives for Polarity Lexicons Enhancement
Vázquez, Silvia; Bel Rafecas, Núria. - : ELRA (European Language Resources Association)
BASE
Show details
5
Criteria for evaluation of resources, technology and integration
BASE
Show details
6
PANACEA: The Platform
BASE
Show details
7
Third evaluation report. Evaluation of PANACEA v3 and produced resources
BASE
Show details
8
Architecture and design of the platform
BASE
Show details
9
Integrated Final Version of the Components for Lexical Acquisition
BASE
Show details
10
[PANACEA] Project final report
BASE
Show details
11
User’s Workshop: Technology transfer, papers produced and/ndissemination materials
BASE
Show details
12
Travelling Object definition for multilevel lexicon in PANACEA platform
BASE
Show details
13
PANACEA, Platform for Automatic, Normalized Annotation and Cost-Effective Acquisition of Language Resources for Human Language Technologies
BASE
Show details
14
Monolingual corpus acquired in five languages and two domains
BASE
Show details
15
Platform Software, Project Tools + Resources Licensing Policy and Exploitation Plan
BASE
Show details
16
Technologies and tools for corpus creation, normalization and annotation
BASE
Show details
17
PANACEA: PAROLE Association Workshop 18/19 Octobre 2012
BASE
Show details
18
PANACEA: Language Resource Factory. Data Available for free!
BASE
Show details
19
A Web Service-Based Platform for the Automatic Production of Language Resources
BASE
Show details
20
Third version (v4) of the integrated platform and documentation
BASE
Show details

Page: 1 2

Catalogues
0
0
0
0
0
0
0
Bibliographies
0
0
0
0
0
0
0
0
0
Linked Open Data catalogues
0
Online resources
0
0
0
0
Open access documents
33
0
0
0
0
© 2013 - 2024 Lin|gu|is|tik | Imprint | Privacy Policy | Datenschutzeinstellungen ändern