| 1 |
Ein Überblick über die neuesten abstrakten Zusammenfassungstechniken ; A Survey of Recent Abstract Summarization Techniques ; Un aperçu des techniques récentes de résumé abstrait
|
|
|
|
In: Proceedings of Sixth International Congress on Information and Communication TechnologyICICT 2021, London, Volume 4Series: Lecture Notes in Networks and Systems, Vol. 217Yang, X.-S., Sherratt, S., Dey, N., Joshi, A. (Eds.) 2021 ; Proceedings of Sixth International Congress on Information and Communication Technology ICICT 2021, London, Volume 4, Series: Lecture Notes in Networks and Systems, Vol. 217. Springer Singapore, 2021 ; https://hal.archives-ouvertes.fr/hal-03216381 ; Proceedings of Sixth International Congress on Information and Communication Technology ICICT 2021, London, Volume 4, Series: Lecture Notes in Networks and Systems, Vol. 217. Springer Singapore, 2021, ICICT 2021, Feb 2021, London, United Kingdom ; https://www.waterstones.com/book/proceedings-of-sixth-international-congress-on-information-and-communication-technology/xin-she-yang/simon-sherratt/9789811621017 (2021)
|
|
Abstract:
International audience ; In diesem Artikel werden einige neuere abstrakte Zusammenfassungsmethoden vorgestellt: T5, Pegasus und ProphetNet. Wir implementieren die Systeme in zwei Sprachen: Englisch und Indonesisch. Wir untersuchen die Auswirkungen von Pre-Training-Modellen (ein T5, drei Pegasuses, drei ProphetNets) auf mehrere Wikipedia-Datensätze in englischer und indonesischer Sprache und vergleichen die Ergebnisse mit den Zusammenfassungen der Wikipedia-Systeme. Das T5-Large, das Pegasus-XSum und das ProphetNet-CNNDM bieten die beste Zusammenfassung. Die wichtigsten Faktoren, die die ROUGE-Leistung beeinflussen, sind Abdeckung, Dichte und Komprimierung. Je höher die Punktzahl, desto besser die Zusammenfassung. Weitere Faktoren, die die ROUGE-Werte beeinflussen, sind das Ziel vor dem Training, die Merkmale des Datensatzes, der Datensatz, der zum Testen des vorab trainierten Modells verwendet wird, und die mehrsprachige Funktion. Einige Vorschläge zur Verbesserung der Einschränkung dieses Dokuments sind: 1) Sicherstellen, dass der für das Modell vor dem Training verwendete Datensatz ausreichend groß sein muss und angemessene Instanzen für die Behandlung von mehrsprachigen Zwecken enthält; 2) Ein fortgeschrittener Prozess (Feinabstimmung) muss angemessen sein. Wir empfehlen, den großen Datensatz zu verwenden, der eine umfassende Abdeckung von Themen aus vielen Sprachen umfasst, bevor fortgeschrittene Prozesse wie das Train-Infer-Train-Verfahren zur Zero-Shot-Übersetzung in der Trainingsphase des Pre-Training-Modells implementiert werden. ; This paper surveys several recent abstract summarization methods: T5, Pegasus, and ProphetNet. We implement the systems in two languages: English and Indonesian languages. We investigate the impact of pre-training models (one T5, three Pegasuses, three ProphetNets) on several Wikipedia datasets in English and Indonesian language and compare the results to the Wikipedia systems' summaries. The T5-Large, the Pegasus-XSum, and the ProphetNet-CNNDM provide the best summarization. The most significant factors that influence ROUGE performance are coverage, density, and compression. The higher the scores, the better the summary. Other factors that influence the ROUGE scores are the pre-training goal, the dataset's characteristics, the dataset used for testing the pre-trained model, and the cross-lingual function. Several suggestions to improve this paper's limitation are: 1) assure that the dataset used for the pre-training model must sufficiently large, contains adequate instances for handling cross-lingual purpose; 2) Advanced process (finetuning) shall be reasonable. We recommend using the large dataset consists of comprehensive coverage of topics from many languages before implementing advanced processes such as the train-infer-train procedure to the zero-shot translation in the training stage of the pre-training model. ; Cet article examine plusieurs méthodes récentes de résumé des résumés: T5, Pegasus et ProphetNet. Nous implémentons les systèmes en deux langues: anglais et indonésien. Nous étudions l'impact des modèles de pré-formation (un T5, trois Pegasus, trois ProphetNets) sur plusieurs ensembles de données Wikipédia en anglais et en indonésien et comparons les résultats aux résumés des systèmes Wikipédia. Le T5-Large, le Pegasus-XSum et le ProphetNet-CNNDM fournissent le meilleur résumé. Les facteurs les plus importants qui influencent les performances de ROUGE sont la couverture, la densité et la compression. Plus les scores sont élevés, meilleur est le résumé. D'autres facteurs qui influencent les scores ROUGE sont l'objectif de pré-formation, les caractéristiques de l'ensemble de données, l'ensemble de données utilisé pour tester le modèle pré-entraîné et la fonction multilingue. Plusieurs suggestions pour améliorer les limites de cet article sont: 1) s'assurer que l'ensemble de données utilisé pour le modèle de pré-formation doit être suffisamment grand, contient des instances adéquates pour gérer l'objectif multilingue; 2) Le processus avancé (réglage fin) doit être raisonnable. Nous vous recommandons d'utiliser le grand ensemble de données qui consiste en une couverture complète de sujets dans de nombreuses langues avant de mettre en œuvre des processus avancés tels que la procédure train-infer-train à la traduction zéro-shot dans la phase de formation du modèle de pré-formation.
|
|
Keyword:
[INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI]; [INFO.INFO-IR]Computer Science [cs]/Information Retrieval [cs.IR]; abstract summarization; ACM: H.: Information Systems/H.3: INFORMATION STORAGE AND RETRIEVAL; ACM: H.: Information Systems/H.3: INFORMATION STORAGE AND RETRIEVAL/H.3.1: Content Analysis and Indexing/H.3.1.0: Abstracting methods; cross-lingual system; Pegasus; ProphetNet; T5; train-infer-train; Transformers
|
|
URL: https://hal.archives-ouvertes.fr/hal-03216381/document
https://hal.archives-ouvertes.fr/hal-03216381/file/2105.00824_DiyahPuspitaningrum_arXiv.pdf
https://hal.archives-ouvertes.fr/hal-03216381
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Extracting Absolute Spatial Entities from SMS : Comparing a Supervised and an Unsupervised Approach
|
|
|
|
In: CMC and Language, special issue in the Cahiers du Cental (UCL) ; https://hal.archives-ouvertes.fr/hal-01728717 ; CMC and Language, special issue in the Cahiers du Cental (UCL), 9, Presses universitaires de Louvain, pp.15-22, 2018, 978-2-87558-697-1. ⟨10.18167/DVN1/0ZGJRC⟩ (2018)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Data-Driven Identification of German Phrasal Compounds
|
|
|
|
In: Text, Speech, and Dialogue ; https://hal.archives-ouvertes.fr/hal-01575651 ; Kamil Ekštein; Václav Matoušek. Text, Speech, and Dialogue, 10415, Springer International Publishing, pp.192-200, 2017, Lecture Notes in Computer Science, 978-3-319-64205-5. ⟨10.1007/978-3-319-64206-2_22⟩ ; https://link.springer.com/bookseries/558 (2017)
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Die Korpusplattform des „Digitalen Wörterbuchs der deutschen Sprache“ (DWDS)
|
|
|
|
In: ISSN: 0301-3294 ; EISSN: 1613-0626 ; Zeitschrift für Germanistische Linguistik ; https://hal.archives-ouvertes.fr/hal-01575661 ; Zeitschrift für Germanistische Linguistik, De Gruyter, 2017, Zeitschrift für Germanistische Linguistik, 45 (2), pp.327-344. ⟨10.1515/zgl-2017-0017⟩ ; https://www.degruyter.com/view/j/zfgl.2017.45.issue-2/zgl-2017-0017/zgl-2017-0017.xml (2017)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Discriminating between Similar Languages using Weighted Subword Features
|
|
|
|
In: Fourth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2017) ; https://hal.archives-ouvertes.fr/hal-01575656 ; Fourth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2017), Association for Computational Linguistics (ACL), Apr 2017, Valence, Spain. pp.184-189, ⟨10.18653/v1/W17-1223⟩ ; http://ttg.uni-saarland.de/vardial2017/ (2017)
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Entity Recognition and Language Identification with FELTS
|
|
|
|
In: Working Notes of CLEF 2017 - Conference and Labs of the Evaluation Forum ; CLEF 2017 ; https://hal-univ-avignon.archives-ouvertes.fr/hal-02133508 ; CLEF 2017, Sep 2017, Dublin, Ireland (2017)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Towards a toolbox to map historical text collections
|
|
|
|
In: 11th Workshop on Geographic Information Retrieval (GIR'17) ; https://hal.archives-ouvertes.fr/hal-01654526 ; 11th Workshop on Geographic Information Retrieval (GIR'17), Nov 2017, Heidelberg, Germany. ⟨10.1145/3155902.3155905⟩ (2017)
|
|
BASE
|
|
Show details
|
|
|
| 8 |
An Unsupervised Morphological Criterion for Discriminating Similar Languages
|
|
|
|
In: 3rd Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2016) ; https://hal.archives-ouvertes.fr/hal-01575653 ; 3rd Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2016), Dec 2016, Osaka, Japan. pp.212-220 ; http://ttg.uni-saarland.de/vardial2016/ (2016)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Proceedings of the 7th Workshop on Computational Models of Narrative
|
|
|
|
In: 7th Workshop on Computational Models of Narrative (CMN 2016) ; https://hal.inria.fr/hal-01427217 ; 7th Workshop on Computational Models of Narrative (CMN 2016), Jul 2016, Cracovie, Poland. 53, 2016, OASICS, 978-3-95977-020-0 ; http://drops.dagstuhl.de/portals/oasics/index.php?semnr=16021 (2016)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Fouille de relations spatiales : Comment les descripteurs linguistiques caractérisent les relations entre entités spatiales
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-01728714 ; 2015 (2015)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Wissensbasierte lexikalische Substitution
|
|
Tas, Ilhan. - : Stuttgart, Germany, Universität Stuttgart, 2015
|
|
In: ftp://ftp.informatik.uni-stuttgart.de/pub/library/medoc.ustuttgart_fi/BCLR-2015-25/BCLR-2015-25.pdf (2015)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Wissensbasierte lexikalische Substitution
|
|
|
|
In: ftp://ftp.informatik.uni-stuttgart.de/pub/library/ncstrl.ustuttgart_fi/TR-2015-207/TR-2015-207.pdf (2015)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Vokabular-globale lexikalische Substitution in einem Vektorraummodell
|
|
Erkus, Burak. - : Stuttgart, Germany, Universität Stuttgart, 2015
|
|
In: ftp://ftp.informatik.uni-stuttgart.de/pub/library/medoc.ustuttgart_fi/BCLR-0175/BCLR-0175.pdf (2015)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Geocoding for texts with fine-grain toponyms: an experiment on a geoparsed hiking descriptions corpus
|
|
|
|
In: Proceedings of the 22th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems ; ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2014) ; https://hal.archives-ouvertes.fr/hal-01069625 ; ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2014), Nov 2014, Dallas, Texas, United States. ⟨10.1145/2666310.2666386⟩ (2014)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Language-classified Open Subtitles (LACLOS): Download, extraction, and quality assessment
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-01083746 ; [Research Report] BBAW. 2014 (2014)
|
|
BASE
|
|
Show details
|
|
|
| 16 |
The Good, the Bad, and the Hazy: Design Decisions in Web Corpus Construction
|
|
|
|
In: 8th Web as Corpus Workshop ; https://hal.archives-ouvertes.fr/hal-01091602 ; 8th Web as Corpus Workshop, ACL SIGWAC, Jul 2013, Lancaster, United Kingdom. pp.7-15 (2013)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
Large Scale Analysis of Changes in English Vocabulary over Recent Time
|
|
|
|
In: http://www.dl.kuis.kyoto-u.ac.jp/~adam/cikm12b.pdf (2012)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
Identifying entity aspects in microblog posts
|
|
|
|
In: http://ilps.science.uva.nl/sites/ilps.science.uva.nl/files/sigir2012-poster-aspects.pdf (2012)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
RDF Modelling and SPARQL Processing of SQL Abstract Syntax Trees
|
|
|
|
In: PSW - 1st Workshop on Programming the Semantic Web ; https://hal.inria.fr/hal-00759034 ; PSW - 1st Workshop on Programming the Semantic Web, Nov 2012, Boston, United States (2012)
|
|
BASE
|
|
Show details
|
|
|
| 20 |
DOI:10.1145/1458082.1458334 Decomposition of Terminology Graphs for Domain Knowledge Acquisition
|
|
|
|
In: http://hal.inria.fr/docs/00/63/60/39/PDF/cikm630-ibekwesanjuan.pdf (2011)
|
|
BASE
|
|
Show details
|
|
|
|
|
