| 1 |
Hate speech and offensive language detection using transfer learning approaches ; Détection du discours de haine et du langage offensant utilisant des approches de Transfer Learning
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-03276023 ; Document and Text Processing. Institut Polytechnique de Paris, 2021. English. ⟨NNT : 2021IPPAS007⟩ (2021)
|
|
Abstract:
The great promise of social media platforms (e.g., Twitter and Facebook) is to provide a safe place for users to communicate their opinions and share information. However, concerns are growing that they enable abusive behaviors, e.g., threatening or harassing other users, cyberbullying, hate speech, racial and sexual discrimination, as well. In this thesis, we focus on hate speech as one of the most concerning phenomenon in online social media.Given the high progression of online hate speech and its severe negative effects, institutions, social media platforms, and researchers have been trying to react as quickly as possible. The recent advancements in Natural Language Processing (NLP) and Machine Learning (ML) algorithms can be adapted to develop automatic methods for hate speech detection in this area.The aim of this thesis is to investigate the problem of hate speech and offensive language detection in social media, where we define hate speech as any communication criticizing a person or a group based on some characteristics, e.g., gender, sexual orientation, nationality, religion, race. We propose different approaches in which we adapt advanced Transfer Learning (TL) models and NLP techniques to detect hate speech and offensive content automatically, in a monolingual and multilingual fashion.In the first contribution, we only focus on English language. Firstly, we analyze user-generated textual content to gain a brief insight into the type of content by introducing a new framework being able to categorize contents in terms of topical similarity based on different features. Furthermore, using the Perspective API from Google, we measure and analyze the toxicity of the content. Secondly, we propose a TL approach for identification of hate speech by employing a combination of the unsupervised pre-trained model BERT (Bidirectional Encoder Representations from Transformers) and new supervised fine-tuning strategies. Finally, we investigate the effect of unintended bias in our pre-trained BERT based model and propose a new generalization mechanism in training data by reweighting samples and then changing the fine-tuning strategies in terms of the loss function to mitigate the racial bias propagated through the model. To evaluate the proposed models, we use two publicly available datasets from Twitter.In the second contribution, we consider a multilingual setting where we focus on low-resource languages in which there is no or few labeled data available. First, we present the first corpus of Persian offensive language consisting of 6k micro blog posts from Twitter to deal with offensive language detection in Persian as a low-resource language in this domain. After annotating the corpus, we perform extensive experiments to investigate the performance of transformer-based monolingual and multilingual pre-trained language models (e.g., ParsBERT, mBERT, XLM-R) in the downstream task. Furthermore, we propose an ensemble model to boost the performance of our model. Then, we expand our study into a cross-lingual few-shot learning problem, where we have a few labeled data in target language, and adapt a meta-learning based approach to address identification of hate speech and offensive language in low-resource languages. ; Une des promesses des plateformes de réseaux sociaux (comme Twitter et Facebook) est de fournir un endroit sûr pour que les utilisateurs puissent partager leurs opinions et des informations. Cependant, l’augmentation des comportements abusifs, comme le harcèlement en ligne ou la présence de discours de haine, est bien réelle. Dans cette thèse, nous nous concentrons sur le discours de haine, l'un des phénomènes les plus préoccupants concernant les réseaux sociaux.Compte tenu de sa forte progression et de ses graves effets négatifs, les institutions, les plateformes de réseaux sociaux et les chercheurs ont tenté de réagir le plus rapidement possible. Les progrès récents des algorithmes de traitement automatique du langage naturel (NLP) et d'apprentissage automatique (ML) peuvent être adaptés pour développer des méthodes automatiques de détection des discours de haine dans ce domaine.Le but de cette thèse est d'étudier le problème du discours de haine et de la détection des propos injurieux dans les réseaux sociaux. Nous proposons différentes approches dans lesquelles nous adaptons des modèles avancés d'apprentissage par transfert (TL) et des techniques de NLP pour détecter automatiquement les discours de haine et les contenus injurieux, de manière monolingue et multilingue.La première contribution concerne uniquement la langue anglaise. Tout d'abord, nous analysons le contenu textuel généré par les utilisateurs en introduisant un nouveau cadre capable de catégoriser le contenu en termes de similarité basée sur différentes caractéristiques. En outre, en utilisant l'API Perspective de Google, nous mesurons et analysons la « toxicité » du contenu. Ensuite, nous proposons une approche TL pour l'identification des discours de haine en utilisant une combinaison du modèle non supervisé pré-entraîné BERT (Bidirectional Encoder Representations from Transformers) et de nouvelles stratégies supervisées de réglage fin. Enfin, nous étudions l'effet du biais involontaire dans notre modèle pré-entraîné BERT et proposons un nouveau mécanisme de généralisation dans les données d'entraînement en repondérant les échantillons puis en changeant les stratégies de réglage fin en termes de fonction de perte pour atténuer le biais racial propagé par le modèle. Pour évaluer les modèles proposés, nous utilisons deux datasets publics provenant de Twitter.Dans la deuxième contribution, nous considérons un cadre multilingue où nous nous concentrons sur les langues à faibles ressources dans lesquelles il n'y a pas ou peu de données annotées disponibles. Tout d'abord, nous présentons le premier corpus de langage injurieux en persan, composé de 6 000 messages de micro-blogs provenant de Twitter, afin d'étudier la détection du langage injurieux. Après avoir annoté le corpus, nous réalisons étudions les performances des modèles de langages pré-entraînés monolingues et multilingues basés sur des transformeurs (par exemple, ParsBERT, mBERT, XLM-R) dans la tâche en aval. De plus, nous proposons un modèle d'ensemble pour améliorer la performance de notre modèle. Enfin, nous étendons notre étude à un problème d'apprentissage multilingue de type " few-shot ", où nous disposons de quelques données annotées dans la langue cible, et nous adaptons une approche basée sur le méta-apprentissage pour traiter l'identification des discours de haine et du langage injurieux dans les langues à faibles ressources.
|
|
Keyword:
[INFO.INFO-SI]Computer Science [cs]/Social and Information Networks [cs.SI]; [INFO.INFO-TT]Computer Science [cs]/Document and Text Processing; Apprentissage en profondeur; BERT; Classification interlinguistique des textes; Cross lingual text classification; Deep learning; Détection de discours de haine; Few-shot learning; Hate speech detection; Language modeling; Meta learning; Modélisation du langage; Réseaux sociaux; Social media; Transfer learning; Transfert d’apprentissage; XLM-RoBERTa
|
|
URL: https://tel.archives-ouvertes.fr/tel-03276023/document
https://tel.archives-ouvertes.fr/tel-03276023/file/120699_MOZAFARI_2021.pdf
https://tel.archives-ouvertes.fr/tel-03276023
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Visual question answering with modules and language modeling
|
|
|
|
BASE
|
|
Show details
|
|
|
| 3 |
Learning and time : on using memory and curricula for language understanding
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Contributions to the study of automatic speech recognitionon Fongbe ; Contributions à l'étude et à la reconnaissance automatique de la parole en Fongbe
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-01628455 ; Modélisation et simulation. Université du Littoral Côte d'Opale; Université d'Abomey-Calavi (Bénin), 2016. Français. ⟨NNT : 2016DUNK0452⟩ (2016)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
La subjectivité artificielle. Ébauche d'un programme de recherche
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-01137849 ; 2016 (2016)
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Acquiring sounds and meaning jointly in early word learning ; L’apprentissage simultané du son et du sens dans l’acquisition première de la language
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-01774596 ; Linguistics. Ecole normale supérieure - ENS PARIS, 2015. English. ⟨NNT : 2015ENSU0049⟩ (2015)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Représentation du langage et modèles d'évolution linguistique : la grammaticalisation comme perspective
|
|
|
|
In: ISSN: 1248-9433 ; EISSN: 1965-0906 ; Revue TAL ; https://halshs.archives-ouvertes.fr/halshs-01241353 ; Revue TAL, ATALA (Association pour le Traitement Automatique des Langues), 2015, 55 (3), pp.47-71 (2015)
|
|
BASE
|
|
Show details
|
|
|
| 8 |
Empirical methods and statistical modeling of speech ; Approches empiriques et modélisation statistique de la parole
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00667961 ; Interface homme-machine [cs.HC]. Université Paris Sud - Paris XI, 2011 (2011)
|
|
BASE
|
|
Show details
|
|
|
| 9 |
Toward a multi-level statistical language modeling for under-resourced language ; Vers une modélisation statistique multi-niveau du langage, application aux langues peu dotées
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00646236 ; Informatique et langage [cs.CL]. Université de Grenoble, 2010. Français (2010)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Accents régionaux en français : perception, analyse et modélisation à partir de grands corpus
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00617248 ; Informatique [cs]. Université Paris Sud - Paris XI, 2009. Français (2009)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Économie symbolique et phylogenèse du langage
|
|
|
|
In: ISSN: 0439-4216 ; EISSN: 1953-8103 ; L'Homme - Revue française d'anthropologie ; https://halshs.archives-ouvertes.fr/halshs-00325054 ; L'Homme - Revue française d'anthropologie, Éditions de l'EHESS 2009, 192, pp.67-100 (2009)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Synergie des approches et des ressources déployées pour le traitement de l'écrit
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00482893 ; Sciences de l'ingénieur [physics]. Université de Nantes, 2007 (2007)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Integration of linguistic knowledge for the recognition of on-line handwritten texts ; Intégration de connaissances linguistiques pour la reconnaissance de textes manuscrits en-ligne
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00580623 ; Interface homme-machine [cs.HC]. INSA de Rennes, 2007. Français (2007)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Automatic Speech Recognition for Under-Ressourced Languages ; Reconnaissance automatique de la parole pour des langues peu dotées
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00081061 ; Interface homme-machine [cs.HC]. Université Joseph-Fourier - Grenoble I, 2006. Français (2006)
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Une grammaire multilingue partagée pour la traduction automatique de la parole
|
|
|
|
In: Proceedings of Traitement Automatique des Langues Naturelles (TALN) (2006) (2006)
|
|
BASE
|
|
Show details
|
|
|
| 16 |
Bottom-up methods for Knowledge Engineering ; Méthodes ascendantes pour l'ingénierie des connaissances
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-00089165 ; Informatique. Université Paul Sabatier - Toulouse III, 2005 (2005)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
ABISPA: Apprentissage Bayésien Intersensoriel de Structures Phonologiques par un Androïde bébé
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-00003661 ; 2005 (2005)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
Trois modèles informatiques pour l'émergence du langage
|
|
|
|
In: Aux origines des langues et du langage ; https://halshs.archives-ouvertes.fr/halshs-00009730 ; Jean-Marie Hombert. Aux origines des langues et du langage, Fayard, pp.232-235, 2005 (2005)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
Une nouvelle approche de modélisation du langage par des réseaux Bayésiens dynamiques
|
|
|
|
In: XXVes Journées d'Etudes sur la Parole - JEP-TALN-RECITAL 2004 ; https://hal.inria.fr/inria-00107785 ; XXVes Journées d'Etudes sur la Parole - JEP-TALN-RECITAL 2004, 2004, Fès, Maroc (2004)
|
|
BASE
|
|
Show details
|
|
|
| 20 |
Language modeling using dynamic Bayesian networks
|
|
|
|
In: 4th International Conference on Language Resources and Evaluation - LREC 2004 ; https://hal.inria.fr/inria-00107786 ; 4th International Conference on Language Resources and Evaluation - LREC 2004, 2004, Lisbonne, Portugal (2004)
|
|
BASE
|
|
Show details
|
|
|
|
|
