Thèse de doctorat : « Détection de discours de haine et de langage offensant utilisant des approches de Transfer Learning »

L'Ecole Doctorale de l'Institut Polytechnique de Paris et le Laboratoire de recherche SAMOVAR - Services répartis, Architectures, MOdélisation, Validation, Administration des Réseaux présentent l’AVIS DE SOUTENANCE de Madame Marzieh MOZAFARI, autorisée à présenter ses travaux en vue de l’obtention du Doctorat de l'Institut Polytechnique de Paris, préparé à Télécom SudParis en : Informatique.

« Détection de discours de haine et de langage offensant utilisant des approches de Transfer Learning »

Le VENDREDI 28 MAI 2021 à 10h00 (Soutenance en visio - Covid-19), GoToMeeting platform

Membres du jury :

• M. Noel CRESPI, Professeur, Institut Polytechnique de Paris, Institut Mines-Télécom, Télécom SudParis, FRANCE - Directeur de thèse
• M. Reza FARAHBAKHSH, Maître de conférences, Institut Polytechnique de Paris, Institut Mines-Télécom, Télécom SudParis, FRANCE - Co-encadrant de thèse
• M. Christophe CERISARA, Chargé de recherche, CNRS - Laboratoire Lorrain d'Informatique et ses Applications (LORIA) laboratory, FRANCE - Examinateur
• Mme Elena CABRIO, Assistant professor, Université Côte d’Azur, FRANCE - Examinatrice
• M. Daqing ZHANG, Directeur d'études, Télécom SudParis, FRANCE - Examinateur
• Mme Gabriella PASI, Full professor, University of Milano-Bicocca, Department of Informatics, Systems, and Communication (DISCo), ITALIE - Rapporteur
• M. Ioan Marius BILASCO, Maître de conférences, Université de Lille, Faculty of Science and Technology, IT dept, FRANCE - Rapporteur

Résumé :

Une des promesses des plateformes de réseaux sociaux (comme Twitter et Facebook) est de fournir un endroit sûr pour que les utilisateurs puissent partager leurs opinions et des informations. Cependant, l’augmentation des comportements abusifs, comme le harcèlement en ligne ou la présence de discours de haine, est bien réelle.

Dans cette thèse, nous nous concentrons sur le discours de haine, l'un des phénomènes les plus préoccupants concernant les réseaux sociaux. Compte tenu de sa forte progression et de ses graves effets négatifs, les institutions, les plateformes de réseaux sociaux et les chercheurs ont tenté de réagir le plus rapidement possible. Les progrès récents des algorithmes de traitement automatique du langage naturel (NLP) et d'apprentissage automatique (ML) peuvent être adaptés pour développer des méthodes automatiques de détection des discours de haine dans ce domaine.

Le but de cette thèse est d'étudier le problème du discours de haine et de la détection des propos injurieux dans les réseaux sociaux. Nous proposons différentes approches dans lesquelles nous adaptons des modèles avancés d'apprentissage par transfert (TL) et des techniques de NLP pour détecter automatiquement les discours de haine et les contenus injurieux, de manière monolingue et multilingue.

La première contribution concerne uniquement la langue anglaise. Tout d'abord, nous analysons le contenu textuel généré par les utilisateurs en introduisant un nouveau cadre capable de catégoriser le contenu en termes de similarité basée sur différentes caractéristiques. En outre, en utilisant l'API Perspective de Google, nous mesurons et analysons la « toxicité » du contenu. Ensuite, nous proposons une approche TL pour l'identification des discours de haine en utilisant une combinaison du modèle non supervisé pré-entraîné BERT (Bidirectional Encoder Representations from Transformers) et de nouvelles stratégies supervisées de réglage fin.

Enfin, nous étudions l'effet du biais involontaire dans notre modèle pré-entraîné BERT et proposons un nouveau mécanisme de généralisation dans les données d'entraînement en repondérant les échantillons puis en changeant les stratégies de réglage fin en termes de fonction de perte pour atténuer le biais racial propagé par le modèle. Pour évaluer les modèles proposés, nous utilisons deux datasets publics provenant de Twitter.

Dans la deuxième contribution, nous considérons un cadre multilingue où nous nous concentrons sur les langues à faibles ressources dans lesquelles il n'y a pas ou peu de données annotées disponibles. Tout d'abord, nous présentons le premier corpus de langage injurieux en persan, composé de 6 000 messages de micro-blogs provenant de Twitter, afin d'étudier la détection du langage injurieux. Après avoir annoté le corpus, nous réalisons étudions les performances des modèles de langages pré-entraînés monolingues et multilingues basés sur des transformeurs (par exemple, ParsBERT, mBERT, XLM-R) dans la tâche en aval.

De plus, nous proposons un modèle d'ensemble pour améliorer la performance de notre modèle. Enfin, nous étendons notre étude à un problème d'apprentissage multilingue de type " few-shot ", où nous disposons de quelques données annotées dans la langue cible, et nous adaptons une approche basée sur le méta-apprentissage pour traiter l'identification des discours de haine et du langage injurieux dans les langues à faibles ressources.