Categorizing Misogynistic Behaviours in Italian, English and Spanish Tweets

Abstract

espanolLa misoginia es un fenomeno con multiples facetas y puede manifestarse linguisticamente de muchas formas. Las campanas de evaluacion de EVALITA e IberEval en 2018 propusieron una tarea compartida de Identificacion Automatica de Misoginia (AMI) basada en tweets en italiano, ingles y espanol. Dado que los resultados de los equipos participantes fueron bastante bajos en la categorizacion del comportamiento misogino, el objetivo de este estudio es investigar las posibles causas. Medimos el solape y la homogeneidad de los clusteres variando el numero de categorias. Este experimento mostro que los grupos se solapan. Finalmente probamos varios modelos de aprendizaje automatico utilizando los conjuntos de datos originales y fusionando algunas categorias de acuerdo con consideraciones basadas en medidas de similitud y las matrices de confusion de los modelos, obteniendo un aumento de la F1 macro. EnglishMisogyny is a multifaceted phenomenon and can be linguistically manifested in numerous ways. The evaluation campaigns of EVALITA and IberEval in 2018 proposed a shared task of Automatic Misogyny Identification (AMI) based on Italian, English and Spanish tweets. Since the participating teams' results were pretty low in the misogynistic behaviour categorization, the aim of this study is to investigate the possible causes. We measured the overlap and the homogeneity of the clusters by varying the number of categories. This experiment showed that the clusters overlap. Finally, we tested several machine learning models both using the original data sets and merging together some categories according to their overlap, obtaining an increase in terms of macro F1.