Aprendizaje multimodal en redes sociales para identificar diseminadores de odio
| Autor: | Álvarez de Miranda Rodríguez, José Ignacio |
|---|---|
| Přispěvatelé: | Huertas Tato, Javier |
| Jazyk: | Spanish; Castilian |
| Rok vydání: | 2022 |
| Předmět: | |
| Zdroj: | Archivo Digital UPM Universidad Politécnica de Madrid |
| Popis: | Las metodologías de detección de diseminación de odio en redes sociales online se basan en su mayoría en el análisis textual, ignorando otras fuentes de información como las imágenes o las conexiones entre usuarios de la red. En este Proyecto de Fin de Grado (PFG) se explora cómo integrar Procesado del lenguaje natural y teoría de grafos para detectar diseminadores de odio online. Combinando redes neuronales Transformer con redes de atención de grafos (GATs), la clasificación de estos usuarios problemáticos debería ser más robusta que utilizar exclusivamente texto o topología de red por separado. Se proponen dos arquitecturas multimodales para combinar ambas fuentes de información. En la primera el modelo Transformer genera una representación o embedding del texto que se pasa al GAT para que obtenga una predicción. En la segunda versión de la arquitectura, tanto Transformer como GAT aportan embeddings que se combinan para formar una representación multimodal de la información, a partir de la cual obtener las predicciones. Para comprobar empíricamente el rendimiento de estos sistemas se cuenta con datos históricos de Twitter etiquetados manualmente, a partir de los cuales se ha extraído un grafo con conexiones entre usuarios que se retweetean o mencionan entre sí. En dicha red se encuentran tanto usuarios diseminadores de odio como normales, que han escrito una serie de textos a lo largo del tiempo así como una descripción personal. El trabajo realizado consiste en una comparativa entre el rendimiento de los modelos a la hora de clasificar a los usuarios de dicha red. La experimentación ha probado que la primera arquitectura no es capaz de mejorar la calidad de los modelos unimodales, mientras que con la segunda se alcanzan valores F1 score de alrededor de 0.7. Abstract: Currently, the detection of hate speech in online social networks is mainly based on textual analysis, ignoring other sources of information such as images or connections between network users. In this Final Degree Project, we combine Natural Language Processing and graph theory to detect hateful disseminators in online social media. By combining Transformer neural networks with graph attention networks (GATs), the classification of these users should be more robust than using exclusively text or network topology separately. Two multimodal architectures are proposed to combine both information sources. In the first one, the Transformer model generates a representation or embedding of the text that is passed to the GAT model to obtain a prediction. In the second version of the architecture, both Transformer and GAT provide an embedding that is combined to form a multimodal representation of the information, from which the predictions are obtained. To empirically test the performance of these systems, we rely on manually labeled historical Twitter data, from which we have extracted a graph with connections between users who retweet or mention each other. In this network, there are both hateful and normal users, who have written a series of texts over time as well as personal descriptions. The work carried out consists of a comparison between the performance of the models in classifying the users of this network. Experimentation has proven that the first architecture is not able to improve the quality of the unimodal models, while with the second one F1 score values of around 0.7 are achieved. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|