Un detector de odio en tuits para frenar el discurso ofensivo

“No eres nadie, qué asco das”. Éste es uno de los tuits leídos en el Odiómetro, un medidor del odio en Twitter, que cuantifica cuántos tuits ofensivos por minuto se emiten en la red social en castellano, buscando coincidencias con insultos, descalificaciones y palabras malsonantes. Así, se emiten hasta unos 60 por minuto.

Dos personas usan la app Twitter en sus móviles.

Una ingente cascada de publicaciones diarias que hace imposible revisar cada comentario a mano. Por ello, el equipo de investigación SINAI de la Universidad de Jaén y el equipo de investigación TECNOMOD de la Universidad de Murcia proponen un modelo de identificación automática de discursos de odio destinado a frenar su dispersión.

El modelo combina el análisis de características lingüísticas con redes neuronales basadas en mecanismos de atención, llamadas Transformers. Éstas permiten saber cuáles son los significados que más influyen sobre una palabra en concreto, útil en casos de polisemia o anáfora. De esta forma, alcanza unos resultados cercanos al 90% de precisión. El desafío de esta herramienta de procesamiento del lenguaje natural es agilizar la detección del lenguaje ofensivo para evitar su propagación masiva.

Estudios anteriores apuntan que la presencia de estos mensajes de odio, dirigidos a dañar por motivos de raza, género, orientación sexual, nacionalidad o religión en las plataformas de redes sociales, se correlaciona con los delitos de odio en la vida real. “No es factible depender de la supervisión manual para detener estas palabras ofensivas. Por ello, queremos contribuir a la detección del discurso de odio en español con un modelo automático y preciso que sea más rápido”, incide la investigadora del Grupo Sistemas Inteligentes de Acceso a la Información (SINAI) de la Universidad de Jaén Salud María Jiménez Zafra, una de las autoras del estudio publicado en la revista Complex & Intelligent Systems.

Reconocer el odio de manera automática

Para que el ordenador ‘entienda’ textos escritos en lenguaje natural se requiere una codificación adecuada. Para ello, las palabras se traducen a modelos estadísticos que capturan diversas dimensiones del lenguaje. De esta forma, los investigadores incluyen 365 rasgos de interés organizados en distintas categorías como fonéticas, morfosintácticas, semánticas, pragmáticas, estilométricas o jerga de los medios sociales, extraídos de la herramienta UMUTextStats desarrollada por el grupo TECNOMOD de la Universidad de Murcia.

Así, se contabilizan verbos, pronombres, adverbios, frases hechas o marcadores del discurso. “En el caso específico del odio, se atiende a cuestiones relacionadas como el género, los errores ortográficos, términos inclusivos, la presencia de términos relacionados con animales (zorra, perra…) o palabras malsonantes”, comenta el catedrático de la Universidad de Murcia Rafael Valencia García.

Junto a estos métodos que atienden a la propia palabra, se entrenan redes neuronales, es decir, algoritmos que funcionan como lo hace el cerebro humano, que cuenta con áreas especializadas en ciertas tareas, y que van aprendiendo con la incorporación de nuevos datos. Sin embargo, los modelos resultantes suelen ser de caja negra, donde es difícil entender qué mecanismos han llevado al modelo a ver si un texto es un potencial discurso de odio o no. La principal contribución de las características lingüísticas es que mejora la interpretabilidad de los modelos, permitiendo a los expertos poder entenderlos mejor, mejorando su generalidad e identificando sesgos ocultos en ellos”, explica el investigador José Antonio García Díaz del grupo TECNOMOD de la Universidad de Murcia.

El resultado de esta combinación es un sistema para el idioma español más preciso, generalizable e interpretable. “Nuestra propuesta, basada en el uso de características lingüísticas y modelos del lenguaje, supera la precisión de estudios anteriores y alcanza el 90,4 % en algunos de los experimentos”, remarca el investigador del grupo SINAI de la Universidad de Jaén Miguel Ángel García Cumbreras.

Detección temprana

El equipo de investigación apunta que este modelo se plasmará en aplicaciones que indiquen de forma rápida si un mensaje contiene elementos de odio o no. Así, se agilizará el mecanismo de avisos en las plataformas de medios sociales para alertar sobre la presencia de elementos odiosos en los contenidos o el seguimiento de usuarios que viertan continuamente mensajes de odio.

La detección precoz supone una forma de evitar la rápida propagación: un cortafuegos a la diseminación y, por ende, a la permanencia del odio. Según el informe Addressing hate speech on social media: Contemporary challenges publicado en 2021 por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), la prevalencia del discurso de odio en las plataformas de redes sociales se determina mediante una muestra de contenido que los usuarios visualizan. Esto supone que solamente captura una estimación del discurso ofensivo que permanece en la plataforma después de que la empresa haya detectado y eliminado elementos de manera proactiva. Sólo una muestra. De ahí, que agilizar la detección del lenguaje ofensivo sea el primer paso para frenar su propagación masiva.

Más información en #CienciaDirecta: Desarrollan un método automático para detectar el discurso de odio en redes sociales