El reto de detectar el lenguaje que incita al odio
ÚLTIMA ACTUALIZACIÓN 19 ENE. 2022
El lenguaje que incita al odio es especialmente difÃcil de detectar, tanto por parte de la tecnologÃa como de los equipos de revisión manual. Las expresiones y los matices varÃan mucho entre culturas, idiomas y regiones. Además, las personas a veces comparten palabras que normalmente se considerarÃan lenguaje que incita al odio, pero las emplean para concienciar sobre el problema o a modo de autorreferencia en un esfuerzo por hacer suyo el término.
Estos retos son únicamente los que plantea la detección de lenguaje que incita al odio en textos, pero una gran parte de este lenguaje que detectamos en Facebook e Instagram aparece en fotos o vÃdeos. Por ejemplo, un meme podrÃa usar texto e imágenes para atacar a un grupo de gente en concreto. Este es un reto aún más desafiante para la tecnologÃa.
Este tipo de contenido es más complicado de identificar cuando las personas lo modifican para intentar eludir los sistemas de detección. Por ejemplo, pueden escribir palabras incorrectamente, evitar determinadas frases o modificar las imágenes y los vÃdeos.
Progreso en cuanto al uso de inteligencia artificial para detectar el lenguaje que incita al odio
A lo largo de los últimos años, hemos ido mejorando nuestras herramientas de detección de lenguaje que incita al odio, por lo que ahora eliminamos gran parte de este contenido antes de que alguien lo denuncie y, en algunos casos, antes de que nadie lo vea.
Usamos inteligencia artificial para identificar texto e imágenes que sean idénticos al contenido que ya hayamos eliminado por considerarlo lenguaje que incita al odio. Nuestra tecnologÃa también analiza las reacciones y los comentarios para evaluar la similitud de un contenido.
Estas técnicas permiten que nuestra tecnologÃa detecte con mayor precisión este tipo de lenguaje, incluso cuando el significado no es tan evidente o el contenido se ha modificado para evitar que se detecte.
Lee un análisis detallado en el blog de Facebook AI.