El desafío de detectar el lenguaje que incita al odio
ÚLTIMA ACTUALIZACIÓN 19 ENE. 2022
El lenguaje que incita al odio es especialmente difícil de detectar, tanto para la tecnología como para los equipos de revisión manual. Las expresiones y los matices varían ampliamente según las culturas, los idiomas y las regiones. Asimismo, las personas en ocasiones comparten palabras que normalmente se considerarían lenguaje que incita al odio, pero para dar a conocer el problema o a modo autorreferencial en un esfuerzo por reivindicar el término.
Estos desafíos son solo los que supone detectar lenguaje que incita al odio en textos. Mucho de este lenguaje que detectamos en Facebook e Instagram aparece en fotos o videos. Por ejemplo, un meme podría usar texto e imágenes para atacar a un grupo de personas en particular. Este es un desafío aún más importante para la tecnología.
Este tipo de contenido se vuelve más complicado de identificar cuando las personas lo modifican para intentar eludir los sistemas de detección. Por ejemplo, pueden escribir palabras incorrectamente, evitar ciertas frases o modificar las imágenes y los videos.
Progreso en cuanto al uso de inteligencia artificial para detectar el lenguaje que incita al odio
Mejoramos nuestras herramientas de detección de lenguaje que incita al odio, por lo que ahora eliminamos gran parte de este contenido antes de que se reporte y, en algunos casos, antes de que alguien lo vea.
Usamos inteligencia artificial para identificar texto e imágenes que sean idénticos al contenido que ya eliminamos por considerarse lenguaje que incita al odio. Nuestra tecnología también analiza las reacciones y los comentarios para evaluar la similitud de un contenido.
Estas técnicas permiten que nuestra tecnología detecte con mayor precisión este tipo de lenguaje, incluso cuando el significado no es tan evidente o el contenido se modificó para evitar que se detecte.
Lee un análisis detallado en el blog sobre inteligencia artificial de Facebook AI