Le défi de la détection des discours haineux
MIS À JOUR 19 JANV. 2022
Les discours haineux sont particulièrement difficiles à détecter pour les équipes d’examinateurs et la technologie. Les expressions idiomatiques et les nuances varient considérablement selon les cultures, les langues et les régions. Par ailleurs, les utilisateurs et les utilisatrices partagent parfois des propos qui seraient normalement considérés comme des discours haineux afin de sensibiliser au problème ou de l’utiliser de manière autoréférentielle pour s’approprier le terme.
Et il ne s’agit là que de défis qui consistent à détecter les discours haineux dans les textes. De nombreux discours haineux présents sur Facebook et Instagram se trouvent dans des photos ou des vidéos. Par exemple, un mème peut utiliser du texte et des images pour attaquer un groupe de personnes en particulier. Ce défi est encore plus grand pour la technologie.
Ce type de contenus se complexifient lorsque les personnes tentent d’éviter leur détection en les modifiant. Elles peuvent par exemple mal écrire certains mots, éviter certaines phrases ou modifier leurs images et vidéos.
Progrès dans l’utilisation de l’intelligence artificielle pour détecter les discours haineux
Nous avons amélioré nos outils de détection des discours haineux ces dernières années, si bien que nous supprimons désormais une grande partie de ces contenus avant qu’ils soient signalés et, dans certains cas, avant que quelqu’un ne les voie.
Nous utilisons l’IA pour identifier les images et les textes identiques à des contenus que nous avons déjà supprimés en raison de leur caractère haineux. Notre technologie tient également compte des réactions et des commentaires pour évaluer le degré de similitude d’un contenu.
Ces techniques aident notre technologie à détecter plus précisément les discours haineux, même lorsque le sens n’est pas évident ou que le contenu est modifié pour éviter sa détection.
Consultez une analyse plus approfondie sur le blog Facebook AI.