Le sfide da affrontare per rilevare i contenuti che incitano all'odio
AGGIORNATO 19 GEN 2022
L'incitamento all'odio è particolarmente difficile da identificare sia per la nostra tecnologia che per i team di addetti al controllo. Le espressioni idiomatiche e le sfumature di significato variano notevolmente tra culture, lingue e aree geografiche. Inoltre, in alcuni casi gli utenti condividono delle parole che normalmente verrebbero considerate dei discorsi di incitamento all'odio con l'intento di sensibilizzare il prossimo in merito a un problema o in modo auto-referenziale nel tentativo di rivendicare il termine.
Queste sono le sfide che dobbiamo affrontare per rilevare questo tipo di contenuti nei testi. Tuttavia, molti dei discorsi di incitamento all'odio su Facebook e Instagram sono legati a foto o video. Ad esempio, un meme potrebbe utilizzare una combinazione di testo e immagini per attaccare uno specifico gruppo di persone. Ciò rappresenta una maggiore sfida per la tecnologia.
Analizzare materiali di questo tipo diventa ancora più complicato quando le persone cercano di evitarne l'individuazione cambiando il contenuto. Ad esempio, alcuni utenti inseriscono errori ortografici di proposito, altri non utilizzano determinate parole o modificano le immagini e i video.
Progressi nell'utilizzo dell'intelligenza artificiale per l'individuazione dei discorsi di incitamento all'odio
Abbiamo migliorato gli strumenti che ci aiutano a rilevare i discorsi di incitamento all'odio e adesso rimuoviamo molti di questi contenuti prima che vengano segnalati e, in alcuni casi, prima che vengano visualizzati dagli utenti.
Utilizziamo l'IA per identificare le immagini e i testi analoghi ai contenuti che abbiamo già rimosso in quanto volti a incitare l'odio. La nostra tecnologia tiene conto anche delle reazioni e dei commenti per valutare le somiglianze tra i post.
Queste tecniche aiutano la nostra tecnologia a rilevare in modo più accurato i discorsi di incitamento all'odio, anche quando il significato non è palese o il contenuto è stato modificato per evitarne l'individuazione.
Leggi un'analisi dettagliata sul blog di Facebook AI