Herausforderungen bei der Erkennung von Hassrede

AKTUALISIERT 19.01.2022
Hassrede ist für Technologie und menschliche Review-Teams besonders schwer zu erkennen. Redewendungen, Ausdrücke und Nuancen variieren stark je nach Kultur, Sprache und Region. Außerdem verwenden Menschen manchmal Begriffe, die normalerweise Hassrede darstellen, aber sie tun es, um auf das Problem aufmerksam zu machen, oder sie bezeichnen damit sich selbst, um den Begriff „zurückzuerobern“.
Diese Schwierigkeiten begegnen uns bereits bei der Erkennung von Hassrede in Text. Viele Fälle von Hassrede, die wir auf Facebook und Instagram finden, sind jedoch in Fotos oder Videos zu sehen. Ein Meme etwa kann mit einer Kombination aus Text und Bildern eine bestimmte Personengruppe angreifen. Dies stellt eine noch größere Schwierigkeit für die Technologie dar.
hate-speech-image
Wenn Nutzer*innen versuchen, die Erkennungsmechanismen durch Ändern ihres Contents zu umgehen, werden Inhalte wie diese umso komplizierter. Beispielsweise bauen sie Rechtschreibfehler ein, vermeiden bestimmte Ausdrücke oder modifizieren ihre Bilder und Videos.
Fortschritte beim Einsatz von künstlicher Intelligenz zur Erkennung von Hassrede
Wir haben unsere Tools zur Erkennung von Hassrede in den letzten Jahren weiter verbessert und entfernen nun einen Großteil dieser Inhalte, noch bevor sie gemeldet werden – und in einigen Fällen, bevor sie überhaupt jemand zu Gesicht bekommt.
Wir verwenden KI, um Bilder und Texte zu identifizieren, die mit Inhalten übereinstimmen, die wir bereits als Hassrede entfernt haben. Unsere Technologie berücksichtigt auch Reaktionen und Kommentare, um zu bewerten, wie ähnlich sich Inhalte sind.
Dank dieser Methoden kann unsere Technologie Hassrede selbst dann präziser erkennen, wenn die Bedeutung nicht offensichtlich ist oder der Inhalt geändert wurde, um einer Erkennung zu entgehen.
Im Facebook AI-Blog findest du eine umfassende Analyse