Genaue Überprüfung von Inhalten mit großer Wirkung über unser Gegenprüfungssystem
AKTUALISIERT 12.11.2024
Am 6. Dezember 2022 hat das Oversight Board seine beratende Stellungnahme zu den Gegenprüfungsrichtlinien von Meta veröffentlicht. Um die verschiedenen Empfehlungen zu berücksichtigen, haben wir mit dem Oversight Board vereinbart, diese Empfehlungen innerhalb von 90 Tagen durchzusehen und zu beantworten. Weitere Informationen zum Gegenprüfungssystem findest du in unserem Transparency Center-Beitrag.
Überblick über die Gegenprüfung
Facebook- und Instagram-Nutzer*innen erstellen jeden Tag Milliarden von Inhalten. Die Moderation von Inhalten in dieser Größenordnung ist mit Herausforderungen verbunden, einschließlich Kompromissen zwischen wichtigen Werten und Zielen. Wir bemühen uns, potenziell unzulässige Inhalte schnell zu überprüfen und sie zu entfernen, wenn sie gegen unsere Richtlinien verstoßen. Wir müssen dieses Ziel jedoch gegen das Risiko von „False Positives“ (Falsch-Positiv-Risiko, also irrtümliche Entfernung von Inhalten, die nicht gegen die Richtlinien verstoßen) abwägen, um das Mitspracherecht der Nutzer*innen zu schützen. (Hier beziehen wir uns auf die „Entfernung“ von Inhalten, die wir zur Beschreibung von Integritätsmaßnahmen im Allgemeinen verwenden. Dazu können beispielsweise auch die Verwendung von Warnmeldungen oder die Entfernung von Seiten gehören).
Um diese Überlegungen in Einklang zu bringen, hat Meta das Gegenprüfungssystem eingeführt. Mit ihm sollen Inhalte identifiziert werden, bei denen das Falsch-Positiv-Risiko, also das Risiko für Falschmeldungen, erhöht ist. Durch zusätzliche Überprüfungsebenen möchten wir dieses Risiko mindern. Die Gegenprüfung bietet zusätzliche Überprüfungsebenen für bestimmte Inhalte, die von unseren internen Systemen als Verstoß eingestuft werden (durch Automatisierung oder manuelle Überprüfung). Ziel ist es, die Moderationsfehler mit dem höchsten Falsch-Positiv-Risiko zu vermeiden oder zu minimieren, die andernfalls auftreten können, etwa weil Nuancen oder Kontext nicht richtig verstanden werden. (Hier beziehen wir uns auf „Inhalte“, die durch unser Gegenprüfungssystem überprüft werden. Wir verwenden die Gegenprüfung auch, um andere Aktionen wie das Entfernen einer Seite oder eines Profils zu überprüfen). Auch wenn das Gegenprüfungssystem zusätzliche Überprüfungsebenen bietet, wenden die Prüfer*innen dieselben Gemeinschaftsstandards an, die auch für alle anderen Inhalte auf Facebook oder Instagram gelten.
Das Gegenprüfungssystem spielt eine entscheidende Rolle für den Schutz der Menschenrechte. Es umfasst zum Beispiel Inhalte und Beiträge von Journalist*innen, die aus Konfliktgebieten berichten, und von Community-Leader*innen, die auf Fälle von Hass oder Gewalt aufmerksam machen. Prüfungen zur Gegenprüfung berücksichtigen den Kontext, was für den richtigen Umgang mit dem betreffenden Inhalt hilfreich ist. Prüfungen zur Gegenprüfung können auch für politische Entitäten gelten, bei denen die Nutzer*innen ein gesteigertes Interesse daran haben, zu sehen, was ihre führenden Persönlichkeiten sagen.
Darüber hinaus spielt die Gegenprüfung eine wichtige Rolle bei der Verwaltung der Beziehungen von Meta zu vielen unserer Geschäftspartner. Wenn beispielsweise Inhalte, die von einer Seite oder einem Profil mit einer großen Fangemeinde gepostet wurden, fälschlicherweise entfernt werden, kann dies sowohl für die Geschäftspartner von Meta als auch für die große Anzahl von Nutzer*innen, die ihnen folgen, zu negativen Erfahrungen führen. Wir wenden die Gegenprüfung auch auf einige sehr große Gruppen an, bei denen sich ein Fehler auf Hunderttausende oder Millionen von Nutzer*innen auswirken kann. Die Gegenprüfung befreit die Geschäftspartner oder Gruppen von Meta nicht von unseren Inhaltsrichtlinien, bietet aber manchmal zusätzliche Überprüfungsebenen, um sicherzustellen, dass diese Richtlinien korrekt angewendet werden.
Facebook- und Instagram-Nutzer*innen posten jeden Tag Milliarden von Beiträgen. Selbst mit Tausenden von engagierten Prüfer*innen auf der ganzen Welt ist es nicht möglich, jeden Inhalt, der möglicherweise gegen unsere Gemeinschaftsstandards verstößt, manuell zu prüfen. Die überwiegende Mehrheit der unzulässigen Inhalte, die wir entfernen, wird von unserer Technologie proaktiv erkannt, bevor jemand sie meldet. Wenn jemand etwas auf Facebook oder Instagram postet, überprüft unsere Technologie, ob der Inhalt möglicherweise gegen die Gemeinschaftsstandards verstößt. In vielen Fällen ist die Identifizierung solcher Inhalte einfach. Entweder verstößt ein Beitrag eindeutig gegen unsere Richtlinien oder nicht. In anderen Fällen wird der Inhalt an eine*n menschliche*n Prüfer*in zur weiteren Bewertung weitergeleitet.
Unsere primären Überprüfungssysteme setzen Technologie ein, um Inhalte mit hohem Gefährdungsgrad zu priorisieren, beispielsweise „virale“ Inhalte, die sich schnell verbreiten. Wenn die Systeme Inhalte zur Eskalation kennzeichnen, treffen unsere Prüfer*innen schwierige und oft differenzierte Entscheidungen darüber, ob die Inhalte auf der Plattform bleiben sollten. Auch wenn wir immer bestrebt sind, die richtigen Entscheidungen zu treffen, sind wir uns bewusst, dass es zu Falschmeldungen kommen kann. In solchen Fällen sollen Inhalte entfernt werden, weil sie angeblich gegen die Richtlinien von Meta verstoßen, obwohl dies nicht der Fall ist. Meta hat daher in Vermeidung dieser Fehler investiert. Falschmeldungen sollen näher überprüft und somit minimiert werden. Das Gegenprüfungsverfahren ist eine dieser Strategien zur Fehlervermeidung.
Mithilfe des Gegenprüfungssystems werden Durchsetzungsentscheidungen genau und mit zusätzlichen Überprüfungen durch Mitarbeiter*innen getroffen. Wenn ein*e Prüfer*in bei der Gegenprüfung bestätigt, dass ein Inhalt gegen unsere Gemeinschaftsstandards verstößt, setzen wir diese Richtlinien durch und gehen entsprechend gegen den unzulässigen Inhalt vor. Je nach Komplexität des Inhalts können wir mehrere Prüfungsstufen anwenden, in seltenen Fällen auch eine Prüfung durch die Unternehmensführung. Wenn der*die letzte Prüfer*in feststellt, dass der fragliche Inhalt nicht gegen unsere Gemeinschaftsstandards verstößt, kann der*die Prüfer*in die ursprüngliche Maßnahme „aufheben“ und den Inhalt auf der Plattform belassen.
Frühere Methoden zur Gegenprüfung
Wir haben das System, das heute als Gegenprüfung bekannt ist, erstmals im Jahr 2013 eingeführt. Die Details des Systems haben sich im Laufe der Jahre weiterentwickelt, und wir haben, soweit möglich, Daten und Datumsbereiche angegeben, um zu erklären, wann diese Änderungen vorgenommen wurden.
Um zu bestimmen, welche Inhalte oder Entitäten einer Gegenprüfung unterzogen werden, haben unsere Teams Listen von Nutzer*innen oder Entitäten ermittelt und zusammengestellt, bei denen ein höheres Risiko für fälschlicherweise ergriffene Maßnahmen besteht. „Falsch-Positiv-Risiko“ bezieht sich auf das Risiko einer falschen Durchsetzung gegen Inhalte oder Entitäten, die nicht gegen unsere Gemeinschaftsstandards verstoßen. Um festzustellen, welche Nutzer*innen und Entitäten ein höheres Falsch-Positiv-Risiko aufweisen, haben unsere Teams eine Reihe von Kriterien angewandt, darunter die Art des*der Nutzer*in oder der Entität (z. B. Regierungsbeamte*r, Journalist*in, wichtige*r Geschäftspartner*in, Menschenrechtsorganisation), die Anzahl der Follower*innen und das Thema der Entität. (Entität ist ein allgemeiner Begriff für den Ort, an dem Inhalte entstehen oder erscheinen können, z. B. ein Nutzer*innenkonto, eine Seite oder eine Gruppe).
Wenn Nutzer*innen oder Entitäten, die auf diesen Listen identifiziert wurden, Inhalte veröffentlichten oder Aktionen durchführten, die von unseren Systemen als potenzielle Verstöße gegen unsere Richtlinien eingestuft wurden, fügten wir den Inhalt oder die Entität einer Warteschlange zur Gegenprüfung hinzu.
Ab 2020 haben wir Änderungen vorgenommen, sodass die meisten Inhalte in der Warteschlange anhand eines Risikorahmens priorisiert wurden. Den Inhalten wurde ein Grad für das Falsch-Positiv-Risiko zugeordnet, das entstehen könnte, wenn Meta diese Inhalte fälschlicherweise entfernt. Dieser Risikorahmen stützte sich im Allgemeinen auf drei Faktoren: (1) die Sensibilität der Entität, (2) die Schwere des mutmaßlichen Verstoßes und (3) die Schwere der möglichen Durchsetzungsmaßnahmen.
Aktuelle Gegenprüfungsverfahren
Wie bei allen unseren Richtlinien und Verfahren suchen wir ständig nach Verbesserungsmöglichkeiten und nehmen laufend Änderungen vor. Zu Beginn dieses Jahres haben wir weitere Möglichkeiten zur Verbesserung des Gegenprüfungssystems ermittelt. Eine strukturelle Änderung, die wir vorgenommen haben, besteht darin, dass das Gegenprüfungssystem nun aus zwei Komponenten besteht: „General Secondary Review“ (Allgemeine Sekundärprüfung, GSR) und „Sensitive Entity Secondary Review“ (Sekundärprüfung für sensible Entitäten, SSR). Während wir weiterhin den oben beschriebenen listenbasierten Ansatz für die Aufnahme in den Sensitive Entity Secondary Review (SSR, Sekundärprüfung für sensible Entitäten) für einen Prozentsatz bestimmter Nutzer*innen und Entitäten verwenden werden, stellen wir derzeit bei der allgemeinen Sekundärprüfung sicher, dass Inhalte von allen Nutzer*innen und Entitäten auf Facebook und Instagram für eine Gegenprüfung auf der Grundlage eines dynamischen Priorisierungssystems namens „Cross-Check Ranker“ in Frage kommen.
An der allgemeinen Sekundärprüfung sind Vertragsprüfer*innen und Mitarbeiter*innen unseres Regions-Teams beteiligt, die eine Sekundärprüfung von Inhalten und Unternehmen durchführen, die möglicherweise gegen unsere Richtlinien verstoßen, bevor eine Durchsetzungsmaßnahme ergriffen wird. Bei dieser Überprüfung wird nicht allein anhand der Identität eines*einer Nutzer*in oder einer Entität bestimmt, welche Inhalte einer Gegenprüfung unterzogen werden. Der Cross-Check Ranker stuft Inhalte auf der Grundlage des Falsch-Positiv-Risikos ein und verwendet dabei Kriterien wie Themensensibilität (wie aktuell/sensibel das Thema ist), Durchsetzungsschwere (die Schwere der potenziellen Durchsetzungsmaßnahme), Falsch-Positiv-Wahrscheinlichkeit, prognostizierte Reichweite und Entitätssensibilität (die weitgehend auf den oben beschriebenen zusammengestellten Listen basiert). Der Cross-Check Ranker wird bereits heute für die meisten Cross-Check-Überprüfungen verwendet.
Die Sekundärprüfung für sensible Entitäten (SSR) ähnelt dem bisherigen Gegenprüfungssystem. Um zu bestimmen, welche Inhalte oder Entitäten eine Sekundärprüfung für sensible Entitäten (SSR) erhalten, führen wir weiterhin Listen von Nutzer*innen und Einrichtungen, bei denen die Durchsetzung einer zusätzlichen Gegenprüfung unterzogen wird, wenn sie als potenzieller Verstoß gegen die Gemeinschaftsstandards gekennzeichnet sind. Wir haben jedoch den Prozess der Zusammenstellung und Überarbeitung dieser Listen mit zusätzlichen Kontrollen versehen. Vor September 2020 hatten die meisten Mitarbeiter*innen die Möglichkeit, eine*n Nutzer*in oder eine Entität zur Gegenprüfungsliste hinzuzufügen. Nach September 2020 kann zwar jede*r Mitarbeiter*in beantragen, dass ein*e Nutzer*in oder eine Entität in die Gegenprüfungslisten aufgenommen wird, aber nur eine bestimmte Gruppe von Mitarbeiter*innen ist befugt, Ergänzungen zur Liste vorzunehmen.
Die Zuständigkeit für die SSR-Liste liegt derzeit bei unserer Global Operations-Organisation, die von unseren Legal- und Partnerships-Teams mit ihrem Fachwissen und ihrer Erfahrung unterstützt wird. Obwohl die Berichtsstruktur unseres Global Operations-Teams von Metas Public Policy-Team getrennt ist, wird das Public Policy-Team bei Gegenprüfungsentscheidungen konsultiert – wie auch in vielen anderen Bereichen der Inhaltsmoderation im Unternehmen. In diesen Fällen kann unser Operations-Team das Fachwissen des Public Policy-Teams von Meta in Kombination mit unseren regionalen Expert*innen und sprachunabhängigen Fachprüfer*innen nutzen, um lokale und kulturelle Perspektiven zu verbessern. Die getrennten Berichtsstrukturen tragen dazu bei, dass die Prüfung unabhängig von politischen oder wirtschaftlichen Einflüssen erfolgt. Um sicherzustellen, dass die Listen relevant und angemessen sind, haben wir einen sorgfältigen jährlichen Überprüfungsprozess entwickelt, um die Unternehmen auf den SSR-Listen auf ihre weitere Eignung hin zu überprüfen. Wir werden diesen Überprüfungsprozess im Laufe der Zeit auch weiter optimieren.
In den letzten Monaten hat Meta im Durchschnitt mehrere Tausend Aufträge pro Tag gegengeprüft, wobei ein Großteil davon in der allgemeinen Sekundärprüfung abgeschlossen wurde. (Im Vergleich zu den Millionen von Inhalten, die täglich wegen Verstößen gegen unsere Gemeinschaftsstandards gekennzeichnet und bearbeitet werden, ist dies ein kleiner Anteil). Die Sekundärprüfung für sensible Entitäten (SSR) macht derzeit die Minderheit dieser täglichen Überprüfungen aus. Wir gehen davon aus, dass sich die Zahl der Prüfungen für die Gegenprüfung aufgrund der Priorisierung der allgemeinen Sekundärprüfung bis Ende 2021 und bis ins Jahr 2022 weiter verschieben wird.
Wenn ein Inhalt von einer Person oder Entität stammt, die in die Sekundärprüfung für sensible Entitäten (SSR) einbezogen wird, wird er in der Regel zunächst vom Regionsteam geprüft. Das Eskalationsteam prüft dann, ob der Inhalt unzulässig ist. Wenn das Regionsteam zu dem Schluss kommt, dass der Inhalt nicht gegen unsere Richtlinien verstößt, wird das Eskalationsteam in der Regel keine Überprüfung vornehmen. Wenn ein Inhalt von einer Person oder Entität stammt, die vom Cross-Check Ranker als vorrangig eingestuft wurde, wird er in der Regel von Auftragnehmer*innen oder dem Regionsteam überprüft, es sei denn, es stehen zusätzliche Kapazitäten des Eskalationsteams zur Überprüfung zur Verfügung. Wie bei der herkömmlichen Gegenprüfung können sehr komplexe Fragen einer zusätzlichen Prüfung unterzogen werden, in seltenen Fällen auch durch die Unternehmensführung. Wenn bei der abschließenden Überprüfung festgestellt wird, dass der untersuchte Inhalt gegen unsere Gemeinschaftsstandards verstößt, entfernen wir ihn. Wenn unsere Überprüfungen ergeben, dass er nicht gegen die Richtlinien verstößt, geschieht nichts weiter.
Mit Stand vom 16. Oktober 2021 sind für etwa 660.000 Nutzer*innen und Entitäten Aktionen gemeldet, die aufgrund ihrer Aufnahme in die oben beschriebenen Listen eine Form der Sekundärprüfung für sensible Entitäten (SSR) erfordern. Diese Zahl ändert sich laufend, da sich die Kriterien für die Aufnahme in die oben beschriebenen Listen weiterentwickeln und wir basierend darauf Nutzer*innen und Entitäten hinzufügen oder entfernen. Beispiele für Nutzer*innen und Entitäten, die für eine Sekundärprüfung für sensible Entitäten (SSR) in Frage kommen, sind unter anderem:
- Entitäten im Zusammenhang mit Eskalationsantworten oder hochgradigen Risiken. Derzeit gibt es ein informelles Verfahren, bei dem die Teams sich auf ein Hochrisikoereignis vorbereiten und die Entitäten ermitteln, bei denen ein hohes Risiko einer übermäßigen Durchsetzung besteht. Wenn zum Beispiel der umstrittene Inhalt eines*einer Nutzer*in viral geht (z. B. ein Live-Video von Polizeigewalt), können wir diese*n Nutzer*in für eine Sekundärprüfung für sensible Entitäten (SSR) identifizieren, um eine irrtümliche Entfernung zu verhindern.
- Unternehmen, die aus rechtlichen Gründen aufgenommen wurden Wir nutzen die Sekundärprüfung für sensible Entitäten (SSR) in bestimmten Fällen, um rechtliche oder regulatorische Anforderungen zu erfüllen.
- Personen des öffentlichen Lebens und Publisher mit hoher Sichtbarkeit Wir identifizieren Entitäten für die Sekundärprüfung für sensible Entitäten (SSR), weil eine übermäßige Durchsetzung zu negativen Erfahrungen für ein großes Segment von Nutzer*innen führen kann.
- Randgruppen Wir identifizieren Menschenrechtsverteidiger*innen, politische Dissident*innen und andere Personen, von denen wir glauben, dass sie von staatlich geförderten oder anderen gegnerischen Schikanen, koordinierter Belästigung oder Massenberichterstattung betroffen sein könnten, um sie vor diesen Angriffen zu schützen.
- Zivilgesellschaftliche Organisationen Wir nutzen objektive Kriterien und das Fachwissen unserer regionalen Politikteams in der Region, um Politiker*innen, Regierungsbeamt*innen, Institutionen, Organisationen, Interessenvertretungen und zivilgesellschaftliche Einflussnehmer*innen zu identifizieren. Wir nehmen diese Entitäten in die Sekundärprüfung für sensible Entitäten (SSR) auf, um Fehler zu vermeiden, die zulässige politische Äußerungen einschränken und unbeabsichtigt die Diskussion über zivilgesellschaftliche Themen wie Wahlen, öffentliche Politik und soziale Fragen beeinflussen würden. Wir bemühen uns, die Gleichheit aller zivilgesellschaftlichen Entitäten eines Landes zu gewährleisten – wenn wir beispielsweise ein nationales Minister*innenkabinett in die Sekundärprüfung für sensible Entitäten (SSR) einbeziehen, würden wir alle Ministerien des entsprechenden Landes ebenfalls einbeziehen.
- Unternehmen Wir ermitteln hochwertige Werbetreibende und solche, bei denen eine übermäßige Durchsetzung vorgenommen wurde, um die Einnahmen zu schützen und langfristiges Vertrauen in unsere Plattform aufzubauen.
Derzeit prüfen wir, wie wir die Kriterien für die Identifizierung von Entitäten, die eine Sekundärprüfung für sensible Entitäten (SSR) erhalten sollten, verbessern können. So untersuchen wir beispielsweise die Weiterentwicklung unserer Kriterien in folgenden Bereichen: Anzahl der Follower*innen, Anzahl früherer falsch positiver Durchsetzungen, rechtliche/regulatorische Anforderungen sowie wichtige politische/gesellschaftliche Themen. Nutzer*innen können mithilfe dieses Formulars beantragen, dass sie nicht in die SSR-Liste aufgenommen werden. Meta bestätigt nicht, ob Nutzer*innen auf diesen Listen sind oder ob sie davon entfernt wurden. Nutzer*innenautonomie ist uns allerdings sehr wichtig und wir werden jede Anfrage so schnell wie möglich bearbeiten.
Zusätzlich zu den beiden Komponenten des Gegenprüfungssystems verfügen wir auch über ein internes System zur Fehlervermeidung, das Dynamic Multi Review (DMR, dynamische Mehrfachüberprüfung) genannt wird. Dabei handelt es sich um ein System, mit dem wir überprüfte Fälle zur erneuten Überprüfung zurückschicken können, um ein Mehrheitsvotum zu einer Entscheidung zu erhalten (wenn beispielsweise die Mehrheit der Prüfer*innen der Entscheidung zustimmt, wird der Fall geschlossen), sodass wir eine höhere Sicherheit für die Richtigkeit haben. Wir verwenden dieses System, um die Qualität und Genauigkeit des manuellen Reviews zu verbessern und das Risiko falscher Entscheidungen zu verringern, indem wir die Anzahl der Überprüfungen, die wir für eine endgültige Entscheidung benötigen, anhand verschiedener Faktoren anpassen, darunter Viralität, Anzahl der Aufrufe und Potenzial, in der realen Welt zu Schäden beizutragen (z. B. potenzielle Verstöße gegen unsere Richtlinien zu sexueller Ausbeutung oder gefährlichen Personen und Organisationen).
Zukünftige Maßnahmen für die Transparenz der Gegenprüfung
Als Reaktion auf die Entscheidung des Oversight Boards vom Dezember 2022 über die beratende Stellungnahme zur Gegenprüfungsrichtlinie haben wir uns außerdem zu einer Reihe von Transparenzmaßnahmen zur Fehlervermeidung verpflichtet. Diese Maßnahmen umfassen:
- Strukturierte und solide Zusammenarbeit mit unseren internen Menschen- und Bürger*innenrechtsteams, unseren vertrauenswürdigen Partner*innen und anderen externen zivilgesellschaftlichen Organisationen, um nach Möglichkeiten zu suchen, wie wir die Kriterien, die wir zur Identifizierung von Entitäten des öffentliches Interesses für die Gegenprüfungslisten verwenden, verbessern können.
- Prüfung eines formelleren Verfahrens zur Nominierung von globalen, regionalen und lokalen Bürger*innengruppen für die Gegenprüfungsliste.
- Investitionen in Qualitätsprüfungen und Schulungsressourcen, da wir dazu übergehen, alle Gegenprüfungsentscheidungen mit Prüfer*innen zu besetzen, die die jeweilige Sprache sprechen und nach Möglichkeit über regionale Fachkenntnisse verfügen.
- Implementierung robuster Service-Level-Agreements (SLAs) für Überprüfungsentscheidungen in allen unseren Systemen zur Fehlervermeidung, die es uns ermöglichen, unser derzeitiges Reviewer-Personalmodell zu optimieren, um eine schnellstmögliche Überprüfung in der jeweiligen Sprache zu ermöglichen.
Obwohl wir das Gegenprüfungssystem erheblich verbessert haben, suchen wir immer noch nach Möglichkeiten, um sicherzustellen, dass dieses System ein angemessenes Gleichgewicht zwischen zwei wichtigen Zielen hält: der Entfernung von Inhalten, die gegen unsere Gemeinschaftsstandards verstoßen, und der Minimierung von Fehlern bei der Durchsetzung, die die größten Auswirkungen haben.