Außerdem überprüfen wir fortlaufend unsere Richtlinien und Prozesse sowie die zugrunde liegende Methodik. Änderungen an einem dieser Elemente wirken sich unmittelbar auf die Berechnung der Kennzahlen aus. Diese Änderungen an der Methodik oder am Prozess können zusätzlich zu Trends auftreten, die darauf hindeuten, dass wir Verstöße besser oder schlechter unterbinden.
Informationsqualität, Aktualisierungen und Korrekturen
Wir überprüfen und validieren unsere Kennzahlen regelmäßig, um unsere Messverfahren zu verbessern. Wir haben auch eine Reihe von Standards definiert, die regeln, wie wir Anpassungen an zuvor veröffentlichten Daten identifizieren, korrigieren und öffentlich melden.
Wir ermitteln potenzielle Probleme mit unseren Daten, indem wir eine Reihe von regelmäßigen Qualitätsprüfungen für unsere Datensätze, Messlösungen und Protokollierungssysteme durchführen. Wenn ein potenzielles Problem erkannt wird, durchlaufen die zuständigen Teams bei Meta eine Reihe von Schritten, um das Problem zu untersuchen, seine Auswirkungen zu minimieren und eine dauerhafte Lösung dafür zu finden.
Sobald das Problem behoben ist, aktualisiert Meta die Daten im Bericht zur Durchsetzung der Gemeinschaftsstandards. Wo solche Korrekturen sinnvoll sind, beschreibt Meta das Problem, die betroffenen Kennzahlen und den betroffenen Zeitraum.
Warum wir Prozesse zur Informationsqualität entwickelt haben
Wir haben uns verpflichtet, unsere Kennzahlen sowie die Prozesse, die wir zu ihrer Berechnung und Verbesserung verwenden, auf transparente Weise zu veröffentlichen. Um die Freigabe von Anpassungen und Korrekturen an unseren Methoden und Kennzahlen zu optimieren und besser zu regeln, haben wir einen Prozess zur Informationsqualität entwickelt. Damit werden alle Anpassungen, die wir an zuvor freigegebenen Informationen vornehmen, identifiziert, korrigiert und öffentlich gemeldet. Dies ist eine gängige Praxis in großen Statistikagenturen und in öffentlichen Berichten von Bundesbehörden und wurde in Anlehnung an die Best Practices für die Meldung von Daten im öffentlichen und privaten Sektor entwickelt. Diese von uns entwickelten Überprüfungen und Verfahren werden entscheidend dafür sein, die Genauigkeit und Integrität unseres Reportings auch in Zukunft zu gewährleisten.
Wir überprüfen und validieren unsere Kennzahlen kontinuierlich, um sicherzustellen, dass die von uns geteilten Informationen korrekt sind und unsere Methoden zur Generierung dieser Daten fundiert sind. Wenn wir im Rahmen dieser Bemühungen unsere Methoden aktualisieren oder Kennzahlen anpassen, informieren wir hier über diese Änderungen.
Wie wir unsere Kennzahlen bewerten und verbessern
Wir optimieren kontinuierlich unsere Prozesse und Methoden, um aussagekräftige und präzise Zahlen zur Durchsetzung unserer Richtlinien zu liefern. Im Laufe des Sommers 2019 haben wir Prozesse zur Informationsqualität implementiert, die weitere Kontrollmechanismen schaffen, um sicherzustellen, dass wir stichhaltige und einheitliche Kennzahlen teilen.
Ermittlung von Prioritätsszenarien zur Bestätigung der Validität
Wir identifizieren verschiedene Dimensionen jeder Kennzahl und entwickeln eine Risikopriorisierung der Segmente, die die Kennzahlen erheblich beeinflussen könnten. Für die Segmente in dieser priorisierten Liste implementieren wir mehrere Prüfungen, um sicherzustellen, dass diese Segmente Informationen genau erfassen.
Wir schlüsseln beispielsweise unsere Kennzahlen zu Maßnahmen gegen Inhalte in mehrere Dimensionen auf, um sie zu überprüfen. Wir unterscheiden etwa Inhalte danach, ob unsere automatisierten Systeme oder Mitarbeiter*innen eine Maßnahme ergriffen haben, was uns zu der Maßnahme veranlasst hat und für welche Content-Art (Fotos, Text, Video) wir Maßnahmen ergriffen haben.
Anhand dieser verschiedenen Dimensionen bewerten wir dann, wie viel Verzerrung in unsere Messung einfließen würde, wenn diese Dimension nicht korrekt in der Kennzahl dargestellt würde (z. B. wenn wir Videoinhalte nicht in unsere Kennzahlen einbeziehen würden). Diese Bewertungen ermöglichen es uns, Dimensionen zu identifizieren, die sich auf die Kennzahl auswirken könnten (z. B. die Frage, ob Menschen Maßnahmen ergriffen haben).
Anschließend berechnen wir, wie stark die Kennzahl beeinträchtigt werden könnte, sollte diese Dimension falsch sein (z. B. wenn wir keinen der Inhalte protokollieren, gegen die Menschen Maßnahmen ergriffen haben). Danach priorisieren wir die größten Risikoszenarien, um zusätzliche Gegenprüfungen durchzuführen. Für diese risikoreichen Kombinationen entwickeln wir zusätzliche Tracking- und Gegenprüfsysteme, um sicherzustellen, dass diese Kennzahlen korrekt geschätzt werden.
Gültigkeits- und Konsistenzprüfungen
Wir haben außerdem Konsistenzprüfungen zur zusätzlichen Validierung unserer Kennzahlen implementiert. Hierzu gehören unter anderem folgende Prüfungen:
Konsistenzprüfungen
Wir messen unsere Maßnahmen regelmäßig mit einem separaten, unabhängigen System, das gegen Inhalte ergriffene Maßnahmen misst. Regelmäßig überprüfen wir diese verschiedenen unabhängigen Kennzahlen, die dazu dienen, erhebliche Fehler in unserer Buchhaltung zu identifizieren.
Prüfung und Debugging unserer Messtools
Wir führen eine Reihe von Stichproben durch, um die Genauigkeit unserer Messsysteme nahezu in Echtzeit zu überprüfen. Dazu gehört die Überprüfung verschiedener Ergebnisse, die später in unserem System passieren, um die vorgelagerten Ergebnisse gegenzuprüfen. Zum Beispiel bestätigen wir, dass für Inhalte, gegen die Einspruch erhoben wurde, auch protokolliert wurde, dass gegen sie Maßnahmen ergriffen worden sind, da es ohne Maßnahmen keinen Einspruch geben kann. Viele dieser Überprüfungen dienen dazu, grobe Fehler zu erkennen, z. B. Fälle, in denen gegen Inhalte Einspruch erhoben wurde, diese Inhalte dann aber nie entfernt wurden.
Wie bei allen Aspekten unserer Berichterstellung zur Durchsetzung von Standards gilt auch hier, dass wir unsere Prozesse zur Überprüfung der Gültigkeit und Konsistenz mit der Zeit weiterentwickeln und verbessern.
Interne Überprüfungs- und Korrekturverfahren
Wir haben außerdem Verfahren zur Identifizierung und Korrektur von Informationen eingeführt, die wir zuvor in unserem Bericht zur Durchsetzung veröffentlicht haben. Diese Verfahren werden wir regelmäßig überprüfen und aktualisieren. Wenn wir potenzielle Probleme bei den im Bericht zur Durchsetzung der Gemeinschaftsstandards geteilten Kennzahlen ermitteln, ergreifen wir die folgenden Schritte:
Berichterstellung: Sollten unsere Teams ein potenzielles Problem entdecken, erstellen sie umgehend einen Vorfall, um die zuständigen Teams zu informieren und eine Untersuchung des Problems zu ermöglichen.
Untersuchung und Behebung: Die entsprechenden Teams prüfen das potenzielle Problem und nehmen gegebenenfalls sofortige Änderungen vor, um weitere Konsistenzprobleme zu vermeiden. Außerdem entwickeln sie Lösungen, um das Problem in Zukunft zu vermeiden.
Problemabschätzung: Die entsprechenden Teams prüfen das potenzielle Problem und nehmen gegebenenfalls sofortige Änderungen vor, um weitere Konsistenzprobleme zu vermeiden. Außerdem entwickeln sie Lösungen, um das Problem in Zukunft zu vermeiden.
Post-mortem-Analyse des Vorfalls: Sobald das Problem behoben ist, führen wir eine detaillierte interne Untersuchung durch, um die Ursachen und sämtliche Auswirkungen des Problems zu ermitteln. Auf diese Weise können wir weitergehende Risiken für die Gültigkeit unserer Messungen identifizieren und anschließend verhindern oder minimieren.
Anpassungen beim Reporting
Sobald wir einen Fehler festgestellt und die betroffene Kennzahl angepasst haben, informieren wir die Öffentlichkeit über die Korrektur, indem wir diesen Beitrag aktualisieren. Dies erfolgt zum Zeitpunkt der Veröffentlichung des Berichts zur Durchsetzung der Gemeinschaftsstandards. In einem solchen Update beschreiben wir das Problem, die betroffenen Kennzahlen und den betroffenen Zeitraum. Die Daten für die zuvor betroffenen Quartale im Bericht zur Durchsetzung der Inhaltsstandards werden, sofern möglich, mit den angepassten Kennzahlen aktualisiert, damit aussagekräftige Vergleiche im Zeitverlauf möglich sind.
Input willkommen für die Erweiterung unserer Reporting-Kennzahlen
Neben unserer internen Arbeit zur Bewertung und Verbesserung unserer Kennzahlen berücksichtigen wir auch externe Anregungen für unsere Methodik. Außerdem erweitern wir die von uns gemeldeten Kennzahlen, um ein aussagekräftigeres Bild über unsere Richtliniendurchsetzung zu liefern.
Bewertung der Methodik und Input
Um sicherzustellen, dass unsere Methoden transparent sind und auf fundierten Prinzipien basieren, holen wir Analysen und Meinungen von Fachexpert*innen ein, z. B. zu der Frage, ob die von uns bereitgestellten Kennzahlen informativ sind.
Um sicherzustellen, dass unser Ansatz zur Messung der Durchsetzung von Inhalten aussagekräftig und präzise ist, haben wir mit der Data Transparency Advisory Group (DTAG) zusammengearbeitet. Dabei handelt es sich um eine externe Gruppe von internationalen akademischen Expert*innen in den Bereichen Messung, Statistik, Kriminologie und Governance. Im Mai 2019 veröffentlichten sie ihre unabhängige Einschätzung dazu, ob die Kennzahlen, die wir im Bericht zur Durchsetzung der Gemeinschaftsstandards teilen, präzise und aussagekräftige Maßstäbe liefern, anhand derer man ermitteln kann, wie wir unsere Richtlinien durchsetzen. Außerdem gingen sie auf die Herausforderungen ein, denen wir bei dieser Aufgabe gegenüberstehen, und erläuterten, wie wir diese angehen. Insgesamt kamen sie zu dem Schluss, dass unsere Kennzahlen angemessene Möglichkeiten sind, Verstöße zu messen, und dass sie im Einklang mit den Best Practices stehen. Außerdem haben sie uns eine Reihe von Empfehlungen an die Hand gegeben, wie wir unsere Arbeit noch transparenter machen können. Diese Empfehlungen haben wir ausführlich besprochen und werden sie weiter prüfen. Darüber hinaus hat sich Meta zu einem unabhängigen Audit der in diesem Bericht geteilten Kennzahlen im Jahr 2021 verpflichtet.