Beter worden in meten

BIJGEWERKT 19 JAN. 2022
We beoordelen voortdurend onze statistieken om te bepalen hoe we de manieren waarop we meten voor ons Handhavingsrapport voor de richtlijnen voor de community kunnen verbeteren.
We blijven ook ons beleid en de processen en methodologieën erachter ontwikkelen. Wijzigingen hierin veranderen inherent de berekeningen van de statistieken zelf. Deze methodologie- of proceswijzigingen kunnen een reactie zijn op trends die aangeven dat we beter of slechter worden in het beperken van schendingen.
Informatiekwaliteit, updates en correcties
Naarmate onze meetprocessen evolueren, beoordelen en valideren we onze statistieken regelmatig. We hebben ook een reeks richtlijnen opgesteld die bepalen hoe we aanpassingen aan eerder vrijgegeven gegevens identificeren, doorvoeren en openbaar rapporteren.
We identificeren potentiële problemen met onze gegevens door middel van een reeks regelmatige kwaliteitscontroles van onze gegevenssets, meetinstrumenten en registratiesystemen. Wanneer een mogelijk probleem wordt geïdentificeerd, ondernemen relevante teams bij Meta een reeks stappen om langetermijnoplossingen voor het probleem te ontwikkelen en door te voeren.
Nadat het probleem is verholpen, werkt Meta de gegevens in het Handhavingsrapport voor de richtlijnen voor de community bij. Als het om belangrijke correcties gaat, beschrijft Meta het probleem, de betrokken statistieken en de beïnvloede tijdsperioden.
Correcties en aanpassingen
Waarom we procedures voor informatiekwaliteit hebben ontwikkeld
We zetten ons in om onze statistieken en de processen die we gebruiken om deze te berekenen en te verbeteren op transparante wijze te delen. Om de vrijgave van aanpassingen en correcties in onze methodologieën en statistieken te stroomlijnen en beter te beheren, hebben we een procedure voor informatiekwaliteit ontwikkeld. Via die procedure worden aanpassingen die we doen in eerder vrijgegeven informatie geïdentificeerd, doorgevoerd en openbaar gerapporteerd. Dit is een gangbare praktijk bij grote statistische bureaus en openbare rapporten van overheidsinstanties en is ontwikkeld in overeenstemming met de best practices voor gegevensrapportage in zowel de openbare als particuliere sector. De beoordelingen en procedures die we hebben ontwikkeld zijn van cruciaal belang voor het behoud van de nauwkeurigheid en integriteit van onze rapportage in de toekomst.
We evalueren en valideren onze statistieken voortdurend om te verzekeren dat de informatie die we delen correct is en dat onze methodologieën om deze gegevens te genereren gedegen zijn. Als we als onderdeel van dit werk onze methodologieën bijwerken of statistieken aanpassen, delen we deze wijzigingen hier.
Hoe we onze statistieken evalueren en verbeteren
We verfijnen onze processen en methodologieën voortdurend om de nuttigste en nauwkeurigste cijfers te delen over onze handhaving van onze beleidsregels. In de zomer van 2019 hebben we processen voor informatiekwaliteit geïmplementeerd die aanvullende controles bevatten om te verzekeren zijn dat we geldige en consistente statistieken delen.
Prioriteitsscenario's vaststellen om geldigheid te valideren
We identificeren verschillende dimensies van elke statistiek en ontwikkelen een risicoprioritering van segmenten die de statistieken aanzienlijk kunnen beïnvloeden. Voor de segmenten in de geprioriteerde lijst voeren we meerdere controles uit om te verzekeren dat deze segmenten informatie nauwkeurig registreren.
We splitsen onze statistieken over content waarvoor actie is ondernomen bijvoorbeeld uit op meerdere dimensies om deze beter te kunnen beoordelen. Zo scheiden we content op basis van of onze geautomatiseerde systemen dan wel menselijke beoordelaars de actie hebben ondernomen, waarom we hebben besloten actie te ondernemen, en op welk type content (foto's, tekst, video) we actie hebben ondernomen.
Met deze verschillende dimensies beoordelen we vervolgens hoeveel afwijking in onze meting zou worden geïntroduceerd als die dimensie niet correct zou worden weerspiegeld in de statistiek (bijvoorbeeld als we geen videocontent in onze statistieken zouden opnemen). Deze beoordelingen stellen ons in staat dimensies vast te stellen die van invloed kunnen zijn op de statistiek (zoals de vraag of mensen de actie ondernamen).
Vervolgens zoeken we uit in welke mate de statistiek zou kunnen worden beïnvloed als die dimensie verkeerd is (bijvoorbeeld omdat we helemaal geen content hebben vastgelegd waarop mensen actie hebben ondernomen). Daarna prioriteren we de belangrijkste risicoscenario's om extra kruiscontroles uit te voeren. Voor deze combinaties met hoog risico ontwikkelen we extra tracking- en kruiscontrolesystemen om te verzekeren dat deze statistieken correct worden geschat.
Geldigheids- en consistentiecontroles
We hebben ook consistentiecontroles geïmplementeerd om meer validatieprocessen voor onze statistieken toe te voegen. Deze omvatten het volgende:
We meten onze acties regelmatig met een afzonderlijk onafhankelijk systeem dat contentacties meet. We controleren regelmatig deze diverse onafhankelijke statistieken die zijn bedoeld om grove fouten in onze boekhouding vast te stellen.
We voeren een reeks willekeurige steekproeven uit om de nauwkeurigheid van onze meetsystemen in vrijwel realtime te verifiëren. Dit omvat het controleren van verschillende uitkomsten verderop in ons systeem om daaruit voortvloeiende resultaten dubbel te controleren. We controleren bijvoorbeeld of aangevochten content ook wordt geregistreerd als content waarop actie is ondernomen, omdat actie moet worden ondernomen op content om deze aan te vechten. Veel van deze controles zijn bedoeld om grove fouten vast te stellen, zoals content die is aangevochten, maar nooit is verwijderd.
Zoals met alle aspecten van de rapportage van de handhaving van onze richtlijnen blijven we onze beoordelingsprocessen voor geldigheid en consistentie in de loop van de tijd ontwikkelen en verbeteren.
Interne beoordelings- en correctieprocedures
We hebben ook procedures ingesteld om ons handhavingsrapport regelmatig te controleren en bij te werken, zodat onjuiste informatie die we hebben gedeeld kan worden geïdentificeerd en gecorrigeerd. Wanneer we potentiële problemen identificeren in statistieken die zijn gedeeld in het Handhavingsrapport voor de richtlijnen voor de community, volgen we deze stappen:
  • Rapporteren. Als een potentieel probleem wordt ontdekt, dienen onze teams onmiddellijk een incidentrapport om de betreffende teams te laten weten dat ze het probleem moeten gaan onderzoeken.
  • Onderzoek en inperking. De betreffende teams beoordelen het potentiële probleem en voeren onmiddellijk wijzigingen door om waar nodig verdere consistentieproblemen te voorkomen. Vervolgens ontwikkelen ze oplossingen om het probleem in de toekomst te voorkomen.
  • De grootte van het probleem inschatten. De betreffende teams beoordelen het potentiële probleem en voeren onmiddellijk wijzigingen door om waar nodig verdere consistentieproblemen te voorkomen. Vervolgens ontwikkelen ze oplossingen om het probleem in de toekomst te voorkomen.
  • Incidentenbeoordeling na afloop. Zodra het probleem is ingeperkt, voeren we een uitgebreide interne beoordeling uit om de hoofdoorzaken en de volledige impact van het probleem te identificeren. Op die manier kunnen we bredere risico's voor de geldigheid van onze metingen identificeren, zodat we deze kunnen voorkomen of minimaliseren.
Aanpassingen rapporteren
Zodra we een probleem identificeren en de beïnvloede statistiek aanpassen, rapporteren we de correctie openbaar door dit bericht bij te werken bij de volgende uitgave van het Handhavingsrapport voor de richtlijnen voor de community. In zulke updates beschrijven we het probleem, de beïnvloede statistieken en de beïnvloede tijdsperioden. De gegevens voor kwartalen die door het probleem zijn beïnvloed in het Handhavingsrapport voor de community worden wanneer mogelijk bijgewerkt om te verzekeren dat vergelijkingen over langere tijd steek houden.
Input zoeken en de statistieken die we rapporteren uitbreiden
Naast het werk dat we intern doen om onze statistieken te evalueren en te verbeteren, vragen we ook om externe input over onze methodologieën en breiden we de statistieken waarover we rapporteren uit om een breder beeld van de handhaving van onze beleidsregels te geven.
Beoordeling van methodologie en input
Om te verzekeren dat onze methoden transparant zijn en zijn gebaseerd op robuuste principes, vragen we om analyses en input van specialisten met betrekking tot onderwerpen zoals de informatiewaarde van de statistieken.
Om te verzekeren dat onze benadering van meting of contenthandhaving nuttig en correct was, werkten we eerder samen met de Data Transparency Advisory Group (DTAG), een externe groep internationale academische experts in metingen, statistieken, criminologie en governance. In mei 2019 leverden ze hun onafhankelijke, openbare beoordeling van de vraag of de statistieken die we delen in het Handhavingsrapport voor de richtlijnen voor de community nauwkeurige en nuttige metingen bieden van hoe we onze beleidsregels handhaven, de uitdagingen waarmee we bij dit werk worden geconfronteerd en wat we doen om deze aan te pakken. Over het geheel genomen vonden ze onze statistieken redelijke manieren om schendingen te meten en in overeenstemming met de best practices. Ze deden ook een aantal aanbevelingen voor hoe we transparanter kunnen zijn over ons werk, die we uitgebreid hebben besproken en verder zullen verkennen. Als aanvulling hierop heeft Meta zich ingezet voor een onafhankelijke audit van de statistieken die in dit rapport voor 2021 worden gedeeld.
Lees het nieuwste handhavingsrapport voor de richtlijnen voor de community