Bedre målinger
OPPDATERT 19. JAN. 2022
Vi gjennomgår også løpende retningslinjene og prosessene våre og metodene bak dem. Endringer i noen av disse endrer som konsekvens utregningene av måletall. Disse metode- og prosessendringene kan komme i tillegg til trender som indikerer at vi blir bedre eller verre til å redusere overtredelser.
Informasjonskvalitet, oppdateringer og rettelser
Etter hvert som måleprosessene våre modnes, vurderer og validerer vi regelmessig beregningene våre. Vi har også etablert et sett standarder som styrer hvordan vi identifiserer, korrigerer og offentliggjør eventuelle justeringer av tidligere publiserte data.
Vi identifiserer potensielle problemer med dataene våre ved hjelp av en rekke regelmessige kvalitetskontroller av datasett, måleverktøy og loggesystemer. Når et potensielt problem blir identifisert, gjennomgår relevante team hos Meta en rekke trinn for å undersøke og redusere problemet, samt finne langsiktige løsninger.
Når problemet er løst, vil Meta oppdatere dataene i rapporten om håndhevelse av standardene våre. Der det er meningsfylt med slike korreksjoner, vil Meta beskrive problemet, måletallene det gjelder og berørte tidsperioder.
Rettelser og justeringer
Hvorfor vi utviklet prosesser for informasjonskvalitet
Vi er forpliktet til å dele måletallene våre på en transparent måte og være åpne rundt prosessene vi bruker for å regne dem ut og forbedre dem. For å effektivisere og bedre styre publiseringen av justeringer og korrigeringer av metodikk og beregninger, har vi utviklet en informasjonskvalitetsprosedyre for å identifisere, korrigere og offentliggjøre alle justeringer vi gjør av tidligere publisert informasjon. Dette er vanlig praksis i store statistikkbyråer og offentlige rapporter fra føderale byråer og ble utviklet i tråd med beste rutiner for datarapportering i både offentlig og privat sektor. Vurderingene og prosedyrene vi har utviklet vil være avgjørende for at rapportene våre skal opprettholde god nøyaktighet og integritet framover.
Vi evaluerer og validerer kontinuerlig beregningene våre og sørger for at informasjonen vi deler er nøyaktig og at metodene våre for å generere disse dataene er hensiktsmessige. Når vi oppdaterer metodikken vår eller justerer måletallene, vil vi publisere disse endringene her som en del av dette arbeidet.
Hvordan vi evaluerer og forbedrer beregningene våre
Vi forbedrer kontinuerlig prosessene våre og metodikken vår for å kunne levere de mest meningsfylte og nøyaktige tallene om hvordan vi håndhever retningslinjene våre. I løpet av sommeren 2019 implementerte vi informasjonskvalitetsprosesser med flere kontroller og mer balanse for å sikre at vi deler gyldige og konsekvente måletall.
Identifisere prioritetsscenarier for å bekrefte gyldighet
Vi identifiserer forskjellige dimensjoner for hver beregning og utvikler en risikoprioritering av segmenter som potensielt kan påvirke måletallene i betydelig grad. For segmentene i denne prioriterte listen innfører vi flere kontroller for å sikre at disse segmentene fanger opp informasjon på en nøyaktig måte.
Vi deler for eksempel opp målingene av innhold vi har iverksatt tiltak mot, i flere dimensjoner som gjennomgås. Vi skiller for eksempel ut innhold basert på om tiltaket ble gjort av de automatiserte systemene våre eller av mennesker, hva som førte til at vi iverksatte tiltaket og hvilken type innhold (bilder, tekst, video) det ble reagert på.
Ut fra disse forskjellige dimensjonene vurderer vi skjevheter i målingene, som hvis en dimensjon ikke har blitt riktig representert i beregningene (hvis vi for eksempel ikke fikk med videoinnhold i beregningene våre). Med disse vurderingene kan vi identifisere dimensjoner som potensielt kan påvirke beregningene (for eksempel om det var mennesker som iverksatte tiltaket).
Deretter finner vi ut hvor mye selve måletallet kan påvirkes hvis denne dimensjonen er feil (eksempelvis hvis vi ikke hadde loggført noe innhold som et gjennomgangsteam reagerer mot). Vi prioriterer deretter de største risikoscenariene for å utføre ytterligere kryssjekker. For slike høyrisikokombinasjoner utvikler vi flere sporings- og kryssjekkingssystemer for å sikre at beregningene blir riktig estimert.
Sjekk av gyldighet og konsekvent opptreden
Vi har også implementert kontrollrutiner som sørger for mer konsekvent opptreden og dermed økt validitet for måletallene. Dette omfatter følgende:
Sjekk av konsekvent reaksjon
Vi måler periodisk tiltakene våre mot innhold via et eget, uavhengig system. Vi sjekker disse forskjellige uavhengige beregningene regelmessig for å identifisere potensielt store feil i regnskapet.
Revisjon og feilsøking av måleverktøyene våre
Vi foretar en rekke stikkprøver for å verifisere nøyaktigheten til målesystemene våre så nært sanntid som mulig. Dette inkluderer å sjekke ulike utfall som skjer senere i systemet vårt for å dobbeltsjekke oppstrømsutfall. Eksempelvis bekrefter vi at innhold som ankes, også blir logget som innhold det har blitt iverksatt tiltak mot, siden innhold må ha blitt reagert på for å kunne ankes. Mange av disse kontrollene er ment å skulle identifisere større feil, for eksempel innhold som er anket, men aldri ble fjernet.
Som med alle aspekter av rapporten om håndhevelse av standardene våre, vil vi fortsette med å utvikle oss og forbedre vurderingsprosessene for validitet og konsekvent reaksjon over tid.
Interne vurderings- og korreksjonsprosedyrer
Vi har også etablert prosedyrer for å identifisere og korrigere informasjon som tidligere har blitt delt i håndhevelsesrapporten, som vi regelmessig vil gjennomgå og oppdatere. Når vi identifiserer potensielle problemer i måletall som deles i rapporten om håndhevelse av standardene våre, følger vi disse trinnene:
- Rapportering: Hvis et potensielt problem blir oppdaget, sender teamene våre umiddelbart en hendelsesrapport der de aktuelle teamene får beskjed om å begynne å undersøke problemet.
- Undersøke og hindre. De relevante teamene vurderer det potensielle problemet, gjør om nødvendig umiddelbare endringer for å forhindre ytterligere problemer med konsekvent opptreden, og utvikler løsninger for å unngå det samme problemet senere.
- Størrelsen på problemet. De relevante teamene vurderer det potensielle problemet, gjør om nødvendig umiddelbare endringer for å forhindre ytterligere problemer med konsekvent opptreden og utvikler løsninger for å unngå det samme problemet senere.
- Gjennomgang av hendelse etter at den har skjedd. Så snart problemet er løst, gjennomfører vi en detaljert intern vurdering for å identifisere årsakene til og konsekvensene av problemet. Dermed kan vi identifisere de bredere risikoene for gyldigheten til målingene våre, slik at vi kan forhindre eller minimere dem.
Rapportere justeringer
Så snart vi har identifisert et problem og justert det berørte måletallet, vil vi offentliggjøre korrigeringen ved å oppdatere dette innlegget i den påfølgende publiseringen av rapporten om håndhevelse av standardene våre. I denne oppdateringen vil vi beskrive problemet, måletallene det gjelder og hvilke tidsperioder som er berørt. Dataene for kvartalene som tidligere har blitt berørt, vil i selve rapporten om håndhevelse av standardene våre omfatte de justerte måletallene når det er mulig, slik at vi sikrer at det er mulig med gode sammenligninger over tid.
Eksterne innspill og utvidede måletall i rapportene
I tillegg til arbeidet vi gjør internt for å evaluere og forbedre beregningene våre, ønsker vi også etter eksterne innspill til metodikken vår velkommen. Vi utvider gjerne måletallene vi rapporterer om for å gi et mer robust bilde av hvordan vi presterer når det gjelder håndhevelsen av retningslinjene våre.
Metodevurdering og innspill
For å sikre at metodikken vår er transparent og basert på sunne prinsipper innhenter vi analyser og innspill fra fageksperter på områder, for eksempel rundt hvorvidt måletallene våre er informative nok.
For å sikre at tilnærmingen vår til måling av tiltak er meningsfull og nøyaktig har vi samarbeidet med Data Transparency Advisory Group (DTAG), en ekstern gruppe av internasjonale fageksperter innen måling, statistikk, kriminologi og selskapsstyring. I mai 2019 kom de med en uavhengig, offentlig vurdering av om måletallene i rapporten om håndhevelse av standardene våre er nøyaktige og meningsfulle mål på hvor godt vi håndhever retningslinjene våre, samt av utfordringene vi står overfor i dette arbeidet og hva vi gjør for å håndtere dem. Totalt sett konkluderte de med at måletallene våre var hensiktsmessige måter å måle overtredelser på og i tråd med beste rutiner. De kom også med en rekke anbefalinger om hvordan vi kan bli mer transparente rundt arbeidet vårt, noe vi har diskutert i detalj og fortsetter å jobbe med. I tillegg til dette har Meta forpliktet seg til en uavhengig revisjon av måletallene som deles i denne rapporten i 2021.
Les den nyeste rapporten om håndhevelse av fellesskapsstandarder