Bliv bedre til måling

OPDATERET 19. JAN. 2022
Vi vurderer løbende vores målinger for at lære, hvordan vi kan forbedre de måder, hvorpå vi måler i rapporten om håndhævelse af fællesskabsregler.
Vi gennemgår desuden fortsat vores politikker og processer og metoderne bag dem. Ændringer af disse vil uundgåeligt ændre selve målingernes beregninger. Disse metode- eller procesændringer kan være et supplement til tendenser, der indikerer, at vi bliver bedre eller dårligere til at begrænse antallet af overtrædelser.
Kvalitetsoplysninger, opdateringer og rettelser
I takt med at vores målingsprocesser modnes, gennemgår og validerer vi regelmæssigt vores målinger. Vi har desuden etableret et sæt regler, der regulerer, hvordan vi identificerer, korrigerer og offentligt rapporterer om eventuelle justeringer af tidligere frigivne data.
Vi identificerer potentielle problemer med vores data ved hjælp af en række regelmæssige kvalitetskontroller af vores datasæt, målingsværktøjer og logningssystemer. Når et potentielt problem identificeres, gennemgår relevante teams hos Meta en række trin for at undersøge, begrænse og identificere langsigtede løsninger på problemet.
Når problemet er løst, opdaterer Meta dataene i rapporten om håndhævelse af fællesskabsregler. Såfremt sådanne rettelser er betydelige, beskriver Meta problemet samt de påvirkede målinger og perioder.
Rettelser og justeringer
Vores baggrund for at udvikle processer for oplysningskvalitet
Vi arbejder målrettet på gennemsigtig deling af vores målinger såvel som de processer, vi bruger til at beregne og forbedre dem. For at strømline og bedre regulere frigivelsen af justeringer og rettelser af vores metoder og målinger har vi udviklet en proces for oplysningskvalitet til at identificere, rette og offentligt rapportere om eventuelle justeringer, vi foretager af tidligere frigivne oplysninger. Dette er almindelig praksis hos statistikmyndigheder og i offentlige rapporter fra føderale myndigheder og blev udviklet i tråd med de anbefalede fremgangsmåder for datarapportering i både offentlige og private sektorer. Disse gennemgange og procedurer, som vi har udviklet, vil være afgørende for at opretholde nøjagtigheden og integriteten af vores rapportering fremover.
Vi evaluerer og validerer konstant vores målinger og sørger for, at de oplysninger, vi deler, er nøjagtige, og at vores metoder til at generere disse data er ordentlige. Når vi opdaterer vores metoder eller justerer målinger, vil vi som en del af dette arbejde dele sådanne ændringer her.
Sådan evaluerer og forbedrer vi vores målinger
Vi forfiner konstant vores processer og metoder for at levere de mest meningsfulde og nøjagtige tal om, hvordan vi håndhæver vores regler. I løbet af sommeren 2019 implementerede vi processer for oplysningskvalitet, der sikrer yderligere kontrol, så vi deler valide og ensartede målinger.
Identifikation af prioritetsscenarier for at bekræfte validitet
Vi identificerer forskellige dimensioner for hver måling og udvikler en risikoprioritering af segmenter, der kan påvirke målingerne betydeligt. For segmenterne på denne prioriterede liste implementerer vi flere kontroller for at sikre, at disse segmenter registrerer oplysninger nøjagtigt.
Vi opdeler eksempelvis vores målinger af indhold, vi har grebet ind over for, i flere dimensioner til gennemgang. Vi fjerner eksempelvis indhold ud fra, om vores automatiserede systemer eller menneskelige gennemgang har skredet til handling, hvad der fik os til at skride til handling, og hvilken type indhold (billeder, tekst, video) vi har handlet på.
Med disse forskellige dimensioner vurderer vi efterfølgende, hvor meget bias der ville blive ført til vores måling, hvis den pågældende dimension ikke var korrekt repræsenteret i målingen (f.eks. hvis vi ikke havde inkluderet videoindhold i vores målinger). Disse vurderinger giver os mulighed for at identificere dimensioner, der kan påvirke målingen (f.eks. om mennesker har skredet til handling).
Derefter finder vi ud af, hvor meget målingen kunne blive påvirket, hvis den pågældende dimension var forkert (hvis vi f.eks. ikke havde logget noget af det indhold, som mennesker havde skredet ind over for). Så prioriterer vi de største risikoscenarier for at udføre yderligere krydstjek. Vi udvikler yderligere sporings- og krydstjekssystemer for disse højrisikokombinationer for at sikre, at disse målinger estimeres korrekt.
Kontrol af validitet og konsistens
Vi har også implementeret konsistenskontroller for at tilføje mere validering af vores målinger. De omfatter følgende:
Vi måler periodisk vores handlinger med et separat, uafhængigt system, der måler indholdshandlinger. Vi kontrollerer regelmæssigt disse forskellige uafhængige målinger, som er beregnet til at identificere store fejl i vores opgørelse.
Vi udfører en række tilfældige stikprøvekontroller for at verificere nøjagtigheden af vores målingssystemer i nær realtid. Dette omfatter kontrol af forskellige resultater, der sker senere i vores system, for at dobbelttjekke overordnede resultater. Vi bekræfter f.eks., at indhold, der appelleres, også logges som indhold, der er grebet ind over for, eftersom der skal gribes ind over for indhold, før det kan appelleres. Mange af disse kontroller har til formål at identificere store fejl som f.eks. indhold, der er blevet appelleret, men aldrig fjernet.
Som med alle aspekter af vores rapportering om håndhævelse af regler vil vi fortsætte med at udvikle os og forbedre vores gennemgangsprocesser for validitet og konsistens over tid.
Interne gennemgangs- og rettelsesprocedurer
Vi har desuden etableret procedurer for at identificere og rette oplysninger, der tidligere er blevet delt i vores rapport om håndhævelse, som vi regelmæssigt gennemgår og opdaterer. Når vi identificerer potentielle problemer i målinger, der er delt i rapporten om håndhævelse af fællesskabsregler, følger vi disse trin:
  • Rapportering. Hvis der opdages et potentielt problem, indsender vores teams straks en hændelsesrapport, der beder de relevante teams om at begynde at undersøge problemet.
  • Undersøgelse og afhjælpning. De relevante teams gennemgÃ¥r det potentielle problem og foretager omgÃ¥ende ændringer for at forhindre yderligere konsistensproblemer, hvor det er nødvendigt, og udvikler løsninger for at undgÃ¥ problemet i fremtiden.
  • Vurdering af problemets størrelse. De relevante teams gennemgÃ¥r det potentielle problem og foretager omgÃ¥ende ændringer for at forhindre yderligere konsistensproblemer, hvor det er nødvendigt, og udvikler løsninger for at undgÃ¥ problemet i fremtiden.
  • Efterfølgende gennemgang af hændelsen. NÃ¥r problemet er afhjulpet, foretager vi en detaljeret intern gennemgang for at identificere de grundlæggende Ã¥rsager og problemets fulde konsekvens. Det giver os mulighed for at identificere større risici for validiteten af vores mÃ¥ling, sÃ¥ vi kan forhindre eller minimere dem.
Justeringer af rapportering
Når vi først har identificeret et problem og justeret den berørte måling, rapporterer vi offentligt om rettelsen ved at opdatere dette opslag, så snart den næste rapport om håndhævelse af fællesskabsregler offentliggøres. I en sådan opdatering beskriver vi problemet samt de påvirkede målinger og perioder. Dataene for de kvartaler, der tidligere er berørt i selve rapporten om håndhævelse af fællesskabsregler, inkluderer eventuelle justerede målinger, når det er muligt, for at sikre, at sammenligninger over tid er meningsfulde.
Om at søge input og udvide de målinger, vi rapporterer
Ud over det arbejde, vi udfører internt for at evaluere og forbedre vores målinger, ser vi også efter eksterne input til vores metoder og udvider de målinger, vi rapporterer om, for at give et mere robust billede af, hvordan vi er til at håndhæve vores regler.
Metodevurdering og -input
For at sikre, at vores metoder er gennemsigtige og baseret på velfunderede principper, søger vi analyse og input fra fageksperter om, hvorvidt f.eks. de målinger, vi leverer, er informative.
For at sikre, at vores tilgang til måling af håndhævelsen af indhold var meningsfuld og nøjagtig, arbejdede vi sammen med DTAG (Data Transparency Advisory Group), en ekstern gruppe af internationale akademiske eksperter inden for måling, statistik, kriminologi og styring. I maj 2019 leverede de deres uafhængige, offentlige vurdering af, om de målinger, vi deler i rapporten om håndhævelse af fællesskabsregler, er nøjagtige og meningsfulde målinger af, hvordan vi håndhæver vores regler, såvel som de udfordringer, vi står over for i dette arbejde, og hvad vi gør for at adressere dem. Samlet set vurderede de, at vores målinger var rimelige måder at måle overtrædelser på og i overensstemmelse med de anbefalede fremgangsmåder. De kom desuden med en række anbefalinger til, hvordan vi fortsat kan være mere gennemsigtige omkring vores arbejde, hvilket vi har diskuteret grundigt og fortsætter med at udforske. Derudover har Meta forpligtet sig til en uafhængig efterkontrol af de målinger, der deles i denne rapport i 2021.
Se den seneste rapport om håndhævelse af fællesskabsregler