Förbättra mätningarna

UPPDATERAD 19 JAN 2022
I rapporten om hur communityreglerna verkställs utvärderar vi löpande mätningarna för att ta reda på hur vi kan förbättra mätmetoderna.
Vi granskar även våra policyer och processer samt metoderna bakom dem. När något av detta förändras ändras även själva beräkningarna av måtten. Dessa metod- eller processändringar kan ske vid sidan av trender som visar på att vi blir bättre eller sämre på att förhindra överträdelser.
Kvalitet, uppdateringar och korrigeringar av information
Allt eftersom våra mätningsprocesser utvecklas granskar och validerar vi regelbundet våra mått. Vi har också fastställt en uppsättning regler som styr över hur vi identifierar, korrigerar och offentligt rapporterar eventuella justeringar av tidigare släppta data.
Vi identifierar potentiella problem med våra data med hjälp av ett flertal regelbundna kvalitetskontroller av våra datauppsättningar, mätverktyg och loggningssystem. När ett potentiellt problem identifieras utför relevanta team på Meta en serie åtgärder för att undersöka, motverka och ta fram långsiktiga lösningar på problemet.
När problemet har åtgärdats uppdaterar Meta data i rapporten om hur communityreglerna verkställs. När sådana korrigeringar är meningsfulla beskriver Meta problemet, de mått som berörs och de tidsperioder som påverkas.
Korrigeringar och justeringar
Därför har vi utvecklat processer för informationskvalitet
Vi har åtagit oss att på ett transparent sätt dela våra mått och de processer vi använder till att beräkna och förbättra dem. För att effektivisera och bättre hantera publiceringen av justeringar och korrigeringar av våra metoder och mått har vi utvecklat en process för informationskvalitet vars syfte är att identifiera, rätta och offentligt rapportera de justeringar vi gör av tidigare publicerad information. Det här är vanligt förekommande i stora statistiska byråers och federala organs offentliga rapporter och har utvecklats i enlighet med rekommenderade metoder för datarapportering inom både offentlig och privat sektor. De granskningar och processer vi tagit fram kommer att vara centrala för att upprätthålla korrektheten och integriteten för vår rapportering framledes.
Vi utvärderar och validerar ständigt våra mått och ser till att den information vi delar är korrekt och att våra metoder för att generera dessa data är lämpliga. En del av det arbetet är att vi, när vi uppdaterar våra metoder eller justerar mått, informerar om de ändringarna här.
Hur vi utvärderar och förbättrar våra mått
Vi förbättrar ständigt våra processer och metoder för att tillhandahålla så meningsfulla och korrekta siffror vi kan på hur vi verkställer våra policyer. Under sommaren 2019 införde vi processer för informationskvalitet som ger upphov till ytterligare kontroller och avvägningar för att se till att vi delar giltiga och konsekventa mått.
Identifikation av prioriterade scenarier för att bekräfta giltigheten
Vi identifierar olika dimensioner för varje mått och skapar en riskprioritering för segment som kan ha betydande påverkan på måttet. Vi implementerar ett flertal kontroller för segmenten i prioriteringslistan för att se till att de registrerar information korrekt.
Vi delar till exempel upp vårt mått för åtgärdat innehåll i flera dimensioner för granskning. Vi skiljer till exempel ut innehåll baserat på om det var våra automatiska system eller våra granskare som vidtog åtgärden, vad det var som fick oss att vidta åtgärden och vilken typ av innehåll (foton, text, video) vi vidtog åtgärder mot.
För dessa olika dimensioner bedömer vi sedan hur mycket partiskhet som skulle kunna ha införts i våra mätningar om den dimensionen var felaktigt representerad i måttet (om vi till exempel inte inkluderade videoinnehåll i våra mått). Dessa bedömningar gör att vi kan identifiera dimensioner som kan påverka måttet (till exempel huruvida en granskare vidtog åtgärden).
Sedan tar vi reda på hur mycket måttet skulle kunna påverkas om den dimensionen var felaktig (om vi till exempel inte hade loggat något av det innehåll personer vidtog åtgärder emot). Därefter prioriterar vi de största riskscenarierna för att göra ytterligare korskontroller. Får sådana högriskkombinationer utvecklar vi ytterligare system för spårning och korskontroll för att se till att dessa mått beräknas korrekt.
Giltighet och konsekvenskontroller
Vi har också infört konsekvenskontroller för att utöka valideringen av våra mått. Det omfattar följande:
Vi mäter återkommande våra åtgärder med ett separat, oberoende system som mäter åtgärder mot innehåll. Vi kontrollerar regelbundet dessa olika oberoende mått som är avsedda att identifiera stora fel vår redovisning.
Vi utför ett flertal olika slumpmässiga punktkontroller för att kontrollera precisionen i våra mätningssystem i nära på realtid. Det omfattar kontroller av olika resultat som infaller senare i vårt system för att dubbelkontrollera resultaten senare i processen. Vi bekräftar till exempel att innehåll som överklagats också loggas som innehåll som åtgärdats eftersom innehållet måste ha åtgärdats om det ska kunna överklagas. Många av dessa kontroller är avsedda att identifiera stora fel, till exempel innehåll som överklagats, men inte tagits bort.
Som med alla aspekter av rapporteringen av verkställigheten av regler fortsätter vi löpande att utveckla och förbättra våra processer för granskning av giltighet och konsekvens.
Interna gransknings- och korrigeringsrutiner
Vi har också tagit fram rutiner för hur vi ska identifiera och korrigera information som tidigare delats i verkställighetsrapporten, vilka vi regelbundet granskar och uppdaterar. När vi identifierar potentiella problem i mått som delats i rapporten om hur communityreglerna verkställs följer vi dessa steg:
  • Rapportering. Om ett möjligt problem upptäcks skickar våra team omedelbart in en incidentrapport som aviserar de relevanta teamen om att de ska börja undersöka problemet.
  • Undersöka och begränsa. De relevanta teamen granskar det möjliga problemet och gör omedelbart ändringar för att förhindra vidare konsekvensproblem när det behövs och utvecklar lösningar för att undvika problemet i framtiden
  • Förstå problemet. De relevanta teamen granskar det möjliga problemet och gör omedelbart ändringar för att förhindra vidare konsekvensproblem när det behövs och utvecklar lösningar för att undvika problemet i framtiden.
  • Granskning av händelse efter inträffande. När problemet har åtgärdats utför vi en ingående intern granskning för att ta reda på grundorsaken till problemet och dess totala effekt. Det gör att vi kan identifiera bredare risker för våra mätningars giltighet så att vi kan förhindra eller minimera dem.
Rapportering av justeringar
När vi har identifierat ett problem och justerat det berörda måttet rapporterar vi korrigeringen offentligt genom att uppdatera detta inlägg vid tidpunkten för nästa publicering av rapporten om hur communityreglerna verkställs. I en sådan uppdatering beskriver vi problemet, de berörda måtten och de tidsperioder som påverkas. När det går omfattar data för de kvartal som tidigare berörts i rapporten om hur communityreglerna verkställs även justerade mått för att se till att jämförelser över tid är meningsfulla.
Efterfråga feedback och utöka de mått vi rapporterar
Utöver det arbete vi utför internt för att utvärdera och förbättra våra mått ber vi också om extern feedback om våra metoder och utökar de mått vi rapporterar för att ge en mer heltäckande bild av hur vi presterar när det gäller att verkställa våra policyer.
Utvärdering av och feedback om våra metoder
I syfte att se till att våra metoder är transparenta och baseras på sunda principer efterfrågar vi analyser och åsikter från ämnesexperter gällande sådant som huruvida de mått vi tillhandahåller är informativa.
För att se till att vårt arbetssätt för att mäta verkställigheten mot innehåll var meningsfullt och korrekt arbetade vi med Data Transparency Advisory Group (DTAG), en extern grupp internationella akademiska experter på mätningar, statistik, kriminologi och styrning. I maj 2019 tillhandahöll de sin oberoende, offentliga utvärdering av huruvida de mått vi delar i rapporten om hur communityreglerna verkställs ger korrekta och meningsfulla mått på hur vi verkställer våra policyer, samt på de utmaningar vi ställs inför i detta arbete och vad vi gör för att hantera dem. De fann övergripande att våra mått var rimliga sätt att mäta överträdelser på och att de var förenliga med bästa metoder. De tillhandahöll också ett antal rekommendationer för hur vi kan fortsätta att bli mer transparenta om vårt arbete, vilka vi diskuterat ingående och fortfarande undersöker. Utöver detta har Meta förbundit sig att underställa sig en oberoende granskning av de mått som delas i denna rapport 2021.
Visa den senaste verkställighetsrapporten för communityregler