Korrekt granskning av innehåll med stor påverkan via vårt system för dubbelkontroll

UPPDATERAD 12 NOV 2024

Den 6 december 2022 publicerade Tillsynsrådet sitt rådgivande policyyttrande om Metas policyer om dubbelkontroll. Vi har kommit överens med rådet om att granska och svara på rekommendationerna inom 90 dagar för att kunna hantera antalet rekommendationer på ett fullständigt sätt. Du hittar mer information om systemet med dubbelkontroll i vårt inlägg i Transparenscenter.

Översikt över dubbelkontroll

Facebooks och Instagrams användare skapar miljarder olika innehåll varje dag. Moderering av innehåll i den här omfattningen innebär utmaningar, bland annat i form av kompromisser mellan viktiga värderingar och målsättningar. Vi försöker att snabbt granska innehåll som möjligen bryter mot våra policyer, och att ta bort det som gör det. Vi måste emellertid balansera denna målsättning mot risken för ”falska positiva resultat” (felaktigt borttagande av innehåll som inte bryter mot reglerna) för att skydda användarnas yttrandefrihet. (Här avser vi ”borttagande” av innehåll, vilket vi använder till att beskriva integritetsåtgärder mer allmänt. Det kan även innefatta användning av varningsskärmar och borttagande av sidor.)

I syfte att uppnå balans mellan dessa olika avvägningar har Meta infört systemet med dubbelkontroll för att identifiera innehåll som medför större risk för falska positiva resultat och för att tillhandahålla ytterligare nivåer av granskning för att minska risken. Dubbelkontrollen innebär ytterligare granskningsnivåer för vissa typer av innehåll som våra interna system flaggar som brott mot reglerna (via automatisk eller manuell granskning). Målet är att förhindra eller minimera modereringsfel gällande innehåll med störst risk att ge falska positiva resultat av olika orsaker, exempelvis bristande förståelse för nyanser och sammanhang. (Här avser vi ”innehåll” som granskas inom vårt system med dubbelkontroll. Vi använder även dubbelkontroll till att granska andra åtgärder, till exempel borttagande av en sida eller profil.) Även om dubbelkontroll medför ytterligare nivåer av granskning utgår granskarna från samma communityregler som gäller för allt annat innehåll på Facebook och Instagram.

Systemet med dubbelkontroll spelar en avgörande roll när det gäller att skydda mänskliga rättigheter. Bland annat omfattar systemet med dubbelkontroll enheter och inlägg från journalister som rapporterar från konfliktområden och initiativtagare i närsamhället som väcker medvetenhet om förekomster av hat och våld. Vid dubbelkontroller beaktas även sammanhang som kan bidra till att rätt åtgärder vidtas mot innehållet. Dubbelkontroller kan också gälla för samhällsorgan, för vilka användarna har ett förhöjt intresse av att ta del av vad deras ledare säger.

Dubbelkontroller har också en viktig roll i hanteringen av Metas relationer med många av våra affärspartner. Felaktigt borttagande av innehåll som publicerats av exempelvis en sida eller en profil med många följare kan leda till negativa upplevelser för Metas affärspartner och det stora antal användare som följer dem. Vi tillämpar också dubbelkontroll på vissa mycket stora grupper, för vilka ett fel kan påverka hundratusentals eller miljontals användare. Dubbelkontroll undantar inte Metas affärspartner eller grupper från att följa våra policyer för innehåll, men tillhandahåller ibland ytterligare nivåer av granskning för att se till att dessa policyer tillämpas på rätt sätt.

Facebooks och Instagrams användare publicerar miljarder olika innehåll varje dag. Även med tusentals dedikerade granskare runt om i världen är det inte möjligt att manuellt granska varje innehållsdel som potentiellt bryter mot våra communityregler. Det mesta av det innehåll som bryter mot våra regler och som vi tar bort upptäcks proaktivt av vår teknik innan någon hinner anmäla det. När någon publicerar på Facebook eller Instagram kontrollerar vår teknik om innehållet bryter mot communityreglerna. I många fall är identifieringen en enkel process. Inlägget antingen efterlever eller bryter mot våra policyer. I andra fall skickas innehållet vidare till en manuell granskare för vidare bedömning.

I våra primära granskningssystem används teknik till att prioritera innehåll med hög allvarlighetsgrad, vilket innefattar ”viralt” innehåll som sprids snabbt. När systemen flaggar innehåll för eskalering tar våra granskare svåra och ofta nyanserade beslut om huruvida innehåll ska finnas kvar på plattformen. Även om vi alltid har som målsättning att fatta korrekta beslut är vi medvetna om att det förekommer falska positiva resultat och att innehåll ibland tas bort för brott mot Metas policyer trots att inga sådana brott föreligger. Meta har därför satsat på att förebygga misstag genom ytterligare granskning av falska positiva resultat, så att sådana kan förhindras. Dubbelkontroll är en av dessa strategier för att förhindra misstag.

Dubbelkontroll är ett system som används till att bidra till att verkställighetsbeslut fattas korrekt och med ytterligare nivåer av manuell granskning. Om en granskare bekräftar att innehåll bryter mot våra communityregler i en korskontroll verkställer vi dessa policyer och åtgärdar innehållet som bryter mot dem. Beroende på hur komplext innehållet är kan vi tillämpa granskning på flera nivåer, vilket i sällsynta fall kan innefatta granskning utförd av ledningen. Om den slutliga granskaren fastställer att innehållet i fråga inte bryter mot våra communityregler kan granskaren upphäva den ursprungliga åtgärden och låta innehållet finnas kvar på plattformen.

Historiska dubbelkontrollmetoder

Vi införde systemet som idag kallas dubbelkontroll år 2013. Informationen i systemet har utvecklats under åren och vi har tillhandahållit datum och datumintervall som förklarar när dessa ändringar skedde, när så är möjligt.

Våra team har identifierat och sammanställt listor över användare eller enheter som bedöms ha en högre associerad risk för falska positiva åtgärder mot dem för att avgöra vilket innehåll eller vilka enheter som har granskats med dubbelkontroll. ”Risk för falsk positiv” avser risken för felaktig verkställighet mot innehåll eller enheter som inte bryter mot våra communityregler. Våra team använde sig av ett antal olika kriterier för att avgöra vilka användare och enheter som löper större risk att drabbas av falska positiva resultat. Kriterierna omfattade bland annat typ av användare eller enhet (till exempel förtroendevald person, journalist, betydande affärspartner, människorättsorganisation), antal följare och enhetens ämnesområde. (Enhet är en allmän term för den plats där innehåll kunde skapas eller visas, till exempel ett användarkonto, en sida eller en grupp.)

När användare eller enheter som var identifierade på de listorna publicerade innehåll eller vidtog åtgärder som våra system flaggade som möjliga brott mot våra policyer, lade vi till innehållet eller enheten i en kö för dubbelkontrollgranskning.

Med start 2020 gjorde vi ändringar som innebar att det mesta innehållet i kön prioriterades med hjälp av ett riskramverk som angav en nivå för vilken risk för falska positiva resultat som kunde uppstå om Meta tog bort innehållet felaktigt. Detta riskramverk utgick i grova drag från tre faktorer: (1) enhetens känslighet, (2) allvarlighetsgraden för den påstådda överträdelsen och (3) allvarlighetsgraden för den potentiella verkställighetsåtgärden.

Nuvarande dubbelkontrollmetoder

Precis som för alla våra policyer och processer tittar vi ständigt efter möjligheter till förbättringar och gör hela tiden ändringar. Tidigare i år identifierade vi ytterligare möjligheter att förbättra systemet med dubbelkontroll. En strukturell ändring vi gjorde är att systemet för dubbelkontroll numera består av två komponenter: Allmän sekundär granskning (GSR) och Sekundär granskning avseende känsliga enheter (SSR). Vi fortsätter att använda den listbaserade metoden som beskrivs ovan för att inkludera en procentandel av vissa användare och enheter i SSR. Men med GSR arbetar vi för att se till att innehåll från alla användare och enheter på Facebook och Instagram kvalificerar för granskning med dubbelkontroll baserat på ett dynamiskt prioritetssystem som kallas rankning för dubbelkontroll.

GSR består bland annat av att kontrakterade granskare och personer i våra regionala team utför en sekundär granskning av innehåll och enheter som skulle kunna bryta mot våra policyer innan en verkställighetsåtgärd vidtas. Denna granskning utgår inte enbart från en användares eller enhets identitet för att fastställa vilket innehåll som ska dubbelkontrolleras. Rankningen för dubbelkontroll rankar innehåll baserat på risken för falska positiva resultat utifrån kriterier som ämnets känslighetsgrad (hur pass trendande/känsligt ämnet är), allvarlighetsgrad för verkställandet (den potentiella verkställighetsåtgärdens allvarlighetsgrad), sannolikhet för falska positiva resultat, beräknad räckvidd och enhetens känslighetsgrad (till stor del baserat på de sammanställda listorna som beskrivs ovan). Rankningen för dubbelkontroll används redan för majoriteten av alla dubbelkontrollgranskningar idag.

SSR påminner om det tidigare systemet med dubbelkontroll. Vi använder fortfarande listor över användare och enheter vars verkställighet genomgår ytterligare granskning om de flaggas för potentiellt brott mot communityreglerna för att avgöra vilket innehåll eller vilka enheter som omfattas av SSR. Vi har dock lagt till kontroller för processen att sammanställa och revidera dessa listor. Fram till september 2020 kunde de flesta medarbetare lägga till användare och enheter på listan för dubbelkontroll. Efter september 2020 har endast en utvald grupp medarbetare behörighet att göra tillägg till listan, även om alla medarbetare kan begära att en användare eller enhet ska läggas till på listor för dubbelkontroll.

Ansvaret för SSR-listan ligger för närvarande hos vår avdelning för global verksamhet som får stöd från våra juridiska team och samarbetsteam som delar med sig av sin specialiserade kunskap och erfarenhet. Även om avdelningen för global verksamhet har en annan hierarkisk struktur än Metas offentliga policyteam får policyteamet ofta ge sin syn på beslut om dubbelkontroll, och det gäller även många andra områden inom företagets innehållsmoderering. I sådana fall kan verksamhetsteamet dra nytta av expertisen hos Metas offentliga policyteam samt våra regionala experter och språkoberoende specialiserade granskare för att bättre förstå lokala och kulturella perspektiv. De separata rapporteringsstrukturerna bidrar till att se till att granskningen inte påverkas från politiskt och ekonomiskt håll. Vi har även utvecklat en noggrann årlig granskningsprocess för att granska enheter på SSR-listor för fortsatt kvalificering. På så sätt kan vi se till att listorna är relevanta och lämpliga. Vi fortsätter att förfina processen över tid.

Under de senaste månaderna har Meta granskat i genomsnitt flera tusen dubbelkontrollerade jobb om dagen. Majoriteten av dem har slutförts genom GSR. (Med tanke på de miljontals olika innehåll som flaggas och åtgärdas på grund av brott mot communityreglerna varje dag är det en liten andel.) Idag utgör SSR minoriteten av dessa dagliga granskningar. Vi förväntar oss en fortsatt förändring av antalet dubbelkontrollgranskningar till följd av prioriteringen för GSR från slutet av 2021 och början av 2022.

Om ett innehåll kommer från en enskild person eller en enhet som omfattas av SSR granskas det vanligen först av det regionala teamet. Det granskas därefter av eskaleringsteamet som fastställer om innehållet bryter mot reglerna. I allmänhet granskas innehållet inte av eskaleringsteamet om det regionala teamet inte bedömer att det bryter mot våra policyer. Om ett innehåll kommer från en person eller enhet som prioriteras av rankningen för dubbelkontroll granskas det vanligen av underleverantörer eller marknadsteamet, såvida inte eskaleringsteamet har kapaciteten att granska det. Precis som för tidigare dubbelkontroller kan mycket komplexa frågor ges ytterligare granskning. I sällsynta fall av ledningen. Om det i den slutgiltiga granskningen bedöms att innehållet bryter mot communityreglerna tar vi bort det. Om granskningarna leder till slutsatsen att innehållet inte bryter mot reglerna får det finnas kvar.

Från och med den 16 oktober 2021 har cirka 660 000 användare och enheter underställts åtgärder som kräver någon form av SSR på grund av att de varit upptagna på de listor som beskrivs ovan. Detta antal förändras löpande i och med att vi lägger till och tar bort användare och enheter från listorna som beskrivs ovan, utifrån nya kriterier för vilka som ska vara med på listorna. Exempel på användare och enheter som är berättigade till SSR inkluderar, men begränsas inte till:

Enheter relaterade till eskaleringssvar eller högriskhändelser. I dagsläget finns det en informell process på plats enligt vilken team som förbereder sig inför högriskhändelser identifierar enheter för vilka risken är hög för verkställande i överkant. Om en användares kontroversiella innehåll till exempel blir viralt (till exempel en video av polisvåld), kan vi identifiera den användaren som berättigad till SSR för att förhindra felaktigt borttagande.
Enheter inkluderade för rättslig efterlevnad. I vissa fall använder vi oss av SSR för att efterleva lagkrav och bestämmelser.
Offentliga personer och publicerare med hög synlighet. Vi identifierar enheter för SSR eftersom verkställande i överkant kan leda till negativa upplevelser för en stor andel av våra användare.
Marginaliserade befolkningar. Vi identifierar människorättsförsvarare, politiskt oliktänkande och andra som vi tror kan utsättas för statligt understödda och andra trakasserier, samordnade attacker eller massrapportering för att skydda mot denna typ av attacker.
Samhällsorgan. Vi utgår ifrån objektiva kriterier och expertisen inom våra regionala policyteam i identifieringen av politiker, myndighetspersoner, institutioner, organisationer, opinionsbildningsgrupper och samhällsdebattörer. Vi inkluderar dessa enheter för SSR för att förhindra misstag som skulle begränsa politiska tal som inte bryter mot reglerna och oavsiktligt påverka diskussioner om medborgerliga ämnen som val, allmän ordning och sociala frågor. Vi strävar efter att säkerställa jämlikhet mellan ett lands medborgerliga enheter. Om vi exempelvis inkluderar en nationell ministerkabinett i SSR skulle vi inkludera alla ministerier i det lands regering i SSR.
Företag. Vi identifierar annonsörer som tillför stort värde och sådana som har erfarenhet av verkställande i överkant för att skydda våra intäkter och den långsiktiga tilltron till vår plattform.

Vi granskar för närvarande hur vi kan förbättra kriterierna för att identifiera enheter som bör få SSR. Vi utforskar till exempel utvecklingen av våra kriterier inom områden som antal följare, antal tidigare falska positiva verkställigheter, juridiska/regleringskrav samt viktiga politiska/sociala frågor. Användare kan begära att inte tas med på SSR-listan via detta formulär. Meta bekräftar inte om användare är med på eller har tagits bort från dessa listor. Användarnas autonomi är dock mycket viktig för oss och vi granskar respektive begäran så fort som möjligt.

Utöver de två komponenterna i dubbelkontrollsystemet har vi även ett internt system för att förhindra fel som kallas för Dynamic Multi Review (DMR). Det är ett system som gör det möjligt för oss att skicka tillbaka granskade ärenden för ny granskning för att få en majoritetsröst om ett beslut (till exempel: om majoriteten av granskarna håller med om beslutet så avslutas ärendet) så att vi kan vara säkrare på att ärendet har granskats korrekt. Vi använder det här systemet för att förbättra kvaliteten och noggrannheten i den manuella granskningen och minska risken för felaktiga beslut genom att justera antalet granskningar som krävs för att fatta ett slutgiltigt beslut. Detta baseras på ett antal olika faktorer, däribland viralitet, antal visningar och potential att orsaka skada (till exempel potentiella överträdelser av våra policyer om sexuellt utnyttjande eller farliga individer och organisationer).

Framtida insatser för transparens vid dubbelkontroll

Som svar på Tillsynsrådets beslut i december 2022 om hänvisningen av det rådgivande policyyttrandet om dubbelkontroll har vi också åtagit oss att genomföra en rad insatser för att förhindra misstag. Dessa åtgärder är bland annat:

Strukturerad och robust interaktion med våra interna team för mänskliga och medborgerliga rättigheter, våra betrodda partner och andra externa samhällsorganisationer för att utforska sätt att informera de kriterier vi använder för att identifiera enheter av allmänintresse för dubbelkontrollistor.
Utforska en mer formell nomineringsprocess för dubbelkontrollistor från globala, regionala och lokala grupper inom civilsamhället.
Vi investerar i kvalitetsgranskning och utbildningsresurser i takt med att vi försöker bemanna alla dubbelkontrollsbeslut med granskare som talar språket och har regional expertis när det är möjligt.
Implementering av robusta servicenivåavtal (SLA:er) för granskningsbeslut i våra system för att förhindra misstag, vilket gör att vi kan optimera vår nuvarande modell för granskare för snabbast möjliga granskning på språket.

Även om vi har gjort betydande förbättringar av systemet med dubbelkontroll undersöker vi fortfarande sätt att ytterligare se till att detta system uppnår rätt balans mellan våra målsättningar om att ta bort innehåll som bryter mot våra communityregler och att minimera verkställighetsmisstagen med störst inverkan.