Nøjagtig gennemgang af indhold med stor gennemslagskraft via vores krydstjeksystem
OPDATERET 12. NOV. 2024
Den 6. december 2022 offentliggjorde Tilsynsrådet sin rådgivende udtalelse om Metas krydstjekpolitikker. For at kunne tage højde for alle anbefalinger har vi aftalt med rådet, at vi vil udføre gennemgangen og svare inden for 90 dage. Hvis du vil vide mere om krydstjeksystemet, kan du gå til vores Gennemsigtighedscenter.
Oversigt over krydstjek
Brugere på Facebook og Instagram opretter hver dag milliarder af indholdselementer. Det er vanskeligt at moderere denne mængde indhold, hvilket medfører afvejninger mellem vigtige værdier og mål. Vi forsøger at gennemgå potentielt krænkende indhold hurtigt, så vi kan fjerne det, hvis det er i strid med vores politikker. Vi skal dog holde dette mål op mod risikoen for "falske positiver" (fejlagtig fjernelse af ikke-krænkende indhold) for at beskytte brugernes ytringsfrihed. (Her henviser vi til fjernelse af indhold, som vi bruger til at beskrive integritetshandlinger mere generelt. Det kan også omfatte f.eks. brugen af advarselsskærme eller fjernelse af sider).
For at tage højde for disse overvejelser implementerede Meta krydstjeksystemet for at kunne identificere indhold, der udgør en større risiko for falske positiver, og som medfører yderligere gennemgangsniveauer med henblik på afhjælpning af denne risiko. Krydstjek omfatter yderligere gennemgangsniveauer med henblik på at gennemgå visse typer indhold, som vores interne systemer markerer som værende krænkende (via automatisering eller menneskelig gennemgang), med det mål at forhindre eller minimere modereringsfejl med den højeste risiko for falske positiver, som ellers kunne opstå på grund af forskellige faktorer, f.eks. behovet for at forstå nuancer eller kontekst. (Her henviser vi til "indhold", der gennemgås via vores krydstjeksystem. Vi bruger også krydstjek til at gennemgå andre handlinger, f.eks. fjernelse af en side eller profil). Selvom krydstjek medfører yderligere niveauer af gennemgang, anvender evaluatorer samme fællesskabsregler, som der gælder for alt andet indhold på Facebook eller Instagram.
Krydstjeksystemet spiller en afgørende rolle i forbindelse med beskyttelse af menneskerettigheder. Krydstjeksystemet omfatter f.eks. enheder og opslag fra journalister, der rapporterer fra konfliktzoner, og fra initiativtagere i lokalsamfundet, der skaber opmærksomhed om f.eks. had eller vold. Krydstjekgennemgange tager højde for konteksten, hvilket er nødvendigt for, at der kan handles korrekt på det pågældende indhold. Der kan også blive anvendt krydstjek på civile enheder, hvor brugere har en øget interesse i at se, hvad deres ledere siger.
Derudover spiller krydstjek en vigtig rolle i styringen af Metas relationer med mange af vores forretningspartnere. Fejlagtig fjernelse af indhold, der er slået op af en side eller profil med en stor følgerskare, kan f.eks. medføre negative oplevelser for både Metas forretningspartnere og det store antal brugere, der følger dem. Vi anvender også krydstjek på visse meget store grupper, hvor en fejl kan påvirke tusindvis eller millionvis af brugere. Krydstjek fritager ikke Metas forretningspartnere eller grupper fra vores indholdspolitikker, men det medfører af og til yderligere niveauer af gennemgang for at sikre, at disse politikker håndhæves korrekt.
Folk på Facebook og Instagram slår hver dag milliarder stykker indhold op. Selv med tusindvis af dedikerede evaluatorer over hele verden er det ikke muligt at gennemgå alt indhold, som kunne være i strid med vores fællesskabsregler, manuelt. Langt størstedelen af krænkende indhold, som vi fjerner, detekteres proaktivt af vores teknologi, før nogen anmelder det Når en person slår noget op på Facebook eller Instagram, kontrollerer vores teknologi indholdet for at se, om det overtræder fællesskabsreglerne. I mange tilfælde er det nemt at identificere indholdet. Opslaget overtræder enten tydeligt vores politikker eller ej. Men i andre situationer eskaleres indholdet til menneskelig gennemgang for yderligere evaluering.
Vores primære gennemgangssystemer bruger teknologi til at prioritere det vigtigste indhold, hvilket omfatter "viralt" indhold, der spredes hurtigt. Når systemet markerer indhold til eskalering, træffer vores evaluatorer svære og ofte nuancerede afgørelser om, hvorvidt indholdet skal have lov at blive på platformen. Selvom vi altid bestræber os på at træffe de rigtige afgørelser, anerkender vi, at der kan være falske positiver, og at indhold kan blive fjernet for krænkelse af Metas politikker, selvom indholdet rent faktisk ikke er i strid med vores politikker. Meta har derfor investeret i fejlforebyggelse for yderligere at gennemgå falske positiver og undgå dem. Krydstjek er en af disse strategier for at undgå fejl.
Krydstjek er et system, der bruges til at sikre, at afgørelser om håndhævelse er korrekte og pålægges yderligere niveauer af menneskelig gennemgang. Hvis en evaluator under et krydstjek bekræfter, at indholdet er i strid med vores fællesskabsregler, håndhæver vi disse politikker og træffer de nødvendige foranstaltninger i forhold til indholdet. Afhængigt at indholdets kompleksitet kan vi pålægge yderligere niveauer af gennemgang, herunder, i sjældne tilfælde, gennemgang efter lederskab. Hvis den sidste evaluator vurderer, at det pågældende indhold ikke er i strid med vores fællesskabsregler, kan evaluatoren "omstøde" den oprindelige handling og lade indholdet blive på platformen.
Historiske fremgangsmåder for krydstjek
Vi implementerede første gang det system, der i dag kaldes krydstjek, i 2013. Systemets funktionalitet er blevet videreudviklet i årenes løb, og vi har, hvis muligt, angivet datoer og datointervaller, der angiver, hvornår der er blevet udført ændringer.
For at afgøre, hvilket indhold eller hvilke enheder der får udført krydstjekgennemgang, har vores teams identificeret og udfærdiget en liste over brugere eller enheder, som formodes at have større risiko for håndhævelse på grund af falske positiver. Risiko for falske positiver henviser til risikoen for forkert håndhævelse på indhold eller enheder, som ikke overtræder vores fællesskabsregler. For at afgøre, hvilke brugere og enheder der er forbundet med en større risiko for falske positiver, anvender vores teams en række forskellige kriterier, herunder typen af bruger eller enhed (f.eks. en folkevalgt embedsmand, en journalist, en væsentlig forretningspartner, en menneskerettighedsorganisation), antal følgere og enhedens emneområde. (Enhed er en generel term, hvortil der kan stamme eller blive vist indhold, f.eks. en brugerkonto, en side eller en gruppe).
Når brugere eller enheder, der er identificeret på disse lister, slår indhold op eller udfører handlinger, som vores systemer markerer som værende potentielt i strid med vores politikker, tilføjer vi indholdet eller enheden i en kø til krydstjekgennemgang.
Fra 2020 og indtil nu har vi foretaget ændringer, så det meste indhold i køen nu prioriteres ud fra en risikovurdering, som tildeler et niveau af risiko for falsk positiv, såfremt Meta fjernede indholdet ved en fejl. Denne risikovurdering afhænger generelt af tre faktorer: (1) enhedens følsomhed, (2) alvorsgraden af den påståede overtrædelse og (3) alvorsgraden af den potentielle håndhævelseshandling.
Nuværende fremgangsmåder for krydstjek
Som det er tilfældet med alle vores politikker og procedurer arbejder vi hele tiden på at forbedre dem, og vi udfører hele tiden ændringer. Tidligere i år identificerede vi yderligere muligheder for at forbedre krydstjeksystemet. Vi foretog en strukturel ændring, så krydstjeksystemet nu består af to komponenter: GSR (Generel sekundær gennemgang) og SSR (Følsom enhed – sekundær gennemgang). Selvom vi vil fortsætte med at bruge den listebaserede tilgang, som er beskrevet ovenfor, til inklusion i SSR for en procentdel af visse brugere og enheder, er vi med GSR i gang med at sikre, at indhold fra alle brugere og enheder på Facebook og Instagram er berettiget til krydstjekgennemgang i et dynamisk prioriteringssystem kaldet "krydstjekrangering".
GSR involverer kontraktansatte evaluatorer og personer fra vores områdeteams, der udfører en sekundær gennemgang af indhold og enheder, som muligvis overtræder vores politikker, før der udføres en håndhævelseshandling. Denne gennemgang afhænger ikke udelukkende på identiteten af en bruger eller enheder, når det skal afgøres, hvilket indhold der skal krydstjekkes. Krydstjekrangeringen rangerer indhold på baggrund af risikoen for falske positiver ved hjælp af kriterier som f.eks. emnefølsomhed (emnets popularitet/følsomhed), alvorsgrad af håndhævelse (alvorsgraden af den potentielle håndhævelseshandling), sandsynligheden for falske positiver, forventet rækkevidde og enhedsfølsomhed (baseret hovedsagligt på de kompilerede lister, der er beskrevet ovenfor). Krydstjekrangeringen bruges allerede i forbindelse med de fleste krydstjekgennemgang i dag.
SSR minder om det tidligere krydstjeksystem. For at afgøre, hvilket indhold eller hvilke enheder der får SSR, vil vi blive ved med at vedligeholde lister over brugere og enheder, hvor håndhævelser får en yderligere krydstjekgennemgang, hvis de markeres som værende potentielt i strid med fællesskabsreglerne. Vi har dog tilføjet kontrolforanstaltninger i denne proces med kompilering og gennemgang af disse lister. Før september 2020 kunne de fleste medarbejdere tilføje en brugere eller en enhed på krydstjeklisten. Efter september 2020 er det således, at selvom en hvilken som helst medarbejder stadig kan anmode om, at en bruger eller enhed tilføjes på krydstjeklisten, så er det kun en udpeget gruppe af medarbejdere, som er bemyndigede til at tilføje nogen på listen.
Ansvaret for styring af SSR-listen ligger i øjeblikket hos vores Global Operations-organisation, med støttes fra vores juridiske teams og partnerteams, som har specialiseret viden og ekspertise inden for området. Selvom rapporteringsstrukturen for vores Global Operations-team er separat fra Metas Public Policy-team, så tages Public Policy-teamet med på råd i forbindelse med krydstjekafgørelser, da de har erfaring inden for mange områder af indholdsmoderering på tværs af virksomheden. I disse situationer kan vores Operations-team få gavn af ekspertisen fra Metas Public Policy-team samt fra vores områdeeksperter og specialiserede evaluatorer med sprogkendskab, så der også tages højde for lokale og kulturelle forhold. Den separate rapporteringsstruktur sikrer, at gennemgange foregår uafhængigt af politisk eller økonomisk påvirkning. For at vedligeholde lister, der er relevante og passende, har vi desuden udviklet en omhyggelig årlig gennemgangsproces for at kontrollere enheder på SSR-lister for fortsat berettigelse, og vi vil fortsætte med at tilpasse dette over tid.
I løbet af de seneste måneder har Meta i gennemsnit gennemgået flere tusinde krydstjekjobs hver dag, hvor størstedelen har fået GSR. (I forhold til de millioner af indholdselementer, der markeres og handles på i forhold til overtrædelse af vores fællesskabsregler hver dag, er det kun en lille del). SSR udgør nu et fåtal af disse daglige gennemgange. Vi forventer en løbende ændring i antallet af krydstjekgennemgange på grund af prioritering af GSR fra udgangen af 2021 og ind i 2022.
Hvis et indholdselement er fra en person eller enhed, der er inkluderet som en del af SSR, gennemgås indholdet normalt først af områdeteamene. Eskaleringsteamet gennemgår derefter indholdet for at bekræfte, om det er i strid med vores regler. Generelt set er det således, at hvis områdeteamet mener, at indholdet ikke er i strid med vores politikker, vil indholdet ikke blive gennemgået af eskaleringsteamet. Hvis et indholdselement er fra en person eller enhed, der er prioriteret af krydstjekrangeringen, vil det normalt blive gennemgået af kontrahenter eller områdeteamet, medmindre eskaleringsteamet har kapacitet til at gennemgå det. Som det er tilfældet med ældre krydstjek vil meget komplekse emner blive gennemgået flere gange, herunder, i sjældne tilfælde, af ledelsen. Hvis det vurderes i den sidste gennemgang, at indholdet overtræder vores fællesskabsregler, fjerner vi det. Hvis gennemgangene viser, at indholdet ikke er i strid med vores regler, lader vi det være.
Den 16. oktober 2021 havde ca. 660.000 brugere og enheder handlinger, der krævede en form for SSR baseret på inklusion på de lister, der er beskrevet ovenfor. Dette antal ændrer sig regelmæssigt, efterhånden som vi tilføjer eller fjerner brugere og enheder på de lister, der er beskrevet ovenfor, baseret på udviklingen af inklusionskriterier. Eksempler på brugere og enheder, der får SSR, inkluderer, men er ikke begrænset til:
Enheder relateret til eskaleringssvar eller højrisikohændelser. I øjeblikket har vi en uformel proces, hvor teams, der forbereder sig på en højrisikohændelse, identificerer enheder med stor risiko for overdreven håndhævelse. Hvis f.eks. en brugers kontroversielle indhold går viralt (f.eks. livevideo af politivold), kan vi identificere denne bruger med henblik på SSR for at forhindre forkert fjernelse.
Enheder, der er medtaget af hensyn til overholdelse af reglerne. Vi bruger SSR i visse situationer for at overholde lovmæssige krav og myndighedskrav.
Offentlige personer og udgivere med høj synlighed. Vi identificerer enheder med henblik på SSR, fordi overdreven håndhævelse kan medrøre en negativ oplevelse for et større brugersegment.
Marginaliserede befolkninger. Vi identificerer menneskerettighedsforkæmpere, dissidenter og andre, som vi mener kan være mål for statssponsoreret eller anden form for fjendtlig chikane eller masseanmeldelse, med henblik på at beskytte mod disse angreb.
Borgerlige enheder. Vi følger objektive kriterier og vores regionale politikteams' ekspertise for at identificere politikere, embedsmænd, institutioner, organisationer, fortalergrupper og civile influencere. Vi inkluderer disse enheder med henblik på SSR for at forhindre fejl, der kunne begrænse ikke-krænkende politisk tale og have en negativ indflydelse på debatten om borgeremner som f.eks. valg, politik og sociale mærkesager. Vi bestræber os på at sikre paritet på tværs af et lands borgerenheder. Hvis vi f.eks. inkluderer et ministerium i et land i SSR, vil vi inkludere alle ministerier i det pågældende lands regering i SSR.
Virksomheder. Vi identificerer annoncører af høj værdi såvel som dem, der har oplevet overdreven håndhævelse, for at beskytte omsætningen og opbygge langsigtet tillid til vores platform.
Vi er i øjeblikket i gang med at gennemgå, hvordan vi kan forbedre kriterierne for identifikation af enheder, som bør modtage SSR. Vi er f.eks. ved at undersøge, hvordan vi kan udvikle vores kriterier inden for områder som f.eks. antal følgere, antal tidligere håndhævelser i forbindelse med falske positiver, juridiske/lovgivningsmæssige krav samt vigtige politiske/samfundsmæssige emner. Brugere kan anmode om, at de ikke medtages på SSR-listen, via denne formular. Meta bekræfter ikke, om brugere er på eller er blevet fjernet fra disse lister. Vi går dog stærkt ind for, at brugerne har selvbestemmelse, og vil gennemgå hver anmodning så hurtigt som muligt.
Udover de to komponenter i krydstjeksystemet har vi også et internt system til forebyggelse af fejl, der kaldes DMR (Dynamic Multi Review). Dette system giver os mulighed for at sende gennemgåede sager tilbage til en ekstra gennemgang for at få flertal for en afgørelse (dvs. hvis et flertal af evaluatorer er enige i en afgørelse, lukkes sagen). Vi bruger systemet til at forbedre kvaliteten og nøjagtigheden i forbindelse med menneskelig gennemgang og til at reducere risikoen for forkerte afgørelser ved at tilpasse antallet af gennemgange, der kræves for at nå en endelig afgørelse, på baggrund af forskellige faktorer, f.eks. viralitet, antal visninger og potentialet for at kunne bidrage til skade (dvs. at potentielle overtrædelser af vores politikker om seksuel udnyttelse eller farlige personer og organisationer).
Fremtidige indgreb for gennemsigtighed ved krydstjek
Som svar på Tilsynsrådets afgørelse i december 2022 med en rådgivende udtalelse om politikker om krydstjek har vi desuden forpligtet os til en række indgreb i forhold til gennemsigtighed ved forebyggelse af fejl. Disse indgreb omfatter:
Struktureret og robust involvering af vores interne Human- og Civil Rights-teams, vores betroede partnere og andre eksterne civilsamfundsorganisationer med henblik på at udforske, hvorledes vi kan definere de kriterier, vi bruger til at identificere enheder af offentlig interesse til krydstjeklister.
Udforske en mere formel proces til angivelse på krydstjeklisten fra globale, regionale og lokale civilsamfundsgrupper.
Investere i kvalitetsgennemgang og uddannelse af ressourcer, efterhånden som vi går over til at besætte alle roller inden for krydstjekafgørelser med evaluatorer, der taler det pågældende sprog og har områdespecifik ekspertise, hvis muligt.
Implementere robuste SLA'er til gennemgangsafgørelser på tværs af vores systemer til forebyggelse af fejl, hvilket giver os mulighed for at optimere vores nuværende bemandingsmodel for evaluatorer med henblik på den hurtigst mulige gennemgang på det relevante sprog.
Selvom vi har foretaget betydelige forbedringer i krydstjeksystemet, arbejder vi stadig på at finde nye måder, hvorpå vi yderligere kan sikre, at systemet både kan opfylde vores mål om at fjerne indhold, der er i strid med vores fællesskabsregler, og samtidig sikre, at vi minimerer antallet af fejl i forbindelse med håndhævelse, som har størst betydning.