Nøyaktig gjennomgang av innhold med høy gjennomslagskraft via systemet vårt for kryssjekk

OPPDATERT 12. NOV. 2024

Den 6. desember 2022 publiserte Tilsynsrådet en rådgivende uttalelse om Metas retningslinjer for kryssjekk. For at vi fullt ut skal kunne vurdere samtlige anbefalinger, har vi blitt enige med rådet om at vi skal gi et svar innen 90 dager. Hvis du vil lese mer om systemet for kryssjekk, kan du gå til åpenhetssenteret.

Oversikt over kryssjekk

Brukere på Facebook og Instagram oppretter milliarder av innholdselementer hver dag. Å moderere innhold i så stor skala fører til utfordringer, blant annet avveininger mellom viktige verdier og målsettinger. Vi ønsker å raskt gå gjennom innhold som potensielt bryter retningslinjene, og fjerne det hvis det er tilfelle. Men vi må avveie dette målet mot risikoen for «falske positive treff» (feilaktig fjerning av innhold som ikke bryter retningslinjene) for å beskytte brukernes rett til å ytre seg. (Her viser vi til «fjerning» av innhold, som vi bruker til å beskrive integritetshandlinger mer generelt. Dette kan også inkludere for eksempel bruk av advarselsskjermer eller fjerning av sider.)

For å avveie disse hensynene har Meta implementert systemet for kryssjekk for å identifisere innhold som utgjør en større risiko for falske positive treff, og legge til ytterligere gjennomgangsnivåer for å redusere denne risikoen. Kryssjekking legger til ytterligere gjennomgangsnivåer for bestemt innhold som de interne systemene våre flagger som i strid med retningslinjene (via automatisering eller manuell gjennomgang), med mål om å forhindre eller minimere risikoen for fjerning i forbindelse med falske positive treff som ellers kan skje på grunn av en rekke faktorer, for eksempel behovet for å forstå nyanser eller kontekst. (Her viser vi til «innhold» som er gjennomgått via systemet vårt for kryssjekk. Vi bruker også kryssjekk for å gjennomgå andre handlinger, for eksempel fjerning av sider eller profiler.) Selv om kryssjekk legger til ytterligere gjennomgangsnivåer, bruker kontrollørene de samme standardene som gjelder for alt annet innhold på Facebook eller Instagram.

Systemet for kryssjekk har en avgjørende funksjon i å bidra til å beskytte menneskerettighetene. Systemet for kryssjekk inkluderer for eksempel enheter og innlegg fra journalister som rapporterer fra konfliktsoner, og samfunnsledere som øker oppmerksomheten rundt hat eller vold. Kryssjekk-gjennomganger tar høyde for konteksten, noe som er nyttig for å ta riktig avgjørelse om innholdet. Kryssjekk-gjennomganger kan også gjelde for administrative enheter, der brukerne har stor interesse av å se hva lederne deres sier.

Kryssjekk har også en viktig rolle i å behandle Metas relasjoner til mange av forretningspartnerne våre. For eksempel kan feilaktig fjerning av innhold som er publisert av en side eller profil med mange følgere, føre til negative opplevelser for både Metas bedriftspartnere og de mange brukerne som følger dem. Vi bruker også kryssjekking på noen svært store grupper, der en feil kan berøre flere hundre tusen eller millioner brukere. Kryssjekking fritar ikke Metas bedriftspartnere eller grupper fra retningslinjene våre for innhold, men det kan iblant føre til ytterligere gjennomgangsnivåer for å sikre at retningslinjene anvendes riktig.

Brukere på Facebook og Instagram publiserer milliarder av innholdselementer hver dag. Selv med tusenvis av kontrollører rundt om i verden er det ikke mulig å manuelt gjennomgå alt innhold som potensielt bryter standardene våre. Det aller meste av innhold vi fjerner for brudd på retningslinjene, oppdages proaktivt av teknologien vår før noen rapporterer det. Når noen publiserer noe på Facebook eller Instagram, sjekker teknologien vår om innholdet bryter standardene våre. I mange tilfeller er identifikasjon en enkel sak. Innlegget bryter enten tydelig med retningslinjene våre, eller så gjør det ikke det. Men i andre tilfeller eskaleres innholdet til en menneskelig kontrollør for videre evaluering.

De primære gjennomgangssystemene våre bruker teknologi til å prioritere innhold med høy alvorsgrad, blant annet «viralt» innhold som spres raskt. Når systemene flagger innhold for eskalering, tar kontrollørene våre vanskelige og ofte nyanserte avgjørelser om hvorvidt innhold bør få bli på plattformen. Selv om vi alltid prøver å ta riktig avgjørelse, erkjenner vi at falske positive treff forekommer, og at noe innhold flagges for fjerning for brudd på Metas retningslinjer, selv om det ikke bryter retningslinjene. Meta har derfor investert i forebygging av feil for å gjennomgå falske positive treff ytterligere og redusere forekomsten av dem. Kryssjekking er én av disse strategiene for å forebygge feil.

Kryssjekking er et system som brukes for å sikre at avgjørelser tas på riktig måte, og med ekstra, manuell gjennomgang. Hvis en kontrollør under en kryssjekk bekrefter at innhold bryter standardene våre, håndhever vi disse retningslinjene og håndterer det aktuelle innholdet deretter. Avhengig av hvor komplekst innholdet er, kan vi bruke flere gjennomgangsnivåer, inkludert sjeldne tilfeller der innhold kan bli gjennomgått av ledelsen. Hvis den endelige kontrolløren avgjør at innholdet ikke bryter standardene våre, kan kontrolløren omgjøre den opprinnelige handlingen og la innholdet bli på plattformen.

Historiske fremgangsmåter for kryssjekking

Vi implementerte systemet som nå er kjent som kryssjekk, i 2013. Detaljene i systemet har blitt utviklet opp gjennom årene, og der det er mulig, har vi oppgitt datoer og datoperioder som forklarer når disse endringene ble gjort.

For å avgjøre hvilket innhold eller hvilke enheter som skulle få kryssjekk-gjennomgang, utarbeidet teamene våre lister over brukere eller enheter som ble antatt å ha høyere risiko knyttet til falske positive treff mot seg. «Risiko for falske positive treff» viser til risikoen for feil håndhevelse mot innhold eller enheter som ikke faktisk har brutt standardene våre. For å avgjøre hvilke brukere og enheter som hadde høyere risiko for falske positive treff, brukte teamene våre en rekke kriterier, deriblant type bruker eller enhet (for eksempel en valgt embetsperson, journalist, betydelig forretningspartner, menneskerettsorganisasjon), antall følgere og temaet for enheten. (Enhet er et generelt begrep for hvor innhold kan stamme fra eller vises, for eksempel en brukerkonto, side eller gruppe.)

Da brukere eller enheter på disse listene publiserte innhold eller gjorde handlinger som systemene våre flagget som potensielle brudd på retningslinjene, la vi til innholdet eller enheten i en kø for kryssjekk-gjennomgang.

Fra 2020 gjorde vi endringer slik at det meste av innholdet i køen ble prioritert ved hjelp av et risikorammeverk som tilordnet et risikonivå for falske positive treff som kunne oppstå hvis Meta feilaktig fjernet innholdet. Dette risikorammeverket baserte seg hovedsakelig på tre faktorer: (1) enhetens sensitivitet, (2) alvorsgraden av den påståtte overtredelsen og (3) alvorsgraden av den potensielle håndhevelseshandlingen.

Nåværende fremgangsmåter for kryssjekking

Som for alle retningslinjene og prosessene våre, ser vi kontinuerlig etter måter å forbedre oss på, og vi gjør kontinuerlig endringer. Tidligere i år identifiserte vi flere muligheter for å forbedre systemet for kryssjekk. Én strukturell endring vi gjorde, er at systemet for kryssjekk nå består av to komponenter: Generell sekundær gjennomgang («General Secondary Review» – GSR) og sekundær gjennomgang for sensitive enheter («Sensitive Entity Secondary Review» – SSR). Selv om vi fortsatt vil bruke den listebaserte tilnærmingen som er beskrevet ovenfor for å inkludere bestemte brukere og enheter i SSR, har vi når det gjelder GSR, påbegynt en prosess der vi sikrer at innhold fra alle brukere og enheter på Facebook og Instagram kan bli kryssjekket, basert på et dynamisk prioriteringssystem som kalles «kryssjekkrangering».

I GSR benyttes innleide kontrollører og personer fra de regionale teamene våre, som utfører en sekundær gjennomgang av innhold og enheter som potensielt bryter retningslinjene våre, før det iverksettes tiltak. Denne gjennomgangen er ikke utelukkende basert på identiteten til en bruker eller enhet for å avgjøre hvilket innhold som blir kryssjekket. Kryssjekkrangeringen rangerer innhold basert på risikoen for falsk positiv ved hjelp av kriterier som emnets sensitivitet (hvor populært/sensitivt emnet er), håndhevelsens alvorsgrad (alvorsgraden av den potensielle håndhevelseshandlingen), sannsynligheten for falsk positiv, anslått rekkevidde og enhetens sensitivitet (hovedsakelig basert på listene som er beskrevet ovenfor). Kryssjekkrangering er allerede i bruk for de fleste kryssjekkgjennomganger i dag.

SSR tilsvarer det tidligere kryssjekk-systemet. For å avgjøre hvilket innhold eller hvilke enheter som får en SSR, fortsetter vi å ha lister over brukere og enheter som får en ekstra kryssjekk-gjennomgang hvis de flagges for potensielle brudd på standardene våre. Vi har imidlertid lagt til kontroller i prosessen med å utarbeide og oppdatere disse listene. Før september 2020 hadde de fleste ansatte mulighet til å legge til en bruker eller enhet på kryssjekk-listen. Etter september 2020 kan ansatte fortsatt be om at en bruker eller enhet blir lagt til på listen, men bare en bestemt gruppe ansatte har autoritet til å legge til brukere og enheter på listen.

SSR-listen er for øyeblikket ansvaret til Global Operations-avdelingen vår, med støtte fra juridisk avdeling og partnerteamet med sin respektive spesialkunnskap og -erfaring. Rapporteringsstrukturen til Global Operations-teamet er separat fra Metas Public Policy-team, men sistnevnte blir konsultert og kan komme med innspill når det skal fattes kryssjekkbeslutninger – slik de også blir konsultert ved en del annen innholdsmoderering i selskapet. I disse tilfellene kan Operations-teamet vårt utnytte ekspertisen til Metas Public Policy-team – i samspill med regionale eksperter og spesialiserte, språklig uavhengige kontrollører – for å ivareta lokale og kulturelle perspektiver. De separate rapporteringsstrukturene bidrar til å sikre at gjennomgangen skjer uavhengig av politisk og økonomisk påvirkning. For at listene våre skal være relevante og hensiktsmessige har vi også utviklet en grundig årlig vurderingsprosess for å kontrollere at enhetene på SSR-listene fortsatt bør være der, en prosess vi løpende vil fortsette med å forbedre.

De siste månedene har Meta i gjennomsnitt utført flere tusen kryssjekker daglig, der et stort flertall er gjort gjennom GSR. (Sett opp mot de millionene av innholdselementer som blir flagget og iverksatt tiltak mot for brudd på standardene våre hver dag, er dette en liten andel.) SSR utgjør nå et mindretall av disse daglige gjennomgangene. Vi forventer fortsatt endring i antall kryssjekker på grunnlag av at vi har prioritert GSR fra slutten av 2021 og videre inn i 2022.

Hvis en person eller en enhet som står på en SSR-liste, publiserer innhold, blir innholdet vanligvis først gjennomgått av det regionale teamet. Deretter gjennomgår eskaleringsteamet det for å bekrefte om innholdet bryter retningslinjene eller ikke. Hvis det regionale teamet avgjør at innholdet ikke bryter retningslinjene, blir det vanligvis ikke gjennomgått av eskaleringsteamet. Hvis innholdet publiseres av en enkeltperson eller enhet som er prioritert gjennom kryssjekkrangering, blir det vanligvis gjennomgått av innleide kontrollører eller det regionale teamet, med mindre eskaleringsteamet har tilgjengelig kapasitet til å gjøre det. Som med kryssjekkingen tidligere kan saker med høy kompleksitet bli gjennomgått ekstra, inkludert av ledelsen i sjeldne tilfeller. Hvis den endelige gjennomgangen avgjør at innholdet bryter standardene våre, fjerner vi det. Hvis gjennomgangen viser at innholdet ikke bryter standardene, tillater vi at det blir værende.

Per 16. oktober 2021 har omtrent 660 000 brukere og enheter utført handlinger som krever en form for SSR, fordi de står på listene som er beskrevet ovenfor. Dette antallet endres regelmessig etter hvert som vi legger til eller fjerner brukere og enheter på listene beskrevet over, basert på kriterier i stadig endring. Eksempler på brukere og enheter som er kvalifisert for SSR inkluderer, men er ikke begrenset til følgende:

Enheter relatert til eskaleringsrespons eller hendelser med høy risiko. Det finnes for øyeblikket en uformell prosess der team som forbereder seg på en hendelse med høy risiko, identifiserer enheter med stor risiko for overhåndhevelse. Hvis for eksempel en brukers kontroversielle innhold spres viralt (for eksempel en direktesendt video av politivold), kan vi flagge den aktuelle brukeren for SSR for å forhindre feilaktig fjerning.
Enheter som er inkludert på grunn av juridiske krav. Vi bruker SSR i bestemte tilfeller for å overholde juridiske eller lovfestede krav.
Offentlige personer og utgivere med høy synlighet. Vi identifiserer enheter for SSR fordi overhåndhevelse kan føre til en negativ opplevelse for et stort antall brukere.
Marginaliserte befolkningsgrupper. Vi identifiserer forkjempere for menneskerettigheter, politiske dissidenter og andre som vi mener kan være ofre for statsledet trakassering eller annen trakassering fra motstandere, koordinert forstyrrende massekommentering eller masserapportering, for å beskytte mot slike angrep.
Administrative enheter. Vi følger objektive kriterier og ekspertisen til retningslinjeteamene i regionen for å identifisere politikere, offentlige funksjonærer, institusjoner, organisasjoner, forkjempergrupper og påvirkere. Disse enhetene er inkludert i SSR for å forhindre feil som ville begrenset politiske ytringer som ikke bryter retningslinjene, og som dermed kunne påvirket diskusjonen rundt politiske temaer som valg, offentlig politikk og samfunnsspørsmål. Vi ønsker å sikre likhet mellom de administrative enhetene i et land. Hvis vi for eksempel inkluderer en gitt statsråd i SSR, vil vi også inkludere alle andre statsråder i landets regjering i SSR.
Bedrifter. Vi identifiserer annonsører av høy verdi, samt dem som har opplevd overhåndhevelse, for å beskytte inntekter og bygge opp langvarig tillit til plattformen vår.

Vi vurderer for øyeblikket hvordan vi kan forbedre kriteriene for å identifisere enheter som skal få SSR. Vi undersøker for eksempel om vi skal videreutvikle kriteriene våre innenfor områder som antall følgere, antall tidligere håndhevelser i forbindelse med falske positiver, juridiske/lovfestede krav og viktige politiske og samfunnsmessige saker. Brukere kan bruke dette skjemaet til å be om at de ikke skal inkluderes på SSR-listen. Meta bekrefter ikke hvorvidt brukere er på listen eller har blitt fjernet fra den. Det er imidlertid viktig for oss at brukerne har muligheten til å bestemme selv, så vi går gjennom hver enkelt forespørsel så raskt som mulig.

I tillegg til de to komponentene i kryssjekksystemet har vi et internt feilforebyggende system som heter DMR (Dynamic Multi Review). Dette systemet gjør det mulig for oss å sende behandlede saker tilbake for ny gjennomgang for å få en flertallsavgjørelse (for eksempel at hvis et flertall av kontrollørene er enige i avgjørelsen, blir saken avsluttet), slik at sjansen er større for å fatte en riktig beslutning. Vi bruker dette systemet for å forbedre kvaliteten og nøyaktigheten ved manuell gjennomgang og redusere risikoen for feilaktige avgjørelser. Vi justerer antall gjennomganger som trengs for å ta en endelig avgjørelse, ut fra en rekke forskjellige faktorer, som for eksempel viralitet, antall visninger og skadepotensial (for eksempel potensielle brudd på retningslinjene våre om seksuell utnyttelse eller farlige personer og organisasjoner).

Åpenhet om kryssjekk i tiden framover

Som svar på Tilsynsrådets rådgivende uttalelse fra desember 2022 om retningslinjene for kryssjekk har vi også forpliktet oss til en rekke tiltak for å forebygge feil. Disse tiltakene inkluderer følgende:

Vi skal ha et strukturert og robust samarbeid med våre interne team for menneske- og borgerrettigheter, betrodde partnere og andre eksterne samfunnsorganisasjoner for å finne ut hvordan vi best kan informere om hvilke kriterier vi bruker når vi avgjør hvilke enheter av offentlig interesse som skal stå på kryssjekklister.
Vi skal undersøke om det er mulig med en mer formell nominasjonsprosess fra globale, regionale og lokale samfunnsorganisasjoner til kryssjekklistene.
Vi skal investere i solide gjennomgangs- og opplæringsressurser når vi går over til at all kryssjekking skal foregå av kontrollører som snakker det aktuelle språket og har regional ekspertise (der det er mulig).
Vi skal implementere robuste servicenivåavtaler (SLA) på tvers av systemene våre for feilforebygging, slik at vi kan optimalisere den nåværende modellen for tilordning av språkkyndige kontrollører for å oppnå raskest mulig gjennomgang.

Selv om vi har gjort betydelige forbedringer av systemet for kryssjekking, vurderer vi fortsatt hvordan vi enda bedre kan sikre at dette systemet hjelper oss med å nå målet om å fjerne innhold som bryter med standardene våre, samtidig som vi sikrer at vi minimerer antall håndhevelsesfeil med størst innvirkning.