Content met veel impact nauwkeurig beoordelen via ons kruiscontrolesysteem

BIJGEWERKT 12 NOV. 2024

Op 6 december 2022 publiceerde het Comité van toezicht hun beleidsadvies over het beleid inzake kruiscontroles van Meta. Om de diverse aanbevelingen volledig te behandelen, hebben wij met het comité afgesproken om binnen 90 dagen het advies te evalueren en erop te reageren. Ga naar ons bericht in het Transparantiecentrum voor meer informatie over het kruiscontrolesysteem.

Overzicht van kruiscontroles

Gebruikers van Facebook en Instagram maken elke dag miljarden contentitems. Het modereren van content op deze schaal brengt uitdagingen met zich mee, waaronder afwegingen tussen belangrijke waarden en doelen. We proberen mogelijk inbreukmakende content snel te beoordelen en te verwijderen als deze in strijd is met ons beleid. Maar we moeten dit doel afwegen tegen het risico van 'vals-positieven' (onjuiste verwijdering van niet-inbreukmakende content) om de stem van gebruikers te beschermen. (We spreken hier van de 'verwijdering' van content, de term die we gebruiken om integriteitsacties in bredere zin te beschrijven. Dit kan ook andere maatregelen omvatten, zoals het gebruik van waarschuwingsschermen of het verwijderen van pagina's.)

Om deze overwegingen in evenwicht te brengen, implementeerde Meta het kruiscontrolesysteem om content te identificeren die een groter risico op vals-positieven oplevert en extra beoordelingsniveaus te bieden om dat risico te beperken. Een kruiscontrole biedt extra beoordelingsniveaus voor bepaalde content die onze interne systemen als inbreukmakend markeren (via automatisering of menselijke beoordeling), met als doel het voorkomen of minimaliseren van de moderatiefouten met het hoogste risico die anders zouden kunnen optreden als gevolg van verschillende factoren, zoals het (on)vermogen om nuance of context te begrijpen. (We spreken hier over 'content' die wordt beoordeeld via ons kruiscontrolesysteem. We gebruiken ook kruiscontroles om andere acties te beoordelen, zoals het verwijderen van een pagina of profiel.) Hoewel kruiscontroles extra beoordelingsniveaus bieden, passen beoordelaars dezelfde richtlijnen voor de community toe die van toepassing zijn op alle andere content op Facebook of Instagram.

Het kruiscontrolesysteem speelt een cruciale rol bij de bescherming van mensenrechten. Het kruiscontrolesysteem omvat bijvoorbeeld entiteiten en berichten van journalisten die verslag doen vanuit conflictgebieden en communityleiders die het bewustzijn van gevallen van haat of geweld vergroten. Bij kruiscontroles wordt rekening gehouden met de context, wat helpt bij het bepalen van de juiste actie ten aanzien van de content. Kruiscontroles kunnen ook worden toegepast op maatschappelijke entiteiten wanneer het voor gebruikers van toegenomen belang is om de uitingen van hun leiders te volgen.

Daarnaast spelen kruiscontroles een belangrijke rol bij het beheren van de relaties van Meta met veel van onze zakelijke partners. Het onterecht verwijderen van content die is geplaatst door een pagina of profiel met een grote aanhang kan bijvoorbeeld leiden tot negatieve ervaringen voor zowel de zakelijke partners van Meta als het aanzienlijke aantal gebruikers dat hen volgt. We passen ook kruiscontroles toe op enkele zeer grote groepen, waarbij een fout honderdduizenden of miljoenen gebruikers kan treffen. Kruiscontroles stellen zakelijke partners van Meta of groepen niet vrij van ons contentbeleid, maar bieden soms wel extra beoordelingsniveaus om te verzekeren dat die beleidsregels correct worden toegepast.

Gebruikers van Facebook en Instagram plaatsen elke dag miljarden contentitems. Zelfs met duizenden toegewijde beoordelaars over de hele wereld is het niet haalbaar om elk contentitem dat mogelijk in strijd is met onze richtlijnen voor de community handmatig te beoordelen. De overgrote meerderheid van inbreukmakende content die we verwijderen wordt proactief gedetecteerd door onze technologie voordat iemand deze rapporteert. Wanneer iemand een bericht plaatst op Facebook of Instagram, controleert onze technologie of de content mogelijk in strijd is met de richtlijnen voor de community. In veel gevallen is het gemakkelijk om dit vast te stellen. Het bericht schendt duidelijk ons beleid, of niet. Maar in andere gevallen wordt de content geëscaleerd naar een menselijke beoordelaar voor verdere evaluatie.

Onze primaire beoordelingssystemen gebruiken technologie om prioriteit te geven aan zeer ernstige content, waaronder 'virale' content die zich snel verspreidt. Wanneer de systemen content markeren voor escalatie, nemen onze beoordelaars moeilijke en vaak genuanceerde besluiten over de vraag of content op het platform moet blijven staan. Hoewel we altijd proberen de juiste besluiten te nemen, erkennen we dat vals-positieven voorkomen en dat sommige content is ingesteld voor verwijdering wegens schending van het beleid van Meta terwijl daarvan eigenlijk geen sprake is. Meta heeft daarom geïnvesteerd in foutpreventie om vals-positieven verder te beoordelen en in te perken. Een kruiscontrole is een van deze strategieën ter voorkoming van fouten.

De kruiscontrole is een systeem dat wordt gebruikt om ervoor te zorgen dat handhavingsbesluiten nauwkeurig en met extra niveaus van menselijke beoordeling worden genomen. Als een beoordelaar tijdens een kruiscontrole bevestigt dat content in strijd is met onze richtlijnen voor de community, handhaven we dat beleid en pakken we de schendende content overeenkomstig aan. Afhankelijk van de complexiteit van de content kunnen we meerdere beoordelingsniveaus toepassen, waaronder, in zeldzame gevallen, beoordeling door het management. Als de uiteindelijke beoordelaar vaststelt dat de betreffende content niet in strijd is met onze richtlijnen voor de community, kan de beoordelaar de oorspronkelijke actie terugdraaien en de content op het platform laten staan.

Historische aanpak van kruiscontrole

We hebben het systeem dat nu bekendstaat als kruiscontrole voor het eerst geïmplementeerd in 2013. De details van het systeem zijn in de loop van de jaren geëvolueerd en waar mogelijk hebben we datums en datumbereiken verstrekt om uit te leggen wanneer deze wijzigingen zijn doorgevoerd.

Om te bepalen welke content of entiteiten een kruiscontrolebeoordeling hebben gekregen, hebben onze teams lijsten opgesteld van gebruikers of entiteiten waarvan wordt aangenomen dat ze een hoger risico lopen op vals-positieve acties tegen hen. Een 'risico op vals-positieve actie' verwijst naar het risico van onjuiste handhaving tegen content of entiteiten die onze richtlijnen voor de community niet daadwerkelijk schenden. Om te bepalen welke gebruikers en entiteiten een hoger risico op vals-positieve actie liepen, pasten onze teams verschillende criteria toe, waaronder het type gebruiker of entiteit (bijvoorbeeld een gekozen functionaris, journalist, belangrijke zakelijke partner, mensenrechtenorganisatie), het aantal volgers en het onderwerp van de entiteit. (Entiteit is een algemene term voor waar content vandaan kan komen of kan worden weergegeven, zoals een gebruikersaccount, pagina of groep.)

Wanneer gebruikers of entiteiten op die lijsten content hebben geplaatst of acties hebben ondernomen die door onze systemen zijn gemarkeerd als mogelijk in strijd met ons beleid, voegen we de content of entiteit toe aan een wachtrij voor een kruiscontrolebeoordeling.

Vanaf 2020 hebben we wijzigingen doorgevoerd zodat de meeste content in de wachtrij werd geprioriteerd aan de hand van een risicokader dat een niveau van risico op vals-positieve actie toewees dat zou kunnen ontstaan als Meta die content ten onrechte zou verwijderen. Dit risicokader was doorgaans gebaseerd op 3 factoren: (1) de gevoeligheid van de entiteit, (2) de ernst van de vermeende schending en (3) de ernst van de mogelijke handhavingsactie.

Huidige methoden voor kruiscontroles

Zoals met al onze beleidsregels en processen zoeken we steeds naar manieren om te verbeteren en worden er doorlopend wijzigingen aangebracht. Eerder dit jaar hebben we extra mogelijkheden vastgesteld om het kruiscontrolesysteem te verbeteren. Een structurele wijziging die we hebben doorgevoerd, is dat het kruiscontrolesysteem nu uit 2 componenten bestaat: General Secondary Review (GSR) en Sensitive Entity Secondary Review (SSR). Hoewel we de hierboven beschreven op lijsten gebaseerde benadering zullen blijven gebruiken voor opname in de SSR voor een percentage van bepaalde gebruikers en entiteiten, zijn we met de GSR bezig ervoor te zorgen dat content van alle gebruikers en entiteiten op Facebook en Instagram in aanmerking komt voor een kruiscontrolebeoordeling op basis van een dynamisch prioriteringssysteem dat we 'rangschikking voor kruiscontrole' noemen.

Een GSR omvat contractbeoordelaars en mensen van ons regioteam die een secundaire beoordeling uitvoeren van content en entiteiten die mogelijk ons beleid schenden voordat een handhavingsactie wordt ondernomen. Bij deze beoordeling wordt niet alleen gekeken naar de identiteit van een gebruiker of entiteit om te bepalen welke content een kruiscontrole krijgt. Bij de rangschikking voor kruiscontrole wordt content geprioriteerd op basis van het risico op vals-positieve actie op basis van criteria zoals de gevoeligheid van het onderwerp (hoe populair/gevoelig het onderwerp is), de ernst van de handhaving (de ernst van de potentiële handhavingsactie), de kans op vals-positieve actie, het voorspelde bereik en de gevoeligheid van de entiteit (grotendeels gebaseerd op de hierboven beschreven lijsten). De rangschikking voor kruiscontrole wordt tegenwoordig al gebruikt voor de meeste kruiscontrolebeoordelingen.

SSR is te vergelijken met het oude kruiscontrolesysteem. Om te bepalen welke content of entiteiten een SSR krijgen, blijven we lijsten bijhouden van gebruikers en entiteiten waarvoor de handhaving een aanvullende kruiscontrolebeoordeling krijgt als ze worden gemarkeerd als mogelijk in strijd met de richtlijnen voor de community. We hebben echter controles toegevoegd aan het samenstellings- en herzieningsproces van deze lijsten. Vóór september 2020 hadden de meeste medewerkers de bevoegdheid om een gebruiker of entiteit toe te voegen aan de kruiscontrolelijst. Na september 2020 kan elke medewerker verzoeken om toevoeging van een gebruiker of entiteit aan kruiscontrolelijsten, maar heeft alleen een aangewezen groep medewerkers de bevoegdheid om toevoegingen aan de lijst door te voeren.

De bestuurlijke verantwoordelijkheden voor de SSR-lijst liggen momenteel bij ons Global Operations-team, met ondersteuning van onze Legal- en Partnership-teams die beschikken over gespecialiseerde kennis en ervaring. Hoewel de rapportagestructuur van ons Global Operations-team gescheiden is van Meta's Public Policy-team, wordt het Public Policy-team geraadpleegd voor input bij besluiten over kruiscontroles, zoals ze dat doen op veel gebieden van contentbeheer in het hele bedrijf. In deze gevallen kan ons Global Operations-team gebruikmaken van de expertise van Meta's Public Policy-team, in combinatie met onze regionale deskundigen en taalonafhankelijke gespecialiseerde beoordelaars, om lokale en culturele perspectieven te versterken. De afzonderlijke rapportagestructuren helpen ervoor te zorgen dat de beoordeling onafhankelijk is van politieke of economische invloeden. Om relevante en passende lijsten te kunnen bijhouden, hebben we ook een zorgvuldig jaarlijks beoordelingsproces ontwikkeld om entiteiten op SSR-lijsten te controleren op blijvende geschiktheid. Dit proces zal in de loop van de tijd verder worden verfijnd.

In de afgelopen maanden beoordeelde Meta gemiddeld enkele duizenden kruisgecontroleerde werkzaamheden per dag, waarvan een grote meerderheid werd voltooid in de GSR. (In vergelijking met de miljoenen contentitems die dagelijks worden gemarkeerd en aangepakt wegens schending van onze richtlijnen voor de community, is dit een klein deel.) De SSR vormt nu de minderheid van deze dagelijkse beoordelingen. We verwachten een aanhoudende verschuiving in het aantal werkzaamheden op het gebied van kruiscontrolebeoordelingen die het resultaat zijn van de prioritering van de GSR eind 2021 en begin 2022.

Als een contentitem afkomstig is van een persoon of entiteit die is opgenomen als onderdeel van de SSR, wordt dit meestal eerst beoordeeld door het regioteam. Het escalatieteam voert vervolgens een beoordeling uit om te bepalen of de content inbreukmakend is. Als het regioteam vaststelt dat de content niet in strijd is met ons beleid, voert het escalatieteam geen beoordeling uit. Als een contentitem afkomstig is van een persoon of entiteit die prioriteit krijgt bij de rangschikking voor kruiscontrole, wordt het meestal beoordeeld door aannemers of door het regioteam, tenzij er extra escalatieteamcapaciteit beschikbaar is. Net als bij een oude kruiscontrole kunnen kwesties met een hoge complexiteit verder worden beoordeeld, in zeldzame gevallen ook door het management. Als uit de definitieve beoordeling blijkt dat content onze richtlijnen voor de community schendt, verwijderen we deze. Als uit onze beoordelingen blijkt dat de content onze richtlijnen niet schendt, laten we deze staan.

Vanaf 16 oktober 2021 hebben we voor ongeveer 660.000 gebruikers en entiteiten een vorm van SSR ondernomen op basis van opname in de hierboven beschreven lijsten. Dit aantal verandert regelmatig naarmate we gebruikers en entiteiten toevoegen aan of verwijderen uit de hierboven beschreven lijsten op basis van evoluerende criteria voor opname. Voorbeelden van gebruikers en entiteiten die in aanmerking komen voor een SSR omvatten, maar zijn niet beperkt tot:

Entiteiten die te maken hebben met escalatieresponsen of gebeurtenissen met een hoog risico. Momenteel bestaat er een informeel proces waarbij teams die zich voorbereiden op een gebeurtenis met een hoog risico bepalen welke entiteiten een hoog risico lopen op overmatige handhaving. Als de controversiële content van een gebruiker bijvoorbeeld viraal gaat (bijvoorbeeld een livevideo van politiegeweld), kunnen we die gebruiker identificeren voor een SSR om onterechte verwijdering te voorkomen.
Entiteiten die zijn opgenomen ten behoeve van naleving. We gebruiken de SSR in bepaalde gevallen om te voldoen aan wet- of regelgeving.
Bekende personen en uitgevers met een grote zichtbaarheid. We identificeren entiteiten voor een SSR omdat overmatige handhaving kan leiden tot een negatieve ervaring voor een groot deel van de gebruikers.
Gemarginaliseerde bevolkingsgroepen. We identificeren mensenrechtenverdedigers, politieke dissidenten en anderen van wie we denken dat ze het doelwit kunnen zijn van door de staat gesponsorde of andere vijandige intimidatie, brigading of massale rapportage om ze tegen deze aanvallen te beschermen.
Maatschappelijke entiteiten. We volgen objectieve criteria en de expertise van onze beleidsteams in de regio om politici, overheidsfunctionarissen, instellingen, organisaties, belangenbehartigingsgroepen en maatschappelijke influencers te identificeren. We nemen deze entiteiten op voor SSR om fouten te voorkomen die niet-schendend politiek taalgebruik zouden beperken en onbedoeld van invloed zouden kunnen zijn op discussies over maatschappelijke onderwerpen zoals verkiezingen, openbaar beleid en maatschappelijke kwesties. We streven naar gelijkwaardigheid tussen de diverse maatschappelijke entiteiten van een land. Als we bijvoorbeeld een nationaal ministerie opnemen in de SSR, nemen we ook de andere ministeries van de overheid van dat land op in de SSR.
Bedrijven. We identificeren adverteerders met een hoge waarde en adverteerders die te maken hebben gehad met overmatige handhaving om hun inkomsten te beschermen en duurzaam vertrouwen in ons platform op te bouwen.

We bekijken momenteel hoe we de criteria kunnen verbeteren voor het vaststellen van entiteiten die een SSR moeten krijgen. We onderzoeken bijvoorbeeld de ontwikkeling van onze criteria op gebieden zoals het aantal volgers, het aantal eerdere vals-positieve handhavingen, wettelijke/reglementaire vereisten en belangrijke politieke/maatschappelijke kwesties. Gebruikers kunnen via dit formulier een verzoek indienen om niet te worden opgenomen in de SSR-lijst. Meta bevestigt niet of gebruikers op deze lijsten staan of ervan zijn verwijderd. We zijn echter voorstander van autonomie van gebruikers en controleren elk verzoek zo snel mogelijk.

Naast de 2 componenten van het kruiscontrolesysteem hebben we ook een intern foutpreventiesysteem genaamd Dynamic Multi Review (DMR). Dit is een systeem dat ons in staat stelt om beoordeelde zaken terug te sturen voor herbeoordeling om een meerderheidsstemming over een besluit te krijgen (als een meerderheid van de beoordelaars het eens is over het besluit, wordt de zaak gesloten), zodat we meer vertrouwen hebben in de juistheid. We gebruiken dit systeem om de kwaliteit en nauwkeurigheid van menselijke beoordelingen te verbeteren en het risico op onjuiste besluiten te beperken door het aantal beoordelingen dat we nodig hebben voor een definitief besluit aan te passen op basis van een aantal verschillende factoren, zoals viraliteit, aantal weergaven en het potentieel om bij te dragen aan schade (zoals mogelijke schendingen van ons beleid inzake seksuele uitbuiting of gevaarlijke personen en organisaties).

Toekomstige interventies voor de transparantie van kruiscontroles

Als reactie op het besluit van het Comité van toezicht van december 2022 over de verwijzing naar de beleidsadviesopinie over kruiscontroles, hebben we ook een reeks transparantie-interventies ter voorkoming van fouten toegezegd. Deze interventies zijn onder andere:

Gestructureerd en robuust overleg met onze interne mensenrechten- en burgerrechtenteams, onze vertrouwde partners en andere externe maatschappelijke organisaties om manieren te overwegen waarop de criteria voor toevoeging van entiteiten met openbaar belang aan kruiscontrolelijsten worden bepaald.
Verkenning van een formeler nominatieproces voor kruiscontroles van wereldwijde, regionale en lokale maatschappelijke organisaties.
Investering in kwaliteitsbeoordeling en trainingsmiddelen naarmate we alle besluiten over kruiscontroles gaan uitvoeren met beoordelaars die de taal spreken en waar mogelijk beschikken over regionale expertise.
Implementatie van robuuste Service Level Agreements (SLA's) voor beoordelingsbesluiten in al onze foutpreventiesystemen, waardoor we ons huidige personeelsmodel voor beoordelaars kunnen optimaliseren voor de snelst mogelijke beoordeling in de betreffende taal.

Hoewel we het kruiscontrolesysteem aanzienlijk hebben verbeterd, onderzoeken we nog steeds manieren om te verzekeren dat dit systeem onze doelen, namelijk het verwijderen van content die onze richtlijnen voor de community schendt, realiseert en tegelijkertijd onze handhavingsfouten met de grootste impact zo veel mogelijk beperkt.