Controllo accurato dei contenuti ad alto impatto tramite il nostro sistema di controllo incrociato

AGGIORNATO 12 NOV 2024

Il 6 dicembre 2022, l'Oversight Board ha pubblicato il parere consultivo sulle normative (PAO) in merito alle normative sui controlli incrociati di Meta. Per rispondere pienamente alle diverse raccomandazioni, abbiamo deciso con il Board di procedere alla revisione e rispondere entro 90 giorni. Per maggiori informazioni sul sistema dei controlli incrociati, è possibile consultare il nostro post sul Centro sulla trasparenza.

Panoramica del cross-checking

Gli utenti su Facebook e Instagram creano miliardi di contenuti ogni giorno. La moderazione dei contenuti su vasta scala presenta diverse sfide, tra cui la necessità di trovare un equilibrio tra obiettivi e valori importanti. Cerchiamo di controllare in tempi brevi i contenuti potenzialmente in violazione e li rimuoviamo se violano le nostre normative. Tuttavia, dobbiamo trovare un equilibrio tra questo obiettivo e il rischio di "falsi positivi" (rimozioni erronee di contenuti non in violazione) per proteggere la libertà di espressione degli utenti. (In questo caso ci riferiamo alla "rimozione" dei contenuti, che stiamo usando per descrivere più in generale le azioni rivolte all'integrità. Tali azioni possono includere, ad esempio, l'uso di schermate di avviso o la rimozione di Pagine.)

Per trovare un equilibrio tra queste considerazioni, Meta ha implementato il sistema di controllo incrociato, con cui rilevare i contenuti che presentano un rischio più elevato di falsi positivi e fornire livelli aggiuntivi di controllo per ridurre il rischio. Il controllo incrociato offre livelli aggiuntivi di controllo per determinati contenuti che i nostri sistemi interni contrassegnano come in violazione (tramite automazione o controllo umano), con l'obiettivo di evitare o minimizzare gli errori di moderazione ad alto rischio di falsi positivi, che potrebbero verificarsi a causa di vari fattori, come la necessità di comprendere le sfumature di significato o il contesto. (In questo caso ci riferiamo ai "contenuti" che vengono controllati tramite il nostro sistema di controllo incrociato. Usiamo il controllo incrociato anche per controllare altre azioni, tra cui la rimozione di una Pagina o di un profilo). Benché il controllo incrociato fornisca livelli aggiuntivi di controllo, gli addetti al controllo applicano gli stessi Standard della community che si applicano a tutti gli altri contenuti su Facebook o Instagram.

Il sistema di controllo incrociato svolge una funzione essenziale per la tutela dei diritti umani. Ad esempio, il sistema di controllo incrociato include entità e post di giornalisti che si trovano in zone di conflitto e leader della community che sensibilizzano sui casi di incitamento all'odio o violenza. I controlli incrociati prendono in considerazione il contesto utile per valutare correttamente il contenuto. Possono applicarsi anche ai soggetti civici, laddove gli utenti dimostrano un interesse superiore nei confronti della posizione dei loro leader.

Inoltre, il controllo incrociato svolge un ruolo importante nella gestione delle relazioni di Meta con molti dei nostri partner commerciali. Una rimozione errata dei contenuti pubblicati da una Pagina o da un profilo con molti follower, ad esempio, può avere ripercussioni negative sia per i partner commerciali di Meta, sia per il numero elevato di utenti che li seguono. Applichiamo il controllo incrociato anche ad alcuni gruppi molto grandi, laddove un errore può influenzare centinaia di migliaia o milioni di utenti. Il controllo incrociato non esonera i partner commerciali o i gruppi di Meta dalle nostre normative sui contenuti, ma talvolta fornisce livelli aggiuntivi di controllo per garantire che tali normative siano applicate correttamente.

Gli utenti su Facebook e Instagram pubblicano miliardi di contenuti ogni giorno. Anche con migliaia di addetti al controllo in tutto il mondo, non è possibile controllare manualmente ogni singolo contenuto che viola potenzialmente i nostri Standard della community. La maggior parte dei contenuti in violazione che rimuoviamo viene rilevata proattivamente dalla nostra tecnologia prima che qualcuno la segnali. Quando una persona pubblica un contenuto su Facebook o Instagram, la nostra tecnologia verifica se il contenuto potrebbe violare gli Standard della community. In molti casi, l'identificazione è una procedura semplice. Il post viola o non viola le nostre normative in modo chiaro. Tuttavia, in altri casi i contenuti vengono sottoposti al controllo di un operatore umano per un'ulteriore valutazione.

I nostri sistemi di controllo primari usano la tecnologia per dare la priorità ai contenuti molto gravi, compresi i contenuti "virali" che si diffondono rapidamente. Quando i sistemi segnalano i contenuti da inoltrare, i nostri addetti al controllo prendono decisioni difficili e delicate in merito alla possibile rimozione dei contenuti dalla piattaforma. Anche se puntiamo sempre a prendere le decisioni giuste, riconosciamo che i falsi positivi esistono e alcuni contenuti vengono rimossi per una violazione delle normative di Meta anche quando tale violazione non si verifica. Pertanto, Meta ha investito nella prevenzione degli errori per controllare ulteriormente i falsi positivi e ridurli. Il controllo incrociato è una di queste strategie finalizzate alla prevenzione degli errori.

Si tratta di un sistema usato per garantire che le decisioni di applicazione delle normative vengano prese in modo accurato e con livelli aggiuntivi di controllo umano. Se durante il controllo incrociato un addetto al controllo conferma che il contenuto viola i nostri Standard della community, applichiamo tali normative e gestiamo il contenuto in violazione di conseguenza. A seconda della complessità del contenuto, potremmo applicare più livelli di controllo, tra cui, in rare circostanze, il controllo da parte della dirigenza. Se l'ultimo addetto al controllo determina che il contenuto in questione non viola i nostri Standard della community, può "revocare" il provvedimento iniziale e lasciare il contenuto sulla piattaforma.

Pratiche di cross-checking storiche

Abbiamo implementato il sistema ora noto come controllo incrociato nel 2013 per la prima volta. I dettagli del sistema si sono evoluti negli anni e, ove possibile, abbiamo fornito date e intervalli di date per spiegare quando hanno avuto luogo tali modifiche.

Per determinare quali contenuti o entità hanno ricevuto un controllo incrociato, i nostri team hanno individuato e stilato liste di utenti o entità percepiti come ad alto rischio di falsi positivi. Il "rischio di falsi positivi" si riferisce al rischio di un'applicazione non corretta delle normative in merito a contenuti o entità che in realtà non violano i nostri Standard della community. Per determinare quali utenti ed entità sono stati associati a un rischio superiore di falsi positivi, i nostri team hanno applicato una serie di criteri, tra cui il tipo di utente o entità (ad es., un candidato politico, un giornalista, un partner commerciale importante, un'organizzazione per i diritti umani), il numero di follower e l'ambito di competenza dell'entità (Entità è un termine generico per indicare una possibile origine dei contenuti, come l'account di un utente, una Pagina o un gruppo.)

Se gli utenti o le entità presenti nelle liste pubblicassero contenuti o intraprendessero azioni contrassegnate dai nostri sistemi come potenzialmente in violazione delle nostre normative, aggiungeremmo il contenuto o l'entità a una lista di attesa per il controllo incrociato.

A partire dal 2020 abbiamo apportato delle modifiche in modo da assegnare la priorità alla maggior parte dei contenuti in lista di attesa tramite un modello di gestione dei rischi, che attribuiva un livello di rischio di falsi positivi potenzialmente dovuti a un'errata rimozione dei contenuti da parte di Meta. Il sistema di gestione dei rischi si basava generalmente su tre fattori: (1) la sensibilità dell'entità, (2) la gravità della presunta violazione e (3) la gravità della potenziale applicazione delle normative.

Pratiche di cross-checking attuali

Come in tutte le nostre normative e procedure, cerchiamo continuamente delle soluzioni per migliorare e apportiamo modifiche costanti. All'inizio di quest'anno abbiamo individuato ulteriori opportunità di migliorare il sistema di controllo incrociato. Una modifica strutturale che abbiamo apportato è che il sistema di controllo incrociato prevede ora due componenti: Controllo secondario generale (GSR) e Controllo secondario di entità sensibili (SSR). Anche se per includere una certa percentuale di utenti ed entità nell'SSR continueremo ad adottare l'approccio basato sulle liste di cui sopra, con il GSR stiamo per assicurare che i contenuti di tutti gli utenti e le entità su Facebook e Instagram siano idonei al controllo incrociato in base a un sistema dinamico di assegnazione delle priorità chiamato "classificatore del controllo incrociato".

Il GSR coinvolge addetti al controllo a contratto e membri del nostro team regionale che eseguono un controllo secondario dei contenuti e delle entità che potrebbero violare le nostre normative prima che venga adottato un provvedimento di applicazione delle stesse. Tale controllo non si basa soltanto sull'identità di un utente o di un'entità per determinare quali contenuti ricevano un controllo incrociato. Il classificatore del controllo incrociato ordina i contenuti in base al rischio di falsi positivi usando criteri come la sensibilità di un argomento (quanto è popolare/delicato un argomento), la gravità dell'applicazione delle normative (la gravità del provvedimento potenziale), la probabilità di falsi positivi, la copertura prevista e la sensibilità dell'entità (ampiamente basata sulle liste descritte sopra). Il classificatore del controllo incrociato è già usato per la maggior parte dei controlli incrociati.

L'SSR è simile al precedente sistema di controllo incrociato. Per determinare quali contenuti o entità siano sottoposti all'SSR, continuiamo ad aggiornare liste di utenti ed entità le cui applicazioni delle normative ricevono un ulteriore controllo incrociato se vengono contrassegnate come potenzialmente in violazione degli Standard della community. Tuttavia, abbiamo aggiunto dei controlli a tale processo di redazione e aggiornamento delle liste. Prima di settembre 2020, la maggior parte dei dipendenti aveva la possibilità di aggiungere un utente o un'entità alla lista del controllo incrociato. Dopo settembre 2020, anche se un dipendente può richiedere di aggiungere un utente o un'entità alle liste del controllo incrociato, solo un gruppo designato di dipendenti ha l'autorità di aggiungere elementi alla lista.

Al momento, le responsabilità di governance per la lista SSR sono dell'organizzazione Global Operations, con il supporto dei nostri team Legal e Partnership che dispongono di conoscenze ed esperienze specializzate. Sebbene la struttura di segnalazione del nostro team Global Operations sia separata dal team Public Policy di Meta, quest'ultimo viene consultato durante i processi decisionali di controllo incrociato, così come avviene in molte aree della moderazione dei contenuti nell'azienda. In alcuni casi, il team Operations sfrutta le competenze del team Public Policy di Meta, unitamente a esperti regionali e addetti al controllo specializzati e neutrali dal punto di vista linguistico, per migliorare le prospettive locali e culturali. Le strutture di segnalazione separate assicurano che il controllo non presenti ingerenze politiche ed economiche. Per garantire liste pertinenti e appropriate, abbiamo anche sviluppato un processo di controllo annuale e accurato per verificare in modo costante l'idoneità delle entità presenti nelle liste SSR, che continueremo a perfezionare nel tempo.

Negli ultimi mesi, Meta ha svolto il controllo incrociato su diverse migliaia di contenuti ogni giorno, la maggior parte dei quali è stata sottoposta al GSR (rispetto ai milioni di contenuti che ogni giorno vengono contrassegnati e per cui viene preso un provvedimento a causa di una violazione dei nostri Standard della community, si tratta di un volume limitato). L'SSR coinvolge attualmente una minoranza dei controlli giornalieri. Prevediamo un cambiamento costante nel numero di controlli incrociati legati all'attribuzione delle priorità del GSR entro la fine del 2021 e nel 2022.

Se un contenuto è stato pubblicato da una persona o da un'entità che rientra nell'SSR, in genere viene prima controllato dai team regionali. In seguito, il team addetto alle segnalazioni lo controllerà per confermare se il contenuto è in violazione. In generale, se il team regionale ritiene che il contenuto non violi le nostre normative, il team addetto alle segnalazioni non lo controlla. Se è stato pubblicato da una persona o un'entità a cui il classificatore del controllo incrociato attribuisce la priorità, un contenuto in genere viene controllato dai lavoratori a contratto o dal team regionale, a meno che il team addetto alle segnalazioni non disponga di ulteriore capacità per controllarlo. Come accadeva in precedenza con il controllo incrociato, i temi ad alta complessità potrebbero subire un ulteriore controllo, anche da parte della dirigenza, in rare circostanze. Se dal controllo finale emerge che il contenuto viola i nostri Standard della community, lo rimuoviamo. Se i nostri controlli ritengono che non sia in violazione, lo lasciamo sulla piattaforma.

Al 16 ottobre 2021, circa 660 000 utenti ed entità necessitavano di un SSR in ragione della loro presenza nelle liste descritte sopra. Questo numero cambia costantemente, man mano che aggiungiamo o rimuoviamo gli utenti e le entità dalle liste descritte sopra in base all'evoluzione dei criteri di inclusione. Di seguito alcuni esempi di utenti ed entità idonei all'SSR:

Entità correlate a risposte di escalazione o eventi ad alto rischio. Al momento è in atto una procedura informale per cui i team che si preparano a un evento ad alto rischio identificano le entità che potrebbero subire un'applicazione eccessiva delle normative. Ad esempio, se i contenuti controversi di un utente diventano virali (ad es. video in diretta che mostra atti di violenza della polizia), potremmo identificare quell'utente per l'SSR in modo da evitare una rimozione errata.
Entità incluse per motivi di conformità legale. In certi casi usiamo l'SSR per rispettare i requisiti giuridici o normativi.
Personaggi pubblici ed editori con visibilità elevata. Identifichiamo le entità per l'SSR, in quanto un'applicazione eccessiva delle normative potrebbe comportare un'esperienza negativa per un ampio segmento di utenti.
Popolazioni emarginate. Individuiamo i difensori dei diritti umani, i dissidenti politici e altri che, a nostro avviso, potrebbero essere vittime di intimidazioni guidate dallo stato o da altri avversari, squadrismo o segnalazioni di massa per proteggerli da questi attacchi.
Entità civiche. Seguiamo criteri oggettivi e le competenze dei nostri team addetti alle normative nelle varie aree geografiche per individuare politici, funzionari di governo, istituzioni, organizzazioni, gruppi di sostegno e influencer civici. Includiamo queste entità nell'SSR per evitare errori che potrebbero limitare il dibattito politico non in violazione e avere ripercussioni involontariamente negative sulla discussione legata ad argomenti civici, come le elezioni, la politica pubblica e i temi sociali. Il nostro obiettivo è garantire l'uguaglianza dei soggetti civici di un Paese. Ad esempio, se includiamo un ministero del governo nazionale nell'SSR, dobbiamo includere anche tutti i ministeri del governo di quel Paese.
Aziende. Individuiamo inserzionisti di alto valore e quelli che hanno sperimentato applicazione eccessiva, per proteggere i ricavi e creare fiducia a lungo termine nella nostra piattaforma.

Al momento stiamo valutando come migliorare i criteri di individuazione delle entità che dovrebbero essere sottoposte a SSR. Ad esempio, stiamo analizzando l'evoluzione dei nostri criteri in relazione ad aspetti come il numero di follower, il numero di falsi positivi precedenti, i requisiti giuridici/normativi, nonché importanti temi sociali o politici. Tramite questo modulo gli utenti potrebbero richiedere di non essere inclusi nella lista SSR. Meta non conferma se gli utenti sono presenti o se sono stati rimossi da queste liste. Tuttavia, crediamo pienamente nell'autonomia dell'utente e controlleremo ogni richiesta il prima possibile.

Oltre ai due componenti del sistema di controllo incrociato, abbiamo anche un sistema interno di prevenzione degli errori, denominato Revisione multipla dinamica (DMR). Questo sistema ci permette di richiedere un ulteriore controllo per i casi già controllati e ottenere un voto di maggioranza su una decisione (ad es., se la maggioranza degli addetti al controllo è d'accordo con la decisione, il caso viene chiuso), così da avere una maggiore sicurezza sulla correttezza. Utilizziamo questo sistema per migliorare la qualità e l'accuratezza del controllo umano e ridurre il rischio di prendere decisioni errate, regolando il numero di controlli richiesti per una decisione finale sulla base di diversi fattori, come la diffusione, il numero di visualizzazioni e il potenziale contributo alla violenza (ad es., violazioni potenziali delle nostre normative in materia di sfruttamento sessuale o persone e organizzazioni pericolose).

Interventi futuri sulla trasparenza del cross-checking

In risposta alla decisione di dicembre 2022 dell'Oversight Board riguardo il deferimento del parere consultivo sulle normative del controllo incrociato, ci siamo anche impegnati a favore di una serie di interventi sulla trasparenza per prevenire errori. Questi interventi comprendono:

Interazioni strutturate e solide con i nostri team interni Human and Civil Rights, i nostri partner di fiducia e altre organizzazioni esterne della società civile per trovare modi per sviluppare i criteri che usiamo per identificare entità di interesse pubblico per le liste di controllo incrociato.
Esplorazione di una procedura più formale di selezione per le liste di controllo incrociato a partire da gruppi della società civile globali, regionali e locali.
Investimenti in controlli di qualità e risorse di formazione mentre procediamo ad assegnare addetti al controllo con competenze linguistiche e regionali, dove possibile, a tutte le decisioni di controllo incrociato.
Implementazione di Accordi relativi a servizi (SLA) solidi per le decisioni di controllo nei nostri sistemi di prevenzione degli errori, per ottimizzare il nostro attuale modello di assunzione di addetti al controllo per poter contare su controlli linguistici il più rapidi possibile.

Anche se abbiamo migliorato notevolmente il sistema di controllo incrociato, stiamo comunque valutando come garantire ulteriormente che tale sistema trovi un equilibrio adeguato tra i nostri obiettivi di rimuovere i contenuti che violano gli Standard della community e la necessità di ridurre al minimo gli errori di applicazione delle normative che hanno un impatto significativo.