Miglioramento della misurazione

AGGIORNATO 19 GEN 2022
Valutiamo continuamente le nostre metriche per capire come possiamo migliorare le misurazioni nel nostro Report sull'applicazione degli Standard della community.
Continuiamo inoltre a rivedere normative, processi e metodologie che ne stanno alla base. Modificare uno di questi elementi comporta una conseguente modifica nei calcoli delle metriche. Queste modifiche alle metodologie o ai processi potrebbero aggiungersi a tendenze che indicano miglioramenti o peggioramenti nel modo in cui limitiamo le violazioni.
Qualità delle informazioni, aggiornamenti e correzioni
Con l'evoluzione dei nostri processi di misurazione, controlliamo e convalidiamo in modo regolare le nostre metriche. Abbiamo anche predisposto un insieme di standard che disciplinano il modo in cui identifichiamo, correggiamo e segnaliamo pubblicamente eventuali adeguamenti dei dati rilasciati in precedenza.
Identifichiamo potenziali problemi con i nostri dati mediante una gamma di regolari controlli di qualità sui nostri insiemi di dati, strumenti e sistemi di registrazione. In caso di identificazione di un potenziale problema, i team pertinenti di Meta seguono una serie di passaggi per indagare e mitigare il problema e identificare soluzioni a lungo termine.
Una volta risolto il problema, Meta aggiorna i dati nel Report sull'applicazione degli Standard della community. Se le correzioni sono significative, Meta descrive il problema, le metriche e i periodi di tempo interessati.
Correzioni e adeguamenti
Perché abbiamo sviluppato processi per la qualità delle informazioni
Ci impegniamo a perfezionare e condividere in modo trasparente le metriche e i processi che usiamo nei calcoli. Per semplificare e gestire al meglio il rilascio di adeguamenti e correzioni delle nostre metodologie e metriche, abbiamo sviluppato procedure per la qualità delle informazioni volte a identificare, rettificare e segnalare pubblicamente gli adeguamenti che apportiamo alle informazioni rilasciate in precedenza. Si tratta di una pratica comune nelle agenzie statistiche di grandi dimensioni e nei report delle agenzie federali, sviluppata nel rispetto delle best practice relative ai report di dati nel settore pubblico e privato. I controlli e le procedure che abbiamo sviluppato saranno fondamentali nel garantire la precisione e l'integrità dei nostri report futuri.
Valutiamo e convalidiamo in modo costante le nostre metriche, ci assicuriamo che le informazioni da noi condivise siano precise e che le metodologie usate per creare questi dati siano valide. All'interno di questa iniziativa, quando aggiorniamo le nostre metodologie o adeguiamo le metriche, condividiamo qui le modifiche.
In che modo valutiamo e perfezioniamo le nostre metriche
Affiniamo in modo costante i nostri processi e le nostre metodologie per fornire numeri più significativi e precisi in merito al modo in cui applichiamo le nostre normative. Nel corso dell'estate del 2019, abbiamo implementato processi per la qualità delle informazioni per creare ulteriori controlli e contrappesi al fine di garantire la condivisione di metriche valide e coerenti.
Identificazione degli scenari prioritari per confermare la validità
Identifichiamo varie dimensioni di ciascuna metrica e assegniamo la priorità ai rischi dei segmenti che potrebbero influire in modo significativo sulle metriche. Per i segmenti nella lista di priorità, implementiamo diversi controlli per garantire l'acquisizione di informazioni accurate in questi segmenti.
Ad esempio, suddividiamo le metriche relative ai contenuti su cui abbiamo preso provvedimenti in più dimensioni da controllare. Sempre come esempio, separiamo i contenuti in base al fatto che il provvedimento sia stato adottato dai nostri sistemi automatici o dagli addetti al controllo umano, a ciò che ci ha spinto a prendere provvedimenti e al tipo di contenuti (foto, testo, video) su cui abbiamo preso provvedimenti.
Con queste diverse dimensioni, valutiamo quindi le distorsioni introdotte nella misurazione da eventuali rappresentazioni non corrette delle dimensioni nelle metriche (ad esempio, se non includessimo contenuti video nelle nostre metriche). Queste valutazioni ci consentono di identificare le dimensioni che potrebbero influire sulla metrica (ad esempio, in caso di provvedimento intrapreso da addetti umani).
A questo punto, definiamo il possibile impatto sulla metrica di una dimensione non corretta (supponiamo di non aver registrato i contenuti su cui gli addetti umani hanno preso provvedimenti). Quindi, assegniamo la priorità agli scenari a maggior rischio per eseguire ulteriori controlli incrociati. Per queste combinazioni ad alto rischio, sviluppiamo ulteriori sistemi di monitoraggio e controllo incrociato per garantire che le metriche vengano stimate in modo corretto.
Controlli sulla validità e coerenza
Abbiamo inoltre implementato controlli sulla coerenza per convalidare ulteriormente le nostre metriche. Ecco i controlli che abbiamo implementato:
Misuriamo periodicamente i nostri provvedimenti con un sistema separato e indipendente che misura i provvedimenti sui contenuti. Su base regolare, verifichiamo queste metriche indipendenti che hanno lo scopo di identificare errori significativi nei nostri calcoli.
Effettuiamo una serie di controlli a campione casuali per verificare la precisione dei nostri sistemi di misurazione quasi in tempo reale. Ciò comprende il controllo di vari risultati che si verificano in seguito nei nostri sistemi per una doppia verifica sui risultati a monte. Ad esempio, confermiamo che i contenuti oggetto di ricorso siano anche registrati come contenuti su cui abbiamo preso provvedimenti, poiché è possibile inviare un ricorso solo su contenuti oggetto di provvedimenti. Molti di questi controlli sono destinati a identificare errori significativi, come i contenuti oggetto di ricorso che non sono stati mai rimossi.
Come per tutti gli aspetti dei nostri report sull'applicazione degli standard, continueremo a perfezionare e migliorare i nostri processi di controllo sulla validità e coerenza nel corso del tempo.
Procedure interne di correzione e controllo
Abbiamo anche creato procedure per l'identificazione e correzione delle informazioni condivise in precedenza nei nostri report sull'applicazione, che controlleremo e aggiorneremo regolarmente. Quando identifichiamo potenziali problemi nelle metriche condivise nel Report sull'applicazione degli Standard della community, procediamo nelle modalità seguenti:
  • Creazione di report. Se viene rilevato un potenziale problema, i nostri team presentano immediatamente una segnalazione dell'incidente che avvisa i team pertinenti al fine di dare inizio alle indagini sul problema.
  • Indagini e mitigazione. I team pertinenti controllano il potenziale problema, apportando immediate modifiche per evitare ulteriori problemi di coerenza, laddove necessario, e sviluppando soluzioni per evitare il problema in futuro.
  • Definizione del problema. I team pertinenti controllano il potenziale problema, apportando immediate modifiche per evitare ulteriori problemi di coerenza, laddove necessario, e sviluppando soluzioni per evitare il problema in futuro.
  • Controllo successivo dell'incidente. Una volta mitigato il problema, eseguiamo un dettagliato controllo interno per identificarne le cause principali e l'impatto complessivo. In questo modo identifichiamo i rischi più ampi per la validità delle nostre misurazioni in modo da poterli prevenire o limitare.
Segnalazione degli adeguamenti
Una volta identificato un problema e adeguata la metrica interessata, segnaliamo a livello pubblico le correzioni, aggiornando questo post al momento del successivo rilascio del Report sull'applicazione degli Standard della community. In tale aggiornamento, illustriamo il problema, le metriche e i periodi di tempo interessati. I dati relativi ai trimestri precedentemente interessati nel Report sull'applicazione degli standard dei contenuti comprendono, laddove possibile, le metriche adeguate per garantire che i confronti nel tempo siano significativi.
Ricerca di contributi ed espansione delle metriche che segnaliamo
Oltre alle attività interne di valutazione e perfezionamento delle nostre metriche, ricerchiamo anche contributi esterni relativi alle nostre metodologie ed espandiamo le metriche che segnaliamo per offrire un quadro più affidabile dell'efficienza con cui applichiamo le nostre normative.
Contributi e valutazione della metodologia
Per garantire che i metodi siano trasparenti e basati su principi validi, raccogliamo analisi e contributi da esperti esterni in materia per assicurarci che le metriche fornite siano utili.
Per garantire che il nostro approccio alla misurazione delle applicazioni sui contenuti fosse significativo e preciso, abbiamo collaborato con il Gruppo consultivo per la trasparenza dei dati (Data Transparency Advisory Group - DTAG), un gruppo esterno di esperti accademici internazionali in misurazione, statistica, criminologia e governance. Nel maggio 2019, il gruppo ha fornito la sua valutazione pubblica e indipendente in cui si stabiliva se le metriche condivise nel Report sull'applicazione degli Standard della community rappresentassero misurazioni precise e significative del modo in cui applichiamo le nostre normative. La valutazione inoltre illustrava le sfide insite in questa attività e le iniziative adottate da Facebook per superarle. Nel complesso, il gruppo ha ritenuto le metriche una soluzione in linea con le nostre best practice e ragionevole per la misurazione delle violazioni. Il gruppo ha anche fornito una serie di osservazioni su come migliorare la trasparenza sulle nostre attività, che abbiamo discusso in dettaglio e continuiamo a esplorare. Inoltre, Meta ha commissionato un audit indipendente delle metriche condivise in questo report nel 2021.
Visualizza l'ultimo Report sull'applicazione degli Standard della community