Îmbunătățirea măsurării

ACTUALIZARE 19 IAN. 2022
Ne evaluăm în permanență indicatorii, pentru a afla cum putem îmbunătăți modalitățile de măsurare din Raportul nostru privind aplicarea Standardelor comunității.
De asemenea, continuăm să ne revizuim politicile și procesele, precum și metodologiile care stau la baza lor. Modificările aduse oricăreia dintre acestea schimbă în mod inerent calculele indicatorilor. Aceste modificări de metodologie sau de procese pot fi în plus față de tendințele care indică faptul că devenim mai buni sau mai slabi în ceea ce privește atenuarea încălcărilor.
Calitatea informațiilor, actualizări și corecții
Pe măsură ce procesele noastre de măsurare evoluează, revizuim și validăm cu regularitate indicatorii. Am stabilit, de asemenea, un set de standarde care reglementează modul în care identificăm, corectăm și raportăm public orice ajustare a datelor partajate anterior.
Identificăm eventualele probleme legate de datele noastre folosind o serie de verificări periodice ale calității pentru seturile noastre de date, instrumentele de măsurare și sistemele noastre de înregistrare. Atunci când se identifică o potențială problemă, echipele relevante din cadrul Meta parcurg o serie de etape pentru a investiga, a atenua și a identifica soluții pe termen lung pentru această problemă.
După rezolvarea problemei, Meta va actualiza datele din Raportul privind aplicarea Standardelor comunității. În cazul în care astfel de corecții sunt semnificative, Meta va descrie problema, indicatorii afectați și perioadele afectate.
Corecții și ajustări
De ce am elaborat procese privind calitatea informațiilor
Ne-am angajat să ne partajăm în mod transparent indicatorii, precum și procesele pe care le folosim pentru a-i calcula și a-i îmbunătăți. Pentru a simplifica și a gestiona mai bine lansarea de ajustări și de corecții ale metodologiilor noastre și indicatorilor noștri, am dezvoltat o procedură de asigurare a calității informațiilor, în vederea identificării, rectificării și raportării publice a oricărei ajustări aduse informațiilor lansate anterior. Aceasta este o practică uzuală în rapoartele publice ale marilor agenții de statistică și ale agențiilor federale și a fost elaborată în conformitate cu cele mai bune practici de raportare a datelor atât în sectorul public, cât și în cel privat. Aceste analize și proceduri pe care le-am elaborat vor fi esențiale pentru a menține acuratețea și integritatea raportării noastre pe viitor.
Ne evaluăm și ne validăm în mod constant indicatorii și ne asigurăm că informațiile pe care le partajăm sunt exacte și că metodologiile noastre de generare a acestor date sunt corecte. Ca parte a acestei activități, atunci când ne actualizăm metodologiile sau ne ajustăm indicatorii, vom partaja aceste modificări aici.
Cum ne evaluăm și ne îmbunătățim indicatorii
Ne perfecționăm în mod constant procesele și metodologiile, pentru a oferi cifre cât mai semnificative și mai exacte cu privire la modul în care ne aplicăm politicile. În vara anului 2019, am implementat procese privind calitatea informațiilor, care creează verificări și echilibrări suplimentare, pentru a ne asigura că partajăm indicatori valizi și coerenți.
Identificarea scenariilor prioritare pentru confirmarea validității
Identificăm diferite dimensiuni ale fiecărui indicator și dezvoltăm o modalitate de stabilire a priorității în ceea ce privește riscurile pentru segmentele care ar putea afecta în mod semnificativ indicatorii. Pentru segmentele din această listă de priorități, implementăm mai multe verificări, pentru a ne asigura că aceste segmente captează informațiile cu acuratețe.
De exemplu, defalcăm în mai multe dimensiuni indicatorii privind conținutul asupra căruia s-au luat măsuri, pentru a-i analiza. De exemplu, separăm conținutul în funcție de factorii următori: dacă sistemele noastre automatizate sau revizorii umani au întreprins acțiunea, ce anume ne-a determinat să întreprindem acțiunea și asupra cărui tip de conținut (fotografii, text, clip video) am întreprins acțiunea.
Cu aceste dimensiuni diferite, evaluăm apoi cât de multă abatere ar fi introdusă în măsurătorile noastre, dacă dimensiunea respectivă nu ar fi reprezentată corect în indicator (de exemplu, dacă nu am include conținut video în indicatorii noștri). Aceste evaluări ne permit să identificăm dimensiunile care ar putea avea impact asupra indicatorului (de exemplu, dacă oamenii au acționat sau nu).
Apoi ne dăm seama cât de mult ar putea fi afectat indicatorul, dacă acea dimensiune ar fi greșită (să spunem că nu am înregistrat niciunul dintre conținuturile asupra cărora persoanele au luat măsuri). După aceea, stabilim ca prioritare scenariile cu cel mai mare risc, pentru a face verificări suplimentare. Pentru aceste combinații cu risc ridicat, elaborăm sisteme suplimentare de urmărire și de verificare încrucișată, pentru a ne asigura că acești indicatori sunt estimați corect.
Verificări privind validitatea și consecvența
Am implementat și verificări privind consecvența, pentru a adăuga mai multă validitate indicatorilor noștri. Acestea includ următoarele:
Ne măsurăm periodic acțiunile, folosind un sistem separat, independent, care măsoară acțiunile asupra conținutului. Verificăm cu regularitate acești indicatori independenți diverși, al căror scop este să identifice erorile majore din contabilitatea noastră.
Efectuăm o serie de verificări aleatorii la fața locului, pentru a verifica aproape în timp real acuratețea sistemelor noastre de măsurare. Aceasta include verificarea diverselor rezultate care se produc ulterior în sistemul nostru, pentru a verifica de două ori rezultatele anterioare. De exemplu, confirmăm faptul că un conținut care face obiectul unei contestații este, de asemenea, înregistrat ca fiind conținut care a făcut obiectul unei acțiuni, deoarece conținutul trebuie să facă obiectul unei acțiuni pentru a fi contestat. Multe dintre aceste verificări au rolul de a identifica erori majore, cum ar fi conținutul care este contestat, dar nu a fost șters niciodată.
La fel ca în cazul tuturor aspectelor legate de raportarea aplicării standardelor, vom continua și pe viitor să ne dezvoltăm și să ne îmbunătățim procesele de analiză a valabilității și consecvenței.
Proceduri interne de analiză și corecție
De asemenea, am stabilit proceduri pentru identificarea și corectarea informațiilor partajate anterior în raportul nostru de aplicare, pe care le vom revizui și actualiza cu regularitate. Când identificăm probleme potențiale legate de indicatorii partajați în Raportul privind aplicarea Standardelor comunității, urmăm acești pași:
  • Raportare. În cazul în care se descoperă o potențială problemă, echipele noastre depun imediat un raport de incident care alertează echipele relevante, pentru a începe investigarea problemei.
  • Investigarea și atenuarea. Echipele relevante analizează problema potențială, efectuând modificări imediate pentru a preveni problemele ulterioare legate de consecvență, dacă este necesar, și elaborând soluții pentru a evita problema pe viitor.
  • Evaluarea dimensiunii problemei. Echipele relevante analizează problema potențială, efectuând modificări imediate pentru a preveni problemele ulterioare legate de consecvență, dacă este necesar, și elaborând soluții pentru a evita problema pe viitor.
  • Analiza incidentului post-mortem. După atenuarea efectelor problemei, facem o analiză internă detaliată, pentru a identifica principalele cauze și impactul total al problemei. Acest lucru ne permite să identificăm riscuri mai mari la adresa validității măsurătorilor noastre, ca să le putem preveni sau minimiza.
Raportarea ajustărilor
Odată ce identificăm o problemă și ajustăm indicatorul afectat, vom raporta public corecția, prin actualizarea acestei postări, în momentul publicării ulterioare a Raportului privind aplicarea Standardelor comunității. Într-o astfel de actualizare, vom descrie problema, indicatorii afectați și intervalele de timp afectate. Datele pentru trimestrele afectate anterior din Raportul propriu-zis privind aplicarea standardelor de conținut vor include, atunci când este posibil, toți indicatorii ajustați, pentru a asigura comparații relevante de-a lungul timpului.
Solicităm feedback și extindem indicatorii pe care îi raportăm
Pe lângă activitatea pe care o desfășurăm la nivel intern pentru a ne evalua și a ne îmbunătăți indicatorii, căutăm, de asemenea, să obținem feedback extern cu privire la metodologiile noastre și să extindem indicatorii pe care îi raportăm, pentru a oferi o imagine mai solidă a modului în care reușim să ne aplicăm politicile.
Evaluarea metodologiei și feedbackul
Pentru a ne asigura că metodele noastre sunt transparente și se bazează pe principii solide, solicităm analize și feedback din partea experților în domeniu, pentru a afla, de exemplu, dacă indicatorii pe care îi furnizăm sunt informativi.
Pentru a ne asigura că abordarea noastră în ceea ce privește măsurarea aplicării conținutului este semnificativă și precisă, am lucrat cu Data Transparency Advisory Group (DTAG), un grup extern de experți academici internaționali în domeniul măsurării, statisticii, criminologiei și reglementării. În mai 2019, aceștia au furnizat o evaluare independentă și publică a indicatorilor pe care îi partajăm în Raportul privind aplicarea Standardelor comunității, pentru a stabili dacă oferă măsurători precise și semnificative în legătură cu modul în care ne aplicăm politicile, precum și cu privire la provocările cu care ne confruntăm în această activitate și la ceea ce facem pentru a le aborda. În general, aceștia au considerat că indicatorii noștri sunt modalități rezonabile de măsurare a încălcărilor și că sunt în conformitate cu practicile recomandate. De asemenea, ne-au oferit o serie de recomandări pentru a continua să fim mai transparenți în ceea ce privește activitatea noastră, pe care le-am discutat în detaliu și pe care le explorăm în continuare. În plus față de aceasta, Meta s-a angajat să efectueze un audit independent al indicatorilor partajați în acest raport în anul 2021.
Vezi cel mai recent Raport privind aplicarea Standardelor comunității