Hatékonyabb mérések

FRISSÍTVE 2022. JAN. 19.
Folyamatosan értékeljük a mérőszámainkat, hogy lássuk, miként javíthatnánk méréseinket a közösségi alapelvek betartatásával kapcsolatos jelentésünkben.
Emellett folytatjuk szabályaink, folyamataink és a mögöttes módszertanok felülvizsgálatát is. Ezek bármelyikének módosítása óhatatlanul megváltoztatja a mérőszámok számításait is. Ezek a módszertanunkban vagy folyamatainkban eszközölt változtatások kiegészíthetik a szabálysértések visszaszorításában elért javulásunkat vagy gyengülésünket jelző tendenciákat.
Adatminőség, frissítések és korrekciók
Mérési folyamataink fejlődésével párhuzamosan rendszeresen megvizsgáljuk és ellenőrizzük mérőszámainkat. Létrehoztunk egy irányelvgyűjteményt is annak szabályozására, miként azonosítjuk, korrigáljuk és hozzuk nyilvánosságra a korábban közölt adataink bármilyen módosulását.
Az adataink potenciális problémáit azokkal a rendszeres minőség-ellenőrzési eljárásokkal tudjuk feltárni, amelyeket adatkészleteinken, mérési eszközeinken és naplózási rendszereinken végzünk. Ha potenciális problémát azonosítunk, a Meta megfelelő csapatai lépések sorozatával kivizsgálják és visszaszorítják a problémát, és hosszú távú megoldást is keresnek rá.
A probléma megoldása után a Meta frissíti az adatokat a közösségi alapelvek betartatásával kapcsolatos jelentésben. Lényegi korrekciók esetén a Meta leírással is szolgál a problémáról, valamint az érintett mérőszámokról és időszakokról.
Korrekciók és kiigazítások
Miért dolgoztunk ki eljárásokat az adatok minőségének biztosítására?
Elkötelezettek vagyunk mérőszámaink – valamint a kiszámításukhoz és továbbfejlesztésükhöz használt folyamataink – transzparens megosztása mellett. Hogy gördülékenyebben és szabályozottabban tudjuk közzétenni módszertanunk és mérőszámaink kiigazításait és korrekcióit, kidolgoztunk egy eljárást az adatok minőségének biztosítására, amely a korábban közölt adatok bármilyen módosulása esetén elősegíti az azonosítást, a helyesbítést és a közzétételt. Ez egy elterjedt gyakorlat a nagy statisztikai ügynökségeknél, valamint a szövetségi ügynökségek nyilvános jelentéseinél is, és a kidolgozásánál követtük az adatok jelentésének közszférában és privát szférában is alkalmazott bevált gyakorlatait. Ezek az általunk kidolgozott ellenőrzések és eljárások kritikus fontosságúak a jelentéseink pontosságának és integritásának jövőbeli fenntartásához.
Folyamatosan értékeljük és ellenőrizzük a mérőszámainkat, és biztosítjuk az általunk megosztott adatok pontosságát, valamint az adatok generálására alkalmazott módszertanaink megalapozottságát. E munkánk részeként itt megosztjuk a módosításokat, amikor frissítjük módszertanainkat vagy kiigazítjuk mérőszámainkat.
Hogyan értékeljük és fejlesztjük a mérőszámainkat?
Folyamatosan finomítjuk eljárásainkat és módszertanainkat, hogy a leginkább beszédes és pontos számokkal tudjunk szolgálni a szabályaink betartatásáról. 2019 nyarán olyan eljárásokat vezettünk be az adatok minőségének biztosítására, amelyek további fékeket és ellensúlyokat építenek be, hogy érvényes és következetes mérőszámokat tudjunk megosztani.
A szempontok prioritásainak meghatározása a validitás megerősítéséhez
Mindegyik mérőszámhoz különböző dimenziókat határozunk meg, és kockázatalapon prioritásokat rendelünk azokhoz a szegmensekhez, amelyek jelentősen befolyásolhatják a mérőszámokat. A prioritások listáján szereplő szegmensekhez több ellenőrzést állítunk be, hogy ezek a szegmensek biztosan pontos információkon alapuljanak.
Ellenőrzés céljából például több dimenzióra bontjuk az „intézkedés által érintett tartalmak” mérőszámunkat. Elkülönítjük például a tartalmakat annak mentén, hogy automatikus rendszereink vagy emberi ellenőrzést végző munkatársaink kezdeményezték-e a műveletet, hogy mi vezetett a művelethez, illetve hogy milyen típusú tartalommal (fényképek, szöveg, videó) szemben tettünk lépéseket.
E különböző dimenziók alapján ezt követően felmérjük, hogy mekkora torzítást okozna a mérésünkben, ha ez a dimenzió nem megfelelően lenne reprezentálva a mérőszámban (ha például nem szerepeltetnénk a mérőszámban a videós tartalmakat). Ezek a felmérések lehetővé teszik a mérőszámra potenciálisan kiható dimenziók meghatározását (például hogy emberi kezdeményezésre történt-e a művelet).
Ezután megállapítjuk, mennyiben érintené a mérőszámot, ha ez a dimenzió helytelen lenne (ha például nem naplóztunk volna egyetlen, ember által kezdeményezett tartalomműveletet sem). Ezután további ellenőrzések lefuttatásához előbbre soroljuk a legnagyobb kockázatot hordozó szituációkat. Az ilyen magas kockázatú kombinációkhoz további követési és ellenőrzési rendszereket fejlesztünk ki, hogy gondoskodjunk az érintett mérőszámok becslésének helyességéről.
Validitási és konzisztencia-ellenőrzések
Mérőszámaink további validálásához konzisztencia-ellenőrzéseket is bevezettünk. Ezek többek között a következők:
Rendszeres időközönként mérjük a műveleteinket egy különálló, független rendszerrel is, amely a tartalmakkal kapcsolatos lépéseinket méri. Rendszeresen ellenőrizzük ezeket a különböző független mérőszámokat, amelyek a számbavételi eljárásunk nagyobb hibáit hivatottak kimutatni.
Különféle szúrópróbaszerű ellenőrzéseket is alkalmazunk véletlenszerű jelleggel, hogy közel valós időben ellenőrizzük mérési rendszereink pontosságát. Ennek része a rendszerünkben később jelentkező különböző eredmények ellenőrzése is a folyamat korábbi szakaszaiban jelentkező eredmények alaposabb ellenőrzése érdekében. Ellenőrizzük például, hogy intézkedés által érintett tartalomként is naplózva legyen minden olyan tartalom, amelynél a döntés visszavonását kérik, mivel az előbbi előfeltétele az utóbbinak. Számos ilyen ellenőrzésünk célja a nagyobb léptékű hibák azonosítása, például olyan tartalmak megtalálása, amelyeknél a döntés visszavonását kérték, miközben eltávolításukra soha nem került sor.
Az alapelveink betartatásával kapcsolatos jelentéseink minden más aspektusához hasonlóan idővel folyamatosan fejlődünk és javulunk a validitási és konzisztencia-ellenőrzések terén is.
Belső vizsgálatok és helyesbítési eljárások
A szabályaink betartatásával kapcsolatos jelentésben korábban megosztott információk azonosítására és helyesbítésére is kidolgoztunk eljárásokat, amelyeket rendszeresen felülvizsgálunk és frissítünk. Ha potenciális problémákat azonosítunk a közösségi alapelvek betartatásával kapcsolatos jelentésben megosztott mérőszámainkban, az alábbiak szerint járunk el:
  • Jelentéskészítés. Potenciális probléma felfedezése esetén csapataink azonnal rögzítenek egy incidensjelentést, amely figyelmezteti a releváns csapatokat a probléma kivizsgálásának megkezdésére.
  • Kivizsgálás és a hatások enyhítése. A megfelelő csapatok megvizsgálják a potenciális problémát, és ahol szükséges, azonnali módosításokat léptetnek életbe a konzisztenciával kapcsolatos további problémák megelőzésére, és megoldásokat dolgoznak ki a jövőbeli elkerülésükre.
  • A probléma felmérése. A megfelelő csapatok megvizsgálják a potenciális problémát, és ahol szükséges, azonnali módosításokat léptetnek életbe a konzisztenciával kapcsolatos további problémák megelőzésére, és megoldásokat dolgoznak ki a jövőbeli elkerülésükre.
  • Incidens utáni vizsgálat. A probléma visszaszorítása után részletes belső vizsgálatot végzünk a kiváltó okok és a teljes hatás feltárására. Ez lehetővé teszi a mérésünk validitását szélesebb értelemben fenyegető kockázatok azonosítását, valamint ezek elkerülését vagy minimalizálását.
A korrekciók jelentése
Egy probléma azonosítása és az érintett mérőszám helyesbítése után nyilvános jelentésben közzétesszük a korrekciót úgy, hogy frissítjük ezt a bejegyzést a közösségi alapelvek betartatásával kapcsolatos jelentésünk következő kiadásának alkalmával. Ilyen frissítés esetén leírással is szolgálunk a problémáról, valamint az érintett mérőszámokról és időszakokról. Magában a közösségi alapelvek betartatásával kapcsolatos jelentésben az érintett korábbi negyedévek adatainál beépítjük az esetleg korrigált mérőszámokat, ahol ez lehetséges, hogy biztosítsuk az időbeli összehasonlítások helyességét.
Vélemények bekérése és a jelentéseinkben szereplő mérőszámok körének bővítése
A mérőszámaink kiértékelése és javítása céljából házon belül végzett munkánkon túl külső véleményeket is fogadunk mind módszertanainkkal, mind mérőszámaink körének kibővítésével kapcsolatban, hogy még átfogóbb képet tudjunk adni szabálybetartatási eredményeinkről.
Módszertani értékelések és észrevételek
Annak érdekében, hogy biztosítsuk módszereink átláthatóságát és szilárd alapelvekre támaszkodását, elemzést és észrevételeket kérünk témaszakértőktől például annak tárgyában, hogy közzétett mérőszámaink informatívak-e.
Hogy biztosítani tudjuk a tartalmi szabályaink betartatására alkalmazott mérési megközelítésünk relevanciáját és pontosságát, együttműködtünk a mérés, a statisztika, a kriminológia és az operatív irányítás nemzetközi tudományos szakértőiből álló Data Transparency Advisory Group (DTAG) külső szervezettel. 2019 májusában ők nyilvánosan közzétették független, külső értékelésüket arról, hogy az általunk a közösségi alapelvek betartatásával kapcsolatos jelentésben megosztott mérőszámok pontosan és relevánsan mérik-e szabályaink betartatását, hogy milyen kihívásokat rejt ez a feladat, valamint hogy mit teszünk e kihívások leküzdésére. Összességében úgy találták, hogy mérőszámaink észszerű megoldást jelentenek a szabálysértések mérésére, és összhangban állnak a bevált gyakorlattal. Közzétettek néhány ajánlást is arra vonatkozóan, hogyan válhatnánk a továbbiakban még átláthatóbbá a műveleteinkkel kapcsolatban. Ezeket az ajánlásokat részletesen átbeszéltük, és folyamatosan vizsgáljuk. Ezenkívül a Meta vállalta, hogy 2021-ben független auditálásnak veti alá az ebben a jelentésben megosztott mérőszámait.
Megtekintheted a közösségi alapelvek betartatásával kapcsolatos legfrissebb jelentést