Zlepšování měření

AKTUALIZOVÁNO 19. 1. 2022
Metriky průběžně vyhodnocujeme, abychom zjistili, jak můžeme způsoby měření v naší zprávě o vynucování zásad komunity zlepšovat.
Dál taky průběžně revidujeme naše zásady a procesy a metodologie, které za nimi stojí. Změny v těchto parametrech se promítnou do samotného výpočtu metrik. Změny metodologií nebo procesů můžou být doplňujícím ukazatelem toho, jestli se nám ve zmírňování porušování zásad daří lépe, nebo naopak hůř.
Kvalita informací, aktualizace a opravy
Naše procesy měření se pořád vyvíjejí, a proto metriky pravidelně kontrolujeme a ověřujeme. Zavedli jsme taky sadu zásad, které určují, jakým způsobem identifikujeme, opravujeme a veřejně oznamujeme případné úpravy dříve zveřejněných údajů.
Potenciální problémy v datech identifikujeme pomocí celé řady pravidelných kontrol kvality, které provádíme u sad dat, nástrojů pro měření a systémů pro zaznamenávání. Když se zjistí potenciální problém, příslušné týmy ve společnosti Meta provedou sérii kroků, aby problém prošetřily, omezily jeho dopady a určily dlouhodobá řešení.
Jakmile problém vyřešíme, společnost Meta aktualizuje údaje ve zprávě o vynucování zásad komunity. Pokud mají takové opravy smysl, Meta problém popíše a uvede, které metriky a jaká období ovlivnil.
Opravy a úpravy
Proč jsme zavedli postupy pro zajištění kvality informací
Zavázali jsme se, že budeme transparentně sdílet naše metriky i procesy, které používáme k jejich výpočtu a zlepšování. Abychom mohli zjednodušit a líp řídit vydávání úprav a oprav našich metod a metrik, vytvořili jsme postup pro zajištění kvality informací. Jeho účelem je identifikovat, opravit a veřejně oznámit případné úpravy, které provedeme u dřív vydaných informací. Jde o běžnou praxi u velkých statistických agentur a federálních agentur vydávajících veřejné zprávy. Tento postup se vyvinul v souladu s doporučenými postupy pro reportování dat jak ve veřejném, tak soukromém sektoru. Tyto kontroly a postupy, které jsme vyvinuli, budou mít zásadní význam pro zachování přesnosti a integrity našich budoucích reportů.
Metriky neustále vyhodnocujeme a ověřujeme a dbáme na to, aby byly sdílené informace přesné a aby metodologie používané k generování dat byly vhodně zvolené. V rámci této práce tady budeme zveřejňovat všechny změny metod a metrik.
Jak vyhodnocujeme a zlepšujeme metriky
Naše postupy a metodologie se pořád snažíme vylepšovat, abychom mohli poskytovat co nejpřesnější a nejvýstižnější údaje o tom, jak naše zásady vymáháme. V průběhu léta 2019 jsme zavedli postupy pro zajištění kvality informací, které vytvářejí další kontroly a vyvážené mechanismy. Chceme tak zajistit, že budeme sdílet platné a konzistentní metriky.
Identifikace prioritních scénářů pro potvrzení platnosti
Identifikujeme různé dimenze jednotlivých metrik a stanovujeme prioritu rizik u segmentů, které můžou metriky výrazně ovlivnit. U segmentů na tomto seznamu priorit provádíme několik kontrol, abychom se ujistili, že dané segmenty zachycují informace přesně.
Metriky týkající se obsahu, u kterého jsme museli zakročit, rozdělujeme například na několik dimenzí, abychom je mohli zkontrolovat. Obsah rozdělujeme třeba podle toho, jestli opatření provedly naše automatizované systémy, nebo lidé, co nás k opatření vedlo a na jaký typ obsahu (fotky, text, video) jsme reagovali.
U každé z dimenzí pak vyhodnotíme, jaký by byl vliv na měření, kdyby nebyla dimenze v metrice správně zastoupená (pokud bychom třeba do metrik nezahrnuli videoobsah). To nám umožňuje určit dimenze, které můžou mít na metriku vliv (třeba jestli lidé podnikli nějakou akci).
Pak vypočítáme, jaký vliv by na metriku mělo, kdyby byla daná dimenze nesprávná (třeba jsme nezaznamenali žádný obsah, u kterého lidé provedli nějakou akci). Potom se zaměřujeme na nejrizikovější scénáře a provádíme další kontroly. Pro takové rizikové kombinace vyvíjíme další systémy pro sledování a kontrolu, abychom zajistili správné odhadování metrik.
Kontrola platnosti a konzistence
Zavedli jsme i kontroly konzistence, abychom své metriky opravdu ověřili. Patří sem:
Naše kroky pravidelně měříme pomocí samostatného, nezávislého systému, který měří akce u obsahu. Pravidelně kontrolujeme různé nezávislé metriky, které mají za úkol odhalit případné velké chyby v našem účetnictví.
Provádíme řadu náhodných kontrol, abychom ověřili přesnost našich systémů měření téměř v reálném čase. V rámci nich kontrolujeme i různé výsledky, které se v našem systému objeví později, abychom tak znovu zkontrolovali výsledky z úvodních fází. Ověřujeme například, že je obsah, proti kterému se podává odvolání, zaznamenaný jako obsah, u kterého jsme přikročili k opatřením, protože jinak by se proti němu odvolat nedalo. Cílem většiny kontrol je odhalit větší chyby, třeba když někdo podal odvolání proti obsahu, který se ale nikdy neodebral.
Stejně jako u všech ostatních aspektů reportování týkajícího se prosazování zásad budeme i procesy kontroly platnosti a konzistence průběžně vyvíjet a zlepšovat.
Postupy interní kontroly a opravy
Dále jsme zavedli postupy k identifikaci a opravě informací, které jsme ve zprávě o vynucování zásad sdíleli v minulosti. Tyto postupy budeme pravidelně kontrolovat a aktualizovat. Když v metrikách uvedených ve zprávě o vynucování zásad komunity narazíme na možné problémy, postupujeme následovně:
  • Reportování. Pokud zjistíme potenciální problém, naše týmy okamžitě podají hlášení o incidentu, aby příslušné týmy mohly začít problém řešit.
  • Prověřování a zmírnění následků. Příslušné týmy potenciální problém zkontrolují. V případě potřeby provedou okamžité změny, aby se předešlo dalším potížím s konzistentností, a vyvinou řešení, jak se problému v budoucnu vyhnout.
  • Určení velikosti problému. Příslušné týmy potenciální problém zkontrolují. V případě potřeby provedou okamžité změny, aby se předešlo dalším potížím s konzistentností, a vyvinou řešení, jak se problému v budoucnu vyhnout.
  • Analýza incidentu po jeho odeznění. Jakmile se problém vyřeší, provedeme podrobnou interní kontrolu, abychom zjistili jeho hlavní příčiny a celkový dopad. Můžeme tak identifikovat obecnější rizika týkající se platnosti našich měření a vyhnout se jim nebo je aspoň minimalizovat.
Úpravy reportování
Jakmile zjistíme problém a upravíme příslušnou metriku, informaci o opravě zveřejníme. Tento příspěvek aktualizujeme v okamžiku, kdy vydáme další zprávu o vynucování zásad komunity. V takovém případě popíšeme problém, dotčené metriky a časové období, kterého se týká. Data za dříve ovlivněná čtvrtletí budou v samotné zprávě o vynucování zásad pro obsah zahrnovat veškeré upravené metriky, u kterých to půjde, aby bylo možné spolehlivé srovnání v čase.
Hledání vstupů a rozšiřování reportovaných metrik
Kromě toho, že interně pracujeme na hodnocení a zlepšování našich metrik, využíváme taky externí postřehy k našim metodikám. Metriky, které reportujeme, taky rozšiřujeme, abychom získali ucelenější představu o tom, jak se nám daří prosazovat zásady.
Posouzení metodik a vstupy
Aby byly naše metody transparentní a založené na pevných principech, využíváme analýzy a rady odborníků z daných oborů. Třeba abychom zjistili, jestli jsou naše metriky užitečné.
Abychom měli jistotu, že budeme k měření prosazování předpisů v souvislosti s obsahem přistupovat smysluplně a přesně, spojili jsme se s externí skupinou Data Transparency Advisory Group (DTAG), kterou tvoří mezinárodní akademičtí experti na měření, statistiku, kriminologii a řízení. V květnu 2019 vydali nezávislé veřejné hodnocení, v kterém zhodnotili, jestli metriky, které sdílíme ve zprávě o vynucování zásad komunity, poskytují přesné a smysluplné měření toho, jak naše zásady vymáháme, jaké výzvy v souvislosti s tím čelíme a jak je řešíme. Celkově vzato došli k závěru, že naše metriky jsou rozumným způsobem měření porušení a odpovídají doporučeným postupům. Navíc nám poradili, jak dál transparentně informovat o naší práci. Podrobně jsme vše probrali a i dál se tím zabýváme. Kromě toho se společnost Meta v roce 2021 zavázala k nezávislému auditu metrik sdílených v této zprávě.
Zobrazit nejnovější zprávu o vynucování zásad komunity