Zajištění přesné kontroly obsahu s velkým vlivem prostřednictvím našeho systému křížové kontroly

AKTUALIZOVÁNO 12. 11. 2024

Dohledová rada 6. prosince 2022 zveřejnila poradní stanovisko ohledně zásad společnosti Meta pro křížovou kontrolu. Abychom se mohli věnovat všem doporučením, dohodli jsme se s radou, že vše zkontrolujeme a zareagujeme do 90 dní. Víc o kontrolním systému najdete v příspěvku Centra transparentnosti.

Přehled křížového ověřování

Uživatelé Facebooku a Instagramu každý den vytvoří miliardy položek obsahu. S moderováním obsahu v takovémto měřítku se pojí mnohé výzvy, mezi které patří kompromisy mezi důležitými hodnotami a cíli. Usilujeme o rychlou kontrolu potenciálně porušujícího obsahu a jeho odebrání v případě, že naše zásady skutečně porušuje. Je ovšem nutné zajistit rovnováhu mezi tímto cílem a rizikem „falešně pozitivních“ případů (tedy chybného odebrání obsahu, který zásady neporušuje), což je důležité k ochraně práva uživatelů na vyjádření názoru. (V tomto případě užíváme pojem „odebrání“ obsahu, který používáme k obecnějšímu popisu činností zajišťujících integritu. Můžou to být třeba varovné obrazovky nebo odebrání stránek.)

Aby společnost Meta oba tyto faktory vyvážila, implementovali jsme systém křížové kontroly. Tento systém identifikuje obsah, u něhož je větší riziko falešné pozitivity, a zajišťuje další úrovně kontroly, jejichž cílem je toto riziko snížit. Křížová kontrola zajišťuje další úrovně kontroly pro určitý obsah, který naše interní systémy (pomocí automatizace a kontroly člověkem) označí jako porušující. Jejím cílem je předcházet při moderování obsahu s nejvyšším rizikem falešné pozitivity chybám, ke kterým by jinak mohlo vlivem různých faktorů (jako je nutnost porozumění jemným nuancím nebo znalosti kontextu) dojít, případně je minimalizovat. (V tomto případě odkazujeme na „obsah“, který je kontrolován naším systémem křížové kontroly. Křížovou kontrolu využíváme také ke kontrole dalších opatření, jako je odebrání stránky nebo profilu.) Křížová kontrola zajišťuje další úrovně kontroly a kontroloři zároveň uplatňují stejné Zásady komunity, které se vztahují na veškerý další obsah na Facebooku nebo Instagramu.

Systém křížové kontroly zásadně přispívá k ochraně lidských práv. Systém křížové kontroly kupříkladu zahrnuje entity a příspěvky od novinářů podávajících zprávy o dění v oblastech postižených konflikty a komunitních lídrů, kteří šíří povědomí o případech projevů nenávisti a násilí. Při křížových kontrolách se bere v potaz kontext, který přispívá ke správnému vyhodnocení příslušného obsahu. Kontrolovat se můžou i recenze týkající se občanských subjektů, u kterých mají uživatelé zvýšený zájem o to, co jejich lídři říkají.

Křížová kontrola navíc hraje důležitou roli v řízení vztahů společnosti Meta s řadou jejích obchodních partnerů. Například neoprávněné odebrání obsahu zveřejněného stránkou nebo profilem s velkým počtem sledujících může vést k negativním zkušenostem obchodních partnerů společnosti Meta i významného počtu uživatelů, kteří je sledují. Křížové kontrole podrobujeme rovněž některé velmi početné skupiny, kde by se možná chyba mohla dotknout stovek tisíc nebo milionů uživatelů. Křížová kontrola obchodní partnery společnosti Meta ani skupiny nezbavuje povinnosti dodržovat naše zásady pro obsah. V některých případech ale poskytuje další úrovně kontroly, abychom zajistili přesné uplatňování těchto zásad.

Uživatelé Facebooku a Instagramu každý den zveřejní miliardy položek obsahu. Přestože máme po celém světě tisíce specializovaných kontrolorů, není možné ručně zkontrolovat veškerý obsah, který by mohl potenciálně porušovat Zásady komunity. Valnou většinu porušujícího obsahu, který odebereme, naše technologie aktivně detekuje ještě dřív, než ho někdo nahlásí. Když někdo zveřejní obsah na Facebooku nebo Instagramu, naše technologie zkontroluje, jestli příslušný obsah potenciálně neporušuje Zásady komunity. V mnoha případech je identifikace jednoduchá. Příspěvek buď naše zásady jasně porušuje, nebo ne. V ostatních případech je obsah předán ke kontrole člověkem, který provede další zhodnocení.

Naše hlavní kontrolní systémy využívají technologii k upřednostnění vysoce rizikového obsahu, který má „virální“ charakter a mohl by se rychle šířit. Když systémy označí obsah k další kontrole, naši kontroloři činí obtížná rozhodnutí o tom, jestli má obsah na platformě zůstat zachován. Tato rozhodnutí často vyžadují velmi pečlivé zvažování. Vždy se ze všech sil snažíme dojít ke správným rozhodnutím. Jsme si ale vědomi toho, že některé případy jsou falešně pozitivní a že některý obsah, který odebereme z důvodu porušení zásad společnosti Meta, tyto zásady ve skutečnosti neporušuje. Proto společnost Meta investuje do prevence chyb, která spočívá v dalším posouzení falešně pozitivních výsledků a jejich eliminaci. Mezi tyto strategie prevence chyb patří mimo jiné křížová kontrola.

Křížová kontrola je systém, který nám pomáhá zajistit, aby k rozhodování ohledně prosazování předpisů bylo přistupováno s maximální přesností a s využitím dalších úrovní kontroly člověkem. Pokud kontrolor při křížové kontrole potvrdí, že obsah porušuje Zásady komunity, budeme tyto zásady prosazovat a u porušujícího obsahu přikročíme k patřičným opatřením. V závislosti na komplexnosti obsahu můžeme přikročit k využití více úrovní kontroly, v ojedinělých případech i ke kontrole ze strany vedení. Pokud finální kontrolor dojde k závěru, že posuzovaný obsah Zásady komunity neporušuje, může původně přijaté opatření zrušit a daný obsah na platformě zachovat.

Historické postupy křížového ověřování

Systém známý jako křížová kontrola jsme poprvé implementovali v roce 2013. Detaily systému se během let vyvíjely. Pokud to bylo možné, zveřejňovali jsme data a období, kdy k příslušným změnám došlo.

Abychom dokázali určit obsah nebo entity, které byly podrobeny křížové kontrole, naše týmy sestavily seznamy uživatelů nebo entit, u nichž předpokládáme větší riziko falešné pozitivity a následných opatření. „Rizikem falešné pozitivity“ myslíme riziko nesprávného prosazování předpisů u obsahu nebo entit, které Zásady komunity ve skutečnosti neporušují. Za účelem určení toho, se kterými uživateli a entitami se pojí vysoké riziko falešné pozitivity, naše týmy zavedly široké spektrum kritérií zahrnujících druh uživatele nebo entity (například volený úředník, novinář, významný obchodní partner nebo organizace na ochranu lidských práv), počet sledujících a zaměření entity. (Entita je obecný pojem označující možný původ nebo umístění obsahu, jako je uživatelský účet, stránka nebo skupina.)

Když uživatelé nebo entity zařazené do těchto seznamů zveřejnili obsah nebo provedli akci, kterou naše systémy označily za možné porušení našich zásad, zařadili jsme příslušný obsah nebo entitu do fronty ke křížové kontrole.

Počínaje rokem 2020 jsme provedli změny. Jejich cílem bylo zajistit, aby byla většina obsahu v této frontě upřednostněna na základě rámce kontroly rizika, který obsahu přiřadil úroveň rizika falešné pozitivity plynoucího z případného neoprávněného odebrání daného obsahu společností Meta. Tento rámec kontroly rizika se obecně zakládal na třech faktorech: (1) citlivost entity, (2) závažnost domnělého porušení a (3) závažnost potenciálního opatření v rámci prosazování předpisů.

Současné postupy křížového ověřování

Stejně jako u všech našich zásad a postupů, i v tomto případě neustále hledáme nové způsoby, jak se zlepšovat, a neustále provádíme potřebné změny. Na začátku tohoto roku jsme stanovili další příležitosti k vylepšení systému křížové kontroly. Jednou ze strukturálních změn, ke které jsme přistoupili, je skutečnost, že se systém křížové kontroly nově skládá ze dvou součástí: obecné sekundární kontroly a sekundární kontroly citlivé entity. I nadále budeme využívat výše popsanou metodu založenou na seznamech, která do procesu sekundární kontroly citlivé entity zařadí určitý procentuální podíl určitých uživatelů a entit. U obecné sekundární kontroly usilujeme o zajištění toho, aby mohl křížovou kontrolu podstoupit obsah od všech uživatelů a entit na Facebooku a Instagramu, a to na základě systému dynamického stanovení priority zvaného „nástroj pro vyhodnocení vhodnosti ke křížové kontrole“.

Na obecné sekundární kontrole se podílí smluvní kontroloři a členové našeho týmu se specializací na naše regiony. Tito lidé provádějí sekundární kontrolu obsahu a entit, které potenciálně porušily naše zásady, a to ještě před přikročením k jakýmkoli opatřením pojícím se s prosazováním předpisů. To, jestli je obsah vhodný k provedení křížové kontroly, při této kontrole nestanovujeme pouze na základě totožnosti uživatele nebo identity entity. Nástroj pro vyhodnocení vhodnosti ke křížové kontrole obsah vyhodnotí na základě rizika falešné pozitivity, a to s využitím kritérií, jako je citlivost tématu (nakolik je dané téma populární nebo citlivé), dopad prosazování předpisů (dopad potenciálního opatření pojícího se s prosazováním předpisů), pravděpodobnost falešné pozitivity, předpokládaný dosah a citlivost entity (vycházející především ze seznamů popsaných výše). Nástroj pro vyhodnocení vhodnosti ke křížové kontrole již v současnosti využíváme u většiny případů křížové kontroly.

Sekundární kontrola citlivé entity se podobá staršímu systému křížové kontroly. K určení toho, který obsah nebo které entity podstoupí sekundární kontrolu citlivé entity, i nadále používáme seznamy uživatelů a entit, u nichž možné prosazování předpisů podrobíme další křížové kontrole v případě, že budou označeny jako potenciálně porušující naše Zásady komunity. Do procesu sestavování a revize těchto seznamů jsme ale zařadili určité kontrolní prvky. Před zářím 2020 měla většina zaměstnanců možnost přidat do seznamu ke křížové kontrole nové uživatele nebo entity. Po září 2020 může jakýkoli zaměstnanec zažádat o přidání určitého uživatele nebo entity do seznamů ke křížové kontrole. Přidávat je ovšem smí pouze určená skupina zaměstnanců.

Správa seznamu k sekundární kontrole citlivé entity je momentálně odpovědností naší organizace pro globální operace, které poskytují podporu právní tým a tým pro partnerství disponující odbornými znalostmi a zkušenostmi. Náš tým pro globální operace má sice systém vykazování oddělený od týmu společnosti Meta pro veřejnou politiku, ale rozhodnutí v rámci křížové kontroly jsou s týmem pro veřejnou politiku konzultována (podobně jako moderování obsahu v rámci celé společnosti). Náš tým pro operace může v takových případech využít odborné znalosti členů týmu společnosti Meta pro veřejnou politiku a našich regionálních expertů i kontrolorů specializujících se na různé jazyky, aby se lépe zohlednila místní a kulturní hlediska. Samostatné systémy vykazování přispívají k zajištění nezávislosti kontroly na politických a ekonomických vlivech. Aby byly seznamy neustále relevantní a odpovídající, vytvořili jsme rovněž proces každoroční důkladné kontroly, v rámci níž prověřujeme entity ze seznamů k sekundární kontrole citlivé entity a zjišťujeme, zda nadále vyhovují. Tento proces budeme průběžně vylepšovat.

Společnost Meta již několik měsíců každý den kontroluje v průměru několik tisíc případů vhodných ke křížové kontrole. Valná většina je posouzena již během obecné sekundární kontroly. (Vzhledem k milionům položek obsahu, které jsou každý den označeny a na něž z důvodu porušení našich Zásad komunity reagujeme, se jedná o malý podíl.) Jen zlomek těchto každodenních kontrol v současnosti tvoří sekundární kontrola citlivé entity. Předpokládáme, že na přelomu let 2021 a 2022 bude i nadále přetrvávat tendence, že čím dál více případů posuzovaných formou křížové kontroly bude vyplývat ze stanovení priority během obecné sekundární kontroly.

Pokud je určitý obsah od jednotlivce nebo subjektu, který je součástí SSR, obvykle ho nejdřív zkontroluje tým pro daný region. Tým pro eskalace daný obsah posoudí a vyhodnotí, jestli zásady skutečně porušuje. Obecně platí, že pokud tým specializující se na regiony dojde k závěru, že příslušný obsah naše zásady neporušuje, tým pro eskalace jej posuzovat nebude. Pokud obsah zveřejní jednotlivec nebo entita, kterým prioritu stanovil nástroj pro vyhodnocení vhodnosti ke křížové kontrole, kontroly se obvykle ujmou smluvní kontroloři nebo tým specializující se na regiony. Pokud má tým pro eskalace volné kapacity, může se kontroly ujmout také některý z jeho členů. Starší podoba křížové kontroly probíhala tak, že komplexnější záležitosti mohly být předány k dodatečné kontrole, v ojedinělých případech i k posouzení ze strany vedení. Pokud při konečné kontrole dojdeme k závěru, že obsah naše Zásady komunity porušuje, odebereme jej. Pokud kontrola odhalí, že zásady neporušuje, zůstane zachován.

K 16. říjnu 2021 provedlo akce vyžadující určitou formu sekundární kontroly citlivé entity, která vychází ze zařazení na výše popsané seznamy, přibližně 660 000 uživatelů a entit. Toto číslo se neustále mění s tím, jak na již popsané seznamy přidáváme nové uživatele či entity, nebo je ze seznamů naopak odebíráme, a to na základě vyvíjejících se kritérií začleňování. Mezi příklady uživatelů a entit vhodných k sekundární kontrole citlivé entity patří mimo jiné:

Subjekty související s reakcemi na eskalace nebo událostmi s vysokou mírou rizika. Týmy v současnosti aplikují neformální proces spočívající v tom, že při přípravě na vysoce rizikové události identifikují entity, u kterých je velké riziko nepřiměřeného prosazování předpisů. Pokud se například kontroverzní obsah určitého uživatele začne virálně šířit (například živě vysílané video na téma policejní brutality), můžeme takového uživatele určit jako vhodného adepta na sekundární kontrolu citlivé entity, abychom předešli nesprávnému odebrání.
Subjekty uvedené pro účely dodržení právních předpisů. V určitých případech využíváme sekundární kontrolu citlivé entity, abychom splnili právní nebo regulační požadavky.
Veřejně známé osobnosti a vydavatelé s vysokou mírou viditelnosti. Identifikujeme entity, u nichž je vhodné přikročit k sekundární kontrole citlivé entity, protože nepřiměřené prosazování předpisů by mohlo vyústit v negativní zkušenosti velké skupiny uživatelů.
Marginalizované skupiny. Identifikujeme obránce lidských práv, politické disidenty a další lidi, kteří by se podle nás mohli stát cílem státem podporovaného nebo jiného oponentního obtěžování, koordinovaného skupinového obtěžování (tzv. brigadingu) či hromadného nahlašování, abychom je před takovými útoky ochránili.
Občanské subjekty. Řídíme se objektivními kritérii a odbornými znalostmi našich týmů pro zásady působících přímo v regionech, abychom identifikovali politiky, státní úředníky, instituce, organizace, zájmové skupiny a influencery věnující se občanským tématům. Tyto entity zařazujeme mezi adepty na sekundární kontrolu citlivé entity, abychom předešli chybám, které by omezily politické projevy neporušující zásady, a neúmyslně by se dotkly diskuzí o občanských tématech, jako jsou volby, veřejná politika a sociální problematika. Naším cílem je zajistit rovnost všech občanských entit v příslušných zemích. Když například na seznam adeptů na sekundární kontrolu citlivé entity zařadíme ministerstvo mezivládního fóra, pak k adeptům na tuto kontrolu přidáme všechna ministerstva tamější vlády.
Firmy. Identifikujeme inzerenty s vysokou hodnotou i ty, u nichž došlo k nadměrnému prosazování předpisů, abychom ochránili příjmy a vybudovali dlouhodobou důvěru v naši platformu.

V současnosti posuzujeme, jak bychom mohli vylepšit kritéria pro identifikaci entit, které jsou vhodné k sekundární kontrole citlivé entity. Zkoumáme například možnosti přizpůsobení těchto kritérií v závislosti na faktorech, jako je počet sledujících, počet neoprávněného prosazení předpisů, které u nich v minulosti proběhlo, zákonné nebo regulační požadavky nebo důležité politické otázky či sociální problematika. Uživatelé můžou požádat o to, aby na seznamu SSR nebyli uvedení, a to prostřednictvím tohoto formuláře. Společnost Meta nepotvrzuje, zda skutečně došlo k odebrání uživatelů z těchto seznamů. Pevně ale věříme v autonomii uživatelů a každou žádost co nejdřív prověříme.

Kromě dvou zmíněných součástí systému křížové kontroly máme zavedený také interní systém prevence chyb, který nese název Dynamic Multi Review (DMR). Tento systém nám umožňuje odesílat již zkontrolované případy k opětovné kontrole, abychom k přijetí rozhodnutí získali většinu (pokud například většina kontrolorů s rozhodnutím souhlasí, případ se uzavře). Tím nám pomáhá spolehlivěji přijímat správná rozhodnutí. Tento systém využíváme ke zvyšování kvality a přesnosti kontroly prováděné člověkem a ke zmírnění rizika přijetí nesprávných rozhodnutí. Počet kontrol nutných k přijetí konečného rozhodnutí totiž upravujeme podle celé řady různých faktorů, jako je viralita, počet zhlédnutí a potenciál zvýšit riziko újmy (například potenciální porušení našich zásad týkajících sexuálního zneužívání nebo nebezpečných jedinců a organizací).

Budoucí zásahy křížového ověřování

V reakci na rozhodnutí dohledové rady z prosince 2022 ohledně poradního názoru týkajícího se zásad jsme se rovněž zavázali k provedení řady zásahů do transparentnosti prevence chyb. Co tyto zásahy zahrnují:

Strukturovaná a četná komunikace s našimi interními týmy pro lidská a občanská práva, našimi důvěryhodnými partnery a dalšími externími organizacemi občanské společnosti, během které se snažíme objevovat způsoby stanovování kritérií využívaných k identifikaci subjektů veřejného zájmu vhodných k zařazení na seznam ke křížové kontrole.
Zkoumání možností formálnějšího procesu zařazení na seznam ke křížové kontrole z globálních, regionálních a místních skupin občanské společnosti.
Investování do kvalitních zdrojů pro potřeby kontroly a školení, což je zásadní, protože se snažíme docílit toho, aby ve všech možných případech rozhodnutí v rámci křížové kontroly prováděli kontroloři hovořící příslušným jazykem se znalostí místních poměrů.
Implementace propracovaných dohod o rozsahu služeb (SLA) u rozhodnutí v rámci kontrol provedených v našich systémech pro prevenci chyb, což nám umožní optimalizovat naše stávající personální obsazení na pozicích kontrolorů, aby kontroly probíhaly co nejrychleji a v příslušném jazyce.

I když jsme systém křížových kontrol významně vylepšili, pořád hledáme nové způsoby, jak zajistit, aby systém vhodně vyvažoval naše cíle. Jedním z nich je odebírat obsah, který porušuje zásady komunity, a zároveň se snažit co nejvíc omezit případné chyby při prosazování zásad, které mají největší dopad.