Jak funguje technologie prosazování předpisů
AKTUALIZOVÁNO 12. 11. 2024
Vytváření modelů a předpovědí
Proces začíná u našich týmů pro umělou inteligenci. Vytváří modely strojového učení, které umí provádět různé úkoly, třeba rozpoznat, co je na fotce, nebo porozumět textu. Naše týmy pro integritu – které mají na starosti rozšiřování detekce a prosazování našich zásad – pak na základě uvedených modelů vytvářejí konkrétnější modely, které umí předpovídat, jak se lidé a obsah budou chovat. Předpovědi nám pomáhají prosazovat naše zásady.
Model AI například předpovídá, jestli se nejedná o nenávistný projev nebo realisticky vyobrazený násilný obsah. Samostatný systém – naše technologie prosazování předpisů – rozhodne, jestli přikročí k opatřením, jako je odstranění, degradace nebo předání obsahu ke kontrole člověkem.
Učení opakováním, ověření člověkem
Když vytváříme novou technologii pro prosazování předpisů z hlediska obsahu, učíme ji, aby hledala určité signály. Některé technologie například hledají nahotu na fotkách, zatímco jiné se učí porozumět textu. Zpočátku může nový typ technologie vykazovat jen nízkou spolehlivost při určování, jestli obsah porušuje naše zásady.
Poslední slovo pak mají týmy pro kontrolu a naše technologie se učí z každého lidského rozhodnutí. V průběhu času se technologie na základě tisíců lidských rozhodnutí stává přesnější.
Naše zásady se taky časem mění, aby držely krok s vývojem našeho produktu, společenskými normami a jazykovými změnami. Proto je učení technologie i týmů pro kontrolu postupné a iterativní.
Detekce opakovaných porušeníTechnologie dokážou skvěle odhalovat pořád dokola se objevující obsah – v případě potřeby i milionkrát. Naše technologie provedou akci u nového obsahu, pokud se shoduje nebo se hodně podobá jinému obsahu, který porušuje zásady. To je obzvlášť užitečné v případě virálních dezinformačních kampaní, memů a dalšího obsahu, který se může šířit mimořádně rychle.
Nuance
Technologie dokáže najít a odebrat stejný obsah znovu a znovu. Velkou výzvou ale je, aby stroj dokázal pochopit, jak se může změna jednoho slova nebo drobné rozdíly v výrazu promítnout do změny kontextu.
První obrázek je původní matoucí obsah, který zahrnuje dezinformace o bezpečnosti veřejného zdraví.
Druhý obrázek je snímek obrazovky prvního obrázku, tentokrát s počítačovou lištou nabídky nahoře.
Třetí obrázek se velmi podobá prvnímu a druhému obrázku, ale má 2 drobné změny v textu, díky kterým už titulek není nepravdivý, ale pravdivý.
Pro lidi je to celkem jasné, ale pro technologie je to oříšek. Existuje pak riziko přílišného chybování na obou pólech. Pokud je technologie příliš agresivní, odebere miliony příspěvků, které zásady neporušují. Pokud ale naopak není agresivní dostatečně, bude si myslet, že se snímek obrazovky s panelem nabídky liší od originálu, a žádnou akci neprovede.
Věnujeme tomu hodně času. V posledních letech jsme uskutečnili několik investic do technologií, které pomáhají odhalovat drobné rozdíly v obsahu. Čím dál se učí, tím přesnější jsou.
