Hur verkställighetsteknik fungerar
UPPDATERAD 12 NOV 2024
Bygga modeller och göra prognoser
Processen inleds hos våra AI-team. De skapar modeller för maskininlärning som kan utföra uppgifter, som att känna igen det som finns på ett foto eller att förstå text. Sedan använder våra integritetsteam – som är ansvariga för att skala upp identifieringen och verkställandet av våra policyer – dessa modeller för att skapa mer specifika modeller som ger prognoser om personer och innehåll. Dessa prognoser hjälper oss att verkställa våra policyer.
En AI-modell gör till exempel en prognos av huruvida ett visst innehåll är hatretorik eller våldsamt och stötande innehåll. Ett separat system, vår verkställighetsteknik, beslutar om åtgärder ska vidtas, till exempel om innehållet ska tas bort, degraderas eller skickas till ett manuellt granskningsteam för ytterligare granskning.
Lärande genom repetition, verifierat av människor
När vi skapar ny teknik för verkställande mot innehåll tränar vi upp den i att leta efter vissa signaler. En del teknik letar till exempel efter nakenhet på foton, medan annan teknik lärs upp i att förstå text. I början kan en ny typ av teknik vara mindre tillförlitlig när det gäller att urskilja om ett innehåll bryter mot våra regler.
Då kan granskningsteam fatta det slutgiltiga beslutet och tekniken lärs upp i och med varje manuellt beslut. När teknik har lärts upp med tusentals manuella beslut blir den med tiden mer exakt.
Våra regler utvecklas också med tiden för att hålla jämna steg med förändringar inom produkten, sociala normer och språkbruk. Därför sker träningen av vår teknik och våra granskningsteam stegvis och genom upprepning.
Upptäcka upprepade överträdelserTekniken är mycket bra på att upptäcka samma innehåll om och om igen — miljoner gånger om det behövs. Vår teknik vidtar åtgärder mot ett nytt innehåll om det matchar eller är mycket likt ett annat innehåll som bryter mot reglerna. Det är särskilt användbart när det gäller virala kampanjer som sprider felaktig information, mem och annat innehåll som kan spridas mycket snabbt.
Göra subtila avvägningar
Tekniken kan hitta och ta bort samma innehåll om och om igen. Men den stora utmaningen är att få en maskin att förstå nyanser i ordval och hur små ändringar helt kan förändra innebörden.
Den första bilden visar det ursprungliga missvisande innehållet som innehåller felaktig information om skydd för folkhälsan.
Den andra bilden är en skärmbild av den första bilden, denna gång med datorns menyfält högst upp i bild.
Den tredje bilden är extremt lik den första och den andra, men här har två ord ändrats vilka gör att rubriken är korrekt och inte längre felaktig.
Det här är ganska lätt för en människa att förstå, men relativt svårt för tekniken att förstå rätt. Det finns risk för att den går för långt åt båda håll. Om tekniken är alltför aggressiv kan den ta bort miljontals inlägg som inte bryter mot reglerna. Om den inte är tillräckligt aggressiv kan den anse att skärmbilden med menyfältet är annorlunda från den ursprungliga bilden och vidtar ingen åtgärd mot innehållet.
Vi lägger mycket tid på det här. Under de senaste åren har vi gjort ett flertal investeringar för att göra vår teknik bättre på att upptäcka subtila skillnader i innehåll. Den blir mer exakt för varje dag som går eftersom den löpande lär sig mer.
