Sådan fungerer håndhævelsesteknologi
OPDATERET 12. NOV. 2024
Modeldesign og forudsigelser
Processen begynder hos vores KI-teams. De bygger maskinlæringsmodeller, der kan udføre opgaver, såsom at genkende elementer i et billede eller forstå tekst. Derefter bygger vores integritetsteams – der er ansvarlige for skaleringen af detektering og håndhævelse af vores politikker – videre på disse modeller for at skabe mere specifikke modeller, der kan lave forudsigelser om personer og indhold. Disse forudsigelser hjælper os med at håndhæve vores politikker.
En AI-model forudsiger for eksempel, om et stykke indhold er hadefuld retorik eller voldeligt og udpenslet indhold. Et separat system – vores håndhævelsesteknologi – vurderer, om der skal foretages en handling, såsom at slette, degradere eller sende indholdet videre til et menneskeligt gennemgangsteam til yderligere gennemgang.
Læring via gentagelse, verificeret af mennesker
Når vi først bygger ny teknologi til håndhævelse af indhold, træner vi det til at holde øje med visse signaler. En type teknologi kigger for eksempel efter nøgenhed i billeder, mens en anden type teknologi lærer at forstå tekst. I starten har en ny type teknologi muligvis en lav konfidens, når det handler om at vurdere, hvorvidt et stykke indhold overtræder vores politikker.
Gennemgangsteams kan derefter tage den endelige beslutning, og vores teknologi kan lære fra hver menneskelig beslutning. Over tid – når teknologien har lært på baggrund af tusindvis af menneskelige beslutninger – bliver den mere præcis.
Vores politikker udvikler sig over tid for at holde trit med ændringer i vores produkt, sociale normer og sprog. Derfor er træningen af både vores teknologi og gennemgangsteams en gradvis og gentagende proces.
Detektering af gentagne overtrædelserTeknologi er rigtig god til at detektere det samme stykke indhold igen og igen – millionvis af gange om nødvendigt. Vores teknologi kan handle på baggrund af et nyt stykke indhold, hvis det matcher eller ligner et andet stykke overtrædende indhold. Dette er især nyttigt ved kampagner, memes og andet indhold, der omhandler virale forkerte oplysninger, som kan sprede sig utroligt hurtigt.
De små forskelle
Teknologi kan finde og fjerne det samme stykke indhold igen og igen. Men det er en udfordring at få en maskine til at forstå nuancer i ordvalg, eller hvordan små forskelle kan ændre konteksten.
Det første billede er et originalt stykke vildledende indhold, der inkluderer forkerte oplysninger om folkesundhedens sikkerhed.
Det andet billede er et screenshot af det første billede, og denne gang er der en computers menulinje foroven.
Det tredje billede til slut ligner utroligt meget det første og andet billede, men der er to små ændringer i ordvalget, der gør overskriften korrekt og ikke længere forkert.
Dette er forholdsvist nemt for mennesker at forstå, men det er svært for teknologien. Der er risiko for at lave fejl både til den ene eller den anden side. Hvis teknologien er for aggressiv, fjerner den millionvis af ikke-overtrædende opslag. Hvis den ikke er aggressiv nok, vil den tro, at screenshottet med menulinjen er anderledes end originalen, og vil ikke handle på baggrund af indholdet.
Dette bruger vi rigtigt meget tid på at justere. I løbet af de seneste år har vi foretaget adskillige investeringer for at hjælpe vores teknologi med at blive bedre til at detektere små forskelle i indholdet. Hver eneste dag lærer den mere og bliver mere nøjagtigt.
