Slik fungerer håndhevelsesteknologi
OPPDATERT 12. NOV. 2024
Bygging av modeller og utarbeidelse av anslag
Prosessen begynner med teamene våre for kunstig intelligens. De bygger maskinlæringsmodeller som kan utføre oppgaver, slik som å gjenkjenne innholdet i et bilde eller å forstå tekst. Deretter vil våre integritetsteam – som er ansvarlige for skalering av påvisning og håndhevelse av retningslinjene våre – bygge på disse modellene for å opprette mer spesifikke modeller som utarbeider anslag om personer og innhold. Disse anslagene hjelper oss til å håndheve retningslinjene våre.
For eksempel anslår en KI-modell om et innholdselement er en hatefull ytring eller voldelig og støtende innhold. Et separat system – håndhevelsesteknologien vår – avgjør hvorvidt et tiltak skal settes inn, slik som å slette, degradere eller sende innholdet til et menneskelig gjennomgangsteam for videre gjennomgang.
Læring gjennom repetisjon, verifisert av mennesker
Når vi først bygger ny teknologi for håndhevelse av regler for innhold, trener vi den til å se etter visse signaler. For eksempel ser noe teknologi etter nakenhet i bilder, mens annen teknologi lærer å forstå tekst. I begynnelsen kan anslagene fra en ny type teknologi være ganske usikre i vurderingen av om et innholdselement bryter med retningslinjene våre.
Gjennomgangsteam kan deretter ta den endelige avgjørelsen, og teknologien vår kan lære av hver enkelt menneskelige beslutning. Over tid – etter læring fra tusenvis av menneskelige beslutninger – blir teknologien mer nøyaktig.
Retningslinjene våre utvikles også over tid for å holde tritt med endringer i produktet vårt, sosiale normer og språket. Som et resultat av dette, er opplæring av både teknologien og gjennomgangsteamene våre en gradvis og gjentagende prosess.
Oppdagelse av gjentatte regelbruddTeknologi er svært flink til å identifisere det samme innholdet om og om igjen – millioner av ganger, om nødvendig. Teknologien vår vil iverksette tiltak for et nytt innholdselement hvis det matcher eller er svært likt et annet element med innhold som bryter retningslinjene. Dette er spesielt nyttig for virale feilinformasjonskampanjer, memer og annet innhold som kan spre seg ekstremt raskt.
Evnen til å se subtile forskjeller
Teknologi kan finne og fjerne det samme innholdet om og om igjen. Det er imidlertid en stor utfordring å få en maskin til å forstå nyanser i ordvalg eller hvordan små forskjeller kan endre innholdet.
Det første bildet er det opprinnelige elementet med villedende innhold, som inkluderer feilinformasjon om offentlig helse og sikkerhet.
Det andre bildet er et skjermbilde av det første bildet, denne gangen med datamaskinens menylinje øverst.
Til slutt er det tredje bildet ekstremt likt både det første og det andre bildet, men det har to små endringer av ord som gjør overskriften korrekt og ikke lenger feilaktig.
Dette er ganske enkelt for mennesker å forstå, men vanskelig for teknologi å gjøre riktig. Det er en risiko for å dra vurderingen for langt til den ene eller den andre siden. Hvis teknologien er for aggressiv, vil den fjerne millioner av ikke-krenkende innlegg. Hvis den ikke er aggressiv nok, vil den vurdere skjermbildet med menylinjen til å være ulikt originalen, og vil ikke gjennomføre tiltak i forhold til innholdet.
Vi bruker mye tid på å jobbe med dette. I løpet av de siste årene har vi gjort flere investeringer for å hjelpe teknologien vår til å bli bedre når det gjelder å oppdage subtile forskjeller i innhold. Den blir mer presis hver dag etter hvert som den fortsetter å lære.
