Dokładna weryfikacja treści o dużym oddziaływaniu za pośrednictwem naszych systemów kontroli krzyżowej

ZAKTUALIZOWANO 12 LIS 2024

6 grudnia 2022 r. Rada Kontrolna opublikowała swoją opinię doradczą w sprawie zasad (PAO) dotyczącą zasad kontroli krzyżowej Meta. Aby móc dokładnie odnieść się do licznych rekomendacji, uzgodniliśmy z Radą, że dokonamy weryfikacji i udzielimy odpowiedzi w terminie 90 dni. Więcej informacji na temat systemu kontroli krzyżowej zawiera nasz post w Centrum transparentności.

Informacje ogólne o kontroli krzyżowej

Użytkownicy Facebooka i Instagramu tworzą codziennie miliardy fragmentów treści. Moderowanie treści na taką skalę oznacza wyzwania, łącznie z kompromisami pomiędzy istotnymi wartościami a celami. Staramy się szybko weryfikować treści potencjalnie naruszające zasady i usuwać je, jeżeli naruszają nasze zasady. Musimy jednak zrównoważyć ten cel ryzykiem czynności „fałszywie dodatnich” (omyłkowe usunięcie treści nienaruszających zasad) w celu ochrony opinii użytkowników. (W tym przypadku określenie „usuwanie” odnosi się do szerszego zakresu działań. Mogą się też do niego zaliczać np. stosowanie ekranów z ostrzeżeniem lub usuwanie stron).

W celu rozstrzygnięcia takich wątpliwości firma Meta wdrożyła system kontroli krzyżowej, aby wskazywać treści, które wiążą się z większym ryzykiem podjęcia decyzji fałszywie dodatnich, i zapewniać dodatkowe poziomy weryfikacji w celu zmniejszenia takiego ryzyka. Kontrola krzyżowa zapewnia dodatkowe poziomy weryfikacji określonych rodzajów treści oznaczonych przez nasze wewnętrzne systemy jako treści naruszające zasady (na podstawie kontroli automatycznej lub weryfikacji przez człowieka) i ma na celu zapobieganie błędom fałszywie dodatniej moderacji lub minimalizowanie takich błędów, które w przeciwnym razie mogą wystąpić w wyniku różnych czynników jak np. konieczności zrozumienia niuansów czy kontekstu. (Mowa tu o „treściach” weryfikowanych przez nasz system kontroli krzyżowej. Kontrolę krzyżową wykorzystujemy też do weryfikowania innych działań, np. usuwania strony czy profilu). Kontrola krzyżowa zapewnia dodatkowy poziom weryfikacji; weryfikatorzy stosują te same Standardy społeczności, które mają zastosowanie do wszystkich innych treści na Facebooku lub Instagramie.

System kontroli krzyżowej odgrywa kluczową rolę w zakresie pomocy w ochronie praw człowieka. Na przykład system kontroli krzyżowej obejmuje jednostki i posty dziennikarzy przesyłających relacje ze stref konfliktów oraz posty liderów społeczności zwiększające świadomość przypadków nienawiści lub przemocy. Weryfikacje w ramach kontroli krzyżowej obejmują kontekst pomagający w podjęciu prawidłowych działań w stosunku do treści. Weryfikacje w ramach kontroli krzyżowej mogą też dotyczyć jednostek z sektora publicznego, w których przypadku użytkownicy są bardziej zainteresowani tym, by zobaczyć efekty deklaracji liderów.

Kontrola krzyżowa odgrywa ponadto istotną rolę w zarządzaniu relacjami firmy Meta z wieloma z naszych partnerów biznesowych. Nieprawidłowe usunięcie treści opublikowanych przez stronę lub profil z dużą liczbą osób obserwujących może np. spowodować negatywne reakcje zarówno partnerów biznesowych firmy Meta, jak i znacznej liczby użytkowników. Kontrole krzyżowe stosujemy też w celu sprawdzania określonych bardzo dużych grup, w których przypadku błąd może oznaczać konsekwencje dla tysięcy, a nawet milionów użytkowników. Kontrola krzyżowa nie zwalnia partnerów biznesowych firmy Meta ani grup z przestrzegania naszych zasad dotyczących treści, ale czasami zapewnia dodatkowe poziomy weryfikacji, aby zapewnić dokładne stosowanie takich zasad.

Użytkownicy Facebooka i Instagramu publikują codziennie miliardy treści. Nawet mając do dyspozycji tysiące gorliwych weryfikatorów na całym świecie, nie da się ręcznie zweryfikować każdego materiału, który potencjalnie narusza nasze Standardy społeczności. Zdecydowaną większość treści naruszających zasady, które usuwamy, aktywnie wykrywa nasza technologia, zanim ktokolwiek je zgłosi. Gdy ktoś opublikuje treści na Facebooku lub Instagramie, nasza technologia sprawdza, czy treści takie mogą naruszyć Standardy społeczności. W wielu przypadkach identyfikacja jest łatwa. Post albo wyraźnie narusza nasze zasady albo nie. Ale w pozostałych przypadkach treści przekazuje się do dalszej weryfikacji przez człowieka.

Nasze podstawowe systemy weryfikacji wykorzystują technologię do porządkowania według ważności treści, w tym treści o zasięgu „wirusowym”, które są szybko rozpowszechniane. Gdy systemy oznaczają treści do dalszej weryfikacji, nasi weryfikatorzy często zwracają się do nas z trudnymi i precyzyjnymi pytaniami dotyczącymi tego, czy treści powinny pozostać na platformie. Zawsze staramy się podejmować właściwe decyzje; zdajemy sobie sprawę z tego, że faktycznie podejmuje się fałszywie pozytywne decyzje i niektóre treści przeznacza się do usunięcia z powodu naruszenia zasad firmy Meta, gdy tak naprawdę do takiego naruszenia nie doszło. Meta zainwestowała w związku z tym w zapobieganie błędom polegające na dalszej weryfikacji fałszywie pozytywnych decyzji i ograniczeniu ich liczby. Kontrola krzyżowa to jedna ze strategii zapobiegania błędom.

Kontrola krzyżowa to system wykorzystywany do zapewnienia prawidłowego podejmowania decyzji oraz stosowania dodatkowych poziomów weryfikacji przez człowieka. Gdy weryfikator potwierdzi podczas kontroli krzyżowej, że treści naruszają nasze Standardy społeczności, egzekwujemy nasze zasady i podejmujemy odpowiednie działania w stosunku do takich treści. W zależności od stopnia złożoności treści możemy zastosować weryfikację wielopoziomową, łącznie ze sporadyczną weryfikacją przez kierownictwo. Jeżeli końcowy weryfikator uzna, że dane treści nie naruszają naszych Standardów społeczności, może „cofnąć” początkową decyzję i pozostawić treści na platformie.

Praktyki weryfikacji krzyżowej w przeszłości

System znany obecnie pod nazwą kontroli krzyżowej wprowadziliśmy w roku 2013. Struktura systemu ulegała zmianom na przestrzeni lat i w miarę możliwości podaliśmy daty oraz okresy, w których nastąpiły zmiany.

Aby wskazać, które treści lub jednostki poddano weryfikacji w ramach kontroli krzyżowej nasze zespoły wskazały i sporządziły wykazy użytkowników lub jednostek obarczonych wyższym ryzykiem działań na podstawie decyzji fałszywie dodatnich. „Ryzyko fałszywie dodatnie” oznacza ryzyko podjęcia nieprawidłowych działań w stosunku do treści lub jednostek, które tak naprawdę nie naruszają naszych Standardów społeczności. Aby stwierdzić, z którymi użytkownikami i jednostkami wiąże się wyższe ryzyko fałszywie dodatnie, nasze zespoły zastosowały szereg kryteriów, w tym typ użytkownika lub jednostki (np. urzędnik wybrany w wyborach, dziennikarz, znaczący partner biznesowy, organizacja broniąca praw człowieka), liczba osób obserwujących oraz rodzaj działalności jednostki. (Jednostka to ogólne określenie źródła, z którego treści mogą pochodzić lub w którym mogą się pojawić, np. konto użytkownika, strona czy grupa).

Jeżeli użytkownicy lub jednostki wskazane w tych wykazach opublikowały treści lub podjęły działania oznaczone przez nasze systemy jako potencjalnie naruszające zasady, dodamy takie treści lub jednostki do kolejki do weryfikacji w ramach kontroli krzyżowej.

Od 2020 r. wprowadziliśmy zmiany, aby większość treści w kolejce była uszeregowana według ważności na podstawie ryzyka; przypisano poziom ryzyka fałszywie dodatniego, które mogłoby się pojawić w przypadku nieprawidłowego usunięcia treści przez firmę Meta. Struktura ryzyka zasadniczo opiera się na trzech czynnikach: (1) wrażliwość jednostki, (2) waga domniemanego naruszenia oraz (3) waga potencjalnego działania w zakresie egzekwowania zasad.

Obecne praktyki kontroli krzyżowej

Podobnie jak w przypadku wszystkich naszych zasad i procesów nieustannie poszukujemy sposobów usprawnień i ciągle wprowadzamy zmiany. Na początku roku wskazaliśmy dodatkowe możliwości usprawnienia systemu kontroli krzyżowej. Jedna strukturalna zmiana, którą wprowadziliśmy, jest taka, że system kontroli krzyżowej składa się teraz z dwóch elementów: Ogólna weryfikacja dodatkowa (GSR) oraz Dodatkowa weryfikacja wrażliwego podmiotu (SSR). Będziemy nadal stosować podejście oparte na opisanych powyżej wykazach w zakresie uwzględniania odsetka określonych użytkowników i jednostek w SSR, natomiast w ramach GSR staramy się zadbać o to, by treści wszystkich użytkowników i jednostek na Facebooku i Instagramie kwalifikowały się do kontroli krzyżowej na podstawie systemu szeregowania dynamicznego o nazwie „klasyfikator kontroli krzyżowej”.

W GSR uczestniczą weryfikatorzy i osoby z naszego zespołu ds. regionów, które, przed podjęciem działań w zakresie egzekwowania zasad, przeprowadzają dodatkową weryfikację treści oraz jednostek, które mogą naruszać nasze zasady. Podstawą takiej weryfikacji nie jest wyłącznie tożsamość użytkownika lub jednostki określająca, które treści poddaje się weryfikacji w ramach kontroli krzyżowej. Klasyfikator kontroli krzyżowej klasyfikuje treści na podstawie ryzyka fałszywie dodatniego, posługując się kryteriami takimi jak kontrowersyjność tematu (na ile temat jest popularny/kontrowersyjny), waga egzekwowania przestrzegania zasad (znaczenie ewentualnej akcji egzekwowania zasad), prawdopodobieństwo decyzji fałszywie pozytywnej, przewidywany zasięg oraz wrażliwość jednostki (głównie na podstawie sporządzonych wykazów opisanych powyżej). Klasyfikator kontroli krzyżowej wykorzystywany jest już obecnie w większości takich weryfikacji.

SSR jest podobna do starszego systemu kontroli krzyżowej. Aby ustalić, które treści lub jednostki należy poddać SSR, nadal prowadzimy wykazy użytkowników i jednostek poddawanych kontroli krzyżowej, jeżeli zostaną oznaczone jako potencjalnie naruszające Standardy społeczności. Dodaliśmy jednak elementy kontroli do procesu sporządzania i weryfikacji takich wykazów. Przed wrześniem 2020 r. większość pracowników mogła dodawać użytkownika lub jednostkę do wykazu do kontroli krzyżowej. Począwszy od października 2020 r., każdy pracownik może złożyć wniosek o dodanie użytkownika lub jednostki do wykazów do kontroli krzyżowej, ale tylko wyznaczona grupa pracowników ma uprawnienia do wprowadzania zmian w wykazach.

Odpowiedzialność zarządcza za listę SSR aktualnie spoczywa na naszej organizacji ds. działalności globalnej przy wsparciu zespołów ds. prawnych i współpracy mających specjalistyczną wiedzę i doświadczenie. Struktura sprawozdawcza naszego zespołu ds. działalności globalnej różni się od struktury sprawozdawczej zespołu ds. porządku publicznego, natomiast zasięga się opinii zespołu ds. porządku publicznego w zakresie decyzji kontroli krzyżowej podobnie jak w wielu obszarach moderacji treści w całej firmie. W takich przypadkach nasz zespół ds. działalności może skorzystać z wiedzy zespołu Meta ds. porządku publicznego w połączeniu z naszymi ekspertami regionalnymi i niezależnymi językowo wyspecjalizowanymi weryfikatorami w celu poszerzenia perspektywy lokalnej i kulturowej. Odrębne struktury sprawozdawcze ułatwiają nam zadbanie o to, by weryfikacja nie podlegała wpływom politycznym ani ekonomicznym. W celu utrzymania istotnych i właściwych list opracowaliśmy też skrupulatny proces corocznej weryfikacji w celu sprawdzania, czy podmioty na liście SSR nadal spełniają kryteria kwalifikacji, którą to kontrolę będziemy z czasem zawężać.

Ostatnio Meta weryfikuje średnio kilka tysięcy zadań poddawanych kontroli krzyżowej dziennie, z których zdecydowana większość kończy się na etapie GSR. (W porównaniu z milionami treści, które się oznacza i w stosunku do których codziennie podejmuje się działania z powodu naruszenia naszych Standardów społeczności, jest to niewielka ilość). SSR stanowi teraz mniejszość codziennych weryfikacji. Spodziewamy się ciągłej zmiany w liczbie weryfikacji w ramach kontroli krzyżowej w wyniku priorytetyzacji GSR pod koniec 2021 r. oraz w 2022 r.

Jeżeli fragment treści pochodzi od osoby lub jednostki ujętej w ramach SSR, zwykle w pierwszej kolejności podlega weryfikacji przez zespół ds. regionów. Zespół reagowania następnie przeprowadza weryfikację, aby sprawdzić, czy treść narusza zasady. Co do zasady, jeżeli zespół ds. regionów stwierdzi, że treści nie naruszają naszych zasad, zespół reagowania nie przeprowadzi weryfikacji. Jeżeli materiał pochodzi od osoby lub jednostki, której klasyfikator kontroli krzyżowej nadał priorytet, zwykle weryfikują go wykonawcy lub zespół ds. regionów, chyba że zespół reagowania ma dodatkowe moce, by przeprowadzić weryfikację. Podobnie jak w przypadku starszych systemów kontroli krzyżowej, kwestie o wysokiej złożoności mogą zostać poddane dodatkowej weryfikacji, w tym sporadycznej weryfikacji przez kierownictwo. Jeżeli podczas ostatecznej kontroli okaże się, że treść narusza nasze Standardy społeczności, usuniemy ją. Jeżeli natomiast weryfikacja wykaże, że materiał nie narusza zasad, zachowamy go.

Od 16 października 2021 r. w stosunku do około 660 000 użytkowników lub jednostek podjęto działania wymagające określonej formy SSR na podstawie tego, że zostały ujęte w opisanych powyżej wykazach. Liczba ta ciągle się zmienia w miarę jak dodajemy do opisanych powyżej wykazów lub usuwamy z nich użytkowników i jednostki na podstawie zmieniających się kryteriów kwalifikacji. Oto kilka przykładów użytkowników i jednostek kwalifikujących się do SSR:

Jednostki związane z reagowaniem na zgłoszenia lub zdarzenia wysokiego ryzyka. Obecnie trwa nieformalny proces, w którym zespoły przygotowujące się na zdarzenie wysokiego ryzyka wskazują jednostki, w których przypadku jest duże ryzyko nadmiernego egzekwowania zasad. Jeżeli na przykład kontrowersyjne treści użytkownika mają zasięg wirusowy (np. nagranie na żywo pokazujące użycie przemocy przez policję), możemy wskazać tego użytkownika do SSR, aby zapobiec przypadkowemu usunięciu treści.
Jednostki ujęte w wykazie na potrzeby zachowania zgodności z przepisami prawa. W określonych przypadkach stosujemy SSR, aby zachować zgodność z wymogami prawnymi lub administracyjnymi.
Osoby publiczne i wydawcy na eksponowanych stanowiskach. Wskazujemy jednostki do SSR, ponieważ nadmierne egzekwowanie zasad może wywołać negatywne reakcje dużej części użytkowników.
Społeczeństwa marginalizowane. Wskazujemy obrońców praw człowieka, dysydentów politycznych oraz inne osoby, które naszym zdaniem mogą być celem nieprzyjaznego traktowania, masowego komentowania lub zgłaszania sponsorowanego przez państwo w celu ochrony przed takimi atakami.
Jednostki z sektora publicznego. Kierujemy się obiektywnymi kryteriami oraz fachową wiedzą naszych zespołów ds. zasad regionalnych w celu wskazywania polityków, urzędników państwowych, instytucji, organizacji, grup poparcia oraz osób wpływowych. Ujmujemy te jednostki w wykazie do SSR, aby zapobiegać błędom, które ograniczyłyby swobodę wypowiedzi politycznej nienaruszającej zasad i w sposób niezamierzony mogłyby wpływać na dyskusję nad tematami obywatelskimi, takimi jak wybory, porządek publiczny i sprawy społeczne. Naszym celem jest zapewnienie równości wśród jednostek z sektora publicznego danego kraju – na przykład jeżeli w wykazie do SSR ujmiemy jedno ministerstwo, musimy też ująć w takim wykazie wszystkie ministerstwa danego kraju.
Firmy. Identyfikujemy wartościowych reklamodawców, jak i tych, którzy doświadczyli nadmiernego egzekwowania zasad, aby chronić przychód i budować długotrwałe zaufanie na naszej platformie.

Obecnie sprawdzamy, jak ulepszyć kryteria typowania jednostek, które należy poddać SSR. Sprawdzamy na przykład, jak dopracować kryteria w takich obszarach jak liczba osób obserwujących, liczba wcześniejszych fałszywie dodatnich decyzji dotyczących egzekwowania zasad, wymogi prawne/administracyjne oraz istotne kwestie polityczne/społeczne. Użytkownicy mogą złożyć wniosek o to, aby nie byli uwzględniani na liście SSR za pomocą tego formularza. Meta nie potwierdza, czy użytkownicy znajdują się na tych listach, czy zostali z nich usunięci. Wierzymy jednak w autonomiczność użytkowników i rozpatrzymy każdy wniosek w możliwie najkrótszym czasie.

Oprócz dwóch elementów systemu kontroli krzyżowej mamy też wewnętrzny system zapobiegania błędom o nazwie Dynamiczna wielokrotna weryfikacja (DMR). Jest to system, który umożliwia nam przesyłanie zweryfikowanych przypadków do ponownej weryfikacji w celu uzyskania większości głosów w sprawie danej decyzji (np. jeżeli większość weryfikatorów uzgodni decyzję, sprawa jest zamknięta), aby mieć większą pewność co do ich prawidłowości. Wykorzystujemy ten system do poprawy jakości i dokładności weryfikacji przez człowieka oraz do zmniejszenia ryzyka nieprawidłowych decyzji poprzez korektę liczby weryfikacji wymaganych do podjęcia ostatecznej decyzji na podstawie wielu różnych czynników, takich jak dystrybucja wirusowa, liczba wyświetleń, potencjał zwiększenia szkody (np. potencjalne naruszenia naszych zasad dotyczących zapobiegania wykorzystywaniu seksualnemu lub niebezpiecznych osób i organizacji).

Interwencje w zakresie transparentności kontroli krzyżowej w przyszłości

W odpowiedzi na decyzję Rady Kontrolnej z grudnia 2022 r. w sprawie wniosku o opinię doradczą dotyczącą kontroli krzyżowej zobowiązaliśmy się do szeregu interwencji z zakresu transparentności zapobiegania błędom. Interwencje takie obejmują:

Ustrukturyzowana i zaawansowana współpraca z naszymi wewnętrznymi zespołami ds. praw człowieka i cywilnych, naszymi zaufanymi partnerami oraz innymi zewnętrznymi organizacjami społeczeństwa obywatelskiego w celu badania sposobów informowania o kryteriach wykorzystywanych do identyfikacji podmiotów interesu publicznego w zakresie list kontroli krzyżowej.
Badanie bardziej formalnego procesu nominacji do listy kontroli krzyżowej z globalnych, regionalnych i lokalnych grup społeczeństwa obywatelskiego.
Inwestowanie w wysokiej jakości zasoby weryfikacyjne i szkoleniowe w miarę przekazywania personelowi wszystkich decyzji kontroli krzyżowej przy udziale weryfikatorów władających danym językiem i mających doświadczenie regionalne w miarę możliwości.
Wdrażanie solidnych umów o gwarantowanym poziomie usług (SLA) na decyzje weryfikacyjne we wszystkich naszych systemach zapobiegania błędom, co pozwoli nam na optymalizację naszego aktualnego modelu wyboru weryfikatorów do możliwie najszybszej weryfikacji językowej.

Wprowadziliśmy wprawdzie istotne usprawnienia w systemie kontroli krzyżowej, ale nadal sprawdzamy, jak zadbać o to, by system odpowiednio równoważył nasze cele w zakresie usuwania treści naruszających Standardy społeczności przy jednoczesnym zapewnieniu, że minimalizujemy błędy w zakresie egzekwowania zasad, które mają najpoważniejsze skutki.