Ponadto stale weryfikujemy nasze zasady i procedury, jak również metodologię, na której są one oparte. Dokonywane w nich zmiany pociągają za sobą konieczność zmiany sposobów obliczania wskaźników. Obok monitorowania zachodzących trendów zmiany metodologii lub procedur można wykorzystać, aby sprawdzić, czy udaje nam się częściej zapobiegać naruszeniom zasad.
Jakość informacji, aktualizacje i korekty
W miarę rozwoju naszych procedur dokonywania pomiarów regularnie oceniamy i sprawdzamy wskaźniki. Opracowaliśmy również zestaw standardów, które regulują, w jaki sposób identyfikujemy, poprawiamy i publicznie zgłaszamy korekty do wcześniej opublikowanych danych.
Wyszukujemy potencjalne problemy z danymi, przeprowadzając regularne kontrole jakości naszych baz danych, narzędzi pomiarowych i systemów do logowania. W przypadku wykrycia potencjalnego problemu wyznaczeni pracownicy firmy Meta podejmują szereg działań, aby zbadać sprawę, zminimalizować jej wpływ i wskazać, jak można wyeliminować taki problem na przyszłość.
Po rozwiązaniu problemu Meta zaktualizuje dane w raporcie z egzekwowania Standardów społeczności. Jeśli takie korekty okażą się istotne, Meta opisze problem, jak również wskaźniki oraz okres, których to dotyczy.
Dlaczego opracowaliśmy procesy kontroli jakości informacji
Zobowiązujemy się klarownie przedstawiać wskaźniki oraz procedury, które wykorzystujemy do ich obliczania, jak również stale je udoskonalać. Aby usprawnić i lepiej zarządzać wprowadzaniem korekt i poprawek do metodologii i wskaźników, opracowaliśmy procedurę kontroli jakości informacji. Służy ona do wykrywania, korygowania i publicznego zgłaszania korekt wprowadzanych do wcześniej podanych informacji. Jest to częsta praktyka stosowana w raportach sporządzanych przez duże agencje statystyczne i federalne i została ona opracowana zgodnie z najlepszymi praktykami raportowania danych przyjętymi zarówno w sektorach publicznych, jak i prywatnych. Opracowane przez nas oceny i procedury będą miały znaczenie krytyczne dla zachowania rzetelności i integralności naszych raportów w przyszłości.
Nieustannie oceniamy i potwierdzamy nasze wskaźniki, jak również pilnujemy, aby podawane przez nas informacje były rzetelne, a metodologie służące do generowania takich danych – trafne. Kiedy aktualizujemy nasze metodologie lub korygujemy wskaźniki, poinformujemy tutaj o tych zmianach.
W jaki sposób oceniamy i doskonalimy wskaźniki
Nieustannie dopracowujemy nasze procedury i metodologie, aby móc podawać jak najistotniejsze i rzetelne statystyki dotyczące egzekwowania naszych zasad. Latem 2019 roku wdrożyliśmy procedurę kontroli jakości informacji, która zapewnia dodatkowe mechanizmy kontroli i równowagi tak, aby podawane przez nas wskaźniki były ważne i spójne.
Wyszukiwanie najważniejszych scenariuszy, aby potwierdzić ważność wskaźników
Bierzemy pod uwagę różne mierniki każdego wskaźnika oraz szeregujemy segmenty pod kątem ryzyka, które może znacząco wpłynąć na wskaźniki. W przypadku segmentów z listy priorytetowej stosujemy wielokrotne kontrole, aby mieć pewność, że segmenty te rzetelnie oddają informacje.
Na przykład wskaźniki zawartości, wobec której podjęto działanie, dzielimy na poszczególne elementy, które możemy zweryfikować. Na przykład oddzielamy treści w zależności od tego, czy działanie ich dotyczące podjęte zostało przez pracownika czy też przez zautomatyzowany system, co było powodem podjęcia działania oraz jakiego rodzaju materiału (zdjęcia, tekstu, filmu) to dotyczyło.
Za pomocą takich mierników oceniamy następnie, jak bardzo nieobiektywny byłby taki pomiar, jeśli dany miernik nie byłby prawidłowo uwzględniony w tym wskaźniku (np. jeśli nie uwzględnilibyśmy w nim zawartości filmu). Oceny te pozwalają nam wskazać mierniki, które mogą mieć wpływ na wskaźnik (np. to, czy pracownik podjął działanie).
Następnie obliczamy, jak zmieniłby się dany wskaźnik, jeśli ten miernik byłby nieprawidłowy (np. nie zarejestrowalibyśmy zawartości, co do której pracownik podjął działanie). Potem szeregujemy scenariusze według stopnia ryzyka, aby przeprowadzić dodatkowe kontrole krzyżowe. W przypadku kombinacji wysokiego ryzyka opracowujemy systemy służące do dodatkowego śledzenia i kontroli krzyżowej, aby mieć pewność, że wskaźniki te będą szacowane prawidłowo.
Kontrole pod kątem ważności i spójności
Ponadto wdrożyliśmy kontrole pod kątem spójności, aby nasze wskaźniki były dokładniejsze. Kontrole te obejmują:
Kontrole pod kątem spójności
Cyklicznie oceniamy nasze działania za pomocą odrębnego niezależnego systemu służącego do pomiaru działań wykonywanych na zawartości. Regularnie sprawdzamy rozmaite niezależne wskaźniki służące do wyszukiwania poważnych błędów w naszych kalkulacjach.
Kontrola i debugowanie narzędzi pomiarowych
Przeprowadzamy szereg wyrywkowych kontroli, aby sprawdzić dokładność naszych systemów pomiarowych w czasie zbliżonym do rzeczywistego. Obejmuje to sprawdzenie rozmaitych następstw, które wystąpią w naszym systemie w przyszłości, aby ponownie sprawdzić wcześniejsze wyniki. Na przykład potwierdzamy, że zawartość, której dotyczy odwołanie, jest również zarejestrowana jako zawartość, co do której podjęto działanie, ponieważ jest to warunek możliwości złożenia odwołania. Wiele z tych kontroli ma na celu wykrycie poważnych błędów, np. przypadków zawartości, której dotyczy odwołanie, a która nigdy nie została usunięta.
Podobnie jak w przypadku wszystkich aspektów raportowania o egzekwowaniu naszych standardów, będziemy z czasem rozwijać i ulepszać ważność i spójność naszych procedur weryfikacji.
Weryfikacja wewnętrzna i procedury korekty
Opracowaliśmy również procedury służące do wykrywania i korygowania informacji zamieszczonych wcześniej w raportach na temat wdrażania standardów, które będziemy regularnie weryfikować i aktualizować. Jeżeli wykryjemy potencjalne problemy ze wskaźnikami podanymi w raporcie z egzekwowania Standardów społeczności, będziemy postępować w następujący sposób:
Raporty. Jeżeli wykryty zostanie potencjalny problem, nasi pracownicy niezwłocznie dokonają zgłoszenia, a w odpowiedzi na nie wyznaczone do tego osoby zaczną badać sprawę.
Analizowanie i ograniczanie skutków. Wyznaczeni pracownicy zweryfikują potencjalny problem, w razie konieczności natychmiast dokonają zmian, aby nie dopuścić do wystąpienia kolejnych problemów ze spójnością oraz opracują rozwiązania, aby zapobiec występowaniu podobnych problemów w przyszłości.
Ocena skali problemu. Wyznaczeni pracownicy zweryfikują potencjalny problem, w razie konieczności natychmiast dokonają zmian, aby nie dopuścić do wystąpienia kolejnych problemów ze spójnością oraz opracują rozwiązania, aby zapobiec występowaniu podobnych problemów w przyszłości.
Weryfikacja podsumowująca. Po zminimalizowaniu problemu przeprowadzamy szczegółową weryfikację wewnętrzną, aby poznać jego źródło i jego wpływ na społeczność. Dzięki temu możemy wykryć większe zagrożenia ważności naszych pomiarów, aby móc im zapobiec lub je zminimalizować.
Informacje o wprowadzonych korektach
Po wykryciu problemu i korekcie wskaźnika, którego to dotyczy, podamy do publicznej wiadomości informację o wprowadzonej korekcie poprzez dokonanie aktualizacji posta przy następnej publikacji raportu z egzekwowania Standardów społeczności. Taka aktualizacja będzie zawierać opis problemu, jak również wskaźniki i okresy, których on dotyczy. Jeśli będzie to możliwe, dane kwartalne dotychczas ujęte w raporcie z egzekwowania Standardów społeczności będą uwzględniać skorygowane wskaźniki, aby umożliwić ich porównanie w różnych okresach.
Pozyskiwanie opinii i poszerzanie zakresu wskaźników objętych raportem
Oprócz czynności, które wykonujemy wewnętrznie, aby ocenić i ulepszyć nasze wskaźniki, zależy nam również na uzyskaniu zewnętrznych opinii na temat naszych metodologii oraz poszerzeniu zakresu wskaźników, które raportujemy, aby móc przedstawić bardziej wiarygodny obraz tego, jak wdrażamy nasze zasady.
Ocena i opinia o metodologii
Aby mieć pewność, że stosowane przez nas metody są klarowne i oparte na solidnych zasadach, zwracamy się z prośbą o analizy i opinie na ich temat do specjalistów, aby wiedzieć, czy podawane przez nas wskaźniki są wartościowe.
Aby mieć pewność, że stosowane przez nas wdrażanie pomiaru zawartości jest ważne i rzetelne, współpracowaliśmy z Grupą Doradczą ds. Transparentności Danych (DTAG). Jest to zewnętrzna grupa międzynarodowych ekspertów akademickich specjalizujących się w pomiarach, statystyce, kryminologii i nadzorze. W maju 2019 roku Grupa przedstawiła swoją niezależną ocenę tego, czy wskaźniki, które podajemy w raporcie z egzekwowania Standardów społeczności, mogą służyć jako rzetelne i ważne pomiary wdrażania naszych zasad, jak również wyzwania, z którymi musimy się zmierzyć w tym zakresie, oraz jak do nich podchodzimy. Ogólnie rzecz biorąc, stwierdzono, że nasze wskaźniki w prawidłowy sposób dokonują pomiaru naruszeń zgodnie z najlepszymi praktykami. Otrzymaliśmy również szereg zaleceń ewentualnych przyszłych działań, aby zachować jeszcze większą transparentność. Omówiliśmy je szczegółowo i dalej je poznajemy. Oprócz tego firma Meta zobowiązała się przeprowadzić niezależny audyt wskaźników podanych w tym raporcie w 2021 r.