Ми також продовжуємо переглядати наші політики та процеси, а також методології, що лежать у їх основі. Зміни в будь-якому з цих показників неминуче змінюють самі розрахунки показників. Ці зміни в методології або процесах можуть бути додатковими до тенденцій, що вказують на те, що ми стаємо кращими або гіршими у запобіганні порушенням.
Якість інформації, оновлення та виправлення
У міру вдосконалення наших процесів вимірювання ми регулярно переглядаємо і перевіряємо наші показники. Ми також установили набір стандартів, які регулюють порядок виявлення, виправлення та публічного повідомлення про будь-які коригування раніше опублікованих даних.
Ми виявляємо потенційні проблеми з нашими даними за допомогою низки регулярних перевірок якості наших наборів даних, інструментів вимірювання та систем реєстрації. Коли виявляється потенційна проблема, відповідні команди Meta виконують низку кроків для її розслідування, пом’якшення наслідків та визначення довгострокових рішень.
Після вирішення проблеми Meta оновить дані у звіті про забезпечення дотримання стандартів спільноти. У випадках, коли такі виправлення є значущими, Meta опише проблему, показники, на які це вплинуло, та періоди часу, на які це вплинуло.
Чому ми розробили процеси забезпечення якості інформації
Ми прагнемо прозоро ділитися нашими показниками, а також процесами, які ми використовуємо для їх розрахунку та вдосконалення. З метою оптимізації та кращого керування випуском коригувань та поправок до наших методологій та показників, ми розробили процедуру якості інформації для виявлення, виправлення та публічного повідомлення про будь-які коригування, які ми вносимо до раніше опублікованої інформації. Це є загальноприйнятою практикою у великих статистичних агентствах та публічних звітах федеральних агентств і була розроблена відповідно до найкращих практик звітування даних як у державному, так і в приватному секторах. Ці огляди та процедури, які ми розробили, будуть мати вирішальне значення для збереження точності та цілісності нашої звітності в майбутньому.
Ми постійно оцінюємо та перевіряємо наші показники і переконуємося, що інформація, яку ми надаємо, є точною, а методики, які ми використовуємо для отримання цих даних, є надійними. У межах цієї роботи, коли ми оновлюємо наші методології або коригуємо показники, ми будемо повідомляти про ці зміни тут.
Як ми оцінюємо та вдосконалюємо наші показники
Ми постійно вдосконалюємо наші процеси та методики, щоб надавати найбільш значущі та точні дані про те, як ми забезпечуємо дотримання наших політик. Протягом літа 2019 року ми впровадили процеси забезпечення якості інформації, які створюють додаткові механізми контролю та балансу, щоб гарантувати обмін достовірними та узгодженими показниками.
Визначення пріоритетних сценаріїв для підтвердження достовірності
Ми визначаємо різні виміри кожного показника та розробляємо пріоритетність ризиків для сегментів, які можуть суттєво вплинути на показники. Для сегментів у цьому пріоритетному списку ми виконуємо кілька перевірок, щоб переконатися, що ці сегменти точно фіксують інформацію.
Наприклад, ми розбиваємо наші показники ефективності контенту на кілька вимірів для аналізу. Наприклад, ми розділяємо контент залежно від того, чи дії були здійснені нашими автоматизованими системами чи людськими рецензентами, що спонукало нас до дій та щодо якого типу контенту (фотографії, текст, відео) ми вжили заходів.
З огляду на ці різні виміри ми потім оцінюємо, наскільки це вплине на наші вимірювання, якщо цей вимір не буде правильно представлений у показнику (наприклад, якщо ми не включимо відеоконтент у наші показники). Ці оцінки дають змогу нам визначити фактори, які можуть вплинути на показник (наприклад, чи вживали люди заходів).
Потім ми визначаємо, наскільки на цей показник може вплинути, якщо цей вимір був неправильним (скажімо, ми не реєстрували жоден із контентів, щодо яких люди вживали заходів). Потім ми визначаємо пріоритетність сценаріїв найбільшого ризику для проведення додаткових перехресних перевірок. Для цих комбінацій із високим ризиком ми розробляємо додаткові системи відстеження та перехресного контролю, щоб забезпечити правильність оцінки цих показників.
Перевірка дійсності та узгодженості
Ми також впровадили перевірки на узгодженість, щоб додати більше перевірок для наших показників. До них належать такі:
Перевірки узгодженості
Ми періодично оцінюємо наші дії за допомогою окремої, незалежної системи, яка вимірює дії, пов’язані з контентом. Ми регулярно перевіряємо ці різні незалежні показники, які призначені для виявлення великих помилок у нашій бухгалтерії.
Аудит та налагодження наших інструментів вимірювання
Ми проводимо низку випадкових вибіркових перевірок, щоб перевірити точність наших систем вимірювання майже в режимі реального часу. Це передбачає перевірку різних результатів, які відбуваються пізніше в нашій системі, щоб ще раз перевірити результати на попередніх етапах. Наприклад, ми підтверджуємо, що оскаржуваний контент також реєструється як контент, щодо якого вжито заходів, оскільки для оскарження контенту необхідно вжити заходів. Багато з цих перевірок призначені для виявлення серйозних помилок, як-от контент, щодо якого подано апеляцію, але який так і не був видалений.
Як і в усіх інших аспектах звітності щодо забезпечення дотримання стандартів, ми будемо продовжувати розвивати та вдосконалювати процеси перевірки достовірності та узгодженості з часом.
Внутрішні процедури перегляду та виправлення
Ми також встановили процедури для виявлення та виправлення інформації, раніше опублікованої в нашому звіті про виконання вимог, які ми будемо регулярно переглядати та оновлювати. Коли ми виявляємо потенційні проблеми в показниках, наведених у Звіті про забезпечення дотримання стандартів спільноти, ми виконуємо такі кроки.
Повідомлення про порушення. Якщо виявлено потенційну проблему, наші команди негайно подають звіт про інцидент, який сповіщає відповідні команди про необхідність розпочати розслідування проблеми.
Розслідування та пом’якшення наслідків. Відповідні команди аналізують потенційну проблему, вживаючи негайних заходів для запобігання подальшим проблемам з узгодженістю, де це необхідно, та розробляючи рішення для запобігання цій проблемі в майбутньому
Оцінка масштабів проблеми. Відповідні команди аналізують потенційну проблему, вживаючи негайних заходів для запобігання подальшим проблемам з узгодженістю, де це необхідно, та розробляючи рішення для запобігання цій проблемі в майбутньому.
Аналіз інциденту після його вирішення. Після усунення проблеми ми проводимо детальний внутрішній аналіз, щоб визначити її першопричини та повний вплив. Це дає нам змогу виявляти більш широкі ризики для достовірності наших вимірювань, щоб ми могли їм запобігти або мінімізувати.
Коригування звітності
Після виявлення проблеми та коригування відповідного показника ми опублікуємо інформацію про виправлення, оновивши цей допис під час наступного випуску Звіту про забезпечення дотримання стандартів спільноти. У такому оновленні ми опишемо проблему, показники, на які вона вплинула, та періоди часу, на які вона вплинула. Дані за квартали, які раніше були зазначені у Звіті про забезпечення дотримання правил контенту, будуть включати будь-які скориговані показники, якщо це можливо, щоб забезпечити значущість порівнянь у часі.
Збір інформації та розширення показників, про які ми звітуємо
Окрім внутрішньої роботи з оцінки та вдосконалення наших показників, ми також шукаємо зовнішні відгуки щодо наших методологій і розширюємо перелік показників, про які ми звітуємо, щоб надати більш повне уявлення про те, як ми дотримуємося наших політик.
Оцінка методології та вхідні дані
Щоб гарантувати прозорість наших методів та їхню обґрунтованість, ми звертаємося до експертів у відповідних галузях за аналізом та коментарями, зокрема щодо інформативності показників, які ми надаємо.
Щоб гарантувати значущість і точність нашого підходу до оцінки ефективності заходів щодо забезпечення дотримання вимог до контенту, ми співпрацювали з Консультативною групою з питань прозорості даних (DTAG) — зовнішньою групою міжнародних академічних експертів у галузі вимірювання, статистики, кримінології та управління. У травні 2019 року вони надали свою незалежну публічну оцінку того, чи показники, які ми наводимо у Звіті про забезпечення дотримання стандартів спільноти, є точними та значущими показниками того, як ми дотримуємося наших політик, а також викликів, з якими ми стикаємося у цій роботі, та того, що ми робимо для їх подолання. Загалом, вони визнали наші показники обґрунтованими методами вимірювання порушень та такими, що відповідають найкращим практикам. Вони також надали низку рекомендацій щодо того, як ми можемо продовжувати бути більш прозорими у своїй роботі, які ми детально обговорили і продовжуємо вивчати. Крім того, Meta зобов’язалася провести незалежний аудит показників, наведених у цьому звіті, у 2021 році.