Более точные измерения

ОБНОВЛЕНО 19 янв 2022 г.
Мы постоянно оцениваем свои метрики, чтобы совершенствовать методики измерения в нашем Отчете об обеспечении соблюдения Норм сообщества.
Кроме того, мы постоянно анализируем правила и процедуры сообщества, а также методики, лежащие в их основе. Изменения в любой из них меняют и сам порядок расчета метрик. Изменения в методике или процессах могут накладываться на другие тенденции, указывающие на улучшение или ухудшение ситуации с нарушениями.
Качество информации, ее обновление и исправление
Наши процессы измерения совершенствуются, поэтому мы регулярно пересматриваем и проверяем метрики. Мы также ввели ряд норм, которые регулируют порядок идентификации и внесения поправок в опубликованные ранее данные, а также публичную отчетность.
Чтобы выявлять потенциальные проблемы, мы регулярно проверяем качество наборов данных, применяем инструменты измерения и используем системы регистрации. Выявив потенциальную проблему, соответствующие команды Meta принимают ряд мер по расследованию, ликвидации последствий и поиску долгосрочных решений.
После устранения проблемы Meta обновляет данные в Отчете об обеспечении соблюдения Норм сообщества. Если исправления значительные, Meta описывает проблему, метрики, на которые она повлияла, и периоды ее наблюдения.
Исправления и уточнения
Предназначение процессов обеспечения качества информации
Мы стремимся к максимальной прозрачности метрик и процессов, используемых для их расчета и усовершенствования. Чтобы упростить и эффективнее регулировать процесс выпуска поправок к нашим методикам и метрикам, мы разработали специальную процедуру контроля качества информации. Она позволяет идентифицировать, исправлять и публично сообщать о любых изменениях, которые мы вносим в ранее опубликованную информацию. Это обычная практика для публичных отчетов от крупных статистических агентств и федеральных учреждений. Она соответствует рекомендациям по информационной открытости как в государственном, так и в частном секторах экономики. Эти проверки и разработанные нами процедуры критически важны для сохранения точности и целостности отчетности.
Мы непрерывно оцениваем и проверяем метрики, чтобы публикуемая информация оставалась точной, а методики ее получения не вызывали сомнений. Все изменения методики и метрик будут описаны в этом документе.
Оценивание и улучшение метрик
Мы постоянно совершенствуем процессы и методики, чтобы предоставлять максимально полную и точную статистику по соблюдению наших правил. Летом 2019 года мы внедрили процессы обеспечения качества, основанные на системе сдержек и противовесов. Они гарантируют передачу достоверных и непротиворечивых метрик.
Определение приоритетных вариантов проверки достоверности
Мы определяем различные критерии для каждого показателя и составляем матрицу ранжирования рисков в сегментах, которые могут оказывать существенное влияние на метрики. Для сегментов в этом ранжированном списке предусмотрен ряд проверок. Они позволяют убедиться, что сегменты получают точные данные.
Например, мы разбиваем метрики по контенту, в отношении которого были приняты меры, на несколько критериев анализа. Так, мы можем разделять контент согласно таким критериям: тип (фото,текст, видео), инициатор действия в отношении контента (автоматическая система или специалист по проверке), факторы, которые привели к применения мер.
Такое разнообразие позволяет нам оценивать серьезность возможной погрешности, если один из критериев будет неправильно представлен в метриках (к примеру, если не включить в метрики видеоконтент). Такие оценки позволяют определить критерии, которые могут оказывать влияние на данную метрику (например, принятие мер человеком).
Затем мы выясняем, как сильно на данный показатель влияет ошибка в этом критерии (скажем, если мы не зафиксировали контент, в отношении которого принял меры человек). После этого мы присваиваем варианту с наибольшим риском самый высокий приоритет, требующий дополнительного перекрестного контроля. Чтобы обеспечить правильную оценку этих метрик, мы разрабатываем дополнительные системы отслеживания и перекрестного контроля для таких сочетаний с высоким уровнем риска.
Проверки достоверности и согласованности
Для большей достоверности метрик мы также внедрили проверки согласованности. Ниже приведены некоторые из них.
Мы периодически измеряем свою работу с помощью отдельной, независимой системы, которая оценивает меры в отношении контента. Мы регулярно проверяем различные независимые метрики, предназначенные для выявления серьезных ошибок в системе учета.
Мы проводим выборочные проверки в случайном порядке, чтобы подтвердить точность систем измерения в условиях, приближенных к реальным. В частности, мы проверяем разные результаты, которые выводятся на последующих уровнях системы, чтобы проверить правильность результатов на ранних этапах. Например, мы подтверждаем, что обжалованный контент также регистрируется как контент, в отношении которого были приняты меры, поскольку это необходимое условие для обжалования таких мер. Многие из этих проверок предназначены для выявления серьезных ошибок, например если контент, подлежащий обжалованию, никогда не удаляли.
Как и в других аспектах информирования о соблюдении наших норм, мы продолжим развивать и улучшать процедуры проверки достоверности и согласованности данных.
Процедуры внутренней проверки и исправления ошибок
Мы также внедрили, регулярно пересматриваем и обновляем процедуры выявления и исправления данных, ранее опубликованных в отчете об обеспечении соблюдении правил. При выявлении потенциальных проблем в метриках, опубликованных в Отчете об обеспечении соблюдения Норм сообщества, предусмотрен следующий порядок действий:
  • Отчетность. В случае выявления потенциальной проблемы наши команды сразу же направляют отчет об инциденте, который сигнализирует соответствующим командам начать расследование.
  • Расследование и минимизация последствий. Соответствующие команды рассматривают потенциальную проблему, по мере необходимости оперативно вносят изменения, чтобы не допустить дальнейших проблем с согласованностью данных, и разрабатывают решения для избежания таких инцидентов в будущем
  • Определение масштаба проблемы. Соответствующие команды рассматривают потенциальную проблему, по мере необходимости оперативно вносят изменения, чтобы не допустить дальнейших проблем с согласованностью данных, и разрабатывают решения для избежания таких инцидентов в будущем.
  • Анализ причин возникновения инцидента. После устранения проблемы мы проводим детальный внутренний анализ, чтобы установить главные причины инцидента и все его последствия. Это позволит выявить более широкий круг угроз достоверности измерения, чтобы мы могли их избегать или минимизировать.
Информирование об изменениях
Определив проблему и скорректировав неправильную метрику, мы должны открыто сообщить об исправлении, обновив эту публикацию при следующем выпуске Отчета об обеспечении соблюдения Норм сообщества. В обновленной публикации следует описать проблему, указать, на какой показатель она повлияла и в какие временные отрезки. Если это обеспечит значимую сопоставимость результатов за разные периоды времени, все исправленные метрики будут включены в квартальные данные, неправильно указанные в отчете об обеспечении соблюдения правил в отношении контента.
Обратная связь и расширение метрик, по которым мы отчитываемся
Кроме собственных усилий по оценке метрик и их уточнению, мы также учитываем сторонние мнения о наших методиках и расширяем перечень метрик, по которым мы отчитываемся. Это дает более четкое представление о том, насколько успешно мы обеспечиваем соблюдение наших правил.
Оценка методик расчета и помощь экспертов
Чтобы обеспечить прозрачность и обоснованность наших методик, мы привлекаем профильных экспертов по таким вопросам, как степень информативности наших метрик.
Чтобы наш подход к оценке обеспечения соблюдения правил в отношении контента был точным и содержательным, мы сотрудничали с Консультативной группой по вопросам информационной прозрачности (DTAG), независимой международной командой экспертов в области измерений, статистики, криминологии и организации управления. В мае 2019 года группа провела независимый открытый анализ метрик, опубликованных в Отчете об обеспечении соблюдения Норм сообщества. Эксперты проверили, насколько точны и значимы наши показатели соблюдения правил в отношении контента, указали на трудности, с которыми мы сталкиваемся в этой работе, и предложили пути их преодоления. По мнению экспертов, наши метрики в целом позволяют адекватно оценивать нарушения и соответствуют передовым практикам. Кроме того, эксперты дали ряд рекомендаций по тому, как сохранять прозрачность в нашей работе, которые мы детально обсудили и продолжаем изучать. Помимо этого, компания Meta взяла на себя обязательство провести в 2021 году независимый аудит метрик, опубликованных в этом отчете.
Просмотреть последний Отчет об обеспечении соблюдения Норм сообщества