Тщательная проверка контента, оказывающего большое воздействие на аудиторию, с помощью нашей системы перекрестной проверки

ОБНОВЛЕНО 12 ноя 2024 г.

6 декабря 2022 года Независимый надзорный совет опубликовал консультативное заключение о правилах Meta в отношении перекрестной проверки. Мы договорились с советом рассмотреть рекомендации и ответить на них в течение 90 дней. Узнать больше о системе перекрестной проверки можно в этой публикации в Центре прозрачности.

Обзор системы перекрестной проверки

Пользователи Facebook и Instagram ежедневно создают миллиарды единиц контента. Модерация такого количества контента сопряжена с трудностями, в том числе с нахождением компромисса между важными ценностями и целями. Мы стараемся быстро проверять контент, потенциально нарушающий наши правила, и удалять его, если он на самом деле их нарушает. При этом мы должны учитывать риск ложно-положительных результатов (ошибочного удаления контента, не нарушающего наши правила), чтобы защитить право пользователей высказывать свое мнение. Здесь понятие "удаление" контента мы используем для более общего описания действий по обеспечению целостности. К ним могут относиться, например, использование экранов с предупреждениями или удаление Страниц.

Чтобы находить баланс между этими соображениями, компания Meta внедрила систему перекрестной проверки для выявления контента, представляющего высокий риск ложно-положительных результатов, и обеспечения дополнительных уровней проверки для снижения такого риска. Перекрестная проверка обеспечивает дополнительные уровни проверки для определенного контента, который наши внутренние системы помечают как нарушающий правила (посредством автоматизации или проверки вручную), с целью предотвращения или минимизации ошибок модерации, связанных с наибольшим риском ложно-положительных результатов; такие ошибки могут возникнуть из-за различных факторов, таких как необходимость понимания нюансов или контекста. Здесь имеется в виду "контент", который проверяется с помощью нашей системы перекрестной проверки. Перекрестная проверка также применяется для анализа других действий, таких как удаление Страниц или профилей. Хоть эта система и обеспечивает дополнительные уровни проверки, проверяющие руководствуются теми же Нормами сообщества, которые применяются ко всему остальному контенту на Facebook или в Instagram.

Система перекрестной проверки играет важнейшую роль в обеспечении защиты прав человека. Например, система охватывает объекты и публикации журналистов, ведущих репортажи из зон конфликтов, и лидеров сообществ, повышающих осведомленность о случаях ненависти или насилия. При перекрестных проверках проверяющие учитывают контекст, который помогает им принять правильные меры в отношении такого контента. Перекрестные проверки могут также применяться к объектам, связанным с общественной деятельностью, когда пользователи проявляют повышенный интерес к мнению лидеров их сообществ.

Кроме того, перекрестная проверка играет важную роль в управлении отношениями компании Meta со многими ее деловыми партнерами. Например, неправильное удаление контента, опубликованного Страницей или профилем с большим количеством подписчиков, может оказать негативное влияние как на деловых партнеров Meta, так и на многих пользователей, подписанных на них. Мы также применяем перекрестную проверку для анализа контента в некоторых очень больших группах, где ошибка может повлиять на сотни тысяч или миллионы пользователей. Перекрестная проверка не освобождает деловых партнеров Meta или группы от соблюдения наших правил в отношении контента, но иногда обеспечивает дополнительные уровни проверки, чтобы гарантировать надлежащее применение этих правил.

Пользователи Facebook и Instagram ежедневно публикуют миллиарды единиц контента. Даже при наличии тысяч специально назначенных проверяющих по всему миру невозможно вручную проверить каждую единицу контента, которая потенциально нарушает Нормы сообщества. Большая часть нарушающего правила контента, который мы удаляем, предварительно обнаруживается нашими технологиями ещё до того, как на него кто-нибудь пожалуется. Когда кто-то публикует контент на Facebook или в Instagram, наши технологии проверяют, не нарушает ли он Нормы сообщества. Зачастую определить нарушение несложно. Публикация либо явно нарушает наши правила, либо нет. Однако в других случаях контент передается специалисту для дальнейшей проверки вручную.

Наши системы первичной проверки используют технологии для повышения приоритетности проверки контента с высокой степенью серьезности, в том числе быстро распространяющегося "вирусного" контента. Когда системы помечают такой контент для передачи специалистам, наши проверяющие принимают сложные решения (часто требующие учитывать множество нюансов) о том, следует ли оставить контент на платформе. Несмотря на стремление принимать правильные решения, мы признаем, что возможны ложно-положительные результаты и некоторый контент ошибочно удаляется за нарушение правил Meta, хоть он их и не нарушает. Поэтому компания Meta инвестировала средства в предотвращение ошибок, чтобы дополнительно проверять ложно-положительные результаты и смягчать их последствия. Перекрестная проверка является одной из таких стратегий предотвращения ошибок.

Система перекрестной проверки используется для того, чтобы решения по обеспечению соблюдения правил в отношении контента принимались точно и с дополнительными уровнями проверки вручную. Если в ходе перекрестной проверки специалист подтверждает, что контент нарушает Нормы сообщества, мы обеспечиваем соблюдение этих правил и принимаем надлежащие меры в отношении таких материалов. В зависимости от сложности контента могут применяться несколько уровней проверки, а в редких случаях возможно даже привлечение руководства. Если окончательный проверяющий определил, что рассматриваемый контент не нарушает Нормы сообщества, он может отменить изначально принятые меры и оставить контент на платформе.

Прошлая практика применения перекрестной проверки

Впервые система, которая сейчас называется перекрестной проверкой, была внедрена в 2013 году. Элементы системы менялись на протяжении многих лет, и там, где возможно, мы указали даты и диапазоны дат с пояснением того, когда произошли изменения.

Чтобы определить, к какому контенту или каким объектам применялась перекрестная проверка, наши команды составили списки пользователей или объектов, которые, вероятно, подвержены более высокому риску ложно-положительных результатов. "Риск ложно-положительного результата" означает риск неправильного принятия мер в отношении контента или объекта, который на самом деле не нарушает Нормы сообщества. Чтобы определить, какие пользователи и объекты связаны с более высоким риском ложно-положительных результатов, наши команды использовали различные критерии, включая тип пользователя или объекта (например, избранное должностное лицо, журналист, важный деловой партнер или правозащитная организация), количество подписчиков и тематику объекта. "Объект" — это общий термин, обозначающий место происхождения или появления контента, например аккаунт пользователя, Страницу или группу.

Когда пользователи или объекты, внесенные в эти списки, публиковали контент или совершали действия, которые наши системы помечали как потенциально нарушающие наши правила, мы добавляли такой контент или объект в очередь на перекрестную проверку.

В 2020 году мы внесли изменения, благодаря которым приоритетность большей части контента в очереди определяется с помощью системы рисков, устанавливающей уровень риска ложно-положительных результатов, которые могут возникнуть, если Meta неправильно удалит материалы. Эта система оценки рисков в целом основывалась на трех факторах: (1) потенциальная неприемлемость объекта, (2) степень серьезности предполагаемого нарушения и (3) степень серьезности возможных мер по обеспечению соблюдения правил.

Текущая практика применения перекрестной проверки

Мы непрерывно ищем способы улучшить наши правила и процессы и регулярно вносим в них изменения. Ранее в этом году мы выявили дополнительные возможности для улучшения системы перекрестной проверки. Одно внесенное нами структурное изменение заключается в том, что система перекрестной проверки теперь состоит из двух компонентов: общей вторичной проверки (GSR) и вторичной проверки потенциально неприемлемых объектов (SSR). Мы продолжим применять описанный выше подход на основе списков, чтобы включить в SSR определенный процент отдельных пользователей и организаций. В рамках GSR мы хотим добиться того, чтобы контент от всех пользователей и организаций на Facebook и в Instagram мог подвергаться перекрестной проверке на основе динамической системы приоритизации под названием "ранжировщик перекрестной проверки".

К GSR привлекаются нанятые специалисты и сотрудники нашей команды по работе с регионами, проводящие вторичную проверку контента и объектов, которые могут нарушать наши правила, до принятия мер. Чтобы определить, какой контент подлежит перекрестной проверке, система полагается не только на идентификационные данные пользователя или организации. Ранжировщик перекрестной проверки ранжирует контент на основе риска ложно-положительных результатов, используя такие критерии, как потенциальная неприемлемость темы (насколько тема популярна или потенциально неприемлема), степень серьезности мер по обеспечению соблюдения правил (степень серьезности мер, которые могут быть приняты для обеспечения соблюдения правил), вероятность ложно-положительного результата, прогнозируемый охват и потенциальная неприемлемость объекта (обычно на основе составленных списков, описанных выше). Система "Ранжировщик перекрестной проверки" уже применяется для большей части перекрестных проверок.

SSR проводится аналогично прежней системе перекрестной проверки. Чтобы определить, какой контент и какие организации будут проходить SSR, мы продолжаем составлять списки пользователей и организаций, принятие мер к которым сопровождается дополнительной перекрестной проверкой, если они помечены как потенциально нарушающие Нормы сообщества. При этом мы добавили инструменты управления в процесс составления и пересмотра этих списков. До сентября 2020 года большинство сотрудников могли добавлять пользователей или объекты в список перекрестной проверки. С сентября 2020 года любой сотрудник может попросить добавить пользователя или организацию в список перекрестной проверки, но только определенная группа сотрудников вправе дополнять список.

Ответственность за управление списком SSR сейчас лежит на нашей глобальной команде по обеспечению безопасности контента, которой помогают юридические и партнерские команды, обладающие профильной квалификацией. Хотя организационно наша глобальная команда по обеспечению безопасности контента отделена от подразделения Meta по вопросам общественной политики, со специалистами последнего консультируются при принятии решений о перекрестной проверке — как и во многих других областях, связанных с модерацией контента, во всей компании. В таких случаях наша глобальная команда по обеспечению безопасности контента может привлекать специалистов Meta по вопросам общественной политики, а также наших региональных экспертов и специализированных проверяющих, не зависящих от языка, для лучшего понимания местных и культурных реалий. Такая структура помогает обеспечить независимость оценки от политического или экономического влияния. Для поддержания актуальности и точности списков мы также разработали процесс комплексной ежегодной проверки организаций, включенных в списки SSR, на предмет текущего соответствия требованиям. Мы продолжим уточнять эти списки.

В последние месяцы Meta выполняет в среднем несколько тысяч перекрестных проверок в день, при этом большая часть из них выполняется в рамках GSR. В сравнении с миллионами единиц контента, которые ежедневно помечаются и в отношении которых принимаются меры по причине нарушения Норм сообщества, это совсем немного. SSR теперь составляют меньшую часть таких ежедневных проверок. Мы ожидаем, что благодаря приоритету GSR количество перекрестных проверок будет продолжать расти до конца 2021 и в 2022 годах.

Если единица контента опубликована человеком или организацией, которые подлежат SSR, то обычно контент сначала проверяет региональная команда. Затем команда специалистов по эскалации проверяет, действительно ли контент нарушает правила. Как правило, если региональная команда считает, что контент не нарушает правила, специалисты по эскалации не проводят проверку. Если контент публикует человек или организация, для которых ранжировщик перекрестной проверки повысил приоритет, такие материалы обычно проверяют подрядчики или региональная команда, за исключением случаев, когда у команды по эскалации есть дополнительный ресурс для проверки. Как и в случае с прежним методом перекрестной проверки, вопросы высокой сложности могут проходить дополнительную проверку — в редких случаях даже на уровне руководства. Если при окончательной проверке выясняется, что контент нарушает Нормы сообщества, мы его удаляем. Если выясняется, что контент не нарушает наши правила, мы оставляем его на платформе.

По состоянию на 16 октября 2021 года действия примерно 660 тысяч пользователей и организаций подлежали SSR (в той или иной форме) на основании включения в приведенные выше списки. Это число регулярно меняется, поскольку мы добавляем или исключаем пользователей и организации из указанных списков на основе меняющихся критериев включения. К пользователям и организациям, подлежащим SSR, относятся:

Объекты, связанные с реагированием на эскалацию или событиями с высоким риском Существует неформальный процесс подготовки к событию с высоким риском, где наши команды выявляют организации, в отношении которых существует риск принятия слишком суровых мер. Например, если спорный контент пользователя становится вирусным (например, прямой эфир со сценами насилия со стороны полиции), мы можем выполнить SSR, чтобы предотвратить ошибочное удаление.
Организации, проверяемые в целях соблюдения требований законодательства. В определенных случаях мы проводим SSR, чтобы выполнить требования законодательства или регулирующих органов.
Заметные публичные личности и издатели Мы определяем организации, подлежащие SSR, поскольку применение к ним слишком суровых мер может создать негативное впечатление у большого числа пользователей.
Маргинализированные группы населения Мы выявляем правозащитников, политических диссидентов и других лиц, которые, по нашему мнению, могут стать жертвами преследования со стороны государства или других враждебных сторон, а также объектами "бригадинга" или массовых жалоб, чтобы защитить этих лиц от подобных нападок.
Объекты, связанные с общественной деятельностью При определении политиков, представителей государственной власти, учреждений, организаций, групп по защите интересов и гражданских лидеров мнений мы руководствуемся объективными критериями и опытом наших региональных команд по разработке политики. Мы включаем их в список для SSR, чтобы предотвращать ошибки, которые могут ограничить свободу политических высказываний, не нарушающих правила, и непреднамеренно повлиять на обсуждение тем, связанных с гражданской активностью, таких как выборы, государственная политика и вопросы общественной значимости. Мы стремимся обеспечить равный подход ко всем гражданским учреждениям страны — например, если в список SSR включено одно из министерств, мы включаем туда все министерства правительства этой страны.
Компании Мы определяем ценных рекламодателей и тех, кто столкнулся со слишком суровыми мерами, чтобы защитить доходы и обеспечить долгосрочные доверительные отношения на нашей платформе.

Сейчас мы изучаем вопрос о том, как усовершенствовать критерии определения организаций, подлежащих SSR. В частности, мы изучаем возможность усовершенствования наших критериев в таких областях, как количество подписчиков, количество ложноположительных результатов в прошлом, требования законодательства или регулирующих органов, а также влияние на решение важных политических/общественных вопросов. Пользователь может запросить, чтобы его не добавляли в список SSR, с помощью этой формы. Meta не подтверждает присутствие или отсутствие пользователей в этих списках. Однако мы верим в независимость пользователей, поэтому будем рассматривать каждый запрос как можно скорее.

В дополнение к двум компонентам системы перекрестной проверки у нас также есть внутренняя система предотвращения ошибок под названием "динамическая многократная проверка" (DMR). Это система позволяет отправлять рассмотренные дела на повторное рассмотрение, чтобы получить большинство голосов для принятия решения (например, если большинство проверяющих согласно с решением, дело закрывается) и дополнительные гарантии его правильности. Мы используем эту систему для повышения качества и точности проверки вручную и снижения риска неверных решений путем корректировки количества проверок, необходимых для принятия окончательного решения, на основе ряда факторов, таких как вирусность, количество просмотров и потенциальная возможность причинения вреда (например, потенциальные нарушения наших правил в отношении сексуальной эксплуатации или опасных лиц и организаций).

Будущие мероприятия по обеспечению прозрачности перекрестных проверок

В ответ на решение Независимого надзорного совета от декабря 2022 года о передаче пакета рекомендаций относительно правил перекрестной проверки мы также приняли обязательство провести ряд мероприятий по обеспечению прозрачности при предотвращении ошибок. К этим мероприятиям относятся:

Формализованное и активное взаимодействие с нашими внутренними специалистами по правам человека и гражданским правам, доверенными партнерами и другими внешними общественными организациями для изучения способов формулирования критериев определения организаций, которые представляют общественный интерес, в целях составления списков перекрестной проверки.
Изучение более формального процесса внесения в список перекрестной проверки от глобальных, региональных и местных групп гражданского общества.
Инвестирование в ресурсы для обеспечения качественной проверки и обучения по мере нашего перехода к укомплектованию всех групп перекрестной проверки рецензентами, говорящими на соответствующем языке и хорошо знающими определенный регион (если это возможно).
Внедрение надежных соглашений об уровне обслуживания (SLA) для принятия решений о проверке нашими системами предотвращения ошибок, что позволит нам улучшить текущую модель укомплектования штата проверяющих для максимально быстрой проверки на языке оригинала.

Хотя нам удалось существенно улучшить нашу систему перекрестной проверки, мы продолжаем искать способы ее дальнейшей балансировки. Это позволит нам достигать целей в плане удаления контента, нарушающего Нормы сообщества, и одновременно снижать количество серьезных ошибок в применении мер.