Как Meta определяет приоритетность контента для проверки?

ОБНОВЛЕНО 12 ноя 2024 г.
Платформы Meta выявляют и удаляют наибольшую часть контента, нарушающего правила, прежде чем на него кто-либо пожалуется. Когда кто-либо публикует контент на Facebook, в Instagram, Messenger или Threads, наши платформы проверяют, не нарушает ли такой контент Нормы сообщества. В большинстве случаев решение принимается довольно просто. Публикация либо явно нарушает наши правила, либо нет.
В других случаях идентификация затруднена. Возможно, настроение публикации неясно, ее язык особенно сложен или изображения в ней слишком зависят от контекста. В этих случаях мы проводим дальнейшую проверку с привлечением людей.
Приоритетные факторы для проверки вручную
При определении того, какой контент наши команды проверки контента должны проверять в первую очередь, мы учитываем 3 основных фактора.
СТЕПЕНЬ СЕРЬЕЗНОСТИ
Насколько велика вероятность того, что контент может причинить вред как в Интернете, так и в реальном мире?
ВИРУСНОЕ РАСПРОСТРАНЕНИЕ
Как быстро распространяется контент?
ВЕРОЯТНОСТЬ НАРУШЕНИЯ ПРАВИЛ
Насколько вероятно то, что контент действительно нарушает наши правила?
Поскольку мы стремимся предотвратить как можно большее количество вреда, наши системы проверки используют технологии для определения в первую очередь контента с высокой степенью серьезности, который может нанести вред в реальном мире, и быстро распространяющегося вирусного контента.
Команды проверки контента помогают совершенствовать наши технологии
Наши команды проверки контента используют свой опыт в определенных областях политики и регионах, чтобы выносить сложные решения, зачастую зависящие от различных нюансов. Каждый раз, когда проверяющие принимают решение, мы используем эту информацию для обучения нашей технологии. Со временем, принимая миллионы решений, наши технологии становятся лучше, позволяя нам удалять больше контента, нарушающего правила.
Как мы помогаем проверяющим принимать правильные решения
Технологии помогают командам проверки контента делать то, что у них получается лучше всего
Как и многие модели машинного обучения, наши технологии со временем совершенствуются, поскольку получают больше примеров контента, нарушающего правила. Это означает, что команды проверки контента смогли сосредоточиться на контенте с высокой степенью серьезности, вирусном контенте, контенте, содержащем различные нюансы, а также сложном контенте — именно в отношении такого контента люди принимают более правильные решения, чем технологии.
Общие вопросы о приоритетности проверки контента
Раньше команды проверки контента тратили большую часть своего времени на проверку контента, на который пожаловались люди. Это означает, что они часто тратили слишком много времени на контент с низкой степенью серьезности или явно не нарушающий правила и мало времени на контент с самой высокой степенью серьезности и с наибольшей вероятностью причинения вреда. Это также означает, что многие решения, принятые людьми, не были настолько полезны для улучшения нашей технологии, обеспечивающей соблюдение правил в отношении контента.
Наш текущий подход в виде определения приоритетности решения таких проблем позволяет нам в первую очередь проверять наиболее потенциально вредный контент и быстрее улучшать наши технологии.
Не обязательно. И команды проверки контента, и технологии играют свою роль в проверке жалоб пользователей. В тех случаях, когда наши технологии могут анализировать определенный контент, они либо автоматически принимают меры в отношении такого контента, либо нет.
Чтобы решать вопросы справедливости и инклюзивности, связанные с развертыванием ИИ на платформах Meta, мы создали специальную многопрофильную команду по ответственному применению ИИ, состоящую из специалистов по этике, социологии и политологии, экспертов по разработке политики, инженеров и исследователей искусственного интеллекта. Общая цель этой команды — разрабатывать руководства, инструменты и процессы для решения вопросов ответственности за ИИ и помогать обеспечивать широкую доступность этих системных ресурсов в Meta.