Как работает технология, обеспечивающая соблюдение правил в отношении контента?
ОБНОВЛЕНО 12 ноя 2024 г.
Создание моделей и составление прогнозов
Процесс начинается с наших команд специалистов по искусственному интеллекту. Они создают модели машинного обучения, которые могут выполнять такие задачи, как распознавание образов на фото или понимание текста. Затем наши команды по обеспечению целостности, отвечающие за масштабирование выявления нарушений и обеспечения соблюдения наших правил, строят на основе этих моделей более точные модели, которые делают прогнозы, касающиеся пользователей и контента. Эти прогнозы помогают нам обеспечивать соблюдение правил.
Например, модель ИИ определяет, содержит ли определенный контент враждебные высказывания либо сцены насилия и тяжелый для восприятия контент. Отдельная система — наша технология, обеспечивающая соблюдение правил — принимает решения о действиях, например удалении, понижении ранга или отправке контента на проверку вручную.
Обучение на повторениях, подтверждаемых людьми
Создавая новую технологию, которая должна обеспечивать соблюдение правил в отношении контента, мы учим ее искать определенные сигналы. Например, одна система ищет на фото изображения обнаженного тела, а другая учится распознавать текст. Поначалу новая технология может с низкой достоверностью определять, нарушает ли контент наши правила.
Окончательное решение могут принимать команды проверки контента, а система будет учиться на их решениях. Со временем (после обучения на тысячах человеческих решений) технология начинает работать точнее.
Правила также меняются по мере изменения нашего продукта, социальных норм и языка. Таким образом, обучение технологий и работа команд проверки контента представляют собой поэтапные и повторяющиеся процессы.
Обнаружение повторных нарушенийТехнология очень хорошо обнаруживает повторения одного и того же контента (миллионы копий, если это потребуется). Наша система примет меры в отношении нового контента, если он целиком или почти полностью совпадает с другим контентом, нарушающим правила. Это особенно полезно в случае вирусных кампаний с дезинформацией, мемов и другого контента, который может распространяться очень быстро.
Проведение тонких различий
Технология может многократно находить и удалять одинаковый контент. Однако очень сложно научить машину понимать тонкости формулировок и то, как небольшие отличия могут менять контекст.
Первое изображение — это исходный вводящий в заблуждение контент, который содержит дезинформацию на тему общественного здравоохранения.
Второе изображение — это снимок экрана с первым изображением и строкой меню в верхней части.
Наконец, третье изображение кажется очень похожим на первое и второе, но 2 небольших изменения формулировки делают заголовок достоверным.
Людям довольно легко это понять, но системе трудно фиксировать такие различия. Существует риск ухода в крайности. Если технология действует слишком агрессивно, она будет удалять миллионы публикаций, не нарушающих правила. Если же она недостаточно агрессивна, то воспримет скриншот со строкой меню как изображение, отличное от оригинала, и ничего не сделает с этим контентом.
Мы очень много над этим работаем. За последние несколько лет мы сделали несколько инвестиций, чтобы помочь нашей технологии обнаруживать тонкие различия в контенте. С каждым днем она работает всё точнее и продолжает обучаться.
