Точна перевірка важливого контенту за допомогою нашої системи перехресної перевірки

ОНОВЛЕНО 12 лист. 2024 р.

6 грудня 2022 року Наглядова рада опублікувала звіт про політику перехресних перевірок Meta. Щоб повністю виконати низку рекомендацій, ми домовилися з Радою розглянути їх і відповісти протягом 90 днів. Щоб дізнатися більше про систему перехресних перевірок, відвідайте наш допис Центру прозорості.

Загальні відомості про перехресну перевірку

Користувачі Facebook та Instagram щодня створюють мільярди одиниць контенту. Модерування контенту в такому масштабі супроводжується певними труднощами, зокрема пошуком компромісів між важливими цінностями та цілями. Ми прагнемо швидко перевіряти контент, який потенційно порушує наші правила, і видаляти його в разі потреби. Але ми повинні збалансувати цю мету з ризиком хибнопозитивних результатів (помилкового видалення контенту, що не порушує правила), щоб захистити голос користувачів. (Тут ми маємо на увазі «видалення» контенту в сенсі, що використовується для більш загального опису дій щодо забезпечення цілісності. Вони також можуть включати, наприклад, використання екранів попередження або видалення сторінок.)

Щоб збалансувати ці фактори, компанія Meta впровадила систему перехресних перевірок для виявлення контенту, який становить більший ризик хибнопозитивних результатів, і забезпечення додаткових рівнів перевірки для зниження цього ризику. Перехресна перевірка забезпечує додаткові рівні перевірки певного контенту, який наші внутрішні системи позначають як такий, що порушує правила (за допомогою автоматизації або перевірки людиною), з метою запобігання або мінімізації хибнопозитивних результатів модерації, які можуть виникнути через різні фактори, такі як необхідність розуміння нюансів або контексту. (Тут ми маємо на увазі «контент», який перевіряється нашою системою перехресних перевірок. Ми також використовуємо перехресну перевірку для перевірки інших дій, як-от видалення сторінки або профілю.) Хоча перехресна перевірка забезпечує додаткові рівні перевірки, фахівці з перевірок застосовують ті самі Стандарти спільноти, що застосовуються до всього іншого контенту у Facebook або Instagram.

Система перехресних перевірок відіграє важливу роль у захисті прав людини. Наприклад, система перехресних перевірок охоплює організації та дописи журналістів, які ведуть репортажі із зон конфлікту, та лідерів спільнот, які підвищують обізнаність про випадки ненависті чи насильства. Перехресні перевірки враховують контекст, який допомагає правильно чинити із цим контентом. Перехресні перевірки можуть також застосовуватися до громадських організацій, де користувачі мають підвищений інтерес до того, що говорять їхні лідери.

Крім того, перехресна перевірка відіграє важливу роль у керуванні відносинами Meta з багатьма нашими діловими партнерами. Наприклад, неправильне видалення контенту, розміщеного сторінкою або профілем із великою кількістю читачів, може призвести до негативних наслідків як для бізнес-партнерів Meta, так і для значної кількості користувачів, які за ними стежать. Ми також застосовуємо перехресну перевірку до деяких дуже великих груп, де помилка може вплинути на сотні тисяч або мільйони користувачів. Перехресна перевірка не звільняє бізнес-партнерів або групи Meta від обов’язку дотримання наших правил щодо контенту, але іноді забезпечує додаткові рівні перевірки, щоб гарантувати точне застосування цих правил.

Користувачі Facebook та Instagram щодня публікують мільярди одиниць контенту. Навіть маючи тисячі відданих своїй справі фахівців із перевірок по всьому світу, неможливо вручну переглянути кожен фрагмент контенту, який потенційно порушує наші Стандарти спільноти. Переважна більшість контенту, який ми видаляємо, проактивно виявляється нашою технологією ще до того, як хтось повідомляє про це. Коли хтось публікує допис у Facebook або Instagram, наша технологія перевіряє, чи не порушує цей контент Стандарти спільноти. У багатьох випадках ідентифікація є простою справою. Допис або явно порушує наші правила, або ні. Але в інших випадках контент передається фахівцеві для подальшої оцінки.

Наші системи первинної перевірки використовують технологію для визначення пріоритетності контенту високої важливості, зокрема «вірусний» контент, який швидко поширюється. Коли система позначає контент як такий, що підлягає ескалації, наші фахівців із перевірки приймають складні й часто до деталей продумані рішення щодо того, чи має контент залишатися на платформі. Хоча ми завжди прагнемо приймати правильні рішення, ми визнаємо, що хибнопозитивні результати все ж трапляються, і деякий контент може бути видалено за порушення політики Meta, якого насправді не було. Тому компанія Meta інвестувала в запобігання помилкам, щоб здійснювати подальший розгляд хибнопозитивних результатів і зменшувати їх кількість. Перехресна перевірка – одна з таких стратегій запобігання помилкам.

Перехресна перевірка – це система, яка допомагає забезпечити точність рішень щодо дотримання правил і додатковий рівень перевірки людиною. Якщо під час перехресної перевірки фахівець підтверджує, що контент порушує наші Стандарти спільноти, ми застосовуємо ці правила й відповідним чином усуваємо контент, що порушує їх. Залежно від складності контенту, ми можемо застосовувати кілька рівнів перевірки, зокрема в рідкісних випадках перевірку керівництвом. Якщо останній фахівець вирішить, що контент, про який іде мова, не порушує Стандартів спільноти, він може «скасувати» початкову дію й залишити контент на платформі.

Історичні практики перехресних перевірок

Ми вперше впровадили систему, відому зараз як перехресна перевірка, у 2013 році. Деталі системи змінювалися протягом багатьох років, і там, де це можливо, ми вказали дати й діапазони дат, з поясненнями, коли відбулися ці зміни.

Щоб визначити, який контент або суб’єкти пройшли перехресну перевірку, наші команди визначили й склали списки користувачів або суб’єктів, які мають вищий ризик, пов’язаний із хибнопозитивними діями проти них. «Ризик хибнопозитивного результату» – це ризик неправильного забезпечення дотримання правил щодо контенту або суб’єктів, які насправді не порушують наші Стандарти спільноти. Щоб визначити, які користувачі та суб’єкти пов’язані з вищим ризиком хибнопозитивних результатів, наші команди застосовували різні критерії, зокрема тип користувача або суб’єкта (наприклад, обраний посадовець, журналіст, важливий діловий партнер, правозахисна організація), кількість читачів і тематика організації. (Суб’єкт – це загальний термін для позначення місця, де може виникнути або з’явитися контент, наприклад обліковий запис користувача, сторінка або група).

Коли користувачі або суб’єкти, зазначені в цих списках, публікували контент або здійснювали дії, які наші системи позначали як такі, що потенційно порушують наші правила, ми додавали контент або суб’єкт у чергу на перехресну перевірку.

Починаючи з 2020 року, ми внесли зміни, щоб для більшості контенту в черзі визначався пріоритет за допомогою системи ризиків, яка призначає рівень хибнопозитивного ризику, який може виникнути, якщо Meta неправильно видалить цей контент. Ця система ризиків, як правило, ґрунтувалася на трьох факторах: (1) вразливість суб’єкта, (2) ступінь серйозності передбачуваного порушення та (3) ступінь серйозності потенційних заходів щодо забезпечення дотримання правил.

Поточні практики перехресних перевірок

Як і у випадку з усіма нашими правилами й процесами, ми постійно шукаємо шляхи вдосконалення та вносимо зміни. На початку цього року ми визначили додаткові можливості для вдосконалення системи перехресних перевірок. Одна зі структурних змін, яку ми внесли, полягає в тому, що система перехресних перевірок тепер складається з двох компонентів: Загальна вторинна перевірка (ЗВП) та Вторинна перевірка вразливих суб’єктів (ВПВС). Хоча ми й далі використовуватимемо описаний вище підхід на основі списків для включення до ВПВС певної частки певних користувачів і суб’єктів, у випадку ЗВП ми працюємо над тим, щоб контент від усіх користувачів і суб’єктів у Facebook та Instagram підлягав перехресній перевірці на основі динамічної системи визначення пріоритетів, яка називається «рейтинг перехресної перевірки».

До проведення ЗВП залучено фахівців з перевірки й людей з нашої регіональної команди, які виконують вторинну перевірку контенту й суб’єктів, що можуть порушувати наші правила, перш ніж буде вжито заходів щодо забезпечення дотримання правил. Ця перевірка не покладається виключно на ідентифікацію користувача або суб’єктів для визначення того, який контент проходить перехресну перевірку. Система перехресної перевірки ранжує контент на основі ризику хибнопозитивних результатів, використовуючи такі критерії, як вразливість теми (наскільки тема є трендовою/вразливою), ступінь серйозності забезпечення дотримання правил, ймовірність хибнопозитивних результатів, прогнозоване охоплення та чутливість суб’єкта (здебільшого на основі сформованих списків, описаних вище). Рейтинг перехресних перевірок уже використовується для більшості перехресних перевірок сьогодні.

ВПВС схожа на стару систему перехресних перевірок. Щоб визначити, який контент або суб’єкти підлягають ВПВС, ми продовжуємо вести списки користувачів і суб’єктів, чиї дії проходять додаткову перехресну перевірку, якщо вони позначені як такі, що потенційно порушують Стандарти Спільноти. Однак ми додали елементи контролю до процесу складання та перегляду цих списків. До вересня 2020 року більшість співробітників мали можливість додати користувача або суб’єкт до списку перехресних перевірок. Після вересня 2020 року, хоча будь-який співробітник може подати запит на додавання користувача або суб’єкта до списків перехресних перевірок, лише визначена група співробітників матиме повноваження вносити їх до списку.

Відповідальність за керування списком ВПВС наразі покладена на нашу команду з безпеки контенту за підтримки наших юридичних відділів і відділів із питань партнерства з їхніми спеціалізованими знаннями та досвідом. Хоча структура звітності нашої команди з безпеки контенту відокремлена від команди публічної політики Meta, ми консультуємося з командою публічної політики для прийняття рішень щодо перехресних перевірок – так само, як і в багатьох сферах модерації контенту в компанії. У таких випадках наша команда з безпеки контенту може використовувати досвід команди з питань публічної політики Meta в поєднанні з нашими регіональними експертами та спеціалізованими фахівцями з перевірки, які не залежать від мови, для поліпшення місцевих і культурних перспектив. Окремі структури звітності допомагають забезпечити незалежність перевірки від політичного чи економічного впливу. Щоб підтримувати актуальність і відповідність списків, ми також розробили ретельний щорічний процес перевірки суб’єктів, включених до списків ВПВС, на відповідність критеріям, який ми продовжуватимемо вдосконалювати з плином часу.

В останні місяці Meta переглядає в середньому кілька тисяч перехресних перевірок на день, причому переважна більшість із них виконується в рамках ЗВП. (Порівняно з мільйонами матеріалів, які щодня позначаються як такі, що порушують наші Стандарти спільноти, це невелика частка.) ВПВС тепер становить меншість у цих щоденних перевірках. Ми очікуємо, що до кінця 2021 року та у 2022 році кількість завдань із перехресної перевірки продовжуватиме змінюватися в результаті визначення пріоритетів ЗВП.

Якщо контент надходить від фізичної чи юридичної особи, яку включено в ВПВС, він, як правило, спочатку перевіряється регіональною командою. Після цього команда з питань ескалації перевірить, чи контент містить порушення. Як правило, якщо регіональна команда вважає, що контент не порушує наші правила, команда з питань ескалації не розглядатиме його. Якщо матеріал надійшов від фізичної або юридичної особи, яка має пріоритет у системі перехресних перевірок, підрядники або регіональна команда зазвичай перевіряють його, якщо тільки команда з питань ескалації не має додаткових можливостей для перевірки. Як і у випадку з перехресною перевіркою, питання високої складності може бути додатково розглянуто, зокрема, у рідкісних випадках, керівництвом. Якщо фінальна перевірка виявить, що контент порушує наші Стандарти спільноти, ми видалимо його. Якщо наші перевірки виявлять, що він не містить порушень, ми залишимо його.

Станом на 16 жовтня 2021 року приблизно 660 000 користувачів і суб’єктів вчиняють дії, які потребують певної форми ВПВС на підставі включення до переліків, описаних вище. Ця кількість регулярно змінюється, оскільки ми додаємо або вилучаємо користувачів і суб’єкти зі списків, описаних вище, на основі критеріїв включення, що змінюються. До прикладів користувачів і суб’єктів, які мають право на ВПВС, належать, зокрема:

Суб’єкти, пов’язані з відповідями на ескалацію або подіями високого ризику. Наразі існує неформальний процес, у рамках якого команди, що готуються до події з високим ступенем ризику, визначають суб’єктів з високим ризиком надмірного забезпечення дотримання правил. Наприклад, якщо суперечливий контент користувача стає вірусним (наприклад, відео насильства з боку поліції в прямому ефірі), ми можемо ідентифікувати цього користувача для проведення ВПВС, щоб запобігти помилковому видаленню.
Суб’єкти, включені з метою дотримання вимог законодавства. Ми використовуємо ВПВС у певних випадках, щоб забезпечити відповідність законодавчим або регуляторним вимогам.
Відомі публічні особи та видавці. Ми визначаємо суб’єктів для ВПВС, оскільки надмірні дії із забезпечення дотримання правил можуть призводити до негативного досвіду взаємодії для великого сегменту користувачів.
Маргіналізовані групи населення. Ми ідентифікуємо правозахисників, політичних дисидентів та інших осіб, які, на нашу думку, можуть стати мішенню спонсорованих державою або інших ворожих переслідувань, замовних або масових повідомлень, щоб захистити їх від цих нападів.
Громадські організації. Ми використовуємо об’єктивні критерії та досвід наших регіональних політичних команд для визначення політиків, урядовців, установ, організацій, адвокаційних груп і лідерів громадської думки. Ми включили ці суб’єкти до ВПВС, щоб запобігти помилкам, які можуть обмежити ненасильницькі політичні висловлювання та ненавмисно вплинути на обговорення громадянських тем, таких як вибори, державна політика й соціальні питання. Ми прагнемо забезпечити паритет між цивільними утвореннями країни: наприклад, якщо ми включимо національне кабінетне міністерство до ВПВС, ми включимо до ВПВС усі міністерства уряду цієї країни.
Бізнеси. Ми визначаємо цінних рекламодавців, а також тих, хто зіткнувся з надмірними діями із забезпечення дотримання вимог, щоб захистити доходи та зміцнити довгострокову довіру до нашої платформи.

Наразі ми розглядаємо, як покращити критерії визначення суб’єктів, які мають отримати ВПВС. Наприклад, ми вивчаємо можливість удосконалення наших критеріїв у таких сферах, як кількість читачів, кількість попередніх хибнопозитивних результатів, законодавчі/нормативні вимоги, а також важливі політичні/суспільні питання. Користувачі можуть надіслати запит із проханням не включати їх до списку ВПВС, використавши цю форму. Компанія Meta не надає підтверджень щодо того, чи користувачів додано до цих списків або вилучено з них. Однак ми віримо в автономію користувачів і розглядатимемо кожен запит якомога швидше.

На додаток до двох компонентів системи перехресних перевірок, ми також маємо внутрішню систему запобігання помилкам, яка називається Dynamic Multi Review (DMR). Це система, яка дозволяє нам передавати розглянуті справи на повторний розгляд, щоб отримати більшість голосів для прийняття рішення (наприклад, якщо більшість фахівців із перевірок погоджуються з рішенням, справа закривається), щоб мати більшу впевненість у правильності рішення. Ми використовуємо цю систему, щоб поліпшити якість і точність перевірок людиною, а також знизити ризик ухвалення неправильних рішень, коригуючи кількість перевірок, необхідних для остаточного рішення, на основі низки різних чинників, як-от віральність, кількість переглядів і потенційний внесок у заподіяння шкоди (наприклад, потенційні порушення нашої політики щодо сексуальної експлуатації чи небезпечних осіб та організацій).

Майбутні заходи із забезпечення прозорості перехресної перевірки

У відповідь на рішення Наглядової ради від грудня 2022 року про перехресну перевірку консультативних висновків щодо політики, ми також зобов’язалися здійснити низку заходів із забезпечення прозорості, спрямованих на запобігання помилкам. До таких заходів належать:

Структурована й активна взаємодія з нашими внутрішніми командами з прав людини та громадянських прав, нашими довіреними партнерами й іншими зовнішніми організаціями громадянського суспільства з метою вивчення шляхів формування критеріїв, які ми використовуємо для виявлення суб’єктів суспільного інтересу для списків перехресної перевірки.
Пошук більш формального процесу висунення списків перехресної перевірки з боку глобальних, регіональних і місцевих груп громадянського суспільства.
Інвестиції в якісні ресурси для перевірки й навчання в міру того, як ми переходимо до укомплектування всіх рішень перехресної перевірки фахівцями, які розмовляють цією мовою та мають регіональний досвід, де це можливо.
Упровадження надійних угод про рівень обслуговування (SLA) для ухвалення рішень щодо перевірки в наших системах запобігання помилкам, що дає нам змогу оптимізувати нашу поточну кадрову модель фахівців з перевірок для максимально швидкого розгляду відповідною мовою.

Хоча ми суттєво вдосконалили систему перехресних перевірок, ми все ще вивчаємо шляхи подальшого забезпечення того, щоб ця система належним чином збалансовувала наші цілі щодо видалення контенту, який порушує наші Стандарти спільноти, і водночас мінімізувала наші помилки у забезпеченні дотримання правил, які мають найбільший вплив.