Análise precisa de conteúdo de alto impacto pelo nosso sistema de verificação cruzada

ÚLTIMA ATUALIZAÇÃO 12 DE NOV DE 2024

Em 6 de dezembro de 2022, o Comitê de Supervisão publicou um parecer consultivo sobre política em relação às políticas de verificação cruzada da Meta. Para abordar completamente as recomendações, o Comitê concordou em analisar e responder dentro de 90 dias. Para saber mais sobre o sistema de verificação cruzada, leia nosso post da Central de Transparência.

Visão geral da verificação cruzada

Os usuários do Facebook e do Instagram criam bilhões de conteúdos diariamente. Moderar essa quantidade de material representa desafios, incluindo dilemas entre valores e metas importantes. Procuramos analisar com celeridade o conteúdo potencialmente violador e removê-lo quando viola nossas políticas. Mas devemos encontrar um equilibro entre essa meta e o risco de “falsos positivos” (remoções equivocadas de conteúdo não violador) para proteger a voz dos usuários. Aqui, nós nos referimos à “remoção” de conteúdo, termo que usamos para descrever ações de integridade de modo mais geral. Isso também pode incluir, por exemplo, o uso de telas de aviso ou a remoção de Páginas.

Para equilibrar essas considerações, a Meta implementou o sistema de verificação cruzada para identificar o conteúdo que apresenta maior risco de falsos positivos e oferecer níveis adicionais de análise para mitigar esse risco. A verificação cruzada proporciona mais níveis de análise para determinados conteúdos que nossos sistemas internos sinalizam como violadores, seja pela automação ou pela análise humana. A meta é prevenir ou minimizar os erros de moderação com falsos positivos de alto risco que poderiam ocorrer devido a vários fatores, como a necessidade de compreender nuances ou contextos. Aqui, nós nos referimos ao "conteúdo" que é analisado por meio do nosso sistema de verificação cruzada. Também usamos esse processo para analisar outras ações, como a remoção de uma Página ou de um perfil. Embora a verificação cruzada torne a análise mais rigorosa, os analistas recorrem aos mesmos Padrões da Comunidade que se aplicam a todos os outros conteúdos no Facebook ou no Instagram.

O sistema de verificação cruzada desempenha uma função crucial para proteger os direitos humanos. Por exemplo, ele inclui entidades e posts de jornalistas que fazem reportagens em zonas de conflito e de líderes de comunidade que conscientizam sobre casos de ódio ou violência. As análises de verificação cruzada levam em conta o contexto, o que permite tomar medidas corretas com relação ao conteúdo. As verificações cruzadas também podem se aplicar a entidades cívicas, em que os usuários têm um interesse maior em ver o que os líderes estão dizendo.

Além disso, a verificação cruzada desempenha um papel importante na gestão das relações da Meta com muitos dos nossos parceiros comerciais. Por exemplo, se removemos incorretamente o conteúdo que uma Página ou um perfil com muitos seguidores posta, isso pode gerar experiências negativas tanto para os parceiros comerciais da Meta quanto para os usuários que os seguem. Também aplicamos a verificação cruzada a alguns Grupos muito grandes, em que um erro pode impactar milhares ou milhões de usuários. A verificação cruzada não isenta os Grupos ou os parceiros comerciais da Meta das nossas políticas de conteúdo. No entanto, em algumas ocasiões, ela proporciona níveis adicionais de análise para garantir que essas políticas sejam aplicadas com precisão.

Os usuários do Facebook e do Instagram postam bilhões de conteúdo todos os dias. Mesmo com milhares de analistas dedicados em todo o mundo, é impossível analisar manualmente cada conteúdo que tem potencial de violar nossos Padrões da Comunidade. Quem detecta proativamente a grande maioria dos conteúdos violadores que removemos antes que alguém os denuncie é nossa tecnologia. Quando alguém posta no Facebook ou no Instagram, nossa tecnologia verifica se o conteúdo pode violar os Padrões da Comunidade. Em muitos casos, a identificação é uma questão simples. Fica claro se um post viola nossas políticas ou não. No entanto, em outros casos, o conteúdo é encaminhado à análise humana para passar por uma avaliação mais aprofundada.

Nossos principais sistemas de análise usam tecnologia para priorizar conteúdo de alta gravidade, que inclui conteúdo "viral" que se espalha rapidamente. Quando os sistemas sinalizam conteúdo para encaminhamento, nossos analistas tomam decisões difíceis e muitas vezes sensíveis em relação à permanência do conteúdo na plataforma. Embora o objetivo sempre seja tomar as decisões corretas, reconhecemos que falsos positivos acontecem e que alguns conteúdos são considerados para remoção por violarem as políticas da Meta, quando, na verdade, não é o caso. Por esse motivo, a Meta investiu na prevenção de erros para filtrar ainda mais os falsos positivos e mitigá-los. A verificação cruzada é uma dessas estratégias de prevenção de erros.

Trata-se de um sistema que garante que as decisões de monitoramento sejam tomadas com precisão e com níveis adicionais de análise humana. Se, durante a verificação cruzada, um analista confirma que o conteúdo viola nossos Padrões da Comunidade, aplicamos essas políticas e abordamos o conteúdo violador da forma adequada. De acordo com a complexidade do conteúdo, podemos aplicar vários níveis de análise, inclusive, em raras ocasiões, a análise por um supervisor. Se o analista final determina que o conteúdo em questão não viola nossos Padrões da Comunidade, ele pode "anular" a ação inicial e manter o conteúdo na plataforma.

Práticas de verificação cruzada do histórico

Implementamos o sistema agora conhecido como verificação cruzada em 2013. Enquanto ele evolui ao longo dos anos, oferecemos, sempre que possível, datas e intervalos de datas explicando quando essas mudanças ocorreram.

Para determinar qual conteúdo ou entidades passaram pela verificação cruzada, nossas equipes identificaram e compilaram listas de usuários ou de entidades com maior risco associado de sofrerem medidas devido a falsos positivos. “Risco de falso positivo” se refere ao risco do monitoramento incorreto de conteúdos ou de entidades que, na verdade, não violam nossos Padrões da Comunidade. Para determinar quais usuários e entidades tinham um risco maior de receberem falsos positivos, nossas equipes aplicaram diversos critérios, incluindo o tipo de usuário ou de entidade (como representante eleito, jornalista, parceiro comercial significativo, organização de direitos humanos), o número de seguidores e o tópico da entidade. “Entidade” é um termo geral para representar o lugar onde o conteúdo pode se originar ou aparecer, como uma conta de usuário, uma Página ou um Grupo.

Quando os usuários ou as entidades identificadas nessas listas postava conteúdo ou realizavam ações que nossos sistemas sinalizavam como potencialmente violadoras das nossas políticas, nós adicionávamos o conteúdo ou a entidade à fila de verificação cruzada.

Desde 2020, fizemos mudanças para que a maioria do conteúdo da fila fosse priorizada com base em uma estrutura de risco, que atribuía um nível de risco de falso positivo que poderia haver se a Meta removesse incorretamente esse conteúdo. Essa estrutura de risco geralmente dependia de três fatores: (1) a sensibilidade da entidade, (2) a gravidade da suposta violação e (3) a gravidade da possível medida de monitoramento.

Práticas atuais de verificação cruzada

Como em todas as nossas políticas e processos, sempre buscamos maneiras de melhorar e realizamos mudanças permanentemente. No início deste ano, identificamos outras oportunidades para aprimorar o sistema de verificação cruzada. Uma mudança estrutural que fizemos é que o sistema de verificação cruzada agora é formado de dois componentes: Análise Secundária Geral (GSR) e Análise Secundária de Entidade Sensível (SSR). Continuaremos usando a abordagem baseada em listas descrita acima para incluir determinados usuários e entidades na análise secundária de SSR. Porém, com a GSR, estamos tentando garantir que o conteúdo de todos os usuários e entidades no Facebook e no Instagram apresentem os requisitos para passarem pela análise de verificação cruzada com base em um sistema dinâmico de priorização chamado “classificador de verificação cruzada”.

A GSR envolve analistas de contratos e pessoas da nossa equipe regional que realizam uma análise secundária de conteúdo e de entidades que podem violar nossas políticas antes que uma medida de monitoramento seja tomada. Essa análise não se baseia apenas na identidade de um usuário ou de uma entidade para determinar qual conteúdo recebe a análise de verificação cruzada. O classificador de verificação cruzada divide o conteúdo baseado no risco de falsos positivos segundo critérios como sensibilidade ao tópico (quão sensível/popular o tópico é), gravidade do monitoramento (a gravidade da possível medida de monitoramento), probabilidade de falsos positivos, alcance previsto e sensibilidade da entidade (com base em grande parte nas listas compiladas, descritas acima). Esse classificador já é usado na maioria das análises de verificação cruzada feitas atualmente.

A SSR é semelhante ao sistema tradicional de verificação cruzada. Para determinar qual conteúdo ou entidades recebem a SSR, continuamos a manter listas de usuários e de entidades cujo monitoramento recebe análise adicional de verificação cruzada se marcados como potencialmente violadores dos Padrões da Comunidade. Entretanto, acrescentamos controles a esse processo de compilação e de análise dessas listas. Antes de setembro de 2020, a maioria dos funcionários podia adicionar um usuário ou uma entidade à lista de verificação cruzada. Após essa data, embora qualquer funcionário possa solicitar a inclusão de um usuário ou de uma entidade nas listas de verificação cruzada, somente um Grupo designado de funcionários tem autoridade para fazer acréscimos à lista.

As responsabilidades de governança da lista de SSR estão, no momento, com a nossa organização de Operações Globais, que recebe apoio das nossas equipes Jurídica e de Parcerias, com suas experiências e seus conhecimentos específicos. Embora a estrutura de denúncias da nossa equipe de Operações Globais esteja separada da equipe de Políticas Públicas da Meta, esta é consultada para opinar sobre as decisões de verificação cruzada, da mesma forma que elas são em muitas outras áreas de moderação de conteúdo na empresa. Nesses casos, nossa equipe de Operações pode contar com os conhecimentos da equipe de Políticas Públicas da Meta, junto com especialistas regionais e moderadores especializados que não trabalham apenas com um idioma, para aprimorar as perspectivas locais e culturais. As estruturas de denúncias separadas ajudam a garantir que a análise seja independente de influências políticas ou econômicas. Com o intuito de manter listas que são relevantes e apropriadas, também desenvolvemos um processo de análise anual para auditar as entidades presentes nas listas de SSR a fim de verificar se elas ainda são elegíveis, que será refinado com o passar do tempo.

Nos últimos meses, a Meta analisou diariamente milhares de tarefas por meio da verificação cruzada. A grande maioria foi feita com a GSR. Essa é uma pequena proporção se comparada aos milhões de itens de conteúdo que são sinalizados e contra os quais medidas são tomadas por violarem diariamente nossos Padrões da Comunidade. Atualmente, a SSR representa a minoria dessas análises diárias. Prevemos uma mudança contínua no número de tarefas de análise de verificação cruzada como resultado da priorização da GSR no fim de 2021 e em 2022.

Se determinado conteúdo for de uma pessoa ou de uma entidade incluída na SSR, a equipe regional geralmente o analisa primeiro. Depois, a equipe de encaminhamento o analisa para confirmar se o conteúdo é violador. Em geral, se a equipe regional conclui que o conteúdo não viola nossas políticas, a análise não é encaminhada à equipe de encaminhamento. Se determinado conteúdo for de uma pessoa ou de uma entidade que o classificador de verificação cruzada prioriza, os prestadores de serviço ou a equipe regional geralmente o analisam, a menos a equipe de encaminhamento tenha capacidade adicional para fazê-lo. No caso da verificação cruzada tradicional, questões de alta complexidade podem passar por análise adicional, inclusive, em raras ocasiões, análise por supervisores. Se a análise final considera que o conteúdo viola nossos Padrões da Comunidade, ele é removido. Agora, se nossas análises constatam que não há violação, o conteúdo continua na plataforma.

Desde 16 de outubro de 2021, aproximadamente 660 mil usuários e entidades realizaram ações que exigiam alguma forma de SSR com base na inclusão nas listas descritas acima. Esse número muda periodicamente à medida que adicionamos usuários e entidades a essas listas ou os removemos delas com base nos critérios para inclusão em constante mudança. Exemplos de usuários e de entidades que podem passar pela SSR incluem, entre outros, os seguintes:

Entidades relacionadas a respostas de escalação ou eventos de alto risco. Atualmente, existe um processo informal no qual as equipes que se preparam para um evento de alto risco identificam entidades com alto risco de serem alvo de excesso de monitoramento. Por exemplo, caso o conteúdo controverso de um usuário esteja viralizando (como um vídeo ao vivo com violência policial), podemos incluir esse usuário na SSR para evitar a remoção errônea.
Entidades incluídas para fins de conformidade legal. Usamos a SSR em certos casos para cumprir requisitos legais ou regulamentares.
Figuras públicas e publishers de alta visibilidade. Incluímos entidades na SSR porque o excesso de monitoramento pode gerar uma experiência negativa para muitos usuários.
Populações marginalizadas. Identificamos defensores dos direitos humanos, dissidentes políticos e outras pessoas que acreditamos que podem ser alvo de assédio individual ou coletivo ou de denúncias em massa com respaldo do Estado ou de outros adversários para proteger contra esses ataques.
Entidades cívicas. Seguimos critérios objetivos e a experiência das nossas equipes regionais de política para identificar políticos, representantes do governo, instituições, organizações, grupos de defesa de interesses sociais e influenciadores cívicos. Incluímos essas entidades na SSR para evitar erros que limitariam discursos políticos não violadores e que impactariam inadvertidamente a discussão de tópicos cívicos, como eleições, políticas públicas e temas sociais. Nosso objetivo é garantir a igualdade entre as entidades civis de um país. Por exemplo, caso incluíssemos um ministério na SSR, incluiríamos todos os ministérios do governo desse país na SSR.
Empresas. Identificamos anunciantes de alto valor e aqueles que foram afetados por uma aplicação excessiva das regras, para proteger a receita e construir confiança de longo prazo em nossa plataforma.

Atualmente, estamos analisando como aprimorar os critérios para identificar as entidades que devem passar pela SSR. Por exemplo, estamos buscando formas de aperfeiçoar nossos critérios em áreas como o número de seguidores, o número de medidas de monitoramento por falso positivo, os requisitos legais/regulamentares e os temas políticos/sociais importantes. Os usuários podem solicitar que não sejam incluídos na lista de SSR por meio deste formulário. A Meta não confirma se os usuários estão nessas listas ou foram removidos delas. Entretanto, acreditamos firmemente na autonomia dos usuários e analisaremos cada solicitação assim que possível.

Além dos dois componentes do sistema de verificação cruzada, também temos um sistema interno de prevenção de erros chamado Multianálise Dinâmica (DMR). Esse sistema permite que enviemos casos já analisados para uma segunda análise que será decidida por votação da maioria (por exemplo, se a maioria dos moderadores concordarem com a decisão, o caso está encerrado), para termos maior confiança e certeza na nossas decisões. Usamos esse sistema para aprimorar a qualidade e a precisão da análise humana e mitigar o risco de decisões incorretas ao ajustar o número de análises que exigimos para uma decisão final com base em diferentes fatores, como viralidade, número de visualizações e potencial para contribuir com dano (por exemplo, potenciais violações das nossas políticas sobre exploração sexual ou organizações e indivíduos perigosos).

Intervenções futuras de transparência de verificação cruzada

Em resposta à decisão tomada pelo Comitê de Supervisão em dezembro de 2022 decorrente do parecer consultivo sobre política a respeito da verificação cruzada, nos comprometemos a implantar uma série de intervenções para a transparência do sistema de prevenção de erros. Elas incluem:

Interação estruturada e robusta com nossas equipes internas de Direitos Humanos e Civis, nossos Parceiros Confiáveis e outras organizações da sociedade civil para explorar maneiras de informar os critérios que usamos a fim de identificar entidades de utilidade pública para nossas listas de verificação cruzada.
Explorar um processo mais formal para que grupos da sociedade civil em nível global, regional e local se candidatem à lista de verificação cruzada.
Investir em recursos para treinar e melhorar a qualidade das análises conforme as decisões de verificação cruzada são auxiliadas, sempre que possível, por moderadores que falam o idioma e que têm expertise regional.
Implementar Acordos de Nível de Serviço (SLAs) robustos para decisões de análise nos nossos sistemas de prevenção de erros, o que nos permite otimizar nosso modelo atual de equipes de moderadores para agilizar a análise de idioma.

Embora tenhamos feito melhorias significativas no sistema de verificação cruzada, ainda estamos estudando formas de garantir que ele encontre um equilíbrio adequado entre o objetivo de remover conteúdo que viole nossos Padrões da Comunidade e o de minimizar os erros de monitoramento de maior impacto.