Rever conteúdos de impacto elevado com precisão através do nosso sistema de verificação cruzada

ATUALIZADO 12/11/2024

Em 6 de dezembro de 2022, o Conselho de Supervisão publicou o seu Parecer sobre as políticas de verificação cruzada da Meta. Para abordar o número de recomendações na totalidade, concordámos com o Conselho em rever e responder no prazo de 90 dias. Para saberes mais sobre o sistema de verificação cruzada, acede à nossa publicação do Centro de Transparência.

Vista geral da verificação cruzada

Os utilizadores do Facebook e do Instagram criam diariamente milhares de milhões de conteúdos. Moderar conteúdos nesta escala apresenta desafios, incluindo compromissos entre valores e objetivos importantes. Tentamos rever rapidamente os conteúdos que possam estar em infração e removê-los se infringirem as nossas políticas. No entanto, temos de equilibrar este objetivo contra o risco de "falsos positivos" (remoções incorretas de conteúdos que não estão em infração), de forma a proteger a voz dos utilizadores. (Aqui, referimo-nos à "remoção" de conteúdos, termo que utilizamos para descrever ações de integridade de uma forma mais geral. Estas podem incluir, por exemplo, a utilização de ecrãs de aviso ou a remoção de páginas.)

Para equilibrar estas considerações, a Meta implementou o sistema de verificação cruzada para identificar conteúdos que apresentem um maior risco de falsos positivos e fornecer níveis adicionais de revisão de forma a mitigar esse risco. A verificação cruzada fornece níveis adicionais de revisão para determinados conteúdos que os nossos sistemas internos assinalam como estando em infração (através da automatização ou revisão humana), com o objetivo de prevenir ou minimizar os erros mais propensos de moderação de falsos positivos que possam ocorrer devido a vários fatores, como a necessidade de compreender o contexto ou os detalhes. (Aqui, referimo-nos a "conteúdos" que são revistos através do nosso sistema de verificação cruzada. Também utilizamos a verificação cruzada para rever outras ações, como a remoção de uma Página ou de um perfil.) Enquanto a verificação cruzada fornece níveis adicionais de revisão, os revisores aplicam os mesmos Padrões da Comunidade que aplicam a todos os outros conteúdos no Facebook ou no Instagram.

O sistema de verificação cruzada tem um papel fundamental na proteção dos direitos humanos. Por exemplo, o sistema de verificação cruzada inclui entidades e publicações de jornalistas que fazem reportagens em zonas de conflito e líderes da comunidade que aumentam a divulgação de instâncias de ódio ou violência. As revisões em verificação cruzada têm em consideração o contexto que é útil para acionar esse conteúdo corretamente. As revisões em verificação cruzada também podem aplicar-se a entidades cívicas, nas quais os utilizadores demonstram um elevado interesse em saber o que os seus líderes dizem.

Além disso, a verificação cruzada tem um papel importante na gestão das relações da Meta com muitos dos nossos parceiros de negócios. Por exemplo, remover incorretamente conteúdos publicados por uma Página ou um perfil com muitos seguidores pode resultar em experiências negativas tanto para os parceiros de negócios da Meta, como para o número significativo de utilizadores que os seguem. Também aplicamos a verificação cruzada a alguns grupos muito grandes, nos quais um erro pode influenciar centenas de milhares ou milhões de utilizadores. A verificação cruzada não isenta os parceiros de negócios ou grupos da Meta das nossas políticas de conteúdos. No entanto, por vezes fornece níveis adicionais de revisão para garantir que essas políticas são aplicadas com precisão.

Os utilizadores do Facebook e do Instagram publicam diariamente milhares de milhões de conteúdos. Embora as equipas de revisão sejam compostas por milhares de pessoas dedicadas em todo o mundo, não é possível rever manualmente todos os conteúdos que possam infringir os nossos Padrões da Comunidade. A grande maioria dos conteúdos em infração que removemos são detetados pró-ativamente pela nossa tecnologia antes de serem denunciados. Quando alguém publica no Facebook ou no Instagram, a nossa tecnologia verifica se os conteúdos podem infringir os Padrões da Comunidade. Em muitos casos, a identificação é simples. A publicação infringe claramente as nossas políticas ou não infringe. Noutros casos, os conteúdos são reencaminhados para um revisor humano para uma avaliação adicional.

Os nossos principais sistemas de revisão utilizam a tecnologia para dar prioridade a conteúdos de elevada gravidade, os quais incluem conteúdos "virais" que se espalham rapidamente. Quando os sistemas assinalam conteúdos para encaminhamento, os nossos revisores tomam decisões difíceis e, por vezes, diferenciadas, sobre se os conteúdos devem permanecer na plataforma. Embora tentemos sempre tomar as decisões corretas, reconhecemos a existência de falsos positivos e que alguns conteúdos são selecionados para serem removidos por infringirem as políticas da Meta quando, na verdade, não o fazem. Por este motivo, a Meta investiu em prevenção de erros para rever falsos positivos e mitigá-los. A verificação cruzada é uma destas estratégias de prevenção de erros.

A verificação cruzada é um sistema utilizado para ajudar a garantir que as decisões de aplicação das regras são tomadas com precisão e com níveis adicionais de revisão humana. Se durante a verificação cruzada um revisor confirmar que os conteúdos infringem os nossos Padrões da Comunidade, aplicamos essas políticas e lidamos com os conteúdos em infração em conformidade. Consoante a complexidade dos conteúdos, podemos aplicar vários níveis de revisão, incluindo, em casos raros, a revisão por liderança. Se o revisor final determinar que os conteúdos em questão não infringem os nossos Padrões da Comunidade, o revisor pode "anular" a ação inicial e deixar os conteúdos na plataforma.

Práticas de verificação cruzada do histórico

O sistema agora conhecido como verificação cruzada foi implementado pela primeira vez em 2013. Ao longo dos anos, os detalhes do sistema evoluíram e, quando possível, fornecemos datas e intervalos de datas a explicar quando estas alterações ocorreram.

Para determinar quais os conteúdos ou entidades que receberam a revisão em verificação cruzada, as nossas equipas identificaram e compilaram listas de utilizadores ou entidades considerados como tendo um maior risco associado a ações de falsos positivos contra os mesmos. O "risco de falsos positivos" refere-se ao risco de aplicação incorreta das regras em conteúdos ou entidades que não infringem os nossos Padrões da Comunidade. Para determinar quais os utilizadores e entidades que foram associados com um maior risco de falsos positivos, as nossas equipas aplicaram vários critérios, incluindo o tipo de utilizador ou entidade (por exemplo, um funcionário eleito, jornalista, parceiro de negócios, organização de direitos humanos), o número de seguidores e o assunto da entidade. (Entidade é um termo geral que designa onde os conteúdos podem ter origem ou aparecer, como uma conta de utilizador, uma Página ou um grupo.)

Quando os utilizadores ou entidades identificados nestas listas publicam conteúdos ou tomam ações que os nossos sistemas assinalam como potencialmente em infração das nossas políticas, adicionamos os conteúdos ou entidade a uma fila para a revisão em verificação cruzada.

A partir de 2020, efetuámos alterações de forma a dar prioridade à maioria dos conteúdos na fila através de uma estrutura de risco, que atribuiu um nível de risco de falsos positivos que podia resultar se a Meta removesse incorretamente esse conteúdo. Geralmente, esta estrutura de risco baseava-se em três fatores: 1) a sensibilidade da entidade, 2) a gravidade da alegada infração e 3) a gravidade da potencial ação de aplicação das regras.

Práticas de verificação cruzada atuais

Tal como acontece com todas as nossas políticas e processos, estamos continuamente à procura de formas de melhorar e estamos constantemente a fazer melhorias. No início deste ano, identificámos oportunidades adicionais para melhorar o sistema de verificação cruzada. Uma alteração estrutural que efetuámos foi para que, agora, o sistema de verificação cruzada seja composto por dois elementos: a revisão geral secundária (GSR) e a revisão secundária de entidades sensíveis (SSR). Enquanto continuamos a utilizar a abordagem baseada em listas descrita acima para a inclusão na SSR para uma percentagem de determinados utilizadores e entidades, com a GSR, estamos no processo de garantir que os conteúdos de todos os utilizadores e entidades no Facebook e no Instagram são elegíveis para revisão em verificação cruzada com base num sistema de prioridades dinâmico chamado "classificador de verificação cruzada".

A GSR inclui revisores contratados e pessoas da nossa equipa de regiões que realizam uma revisão secundária dos conteúdos e entidades que podem infringir as nossas políticas antes que uma ação de aplicação das regras seja tomada. Esta revisão não depende apenas da identidade de um utilizador ou entidade para determinar quais os conteúdos que recebem revisão em verificação cruzada. O classificador de verificação cruzada ordena os conteúdos com base no risco de falsos positivos através de critérios como a sensibilidade dos tópicos (quão popular/sensível o tópico é), gravidade da aplicação das regras (a gravidade da potencial ação de aplicação das regras), probabilidade de falsos positivos, alcance previsto e sensibilidade das entidades (maioritariamente com base em listas compiladas, descritas acima). O classificador de verificação cruzada já é utilizado pela maioria das revisões em verificação cruzada.

A SSR é semelhante ao sistema legado de verificação cruzada. Para determinar que conteúdos ou entidades recebem a SSR, continuamos a manter listas de utilizadores e entidades cujas aplicações das regras recebem revisão em verificação cruzada adicional se forem assinalados como potencialmente em infração dos Padrões da Comunidade. No entanto, adicionámos controlos ao processo de compilar e rever estas listas. Antes de setembro de 2020, a maioria dos funcionários podia adicionar um utilizador ou entidade à lista de verificação cruzada. Embora qualquer funcionário possa pedir que um utilizador ou entidade seja adicionado às listas de verificação cruzada, desde setembro de 2020 que só um grupo designado de funcionários tem a autoridade para efetuar adições à lista.

Atualmente, as responsabilidades de regulação para a lista da SSR pertencem à nossa organização de Operações Globais, com o apoio das nossas equipas Jurídica e de Parcerias com o respetivo conhecimento e experiência especializados. Enquanto a estrutura hierárquica da nossa equipa de Operações Globais é independente da equipa de Política Pública da Meta, esta última é consultada para dar o seu contributo relativamente às decisões de verificação cruzada, uma vez que se encontra em várias áreas de moderação de conteúdos em toda a empresa. Nestas instâncias, a nossa equipa de Operações pode tirar partido da experiência da equipa de Política Pública da Meta, em conjunto com os nossos especialistas regionais e revisores independentes de idioma especializados para melhorar as perspetivas locais e culturais. As estruturas hierárquicas separadas ajudam a garantir que a revisão é independente de influência política ou económica. Para manter listas relevantes e apropriadas, também desenvolvemos um processo de revisão anual diligente para auditar entidades em listas da SSR para elegibilidade contínua, que vamos continuar a refinar ao longo do tempo.

Nos últimos meses, a Meta revê uma média de vários milhares de trabalhos em verificação cruzada por dia, a maioria deles concluídos na GSR. (Em comparação com os milhões de conteúdos assinalados diariamente e em relação aos quais foram tomadas medidas por infringirem os nossos Padrões da Comunidade, é uma proporção pequena.) A SSR agora constitui a minoria destas revisões diárias. Antecipámos uma mudança contínua do número de trabalhos de revisão em verificação cruzada devido à prioridade dada pela GSR até ao final de 2021 e em 2022.

Geralmente, se um conteúdo pertencer a um indivíduo ou entidade que esteja incluído como parte da SSR, é revisto, em primeiro lugar, pela equipa de regiões. Em seguida, a equipa de encaminhamentos vai rever o conteúdo para confirmar se está em infração. No geral, se a equipa de regiões concluir que o conteúdo não infringe as nossas políticas, a equipa de encaminhamentos não vai revê-lo. Geralmente, se um conteúdo pertencer a um indivíduo ou a uma entidade a quem tenha sido dada prioridade pelo classificador da verificação de factos, os contratantes ou a equipa de regiões reveem-no, salvo se existir capacidade adicional por parte da equipa de encaminhamentos para o rever. Tal como acontece com a verificação cruzada legada, os assuntos de complexidade elevada podem receber revisões adicionais, incluindo, em casos raros, revisão por liderança. Se a revisão final concluir que infringe os nossos Padrões da Comunidade, removemos esse conteúdo. Se as nossas revisões concluírem que não infringe, deixamos o conteúdo na plataforma.

A partir de 16 de outubro de 2021, cerca de 660 000 utilizadores e entidades têm ações que requerem alguma forma de SSR com base na inclusão nas listas descritas acima. Este número é alterado regularmente à medida que adicionamos ou removemos utilizadores e entidades das listas descritas acima com base em critérios para a inclusão em evolução. Os exemplos de utilizadores e entidades elegíveis para a SSR incluem, entre outros:

Entidades relacionadas com respostas de encaminhamento ou eventos de alto risco. Atualmente, está em vigor um processo informal no qual as equipas que se preparam para um evento de elevado risco identificam entidades em alto risco de aplicação excessiva das regras. Por exemplo, se o conteúdo controverso de um utilizador se tornar viral (por exemplo, um vídeo em direto de violência policial), podemos identificar esse utilizador na SSR de forma a prevenir a remoção errada do conteúdo.
Entidades incluídas para efeitos de conformidade legal. Utilizamos a SSR em certos casos para cumprir com requisitos legais ou regulamentares.
Figuras públicas e publicadores com elevada visibilidade. Identificamos entidades na SSR porque a aplicação excessiva das regras pode resultar em experiências negativas para um grande grupo de utilizadores.
Populações marginalizadas. Identificamos defensores de direitos humanos, dissidentes políticos e outras pessoas que acreditamos que possam ser alvo de assédio patrocinado pelo estado ou por outros adversários, "brigading" ou denúncias em massa, de forma a protegê-los contra esses ataques.
Entidades cívicas. Seguimos critérios objetivos e as competências das nossas equipas de políticas nas regiões para identificar políticos, funcionários do Governo, instituições, organizações, grupos de sensibilização e influenciadores cívicos. Incluímos estas entidades na SSR de forma a prevenir erros que limitem o discurso político que não está em infração e inadvertidamente afetem o debate de tópicos cívicos, como eleições, políticas públicas e questões sociais. Temos o objetivo de garantir a igualdade nas entidades cívicas de um país. Por exemplo, se incluirmos um gabinete ministerial nacional na SSR, incluímos todos os ministérios no governo desse país na SSR.
Negócios. Identificamos anunciantes de valor elevado, bem como aqueles que foram alvo de uma aplicação excessiva das regras, para proteger a receita e criar confiança a longo prazo na nossa plataforma.

Atualmente, estamos a rever como podemos melhorar os critérios para identificar entidades que devem receber a SSR. Por exemplo, estamos a pensar desenvolver os nossos critérios em áreas tais como o número de seguidores, o número de aplicações das regras em falsos positivos anteriores, requisitos legais/regulamentares, assim como questões políticas/sociais importantes. Os utilizadores podem pedir que não sejam incluídos na lista da SSR através deste formulário. A Meta não confirma se os utilizadores fazem parte destas listas ou se foram removidos. No entanto, acreditamos firmemente na autonomia do utilizador e vamos rever cada pedido o mais rapidamente possível.

Além dos dois componentes do sistema de verificação cruzada, também temos um sistema interno de prevenção de erros chamado revisão múltipla dinâmica (DMR). Este é um sistema que nos permite enviar processos revistos para uma nova revisão de modo a obter um voto maioritário sobre uma decisão (por exemplo, se a maioria dos revisores concordar com a decisão, o processo é encerrado), para termos uma maior confiança na adequação. Utilizamos este sistema para melhorar a qualidade e a precisão da revisão humana e mitigar o risco de decisões incorretas. Ajustamos o número de revisões necessárias para a decisão final com base em vários fatores diferentes, como a viralidade, o número de visualizações e o potencial para contribuir para danos (por exemplo, potenciais infrações das nossas políticas sobre exploração sexual ou pessoas e organizações perigosas).

Intervenções futuras de transparência de verificação cruzada

Em resposta à decisão de dezembro de 2022 do Conselho de Supervisão sobre a recomendação do parecer consultivo sobre políticas da verificação cruzada, também nos comprometemos a realizar uma série de intervenções de transparência para a prevenção de erros. Estas intervenções incluem:

A interação estruturada e robusta com as nossas equipas internas de Direitos Humanos e Civis, os nossos Parceiros de Confiança e outras organizações externas da sociedade civil para explorar formas de informar os critérios que utilizamos para identificar entidades de interesse público para listas de verificação cruzada.
A exploração de um processo mais formal de nomeação de listas de verificação cruzada de grupos da sociedade civil globais, regionais e locais.
O investimento na revisão de qualidade e recursos de formação à medida que contratamos revisores que falam o idioma e têm experiência regional para todas as decisões de verificação cruzada, sempre que possível.
A implementação de acordos de nível de serviço (SLA) para decisões de revisão em todos os nossos sistemas de prevenção de erros, o que nos permite otimizar o nosso modelo atual de contratação de revisores para obter uma revisão para idiomas específicos o mais rapidamente possível.

Apesar de termos realizado melhorias significativas ao sistema de verificação cruzada, ainda estamos à procura de formas de garantir que este sistema equilibra de forma adequada os nossos objetivos de remoção de conteúdos que infringem os nossos Padrões da Comunidade, enquanto garantimos que minimizamos os erros de aplicação das regras que têm maior impacto.