Como funciona a tecnologia de monitoramento
ÚLTIMA ATUALIZAÇÃO 12 DE NOV DE 2024
Criar modelos e fazer previsões
O processo começa com nossas equipes de inteligência artificial. Elas criam modelos de machine learning que podem executar tarefas, como reconhecimento do conteúdo de uma foto ou a compreensão de texto. Em seguida, nossas equipes de integridade, responsáveis por encaminhar a detecção e aplicar nossas políticas, se baseiam nesses modelos para criar outros mais específicos que fazem previsões sobre pessoas e conteúdos. Essas previsões nos ajudam a aplicar nossas políticas.
Por exemplo, um modelo de IA prevê se um conteúdo é discurso de ódio ou conteúdo violento e explícito. Um sistema separado, nossa tecnologia de monitoramento, determina se é preciso tomar alguma medida, como excluir, rebaixar ou enviar o conteúdo para uma equipe de análise humana para análise adicional.
Aprendendo por repetição, verificado por humanos
Quando criamos tecnologia de monitoramento de conteúdo, nós a treinamos para identificar determinados sinais. Por exemplo, algumas tecnologias procuram por nudez nas fotos, enquanto outras aprendem a compreender textos. A princípio, um novo tipo de tecnologia pode ter pouca confiança em relação à violação das nossas políticas por um conteúdo.
As equipes de análise podem então tomar a decisão final, e a nossa tecnologia pode aprender com cada decisão humana. Com o tempo, depois de aprender com milhares de decisões humanas, a tecnologia se torna mais precisa.
Nossas políticas também evoluem com o tempo para acompanhar as alterações no nosso produto, nas normas sociais e no idioma. Como resultado, o treinamento da nossa tecnologia e das equipes de análise é um processo gradual e iterativo.
Detectando violações recorrentesA tecnologia é muito boa na detecção de conteúdo recorrente, milhões de vezes se necessário. Nossa tecnologia tomará medidas em relação a um conteúdo se ele for igual a outro conteúdo violador ou bem parecido com ele. Isso é útil principalmente em campanhas de desinformação, memes e outros conteúdos virais que podem se espalhar de forma extremamente rápida.
Fazer distinções sutis
A tecnologia pode encontrar e remover o mesmo conteúdo repetidamente. Mas, é um grande desafio fazer uma máquina compreender as nuances na escolha de palavras ou como pequenas diferenças podem mudar o contexto.
A primeira imagem é o conteúdo enganoso original, que inclui desinformação sobre segurança da saúde pública.
A segunda imagem é uma captura de tela da primeira, desta vez com a barra de menus do computador na parte superior.
Finalmente, a terceira imagem parece extremamente semelhante à primeira e à segunda, mas ela tem duas pequenas alterações de palavra que tornam a manchete precisa e não mais falsa.
Os humanos compreendem isso de forma claramente fácil, mas para a tecnologia essa compreensão é difícil. Existe o risco de um dos lados cometer um grande erro. Se a tecnologia for muito agressiva, removerá milhões de posts que não são violadores. Se não for suficientemente agressiva, considerará a captura de tela com a barra de menus diferente do original e não tomará medidas em relação ao conteúdo.
Passamos muito tempo trabalhando nisso. Nos últimos anos, fizemos vários investimentos para ajudar nossa tecnologia a melhorar na detecção de diferenças sutis nos conteúdos. Ela fica mais precisa a cada dia e continua a aprender.
