Melhorias na mensuração

ÚLTIMA ATUALIZAÇÃO 19 DE JAN DE 2022
Avaliamos continuamente nossas métricas para saber como podemos melhorar a mensuração no nosso Relatório de Aplicação de Padrões da Comunidade.
Também analisamos com frequência nossas políticas e processos, bem como as metodologias por trás deles. As mudanças em qualquer um deles alteram inerentemente os próprios cálculos das métricas. Essas mudanças na metodologia ou no processo podem ser complementares às tendências que indicam que estamos melhorando ou piorando na redução de violações.
Qualidade nas informações, atualizações e correções
Conforme nossos processos de mensuração se desenvolvem, analisamos e validamos com frequência nossas métricas. Também estabelecemos um conjunto de padrões que regem como identificamos, corrigimos e relatamos publicamente quaisquer ajustes aos dados divulgados anteriormente.
Identificamos possíveis problemas com nossos dados usando uma série de verificações de qualidade regulares nos nossos conjuntos de dados, ferramentas de mensuração e sistemas de registro. Quando um possível problema é identificado, as equipes correspondentes da Meta seguem uma série de etapas para investigar, mitigar e identificar soluções a longo prazo para o problema.
Assim que o problema for resolvido, a Meta atualizará os dados no Relatório de Aplicação de Padrões da Comunidade. Quando tais correções forem significativas, a Meta descreverá o problema, as métricas afetadas e os períodos atingidos.
Correções e ajustes
Por que desenvolvemos processos de qualidade da informação
Temos o compromisso de compartilhar de forma transparente nossas métricas, bem como os processos que usamos para calculá-las e melhorá-las. Para agilizar e controlar melhor os ajustes e correções em nossas metodologias e métricas, desenvolvemos um procedimento de qualidade da informação para identificar, retificar e relatar publicamente quaisquer ajustes que fizermos nas informações divulgadas anteriormente. Esta é uma prática comum em grandes agências de estatística e relatórios públicos de agências federais e foi desenvolvida de acordo com as boas práticas de relatórios de dados nos setores público e privado. Essas análises e procedimentos desenvolvidos serão essenciais para manter a precisão e a integridade de nossos relatórios daqui para frente.
Avaliamos e validamos com frequência nossas métricas e garantimos que as informações compartilhadas sejam precisas e que nossas metodologias para gerar esses dados sejam sólidas. Como parte desse trabalho, quando atualizarmos nossas metodologias ou ajustarmos as métricas, compartilharemos essas mudanças aqui.
Como avaliamos e melhoramos nossas métricas
Aprimoramos com frequência os processos e metodologias para fornecer os números mais significativos e precisos sobre como aplicamos nossas políticas. Durante o verão de 2019, implementamos processos de qualidade da informação que criam mais verificações e estimativas para garantir o compartilhamento de métricas válidas e consistentes.
Identificação de cenários de prioridade para confirmar a validade
Identificamos diferentes dimensões de cada métrica e desenvolvemos uma priorização de risco de segmentos que podem afetar significativamente as métricas. Para os segmentos nesta lista priorizada, implementamos várias verificações para garantir que esses segmentos capturem as informações com precisão.
Por exemplo, dividimos nossas métricas de conteúdo com medidas tomadas em várias dimensões para análise. Por exemplo, separamos o conteúdo com base na ação de nossos sistemas automatizados ou analistas humanos, o que nos levou a agir e em que tipo de conteúdo (fotos, texto, vídeo) agimos.
Com essas diferentes dimensões, avaliamos qual a tendência seria introduzida na nossa mensuração se essa dimensão não fosse representada corretamente na métrica (por exemplo, se não incluíssemos conteúdo de vídeo em nossas métricas). Essas avaliações nos permitem identificar dimensões que podem impactar a métrica (por exemplo, se os humanos tomaram medidas).
Depois, entendemos quanto a métrica poderia ser afetada se essa dimensão estivesse errada (digamos que não registramos nenhum dos conteúdos sobre os quais os humanos tomaram medidas). Priorizamos os cenários de maior risco para fazer outras verificações cruzadas. Para essas combinações de alto risco, desenvolvemos sistemas de rastreamento e verificação cruzada para garantir que essas métricas sejam estimadas corretamente.
Verificações de validade e consistência
Também implementamos verificações de consistência para adicionar mais validação às métricas. Inclua as seguintes informações:
Periodicamente, mensuramos nossas ações com um sistema separado e independente que avalia as ações de conteúdo. Regularmente, verificamos essas diversas métricas independentes que visam identificar grandes erros na nossa contabilidade.
Realizamos uma série de verificações aleatórias para analisar a precisão de nossos sistemas de mensuração quase em tempo real. Isso inclui a verificação de vários resultados que aparecem posteriormente no nosso sistema para analisar os resultados acima. Por exemplo, confirmamos que o conteúdo com apelações também é registrado como conteúdo com medidas tomadas, uma vez que o conteúdo deve ter medidas tomadas para sofrer apelação. Muitas dessas verificações têm como objetivo identificar grandes erros, como conteúdo com apelação, mas que nunca foi removido.
Como acontece com todos os aspectos dos nossos relatórios de aplicação de padrões, continuaremos a evoluir e melhorar os processos de análise de validade e consistência ao longo do tempo.
Procedimentos de correção e análise interna
Também estabelecemos procedimentos para identificar e corrigir informações previamente compartilhadas no nosso relatório de aplicação, que analisaremos e atualizaremos com regularidade. Quando identificamos possíveis problemas nas métricas compartilhadas no Relatório de Aplicação de Padrões da Comunidade, seguimos estas etapas:
  • Relatórios. Se um possível problema for encontrado, nossas equipes registram imediata um relatório de incidente que alerta as equipes para começar a investigar o problema.
  • Investigação e mitigação. As equipes apropriadas analisam o possível problema, fazendo alterações imediatas para evitar mais problemas de consistência, quando necessário, e desenvolvendo soluções para evitar problemas no futuro
  • Dimensionar o problema. As equipes apropriadas analisam o possível problema, fazendo alterações imediatas para evitar mais problemas de consistência, quando necessário, e desenvolvendo soluções para evitar problemas no futuro.
  • Análise pós-incidente. Assim que o problema for mitigado, realizamos uma análise interna detalhada para identificar as causas raízes e o impacto total do problema. Isso nos permite identificar riscos mais amplos para a validade de nossa mensuração para que possamos evitá-los ou minimizá-los.
Ajustes de relatórios
Assim que identificarmos um problema e ajustarmos a métrica afetada, informaremos publicamente a correção pela atualização do post no momento do lançamento subsequente do Relatório de Aplicação de Padrões da Comunidade. Nessa atualização, descreveremos o problema, as métricas afetadas e os períodos afetados. Os dados dos trimestres afetados anteriormente no próprio Relatório de Aplicação de Padrões da Comunidade incluirão quaisquer métricas ajustadas, quando viável, para garantir que as comparações ao longo do tempo sejam significativas.
Busca de informações e expansão das métricas informadas
Além do trabalho que fazemos internamente para avaliar e melhorar nossas métricas, também buscamos contribuições externas sobre nossas metodologias e expandimos as métricas que relatamos para oferecer uma imagem mais robusta de como estamos fazendo no cumprimento das nossas políticas.
Entrada e avaliação da metodologia
Para garantir que nossos métodos são transparentes e baseados em princípios sólidos, buscamos análises e contribuições de especialistas no assunto em áreas, tais como se as métricas que fornecemos são informativas.
Para garantir que nossa abordagem que mensura a aplicação de conteúdo fosse significativa e precisa, trabalhamos com o Grupo Consultivo de Transparência de Dados (DTAG), um grupo externo de especialistas acadêmicos internacionais em mensuração, estatística, criminologia e governança. Em maio de 2019, eles forneceram uma avaliação pública independente para saber se as métricas compartilhadas no Relatório de Aplicação de Padrões da Comunidade apresentam medidas precisas e significativas de como aplicamos nossas políticas, bem como os desafios que enfrentamos neste trabalho e o que fazemos para abordá-los. No geral, eles consideraram nossas métricas formas razoáveis de mensurar as violações e de acordo com as boas práticas. Também fizeram diversas recomendações sobre como podemos continuar a ser mais transparentes sobre nosso trabalho, sobre o qual discutimos em detalhes e continuamos a analisar. Além disso, a Meta se comprometeu com uma auditoria independente das métricas compartilhadas neste relatório em 2021.
Veja o mais recente Relatório de Aplicação de Padrões da Comunidade