Melhorar a medição

ATUALIZADO 19/01/2022
Estamos continuamente a avaliar as nossas métricas para sabermos como podemos melhorar a medição no nosso Relatório de Aplicação dos Padrões da Comunidade.
Também continuamos a rever os nossos processos e políticas e as metodologias inerentes. Quaisquer mudanças aos mesmos alteram inerentemente os cálculos das métricas. Estas alterações a metodologias ou processos podem ocorrer em adição a tendências que indiquem que estamos a melhorar ou a piorar o nosso desempenho na mitigação de infrações.
Qualidade das informações, atualizações e correções
À medida que os nossos processos de medição se consolidam, revemos e validamos regularmente as nossas métricas. Também estabelecemos um conjunto de normas que regem a forma como identificamos, corrigimos e comunicamos publicamente os ajustes a dados anteriormente divulgados.
Identificamos potenciais problemas com os nossos dados através de uma série de controlos de qualidade regulares aos nossos conjuntos de dados, às ferramentas de medição e aos sistemas de registo. Quando um potencial problema é identificado, as equipas relevantes da Meta realizam uma série de passos para investigar, mitigar e identificar correções a longo prazo para o problema.
Após o problema ser devidamente resolvido, a Meta vai atualizar os dados no Relatório de Aplicação dos Padrões da Comunidade. Quando essas correções forem significativas, a Meta vai descrever o problema, as métricas afetadas e os períodos de tempo que sofreram um impacto.
Correções e ajustes
Por que desenvolvemos processos de qualidade das informações
Estamos empenhados em partilhar de forma transparente as nossas métricas e os processos que utilizamos para o cálculo e a otimização dos mesmas. Para simplificar e gerir melhor o lançamento de ajustes e correções às nossas metodologias e métricas, desenvolvemos um procedimento de qualidade das informações para identificar, retificar e comunicar publicamente quaisquer ajustes que fazemos a informações anteriormente divulgadas. Trata-se de uma prática comum em grandes agências de estatísticas e relatórios de entidades públicas que foi desenvolvido de acordo com as práticas recomendadas para relatórios de dados nos setores público e privado. Estas revisões e estes procedimentos que desenvolvemos vão ser fundamentais para manter a exatidão e a integridade dos nossos relatórios de ora em diante.
Estamos sempre a avaliar e a validar as nossas métricas e garantimos que as informações que partilhamos são corretas e que as metodologias que geram estes dados são sólidas. No decorrer do nosso trabalho, quando atualizamos as nossas metodologias ou ajustamos as métricas, vamos partilhar aqui estas alterações.
Como avaliamos e melhoramos as nossas métricas
Estamos sempre a melhorar os nossos processos e as nossas metodologias para fornecer os números mais significativos e corretos sobre como aplicamos as nossas políticas. No verão de 2019, implementámos processos de qualidade das informações que criam controlos adicionais para garantirmos que partilhamos métricas válidas e consistentes.
Identificar cenários prioritários para confirmar a validade
Identificamos as diferentes dimensões de cada métrica e desenvolvemos uma atribuição de prioridades de risco dos segmentos que podem ter um impacto significativo para as métricas. No caso dos segmentos nesta lista de prioridades, implementamos diversas verificações para garantir que os mesmos estão a capturar as informações com exatidão.
Por exemplo, dividimos as nossas métricas de conteúdos em relação aos quais foram tomadas medidas em várias dimensões de revisão. Por exemplo, separamos os conteúdos com base em se a ação foi efetuada pelos nossos sistemas automáticos ou por meio de revisão humana, o que nos levou a efetuar a ação e o tipo de conteúdos (fotos, texto, vídeo) em relação ao qual tomámos medidas.
Com estas diferentes dimensões, avaliamos quanto viés seria introduzido na nossa medição se essa dimensão não tivesse sido corretamente representada na métrica (por exemplo, se não incluíssemos conteúdos de vídeo nas nossas métricas). Estas avaliações permitem-nos identificar dimensões que podem afetar a métrica (nomeadamente se houve intervenção humana).
Em seguida, calculamos até que ponto a métrica podia ser afetada se essa dimensão estivesse incorreta (por exemplo, se não tivéssemos registado nenhum dos conteúdos em relação aos quais seres humanos tomaram medidas). Por último, damos prioridade aos cenários de maior risco para realizar verificações adicionais. Nestas combinações de maior risco, desenvolvemos sistemas adicionais de monitorização e verificação para garantir que estas métricas são estimadas de forma correta.
Verificações de consistência e validade
Também implementámos verificações de consistência para conferir maior validação às nossas métricas. Estas incluem:
Periodicamente, medimos as nossas ações num sistema separado e independente que mede as medidas tomadas em relação a conteúdos. Verificamos com regularidade estas diversas métricas independentes que servem para identificar erros significativos na nossa contabilização.
Realizamos uma série de verificações pontuais aleatórias para verificar a exatidão dos nossos sistemas de medição praticamente em tempo real. Isto inclui verificar os diversos resultados que ocorrem posteriormente no nosso sistema para verificar os resultados a montante. Por exemplo, confirmamos que os conteúdos para os quais foi apresentado recurso são também registados como conteúdos em relação aos quais foram tomadas medidas, uma vez que, para que haja recurso, é necessário serem tomadas medidas. Muitas destas verificações destinam-se a identificar erros significativos, como conteúdos para os quais foi apresentado recurso, mas que nunca foram removidos.
À semelhança dos outros aspetos dos relatórios de aplicação dos padrões, vamos continuar a evoluir e a melhorar os nossos processos de revisão de consistência e validade ao longo do tempo.
Procedimentos internos de revisão e correção
Também estabelecemos procedimentos para identificar e corrigir as informações anteriormente partilhadas no nosso relatório de aplicação dos padrões, o qual vamos rever e atualizar com regularidade. Quando identificamos potenciais problemas em métricas partilhadas no Relatório de Aplicação dos Padrões da Comunidade, seguimos estes passos:
  • Criar relatórios. Se for descoberto um potencial problema, as nossas equipas enviam de imediato um relatório de incidentes que alerta as equipas competentes para começar a investigar o problema.
  • Investigar e mitigar. As equipas relevantes reveem o potencial problema, fazem alterações imediatas para prevenir outros problemas de consistência quando necessário e desenvolvem soluções para evitar o problema no futuro.
  • Dimensionar o problema. As equipas relevantes reveem o potencial problema, fazem alterações imediatas para prevenir outros problemas de consistência quando necessário e desenvolvem soluções para evitar o problema no futuro.
  • Revisão do incidente após a ocorrência. Após o problema ser mitigado, realizamos uma revisão interna detalhada para identificar as causas e o impacto total do problema. Isto permite-nos identificar os riscos mais abrangentes à validade da nossa medição, para que os possamos prevenir ou minimizar.
Ajustes aos relatórios
Depois de identificarmos um problema e ajustarmos a métrica em questão, comunicamos publicamente a correção ao atualizar esta publicação aquando do lançamento posterior do Relatório de Aplicação dos Padrões da Comunidade. Nessa atualização, descrevemos o problema, as métricas afetadas e os períodos de tempo afetados que sofreram um impacto. Os dados dos trimestres anteriormente afetados no Relatório de Aplicação dos Padrões da Comunidade vão incluir quaisquer métricas ajustadas, quando tal for exequível, para garantir que as comparações ao longo do tempo são significativas.
Procurar opiniões e expandir as métricas que comunicamos
Além do trabalho que fazemos internamente para avaliar e melhorar as nossas métricas, também procuramos opiniões externas sobre as nossas metodologias e expandimos as métricas que comunicamos, de forma a dar um panorama mais robusto do nosso desempenho na aplicação das nossas políticas.
Avaliação de metodologias e opiniões
Para garantirmos que os nossos métodos são transparentes e que se baseiam em princípios rigorosos, procuramos análises e opiniões de especialistas na matéria em áreas como se as métricas que fornecemos são ou não informativas.
Para garantir que a nossa abordagem à medição da aplicação das regras de conteúdos foi significativa e correta, trabalhámos com o Data Transparency Advisory Group (DTAG), um grupo externo de especialistas académicos internacionais em medição, estatísticas, criminologia e governança. Em maio de 2019, o grupo deu-nos uma avaliação pública e independente relativamente a se as métricas que partilhamos no Relatório de Aplicação dos Padrões da Comunidade fornecem medições corretas e significativas de como aplicamos as nossas políticas, bem como os desafios que enfrentamos neste trabalho e o que fazemos para os resolver. No geral, apurou que as nossas métricas são formas razoáveis de medir as infrações e estão de acordo com as práticas recomendadas. Também forneceu diversas recomendações, que debatemos em detalhe e continuamos a explorar, sobre como podemos continuar a ser mais transparentes sobre o nosso trabalho. Além disto, a Meta comprometeu-se a fazer uma auditoria independente das métricas partilhadas neste relatório em 2021.
Consultar o mais recente Relatório de Aplicação dos Padrões da Comunidade