L’amélioration des mesures

MIS À JOUR 19 JANV. 2022
Nous évaluons continuellement nos indicateurs dans notre rapport d’application des Standards de la communauté pour apprendre à améliorer nos techniques de mesure.
Nous continuons également à examiner nos règles et nos procédés, ainsi que les méthodologies s’y rapportant. Toute modification dans ces domaines modifie intrinsèquement les calculs des indicateurs eux-mêmes. Ces modifications des méthodologies et des procédés peuvent venir compléter des tendances indiquant que nous parvenons à limiter les infractions avec plus ou moins d’efficacité.
Qualité, mises à jour et corrections des informations
À mesure que nos procédés évoluent, nous examinons et validons régulièrement nos indicateurs. Nous avons également établi un ensemble de standards qui régissent la manière dont nous identifions, corrigeons et rendons public tout ajustement de données précédemment publiées.
Nous identifions les problèmes potentiels liés à nos données à l’aide d’une série de contrôles qualité périodiques de nos ensembles de données, de nos outils de mesure et de nos systèmes d’enregistrement. Lorsqu’un problème potentiel est identifié, les équipes Meta compétentes suivent une série d’étapes pour examiner et limiter le problème, ainsi qu’identifier des solutions à long terme.
Une fois le problème résolu, Meta met à jour les données dans le rapport d’application des Standards de la communauté. Si les corrections apportées sont intéressantes, Meta décrira le problème, les indicateurs affectés et les périodes concernées.
Corrections et ajustements
Pourquoi avons-nous mis au point des procédures de qualité de l’information ?
Nous nous engageons à partager de manière transparente nos indicateurs ainsi que les procédés auxquels nous avons recours pour les calculer et les améliorer. Afin de rationaliser et de mieux régir la publication des ajustements et des corrections apportés à nos méthodologies et à nos indicateurs, nous avons mis au point une procédure de qualité de l’information pour identifier, rectifier et rendre public tout ajustement apporté à des informations précédemment publiées. Il s’agit d’une pratique courante des grands organismes statistiques et des rapports publics des agences fédérales, qui a été élaborée conformément aux recommandations en matière de rapports de données dans les secteurs public et privé. Ces examens et procédures que nous avons mis au point seront essentiels pour maintenir l’exactitude et l’intégrité de nos rapports à l’avenir.
Nous évaluons et validons nos indicateurs en permanence. En outre, nous nous assurons que les informations que nous partageons sont exactes et que nos méthodologies de génération de ces données sont solides. Dans ce cadre, lorsque nous mettrons à jour nos méthodologies ou ajusterons nos indicateurs, nous partagerons ces modifications ici.
Comment évaluons-nous et améliorons-nous nos indicateurs ?
Nous affinons constamment nos procédés et nos méthodologies afin de fournir les chiffres les plus intéressants et les plus précis sur la manière dont nous appliquons nos politiques. Au cours de l’été 2019, nous avons mis en place des procédures de qualité de l’information qui créent des contrôles supplémentaires afin de nous assurer que nous partageons des indicateurs valides et cohérents.
Identifier les scénarios prioritaires pour confirmer la validité
Nous identifions les différentes dimensions de chaque indicateur et établissons un classement par ordre de priorité des risques des segments susceptibles d’influer considérablement sur les indicateurs. Pour les segments de cette liste prioritaire, nous procédons à plusieurs contrôles pour nous assurer que les informations sont captées avec précision.
Par exemple, nous répartissons nos indicateurs de contenu traité en plusieurs dimensions à examiner. Ainsi, nous séparons le contenu selon que l’examen automatique ou manuel soit intervenu, selon ce qui nous a amenés à intervenir et selon le type de contenu concerné (photo, texte ou vidéo).
À partir de ces différentes dimensions, nous évaluons les biais à introduire dans nos actions si cette dimension n’était pas correctement représentée dans l’indicateur (par exemple si nous n’avions pas inclus le contenu vidéo dans nos indicateurs). Ces évaluations nous permettent d’identifier les dimensions qui pourraient influer sur l’indicateur (comme le fait que les équipes d’examen soient intervenues).
Ensuite, nous déterminons dans quelle mesure l’indicateur pourrait être affecté si cette dimension était erronée (imaginons que nous n’avons pas enregistré le contenu soumis à l’intervention des équipes d’examen). Nous classons ensuite par ordre de priorité les scénarios les plus risqués pour effectuer des vérifications croisées supplémentaires. Pour ces combinaisons à haut risque, nous élaborons des systèmes supplémentaires de suivi et de vérification croisée pour nous assurer que ces indicateurs sont estimés correctement.
Contrôles de validité et de cohérence
Nous avons également mis en place des contrôles de cohérence pour renforcer la validation de nos indicateurs. Ces politiques et mesures comprennent notamment les éléments suivants :
Nous mesurons périodiquement nos interventions à l’aide d’un système distinct et indépendant qui mesure les interventions sur le contenu. Nous vérifions régulièrement ces différents paramètres indépendants destinés à identifier les erreurs importantes dans notre comptabilisation.
Nous effectuons une série de contrôles ponctuels aléatoires pour vérifier la précision de nos systèmes de mesure en temps presque réel. Cela inclut la vérification de divers résultats qui se produisent plus tard dans notre système afin de vérifier les résultats en amont. Par exemple, nous confirmons que le contenu qui fait l’objet d’une réclamation est également enregistré comme contenu soumis à une intervention, puisqu’il doit être soumis à une intervention pour pouvoir faire l’objet d’une réclamation. Bon nombre de ces vérifications sont destinées à identifier les erreurs importantes, comme les contenus qui font l’objet d’une réclamation, mais qui n’ont jamais été supprimés.
Comme pour tous les aspects de nos rapports d’application des standards, nous continuerons à faire évoluer et à améliorer nos procédures d’examen de la validité et de la cohérence au fil du temps.
Examen interne et procédure de correction
Nous avons également établi des procédures pour identifier et corriger les informations précédemment communiquées dans notre rapport d’application, que nous examinerons et mettrons à jour régulièrement. Lorsque nous identifions des problèmes potentiels liés aux indicateurs partagés dans le rapport d’application des Standards de la communauté, nous suivons ces étapes :
  • Génération de rapport : Si un problème potentiel est découvert, nos équipes remplissent immédiatement un rapport d’incident qui alerte les équipes compétentes pour qu’elles commencent à enquêter.
  • Enquêter et mettre sous contrôle. Les équipes compétentes examinent le problème potentiel, en apportant des modifications immédiates pour prévenir d’autres problèmes de cohérence si nécessaire, et en développant des solutions pour éviter le même problème à l’avenir.
  • Évaluer l’ampleur du problème. Les équipes compétentes examinent le problème potentiel, en apportant des modifications immédiates pour prévenir d’autres problèmes de cohérence si nécessaire, et en développant des solutions pour éviter le même problème à l’avenir.
  • Examen rétrospectif des incidents. Une fois le problème sous contrôle, nous effectuons un examen interne détaillé pour identifier les causes profondes et l’incidence totale du problème. Cela nous permet d’identifier les risques plus larges pour la validité de nos mesures afin de les prévenir ou de les minimiser.
Rapports d’ajustements
Une fois que nous aurons identifié un problème et ajusté l’indicateur concerné, nous communiquerons publiquement la correction en mettant à jour cette publication lors de la publication ultérieure du rapport d’application des Standards de la communauté. Dans cette mise à jour, nous décrirons le problème, les indicateurs affectés et les périodes concernées. Les données des trimestres précédemment affectés dans le rapport d’application des Standards de la communauté lui-même comprendront tout indicateur ajusté, si possible, afin de garantir que les comparaisons dans le temps sont intéressantes.
Rechercher des contributions et élargir les indicateurs que nous communiquons
En plus du travail que nous effectuons en interne pour évaluer et améliorer nos indicateurs, nous recherchons également des contributions externes sur nos méthodologies et élargissons les indicateurs que nous communiquons pour donner une image plus solide de la manière dont nous appliquons nos politiques.
Évaluation de la méthodologie et contributions
Pour garantir que nos méthodes sont transparentes et fondées sur des principes solides, nous sollicitons l’analyse et l’avis de spécialistes en la matière sur des questions telles que le caractère informatif des indicateurs que nous fournissons.
Afin de nous assurer que notre approche de la mesure de l’application du contenu était intéressante et précise, nous avons travaillé avec le Data Transparency Advisory Group (DTAG), un groupe externe de spécialistes universitaires internationaux en matière de mesure, de statistiques, de criminologie et de gouvernance. En mai 2019, ce groupe a rendu une évaluation indépendante et publique pour déterminer si les indicateurs que nous partageons dans le rapport d’application des Standards de la communauté fournissent de indicateurs précis et intéressants sur la manière dont nous appliquons nos politiques, ainsi que sur les défis auxquels nous faisons face dans ce cadre, et ce que nous faisons pour les relever. Dans l’ensemble, il a estimé que nos indicateurs constituaient des moyens raisonnables de mesurer les infractions et qu’ils étaient conformes aux recommandations. Il a également formulé un certain nombre de recommandations sur la manière dont nous pouvons continuer à faire preuve d’une plus grande transparence sur notre travail. Nous les avons discutées en détail et continuons à les explorer. En outre, Meta s’est engagée à réaliser un audit indépendant des indicateurs partagés dans ce rapport en 2021.
Consultez le dernier rapport d’application de nos Standards de la communauté