測定方法の改善

更新日 2022/01/19
Facebookは、コミュニティ規定施行レポートにおける測定方法の改善のため、現在使用している指標を継続的に査定しています。
また、弊社のポリシーやプロセス、それらの基盤となる方法論についても、継続的に見直しています。いずれの要素の変更も、指標の算出方法自体に影響を与えます。弊社が違反コンテンツの影響を軽減できているかどうかの改善傾向に加え、指標はこういった方法論やプロセスの変更にも影響されます。
情報の品質、アップデートおよび修正
測定プロセスの成熟に伴い、弊社は指標のレビューおよび検証を定期的に行っています。また、過去にリリースされたデータを特定し、修正し、その調整について公表するしくみを定める一連の規定も制定しています。
弊社は、データセット、測定ツールおよび記録システムに対し広範囲にわたり定期的な品質チェック行うことで、データの潜在的な問題点を特定します。潜在的な問題点が特定された場合、Metaの関連チームは、問題点を調査、軽減し、その長期的な改善について明確にする一連の手順を実施します。
問題への対処が行われると、Metaはコミュニティ規定施行レポートのデータを更新します。この修正が有意義なものである場合、Metaは、問題点、影響を受ける指標や期間について説明します。
修正および調整
情報品質プロセスの策定理由
Facebookは、弊社が使用する指標、さらには指標の算出と改善のためのプロセスを透明性をもって共有することに全力で取り組んでいます。手法や指標に対する調整・修正のリリースについて合理化を図り、これらをより適切に管理できるよう、弊社は、過去にリリースされた情報に対し行った調整を特定し、是正し、公表するための情報品質手続きを策定しました。この手続きは、大規模な統計機関や連邦政府機関の公開レポートにおいて一般に用いられるやり方であり、公共部門および民間部門両方のデータ報告に関するベストプラクティスに沿って策定されています。弊社が確立したこうしたレビューおよび手続きは、今後、報告の正確性と完全性を維持していくのに重要な役割を果たすでしょう。
指標については絶えず評価と検証を行い、公表している情報が正確で、データの生成手法が健全であるよう万全を期しています。この取り組みの一環として、手法のアップデートや指標の調整があった際には、こちらのページで変更について公開します。
指標の評価・改善方法
弊社は、ポリシーの施行状況に関する最も有意義で正確な数値を提示すべく、用いるプロセスと手法を絶えず改良しています。2019年の夏には、有効かつ一貫性のある指標の共有を徹底するために、さらなるチェックとバランスを生み出す情報品質プロセスを実施しました。
有効性の確認において優先するシナリオの特定
Facebookは各指標のさまざまな要素を特定し、指標に重大な影響を及ぼし得るセグメントに関するリスク優先順位を策定しています。優先リストにあるセグメントについては、当該セグメントでの情報把握が正確であるよう徹底するため、複合チェックを行います。
例えば、措置を講じたコンテンツの指標を、レビューすべき複数の要素に分類しており、自動システムと人間の審査担当者のうちいずれが措置を講じたか、措置を講じた要因、措置を講じたコンテンツの種類(写真、テキスト、動画)などに基づきコンテンツを分けています。
さまざまな要素に分類した上で、その要素が指標で正確に表されていない場合(例えば、指標に動画コンテンツが含まれていない場合)に、測定にどの程度の偏りが生じ得るかを評価します。こうした評価により、指標に影響を及ぼし得る要素(人間が措置を講じたかどうかなど)を特定することができます。
こうして、その要素に誤りがあった場合(人間が措置を講じたコンテンツを弊社が記録していなかった場合など)に、指標にどの程度の影響が及ぶか把握することができます。そして、リスクが最も大きくなるシナリオを優先して、追加のクロスチェックを行います。こうしたリスクの高い組み合わせについては、指標の推定が正確に行われるよう、追加のトラッキングおよびクロスチェックを行う体制を強化しています。
妥当性と一貫性の確認
弊社では一貫性の確認も実施し、指標の妥当性を強化しています。以下にその例を示します。
コンテンツに対する措置を測定する別個の独立したシステムを用いて、措置について定期的に測定しています。また、計算法の大きな誤りを特定することを目的としたさまざまな個別の指標を、定期的に確認しています。
さまざまな無作為抽出検査を実施し、ほぼリアルタイムで、測定システムの正確性を検証しています。これには、後にシステムに生じるさまざまな結果を確認し、上流工程の結果を再確認することが含まれます。例えば、異議申し立てのあったコンテンツが、措置を講じられたコンテンツとしても記録されていることを確認します。異議申し立てが行われるには、前提として措置が講じられているはずだからです。こうした確認の多くは、異議申し立てがあったものの一度も削除されていなかったコンテンツなど、大きな誤りを特定することを目的としています。
妥当性および一貫性の確認プロセスについては、規定施行レポートのあらゆる側面と同様に、徐々に発展、向上させていきます。
内部レビューおよび修正手続き
弊社は、施行レポートで過去に公開した情報を特定、修正するための手続きも定めました。この手続きについては、定期的にレビューし、更新していきます。コミュニティ規定施行レポートで公開した指標において潜在的な問題を特定した場合、弊社は以下の手順に従います。
  • 報告:潜在的な問題が見つかった場合、弊社のチームは直ちに、調査を開始するよう関連チームに注意喚起するインシデント報告を提出します。
  • 調査と軽減:関連チームは、潜在的な問題を確認し、必要に応じて、さらに一貫性に関する問題が生じるのを防ぐために直ちに変更を行い、今後問題が生じるのを回避するための解決策を考えます。
  • 問題の評価:関連チームは、潜在的な問題を確認し、必要に応じて、さらに一貫性に関する問題が生じるのを防ぐために直ちに変更を行い、今後問題が生じるのを回避するための解決策を考えます。
  • 事後的なインシデントレビュー:問題が収まったら、根本原因および問題による全体的な影響を特定するために詳細な内部レビューを実施します。こうすることで、測定の妥当性に対する幅広いリスクを特定することができ、そうしたリスクを防止、軽減することができます。
調整の報告
ある問題を特定し、その影響を受ける指標を調整した場合、コミュニティ規定施行レポートの次の公開時に、投稿を更新することで修正について公表します。この更新においては、問題点、影響を受ける指標、影響を受ける期間について説明します。経時比較が有意義なものとなるよう、可能な場合には、そのコンテンツ規定施行レポートに掲載されるデータのうち、影響を受ける過去の四半期に関するものは、調整済みの指標を織り込んで作成されます。
意見提供の依頼および報告する指標の拡大
指標を社内で評価し改善させる取り組みに加え、ポリシーの施行状況に関してよりしっかりした説明をするため、弊社の手法に対する外部からの意見提供も受け入れるとともに、報告対象の指標を拡大します。
手法の評価および意見提供
透明性があり、健全な原則に基づいた手法を弊社が確実に取れるよう、弊社が提示する指標が有益であるかどうかなどについて、対象分野の専門家からの分析と意見提供を求めます。
コンテンツへの施行の測定に対するアプローチが有意義かつ正確なものとなるよう、弊社は、効果測定、統計、犯罪学、ガバナンスの分野における国際的な学識経験者の外部団体であるData Transparency Advisory Group (DTAG)と提携しました。2019年5月、DTAGは、コミュニティ規定施行レポートで弊社が公開する指標がポリシーの施行状況に関する正確で有意義な尺度であるか、さらにはこうした作業において弊社が直面する課題と、課題に対処するための行動について、独自の評価を公開しました。総じて、DTAGは弊社の指標が違反を測定するのに合理的な方法であり、ベストプラクティスに沿ったものだと判断しました。また、DTAGによって、取り組みに関して継続的に透明性を増すための推奨事項がいくつか提示されました。これについては弊社で詳細を協議しましたが、今後も模索を続けていきます。これに加え、Metaは、本レポートで公開される指標の独立監査を2021年に実施することを約束しています。
最新のコミュニティ規定施行レポートを読む