false positive数
更新日 2025/12/11
誤判定数とは
false positive数は、Metaの施行システムや人間の審査担当者によって誤って削除された、FacebookまたはInstagramの違反でないコンテンツアイテムの合計数を示します。施行の精度はパーセンテージで表されますが、false positive数は、施行の誤りの実質的な影響を数値化した推定値です。
false positive数は、実際にはコミュニティ規定に準拠しているコンテンツを削除する措置を講じた回数として捉えることもできます。この指標は、意図しない結果の規模、および施行エラーの影響を受ける利用者やクリエイターの数を把握するのに役立ちます。
誤判定数の測定方法
false positive数は、措置を講じたコンテンツの数と、同じ期間の精度の測定値を組み合わせて推定されます。プラットフォーム全体の精度は、措置数が最も高い部分を正確に反映できますが、false positive数の計算に直接使用することは避けます。その代わり、プラットフォームのより狭いサブセットについて精度を測定し、その精度値を対応する施行量と組み合わせることで、そのサブセットにおけるfalse positive数を測定します。その後、false positive数の各サブセットを再度集計して、プラットフォーム全体のfalse positive数を算出します。
例えば、コミュニティ規定施行レポートによると、弊社は毎四半期、Facebook上の数億件ものコンテンツに対してスパムに関する施行措置を実施していますが、暴力と扇動に関して措置を実施しているのは1,000万件未満です。この場合、スパムに対する措置の全体的な精度を、暴力と扇動に対する措置の実施量に適用することは適切とは言えません。代わりに、両方の危害についてそれぞれ精度を測定した後、危害レベルの精度を使って危害別にfalse positive数を算出し、その合計をFacebookの最終的な合計値とします。
特定の詳細レベルで信憑性の高い精度を計算するのに十分なサンプルがない場合、利用可能な次の集計レベルでの精度を利用します。
誤判定数を測定する理由
弊社は、コミュニティに対する措置の誤りが現実世界でどのような影響を及ぼすかを把握するために、false positive数を測定しています。false positiveは、利用者やクリエイターが誤った措置の影響を受け、その結果、信頼を損ない、不満を生む可能性があることを意味します。
この指標をトラッキングすることで、次のことに役立ちます。
- Metaの施行システムの効果と公平性を評価する。
- 自動化システムやポリシーの変更により、判断の誤りが増えたか減った場合にそれを特定する。
- ミスが減るような改善を優先する。
false positiveの数が変化する原因
false positive数は、いくつかの要因によって増減する可能性があります。その要因には、Metaがコントロールできるものやできないものが含まれます。
- 施行アクティビティの変化: 全体的に措置が講じられたコンテンツが増加した場合、施行の精度が安定していても、false positiveの数は増加します。
- 季節的またはイベントに基づいた急増: 大規模なイベントや敵対的攻撃により、措置の強化が一時的に行われ、その結果、false positive数が増加します。
- 検出の改善: モデルの改善や審査担当者のトレーニングにより、施行の精度を向上させ、同数の措置でfalse positiveを削減することができます。
注意事項
false positive数は精度の測定から得られるため、精度に関する注意事項はすべてfalse positive数にも適用されます。