误判量

更新日期 2025年12月11日
什么是误判量
误判量旨在衡量 Facebook 和 Instagram 上被政策执行系统或人工审核员错误移除的非违规内容总量。与以百分比为计量单位的政策执行精确度不同,误判量是一个估算数值,用于量化政策执行错误产生的实际影响。
除此之外,也可以从另一个角度来理解误判量:我们有多少次错误移除了实则符合我们社群守则的内容?这项指标有助于我们了解意外失误所造成后果的严重程度,以及因政策执行错误而受到影响的用户或创作者数量。
如何衡量误判量
误判量的估算方法为,将同期内的被处理内容量与实测精确度相乘计算得出。尽管了解平台的整体精确度能最准确地反映出处理量最高的领域,但我们并不会直接用它来计算误判量。相反,我们会在平台的较小子集中衡量精确度,然后将这些精确度值与相应的政策执行处理量相乘,计算出各子集的误判量。之后再将每个子集的误判量汇总,得出整个平台的总误判量。
例如,社群守则执行情况报告显示,我们每季度以垃圾信息为由对 Facebook 上的数亿条内容采取政策执行处理措施,而以暴力与煽动暴力为由处理的内容数量不足 1,000 万条。在这种情况下,不宜将垃圾信息政策执行的总体精确度套用于暴力与煽动暴力内容的处理量统计。因此,我们会针对这两类有害内容分别衡量精确度,然后根据各有害内容的精确度计算出相应有害内容的误判量,最终汇总得出 Facebook 的总误判量。
如果某个特定细分维度的样本量不足以可靠计算精确度,则采用下一个最接近的汇总级别的精确度。
我们为什么要衡量误判量
我们通过衡量误判量来了解政策执行失误对我们社群的实际影响。误判意味着用户或创作者受到了不当处理的影响,这可能会损害信任并引发挫败感。
追踪这一指标有助于我们:
  • 评估政策执行系统的有效性与公平性。
  • 及时发现自动化系统或政策调整导致失误增多(或减少)的情况。
  • 优先考虑改进,逐步降低失误发生率。
导致误判量变化的原因有哪些?
误判量会随着 Meta 可控及不可控的多种因素而增减浮动:
  • 政策执行活动的变化:如果被处理内容的总量增加,即使政策执行的精确度保持稳定,误判量也会随之增加。
  • 季节性或事件驱动型峰值:重大事件或恶意攻击可能会导致政策执行处理量暂时性增加,进而使误判量相应增加。
  • 检测能力改进:检测模型升级或审核员培训强化可提升政策执行的精确度,减少相同处理量下的误判率。
注意事项
由于误判量是基于精确度衡量结果计算得出,所有精确度相关注意事项同样也适用于误判量。