Meta 如何确定内容审核的优先顺序

更新日期 2024年11月12日
Meta 的技术可以在用户举报前就检测到大部分违规内容并将其移除。当某用户在 Facebook、Instagram、Messenger 或 Threads 上发帖时，我们的技术会检测该内容是否违反了社群守则。在大多数情况下，检测出违规内容很简单。帖子要么明显违反了我们的政策，要么没有违规。
而在有些时候，检测会比较困难。也许该条帖子的情绪不明，语言表达特别复杂，或者要解读其中使用的图像，需要深度分析其背景信息。在这些情况下，我们会采用人工审核来深入分析。
决定人工审核优先顺序的因素
在决定人工审核团队应优先审核的内容时，我们主要考虑 3 个因素：
严重程度
这些内容在线上和线下造成伤害的可能性有多大？
传播度
这些内容被分享的速度有多快？
违规概率
这些内容实际上违反我们政策的概率有多高？
我们希望尽可能防止伤害事件的发生，因此，我们的审核系统会利用技术来优先审核有可能造成现实伤害的高危内容和正在迅速蔓延的热传内容。
人工审核团队助力技术提升
凭借在某些政策领域和地区的专业知识，我们的人工审核团队往往能在棘手的情况下做出精准判断。审核员做出的每一次决定，都为我们提供了信息来训练我们的技术。通过利用数以百万计的决定提供的信息，我们的技术将随着时间的推移不断完善，进而能够移除更多违规内容。
帮助审核员做出正确决定
通过发展技术，人工审核团队能够做他们最擅长的工作
像许多机器学习模型一样，随着时间的推移，我们的技术通过持续接收违规内容的例子而不断得到改进。这意味着人工审核团队已经能够重点关注严重的、热传的、微妙的、新出现的且复杂的内容，在这些方面，人工恰好能比技术做出更准确的决定。
关于内容审核优先顺序的常见问题
以往，人工审核团队的绝大部分时间都在审核用户举报的内容。这意味着他们往往在严重程度较低或明显不违规的内容上花费太多时间，而在具有最大潜在危害的高危内容上投入的时间不足。同时，这也意味着许多人工决定对改进我们的政策执行技术作用并不大。
我们目前的排序方法解决了这些问题，使我们能够优先审核潜在危害程度最高的内容，从而更快地提升我们的技术。
不一定。人工审核团队和技术在审核用户举报方面都发挥了作用。在我们的技术能够分析某条特定内容的情况下，系统将自动决定是否对涉事内容采取措施。
为解决在 Meta 技术解决方案中采用人工智能技术所涉及的公平和包容问题，我们专门组建了负责任人工智能 (Responsible AI) 团队，这是一个由伦理学家、社会和政治科学家、政策专家、人工智能研究员和工程师组成的跨学科团队。该团队的总体目标是制定指导方针、工具和流程，解决人工智能的责任问题，并确保这些系统性资源在整个 Meta 得到广泛应用。