提升衡量能力

更新日期 2022年1月19日
我们一直都在评估各项指标，力图了解可以如何改进社群守则执行情况报告中的衡量方式。
与此同时，我们还在不断审视我们的政策和程序，以及其中所使用的方法。对这之中任意一部分的更改都必然会改变指标计算本身。除了平台所呈现的各种趋势之外，这些方法或程序的变化也可能表明我们在减少违规内容方面是在进步还是退步。
信息质量、更新和更正
随着衡量流程的不断完善，我们会定期审视和验证所采用的指标。我们还确立了一套标准，用于规范应该如何确定、更正和公布对之前所发布数据的任何调整。
我们会定期对数据集、衡量工具和记录系统展开一系列质量检查，借此发现潜在的数据问题。在发现潜在问题后，Meta 的相关团队会采取一系列行动来调查问题、降低问题带来的影响和确定长期解决方案。
一旦问题得到解决，Meta 便会立即更新社群守则执行情况报告中的数据。如果此类更正比较重大，Meta 会说明问题、受影响的指标和受影响的时间段。
更正和调整
我们为什么要建立信息质量程序
我们致力于公开透明地分享我们的指标，以及我们用来计算和改进这些指标的程序。为了简化和更好地管理这些方法和指标调整与更正的发布，我们建立了一套信息质量程序，用于确定、更正和公布我们对之前所发布信息的任何调整。这种做法在大型统计机构和联邦机构的公开报告中很常见，并且我们的程序是根据公共部门和私营部门的数据报告最佳实践建立的。我们建立的这些审核和程序将对维持我们今后报告的准确性和完整性至关重要。
我们会不断评估和验证指标，确保所公布的信息准确无误，以及我们用来生成这些数据的方法合理可靠。在这个过程中，一旦我们更新方法或调整指标，我们会在此处公布变更内容。
我们如何评估和改进指标
我们一直在努力改进所使用的程序和方法，力求就我们如何执行政策提供最有意义且最准确的数据。2019 年夏季，我们实行的信息质量程序引入了更多检查和协调机制，旨在确保我们所分享的指标是有效、一致的。
制定风险优先排序列表，确保指标的有效性
我们会从各个维度剖析各项指标，并为可能显著影响指标的细分维度制定风险优先排序列表。对于这张优先排序列表中的细分维度，我们会展开多项检查，确保这些细分维度提供的信息准确无误。
例如，我们会将内容处理量指标分解成多个维度加以审视。比如说，我们在分析某条内容时，会考虑这几点：处理内容的是自动系统还是审核人员、是什么促使我们处理了内容，以及所处理的内容属于什么类型（例如，照片、文本、视频）。
多维度分析内容之后，我们就可以评估，如果某个维度在指标中没有得到正确反映（例如，如果我们没有在指标中纳入视频内容），会给我们的衡量结果引入多少偏差。通过这些评估，我们可以确定哪些维度可能会影响某个指标（例如，处理内容的是否是审核人员）。
之后，我们会分析如果该维度的信息出错（例如，系统未能记录由审核人员处理的内容），相关指标会受到多大的影响。然后我们会优先考虑风险最大的情形，进一步展开交叉检查。对于这些高风险组合，我们开发了其他追踪和交叉检查系统，确保这些指标的估算结果准确无误。
有效性和一致性检查
我们还实行了一致性检查流程，确保我们所采用的指标更有效。这些检查包括：
我们会定期通过一个独立系统来衡量所处理内容的情况。我们会经常检查这些不同的独立指标，从中发现统计中的重大错误。
我们会执行一系列随机抽查，近乎实时地验证衡量系统的准确性。这包括检查系统后续环节的各种结果，以此核实上游结果的准确性。例如，我们会确认用户提出申诉的内容是否也记录在了被处理内容中，因为用户只能就被处理内容提出申诉。很多这类检查都是为了发现重大错误，比如内容收到了申诉但从未被移除。
与社群守则执行情况报告的其他方面一样，未来，我们也会继续改进有效性和一致性检查程序。
内部审核和更正程序
我们会定期检查和更新之前在社群守则执行情况报告中分享的信息，为此，我们还建立了用于发现和更正这些信息的程序。在发现通过社群守则执行情况报告分享的指标可能存在问题时，我们会按以下步骤操作：
  • 报告。如果发现潜在问题，我们的团队会立即提交事件报告，提醒相关团队开始调查该问题。
  • 调查问题并减少影响。相关团队会审议潜在问题，并在必要时立即做出改变，以防出现更多一致性问题，同时制定解决方案避免将来再次发生此类问题。
  • 确定问题的大小。相关团队会审议潜在问题，并在必要时立即做出改变，以防出现更多一致性问题，同时制定解决方案避免将来再次发生此类问题。
  • 事后审核。在问题得到缓解后，我们会展开详细的内部审核，确定问题的根本原因和全面影响。通过这种方式，我们可以发现影响衡量结果有效性的更广泛风险，进而加以预防或最大限度减少其带来的影响。
报告调整
发现问题和调整受影响指标后，我们会在后续发布社群守则执行情况报告时更新此帖，公布所做出的更正。在更新中，我们会说明问题、受影响的指标和受影响的时间段。如果此前有些季度的社群守则执行情况报告中包含受此变更影响的数据，也会酌情纳入调整后的指标，确保对不同时间段的数据具有可比性。
寻求外部意见和增加所报告的指标
除了在内部评估和改进指标外，我们还会就所使用的方法寻求外部意见，同时也将努力增加目前所报告的指标，让人们对我们的政策执行工作有一个更深刻的了解。
方法评估和意见征询
为确保我们所使用的方法透明且所依据的原则合理，我们会就诸如我们提供的指标是否具备实用意义等问题，寻求行业专家的分析和意见。
为确保我们用来衡量内容政策执行情况的方法有意义且结果准确，我们与数据透明度咨询小组 (DTAG) 建立了合作关系，这是一个由衡量、统计、犯罪学和治理领域国际学术专家组成的外部小组。2019 年 5 月，他们围绕以下几个方面展开了一次独立、公开的评估：我们在社群守则执行情况报告中分享的指标能否准确、切实地衡量我们的政策执行情况；我们在这项工作中面临的挑战；以及我们可以如何应对这些挑战。总的来说，他们发现我们的指标是衡量违规内容的合理方法，并且符合最佳实践。他们还就我们可以如何进一步提高自身工作的透明度提出了一些建议，我们详细讨论了这些建议，未来还将继续探讨。除此之外，Meta 表示会在 2021 年对本报告中分享的指标开展一次独立审计。
查看最新一期的社群守则执行情况报告