改善成效衡量

上次更新日期 2022年1月19日
我們會持續評估衡量數據，以了解如何改善我們在《社群守則執行狀況報告》中使用的衡量方式。
此外，我們也會持續審視政策和流程，以及背後採用的方法。任何這些方面的變動本來就會影響衡量數據的計算。在觀察我們在減少違規問題的表現是有所改善還是變差的趨勢時，可能會受到上述方法或流程上的變動影響。
資料的品質、更新和更正
隨著我們的成效衡量流程更趨成熟，我們會定期審查和驗證衡量數據。此外，我們也制定了一套標準，規範我們如何識別、更正及公佈對先前釋出資料所作的任何調整。
我們會運用一系列的定期品質檢驗，找出資料集、成效衡量工具和記錄系統中可能存在的資料問題。一旦發現可能的問題，相關 Meta 團隊就會採取一系列的措施來調查和減少這類問題，並找出長遠修正方式。
問題解決後，Meta 就會更新《社群守則執行狀況報告》中的資料。如果此類更正有實質意義，Meta 會說明問題所在、受影響的衡量數據以及受影響的時段。
修正和調整
我們制定資料品質流程的原因
我們致力透明地公開衡量數據，以及為計算和改善這些衡量數據而採用的流程。為了簡化並更妥善地規範如何發佈有關方法和衡量數據的調整及更正，我們制定了資料品質程序，以便找出、修正及公佈對先前發佈的資料所作的任何調整。這是大型統計機構和聯邦機關公開報告常用的做法，而且與公家和民間採行的資料分析報告最佳操作實例一致。我們制定的這些審查和程序，對於維持日後分析報告的準確度和公正性而言十分重要。
我們會不斷評估和驗證衡量數據，以確保所分享的資料準確，而且產生這些資料的方法完善。為了實現以上目標，在更新方法或調整衡量數據時，我們會在此公佈這些變動。
我們如何評估和改善衡量數據
為了就政策執行成效提供最有意義也最準確的數據，我們會不斷修正流程和方法。在 2019 年夏季，我們引入了資料品質流程，以建立進一步的檢查和平衡機制，確保我們提供有效且一致的衡量數據。
識別優先情況來驗證公信力
我們會找出每個衡量數據的不同面向，並且依照風險高低，劃分出各種可能會大幅影響衡量數據的組別。就著這份優先順序清單中的組別，我們會引入多項檢查，確認這些區隔能準確擷取資料。
舉例來說，我們會將處置內容衡量數據細分為多個維度，以供審查。比方說，我們會根據自動化系統或審查人員是否給予處置、導致我們給予處置的原因，以及內容的類型（相片、文字、影片）來區隔內容。
有了這些不同的維度，我們接著會評估如果衡量數據未能妥善反映某維度，例如當我們沒有將影片內容納入衡量數據時，我們的成效衡量系統可能會有多大的誤差。藉由這些評估，我們可以找出可能影響衡量數據的維度，例如是否由真人給予處置這個維度。
接著，我們會思考如果該維度有誤，例如當我們沒有記錄到任何由真人給予處置的內容時，衡量數據會受到多大的影響。再來，我們會優先對風險最大的情況進行更多的交叉檢查。我們就著這些高風險組合，開發了更多的追蹤和交叉檢查系統，以確保能正確估計這些衡量數據。
公信力和一致性檢查
我們也引入了一致性檢查，讓衡量數據更有公信力。這些檢查包括：
我們會定期透過可衡量內容處置情況的個別獨立系統，來衡量我們的處置做法。我們也會定期檢查上述各項獨立衡量數據，以便找出會計方面的重大失誤。
我們會進行一系列的隨機抽樣檢查，近乎即時檢驗成效衡量系統的準確度。這包括檢查各項之後發生在系統中的結果，以便複查上游結果。舉例來說，我們會確認收到申訴的內容也已記錄為處置內容，因為內容必須受到處置才能申訴。許多上述檢查都是為了找出重大失誤，例如內容雖被申訴卻從未移除。
不論是守則執行狀況報告的哪個方面，我們都會隨著時間經過持續調整並改善公信力和一致性審查流程。
內部審查和更正程序
我們也確立了相關程序來找出和更正先前公佈在執行狀況報告中的資料，這份報告會定期審查和更新。一旦發現《社群守則執行狀況報告》中公佈的衡量數據可能有問題，我們就會採取下列措施：
  • 舉報：只要發現可能的問題，我們的團隊就會立即提出事件舉報，提醒相關團隊著手調查問題。
  • 調查問題並減輕影響：相關團隊會審查這個可能的問題，並視乎需要立即作出調整來防止日後發生更多一致性問題，同時制定解決方案來避免日後發生同樣的問題。
  • 判斷問題規模：相關團隊會審查這個可能的問題，並視乎需要立即作出調整來防止日後發生更多一致性問題，同時制定解決方案來避免日後發生同樣的問題。
  • 事後檢討事件：問題減輕後，我們就會進行詳盡的內部審查，來找出根源以及問題所造成的全面影響。藉由這種方式，我們可以找出成效衡量系統在公信力上更廣大的風險，進而加以防範或削減風險。
報告調整
找出問題並調整受影響的衡量數據後，我們會在《社群守則執行狀況報告》下一次推出時更新此帖子，以便公佈更正內容。在作出這類更新時，我們會說明問題以及受影響的衡量數據和時間範圍。《內容守則執行狀況報告》中先前受影響季度的資料，在可行的情況下都會包含任何經過調整的衡量數據，以確保長期下來的比較結果有意義。
尋求意見並拓展我們報告的衡量數據
除了內部評估和改善衡量數據的措施以外，我們也希望外部人士能對我們的方法提出意見，並拓展我們所記錄的衡量數據，讓我們能更全面地了解執行政策的成效。
方法評估和意見
為了確保我們的方法公開透明且奠基於穩健的原則，我們邀請許多領域的主題專家進行分析並發表意見，例如評估我們提供的衡量數據是否有參考價值。
為了確保我們在衡量內容政策執行狀況上的做法有意義且準確，我們會與資料透明度諮詢小組（DTAG）合作，而這個小組是由一群成效衡量、統計、犯罪學和管治方面的外部國際學術專家所組成。在 2019 年 5 月，此小組進行了一項獨立的公開評估，衡量了我們在《社群守則執行狀況報告》中分享的衡量數據是否如實且有意義地反映我們執行政策的成效，並且分析了我們在執行政策上的挑戰以及克服方式。整體而言，此小組認為我們的衡量數據可以合理衡量違規問題，並且與最佳操作實例相符。此外，此小組也提供了幾項建議來幫助我們了解如何繼續透明地公開政策執行狀況；我們已詳細討論這些策略，之後也會繼續研究下去。除此之外，Meta 也致力就 2021 年版報告中分享的衡量數據進行獨立審計。
查看最新的《社群守則執行狀況報告》