改善成效衡量方式
上次更新日期 2022年1月19日
我們也持續檢視我們的政策和流程，以及其背後採行的方法。若上述任一項目有所變更，衡量指標本身的計算方式也會隨之改變。這些方法或流程一旦改變，或許能補充說明我們減少違規內容的成效日漸提升或下降的趨勢。
資訊品質、更新和修正
隨著成效衡量流程日漸完善，我們會定期審視和驗證衡量指標。此外，我們也制定一套守則，以規範我們如何尋找、修正和公開報告我們對於先前發佈的資料所做的任何調整。
我們定期對資料集、成效衡量工具和記錄系統進行品質檢驗，以找出資料中的任何潛在問題。如果發現潛在問題，Meta 的相關團隊便會採取一連串步驟深入調查，減輕問題的影響，並找出長期修正措施。
解決問題後，Meta 會更新《社群守則執行狀況報告》中的相關資料。如果上述修正措施確有成效，Meta 會說明問題、受影響的衡量指標和影響期間。
錯誤修正和調整
我們為何制定資訊品質管理流程
我們致力於以公開透明的方式分享衡量指標，以及我們用來計算和改善這些指標的流程。為了簡化及加強管理我們對衡量方法和衡量指標的調整及錯誤修正所發佈的內容，我們特別制定資訊品質管理流程，以找出、修正和公開報告我們對先前發佈的資訊所做的任何調整。這是大型統計機構和聯邦機構公開報告中的常見作法，並以公家機關與民營企業的資料分析報告最佳作法作為依據。我們制定的審查和管理程序將有助於維護日後執行報告的準確度和完整度。
我們會持續評估和驗證衡量指標，並確保我們分享的資訊正確無誤，產出這些資料的方法亦合理可靠。在這過程中，當我們更新執行方法或調整衡量指標，我們也會在此分享相關變更。
我們如何評估和改善衡量指標
為了針對政策執行狀況提供具有實質意義的正確數據，我們調整程序和方法的腳步從不停歇。在 2019 年夏季，我們執行資訊品質管理流程，以進一步落實檢查和制衡機制，從而確保我們分享的是有效且一致的衡量指標。
找出應優先處理的情況以確認有效性
我們將各項衡量指標區分為不同面向，並將可能對衡量指標造成重大影響的部分，依風險大小確立優先處理順序。針對排進優先處理清單的部分，我們會執行多項檢驗，以確保這些部分擷取的資訊正確無誤。
舉例來說，我們將與處置內容相關的衡量指標分成幾個不同面向來審查。比方說，我們會根據處置是由自動化系統或審查人員所執行、處置原因和處置的內容類型（相片、文字、影片）來區分內容。
接下來，我們會針對這些不同面向，評估若衡量指標呈現的數據未能正確反映某一面向（例如未將影片內容納入衡量指標），成效衡量會因此出現多少偏差。藉由上述評估，可讓我們找出可能影響衡量指標的面向（例如是否由審查人員執行處置）。
接著，我們會估算在某面向有誤（例如未將審查人員處置的內容列入紀錄）的情況下，衡量指標會受到多少影響。接下來，我們會優先鎖定風險最大的情況，額外執行交叉檢驗。對於綜合多種因素的高風險情況，我們會開發額外追蹤和交叉檢驗系統，以確保精準估算相關衡量指標。
有效性和一致性檢驗
我們也已執行一致性檢驗，以提升衡量指標的有效性，這些檢驗包括：
一致性檢驗
我們運用專門衡量內容處置情形的獨立系統，定期衡量我們所做的處置。對於用來確認計算方式中是否有重大錯誤的各項獨立衡量指標，我們也會定期進行檢視。
成效衡量工具稽核和偵錯
我們執行各種隨機抽查，以接近即時的方式確認成效衡量系統的準確度，包括查看系統稍後產生的各項結果，以再次確認先前各階段的結果。舉例來說，我們會確認收到申訴的內容也有處置紀錄，因為內容必須先受到處置，用戶才能提出申訴。這類檢查大多是要確認是否存在重大錯誤，例如內容從未遭到移除，但卻收到申訴。
如同我們對社群守則執行狀況報告的各方面所做的努力，我們也會持續更新及改善有效性和一致性審查流程。
內部審查和修正程序
在定期審視及更新執行狀況報告之餘，我們也制定相應程序，以確認和更正執行狀況報告先前分享的資訊。如果在《社群守則執行狀況報告》分享的衡量指標中發現潛在問題，我們會執行下列因應步驟：
- 回報。若發現潛在問題，我們的團隊會立刻提出事件回報，通知相關團隊展開問題調查。
- 調查和緩解問題。相關團隊會審查潛在問題，並視需要立即執行變更，以防引發其他一致性問題，同時制定解決方案，以免日後發生相同問題。
- 衡量問題影響範圍。相關團隊會審查潛在問題，並視需要立即執行變更，以防引發其他一致性問題，同時制定解決方案，以免日後發生相同問題。
- 事後事件剖析。減輕問題的影響程度後，我們會展開詳細的內部審查，以找出問題的根本原因和影響範圍。這麼做可協助我們擴大範圍找出成效衡量有效性的風險，從而預防或降低這類風險。
公告調整項目
發現問題並調整受影響的衡量指標後，我們會在後續發佈《社群守則執行狀況報告》時更新本文，以公告修正內容。在更新的內容中，我們會說明問題、受影響的衡量指標和影響期間。在合理可行的情況下，先前受影響的《社群守則執行狀況報告》季度資料將納入所有調整過的衡量指標，以確保長期的比較結果具有實質意義。
就報告中的衡量指標尋求外界意見並擴增衡量指標
除了我們為評估和改善衡量指標所執行的內部工作，我們也就衡量方法尋求外部意見，並積極擴增報告中的衡量指標，以更清楚說明政策執行情況。
評估方法和尋求意見
為確保我們的衡量方法公開透明且依循合理原則，我們向專精特定主題的專家尋求分析和意見，例如我們提供的衡量指標是否提供實用資訊。
我們和資料透明顧問小組（Data Transparency Advisory Group，DTAG）合作，這個外部團隊集結成效衡量、統計學、犯罪學和治理等領域的國際學術專家，能確保我們用以衡量內容政策執行成效的方法準確且富有意義。2019 年 5 月，該團隊對我們在《社群守則執行狀況報告》中分享的衡量指標執行獨立、公開的評估作業，以瞭解這些指標對於衡量我們的政策執行情況、面臨的挑戰和採行的解決方案，是否提供準確且實用的評斷。整體而言，他們認為我們的衡量指標不僅可合理衡量違規內容，亦符合最佳作法。此外，他們也提供數項建議，協助我們持續以更公開透明的方式公告工作內容，對此，我們已展開深入討論，日後也將繼續探索相關議題。除此之外，Meta 也承諾對這份報告在 2021 年分享的衡量指標展開獨立稽核。
查看最新的《社群守則執行狀況報告》