측정 방법 개선
업데이트됨 2022. 1. 19.
또한 Meta는 지속적으로 정책, 과정과 그 방법론을 검토하고 있습니다. 이를 변경하면 지표 계산 방법 자체가 본질적으로 변경됩니다. 이러한 방법론과 절차의 변경은, Meta가 위반 콘텐츠의 영향을 줄이는 역할을 얼마나 잘 수행하는지 보여주는 추세 외에도 추가적인 요인이 될 수 있습니다.
정보 품질, 업데이트 및 수정
측정 절차가 안정되면서 지표를 정기적으로 검토 및 검증하고 있습니다. 또한 이전에 발표된 데이터의 조정 사항을 식별하고, 수정하고, 공개적으로 보고하는 방법을 제어하는 일련의 규정을 마련했습니다.
데이터 세트에 대한 다양한 정기 품질 검사, 측정 도구 및 기록 시스템을 사용하여 데이터와 관련한 잠재적인 문제를 확인합니다. 잠재적인 문제가 확인되면 Meta의 관련 팀에서 일련의 단계에 따라 해당 문제를 조사 및 완화하고 장기적인 수정 방안을 식별합니다.
문제가 해결되면 Meta는 커뮤니티 규정 시행 보고서에서 데이터를 업데이트합니다. 수정 사항이 중요한 경우 Meta는 해당 문제, 영향을 받는 지표, 영향을 받는 기간을 설명합니다.
수정 및 조정
Meta가 정보 품질 절차를 개발한 이유
Meta는 지표와 이를 계산 및 개선하는 데 사용하는 절차를 투명하게 공유하기 위해 노력합니다. 방법론과 지표에 대한 조정 및 수정을 간소화하고 효율적으로 제어하기 위해 이전에 발표된 정보에 대한 조정 사항을 식별 및 수정하고 공개적으로 보고하는 정보 품질 절차를 개발했습니다. 이는 대규모 통계 기관 및 연방 기관의 보고서에서 흔히 볼 수 있는 관행이며, 공공 및 민간 부문의 데이터 보고 모범 사례에 따라 개발되었습니다. 개발된 검토 및 절차는 향후 보고의 정확성과 무결성을 유지하는 데 중요합니다.
Meta는 지표를 지속적으로 평가 및 검증하고, 저희가 공유하는 정보가 정확하며 이 데이터를 생성하는 방법이 합당한지 확인합니다. 그 일환으로 방법론을 업데이트하거나 지표를 조정할 경우 해당 변경 사항을 여기에 공유하겠습니다.
Meta가 지표를 평가 및 개선하는 방식
Meta는 정책을 시행하는 방식을 가장 의미 있고 정확한 수치로 제공하기 위해 절차와 방법론을 지속적으로 개선합니다. 2019년 여름, 저희는 유효하고 일관된 지표를 공유하기 위해 추가적인 검사와 균형을 제공하는 정보 품질 절차를 구현했습니다.
유효성을 확인할 우선적인 시나리오 식별
각 지표의 여러 요인을 파악하고, 지표에 큰 영향을 미칠 수 있는 세그먼트의 위험 수준에 따른 우선순위 지정 방식을 개발합니다. 이 우선순위 목록에 나오는 세그먼트의 경우 여러 번 검사하여 해당 세그먼트에서 정보를 정확히 캡처하는지 확인합니다.
예를 들어, 조치가 취해진 콘텐츠 지표를 여러 요인으로 분할하여 검토합니다. 예를 들어, 조치를 자동화된 시스템이 수행했는지 또는 인간 검토자가 수행했는지 여부, 조치를 취한 이유, 조치를 취한 콘텐츠의 유형(사진, 텍스트, 동영상)에 따라 콘텐츠를 구분합니다.
다양한 요인을 바탕으로, 해당 요인이 지표에 올바르게 반영되지 않은 경우(예: 지표에 동영상 콘텐츠가 포함되지 않은 경우) 측정에 얼마나 편향이 발생하는지 평가합니다. 이러한 평가를 통해 지표에 영향을 미치는 여러 요인(예: 사람이 조치를 취했는지 여부)을 식별할 수 있습니다.
그런 다음 해당 요인이 잘못된 경우(예: 사람이 조치를 취한 콘텐츠를 기록하지 않은 경우) 지표에 미치는 영향을 파악합니다. 그런 다음 위험이 가장 큰 시나리오를 우선적으로 추가 교차 검증합니다. 위험이 큰 조합의 경우 지표가 올바르게 추정되는지 확인하기 위한 추가적인 추적 및 교차 검증 시스템을 개발합니다.
유효성 및 일관성 검사
또한 지표를 추가적으로 검증하기 위해 일관성 검사를 구현했습니다. 여기에는 다음이 포함됩니다.
일관성 검사
콘텐츠 조치를 측정하는 별도의 독립 시스템을 통해 저희의 조치를 주기적으로 측정합니다. 집계 결과에서 중요 오류를 식별하기 위해 다양한 독립 지표를 주기적으로 검사합니다.
측정 도구 감사 및 디버깅
측정 시스템의 정확성을 거의 실시간으로 확인하기 위해 무작위 검사를 실시합니다. 여기에는 업스트림 결과를 다시 확인하기 위해 시스템에서 나중에 실시되는 다양한 결과 검사가 포함됩니다. 예를 들어, 재고를 요청하려면 콘텐츠에 대해 조치를 실시해야 하므로 재고 요청된 콘텐츠가 조치된 콘텐츠로도 기록되는지 확인합니다. 대부분의 검사는 중요 오류(예: 재고 요청되었지만 삭제되지 않은 콘텐츠)를 식별하기 위한 것입니다.
규정 시행 보고와 마찬가지로 유효성 및 일관성 검토 절차 역시 장기적으로 계속 개선 및 발전시켜 나가고자 합니다.
내부 검토 및 수정 절차
Meta 시행 보고서에 이전에 공유된 정보를 식별 및 수정
하기 위한 절차를 마련했으며, 이 절차는 주기적으로 검토 및 업데이트합니다. 커뮤니티 규정 시행 보고서에 공유된 지표에서 잠재적인 문제가 확인된 경우 다음 단계를 따릅니다.
- 보고. 잠재적 문제가 발견되는 경우 Meta 팀에서 관련 팀에 문제 조사를 시작하도록 알리는 사건 보고서를 즉시 제출합니다.
- 조사 및 완화. 관련 팀은 잠재적인 문제를 검토하고 필요한 경우 즉시 변경하여 추가적인 일관성 문제를 방지하고, 향후 문제를 방지하기 위한 솔루션을 개발합니다.
- 문제의 규모 확인. 관련 팀은 잠재적인 문제를 검토하고 필요한 경우 즉시 변경하여 추가적인 일관성 문제를 방지하고, 향후 문제를 방지하기 위한 솔루션을 개발합니다.
- 사고 사후 검토. 문제가 완화되면 세부적인 내부 검토를 실시하여 문제의 근본 원인과 전체적인 영향을 파악합니다. 그러면 측정 유효성에 대한 광범위한 위험을 식별하여 위험을 방지하거나 최소화할 수 있습니다.
조정 보고
문제를 확인한 후 영향을 받는 지표를 조정한 경우 이후에 커뮤니티 규정 시행 보고서를 발표할 때 이 게시물을 업데이트하여 수정 사항을 공개적으로 보고합니다. 이 업데이트에서는 문제, 영향을 받는 지표, 영향을 받는 기간을 설명합니다. 콘텐츠 규정 시행 보고서에서 이전에 반영된 분기별 데이터에는 시간에 따른 비교가 중요한지 확인하기 위해 조정된 모든 지표(실행 가능한 경우)가 포함됩니다.
의견 수렴 및 보고 대상 지표 확장
지표를 평가 및 개선하기 위해 내부적으로 수행하는 작업 이외에, Meta 방법론에 대한 외부 의견을 수렴하고 정책 시행 방식을 정확히 보여주기 위해 보고 대상 지표의 범위를 넓히고 있습니다.
방법론 평가 및 의견
방법이 투명하고 합당한 원칙에 기반하는지 확인하기 위해, 저희가 제공하는 지표가 유용한 정보를 제공하는지 여부 등에 대해 분야별 전문가에게 분석과 의견을 요청합니다.
콘텐츠 시행에 대한 측정 방식이 의미 있고 정확한지 확인하기 위해 측정, 통계, 범죄학, 거버넌스 부문의 외부 국제 학술 전문가 단체인 데이터 투명성 자문단(DTAG)과 협력합니다. 2019년 5월에 DTAG는 커뮤니티 규정 시행 보고서에 공유된 지표가 Meta의 정책 시행 방식, 저희가 직면한 과제와 그 해결 방법에 대해 정확하고 의미 있는 측정치를 제공하는지 여부에 대한 독립적인 공개 평가를 제공했습니다. 전반적으로 Meta 지표가 위반을 측정하는 합리적인 방식이고 모범 사례에 부합하는 것을 확인했습니다. 또한 업무의 투명성을 지속적으로 유지할 수 있는 방법에 대한 많은 권장 사항을 제공했습니다. 이에 대해서는 이미 자세히 살펴보았지만 계속해서 탐구할 것입니다. 이 외에도 Meta는 2021년 이 보고서에 공유된 지표에 대한 독립적인 감사를 실시하기로 약속했습니다.
최신 커뮤니티 규정 시행 보고서 보기