교차 점검 시스템을 통해 영향력이 큰 콘텐츠 정확히 검토하기
업데이트됨 2024. 11. 12.
2022년 12월 6일, 감독위원회는 Meta의 교차 점검 정책에 관한 PAO를 게시했습니다. 여러 권장 사항을 완전히 처리하기 위해 저희는 90일 이내에 이를 검토하고 대응하기로 위원회와 합의했습니다. 교차 점검 시스템에 대해 자세히 알아보려면 투명성 센터 게시물을 참고하세요.
교차 점검 개요
Facebook 및 Instagram 사용자는 매일 수십억 개의 콘텐츠를 생성합니다. 이러한 규모로 콘텐츠를 관리하면 중요한 가치와 목표 사이의 상충을 비롯하여 여러 가지 문제를 수반합니다. 저희는 잠재적 위반 콘텐츠를 빠르게 검토하여 정책을 위반한 경우 해당 콘텐츠를 삭제하려고 합니다. 하지만 사용자의 의견을 보호하기 위해 이 목표와 '오탐지' 위험(위반하지 않은 콘텐츠를 잘못 삭제하는 경우)을 동시에 고려해야 합니다. 여기서 콘텐츠 '삭제'는 무결성 조치를 보다 일반적으로 설명하기 위해 사용하는 용어입니다. 여기에는 경고 화면 사용, 페이지 삭제 등의 조치도 포함될 수 있습니다.
이러한 고려 사항을 조율하기 위해 Meta는 오탐지 위험이 높은 콘텐츠를 파악하고 해당 위험을 완화하기 위해 검토 수준을 강화하는 교차 점검 시스템을 구현했습니다. 교차 점검에서는 뉘앙스 또는 맥락 이해를 비롯한 다양한 요인으로 인해 발생할 수 있는 가장 위험한 오탐지 관리 오류를 방지하거나 최소화하는 것을 목표로 자동화 또는 인적 검토를 통해 내부 시스템에서 위반으로 지정한 특정 콘텐츠에 대한 검토 수준을 강화합니다. 여기에서 '콘텐츠'는 교차 점검 시스템을 통해 검토되는 콘텐츠를 지칭합니다. 페이지 또는 프로필 삭제와 같은 다른 조치를 검토하는 데에도 교차 점검을 사용합니다. 교차 점검은 검토 수준을 강화하지만 검토자는 Facebook 또는 Instagram의 모든 다른 콘텐츠에 적용되는 것과 동일한 커뮤니티 규정을 적용합니다.
교차 점검 시스템은 인권을 보호하는 데 중요한 역할을 합니다. 예를 들어 교차 점검 시스템은 분쟁 지역에서 보도하는 언론인과 혐오 또는 폭력 사례에 대한 인식을 제고하는 지역사회 지도자의 엔티티 및 게시물을 포함합니다. 교차 점검 검토에서는 이 콘텐츠에 대해 올바르게 조치를 취하는 데 도움이 되는 맥락을 고려합니다. 교차 점검 검토는 시민 단체에도 적용될 수 있습니다. 사용자는 자신이 속한 단체의 리더가 하는 말을 매우 관심 있게 듣기 때문입니다.
교차 점검은 Meta와 많은 비즈니스 파트너와의 관계를 관리하는 데에도 중요한 역할을 합니다. 예를 들어 팔로워가 많은 페이지 또는 프로필에 게시된 콘텐츠를 잘못 삭제하면 Meta의 비즈니스 파트너와 이들을 팔로우하는 많은 사용자 모두에게 부정적인 영향을 줄 수 있습니다. 또한 오류가 수십만 또는 수백만 명의 사용자에게 영향을 미칠 수 있는 일부 대규모 그룹에도 교차 점검을 시행합니다. 교차 점검은 Meta의 비즈니스 파트너 또는 그룹을 저희 콘텐츠 정책 적용으로부터 면제하지 않고, 오히려 콘텐츠 정책이 정확히 적용되도록 때때로 검토 수준을 강화합니다.
Facebook 및 Instagram 사용자는 매일 수십억 개의 콘텐츠를 게시합니다. 전 세계에서 전담 검토 인력을 운영하고는 있지만 커뮤니티 규정을 위반할 가능성이 있는 모든 콘텐츠를 수동으로 검토하는 것은 불가능합니다. 삭제되는 위반 콘텐츠의 대부분은 누군가 신고하기 전에 Meta의 기술을 통해 사전에 감지됩니다. 누군가 Facebook이나 Instagram에 게시물을 올리면 Meta의 기술을 통해 해당 콘텐츠가 커뮤니티 규정을 위반할 가능성이 있는지 여부를 확인합니다. 대부분의 경우에는 쉽게 식별할 수 있습니다. 게시물은 정책을 명확히 위반하는 경우와 그렇지 않은 경우로 나뉩니다. 하지만 추가 평가를 위해 콘텐츠가 인적 검토 담당자에게 전달되는 경우도 있습니다.
Meta의 기본 검토 시스템은 기술을 사용하여 빠르게 확산되는 '입소문' 콘텐츠를 포함한 심각성이 높은 콘텐츠를 우선적으로 검토합니다. 시스템에서 콘텐츠를 전달할 대상으로 지정한 경우 검토 담당자는 콘텐츠를 플랫폼에 그대로 둘지 여부에 대해 어렵고 종종 복잡한 판단을 내리게 됩니다. 저희는 항상 옳은 결정을 내리려고 노력하지만, 오탐지 문제가 발생하여 일부 콘텐츠가 실제로는 Meta 정책을 위반하지 않았음에도 위반한 것으로 판단되어 삭제 대상으로 지정되는 경우가 있다는 점을 인지하고 있습니다. Meta는 이에 따라 오탐지 사례를 추가로 검토하고 그 영향을 줄이기 위해 실수 예방에 투자했습니다. 교차 점검은 이러한 실수 예방 전략 중 하나입니다.
교차 점검은 인적 검토 수준을 강화하여 정확한 규정 시행 결정을 내리기 위해 사용되는 시스템입니다. 교차 점검 과정에서 검토 담당자가 콘텐츠가 커뮤니티 규정을 위반한다고 확인하면 Meta는 관련 정책을 적용하고 위반 콘텐츠에 적절한 조치를 취합니다. 콘텐츠의 복잡성에 따라 경영진의 사례 검토를 포함한 다양한 수준의 검토를 적용할 수 있습니다. 최종 검토자가 문제가 되는 콘텐츠가 커뮤니티 규정을 위반하지 않는다고 판단할 경우, 검토 담당자는 초기 조치를 '번복'하고 해당 콘텐츠를 플랫폼에 그대로 둘 수 있습니다.
이전 교차 점검 사례
현재 '교차 점검'으로 알려진 시스템을 처음 구현한 것은 2013년입니다. 그동안 시스템의 세부적인 부분이 변경되어 왔기 때문에 가능한 경우 이러한 변경 사항이 발생한 시점을 설명하는 날짜와 기간을 제공했습니다.
교차 점검 검토를 받은 콘텐츠나 엔티티를 확인하기 위해 저희 팀은 잘못된 조치가 취해질 위험이 더 높다고 판단되는 사용자나 엔티티를 식별하여 목록을 작성했습니다. '오탐지 위험'이란 실제로는 커뮤니티 규정을 위반하지 않는 콘텐츠 또는 엔티티에 대해 잘못된 조치를 시행할 위험을 가리킵니다. 오탐지 위험이 높은 사용자 및 엔티티를 파악하기 위해, 저희 팀은 사용자 또는 엔티티 유형(예: 선출된 공직자, 언론인, 중요 비즈니스 파트너, 인권 단체), 팔로워 수, 엔티티의 주제 등 다양한 기준을 적용했습니다. 엔티티는 사용자 계정, 페이지, 그룹과 같이 콘텐츠가 유래되거나 나타날 수 있는 위치에 대한 일반적인 용어입니다.
리스트에 포함된 사용자 또는 엔티티가 저희 정책을 위반할 가능성이 있는 것으로 지정된 콘텐츠를 게시하거나 조치를 취한 경우, 해당 콘텐츠 또는 엔티티는 교차 점검 검토 대상으로 대기열에 추가됩니다.
2020년부터는 대기열에 있는 대부분의 콘텐츠에 위험 프레임워크를 사용하여 우선순위가 지정되도록 변경했습니다. 위험 프레임워크는 Meta가 해당 콘텐츠를 잘못 삭제하여 발생할 수 있는 오탐지 위험 수준을 지정합니다. 이 위험 프레임워크는 일반적으로 (1) 엔티티의 민감도, (2) 위반 혐의의 심각성, (3) 잠재적 규정 시행 조치의 심각성이라는 세 가지 요인을 바탕으로 합니다.
현재 교차 점검 방식
Meta의 모든 정책 및 절차에 대해서와 마찬가지로, 저희는 개선 방법을 지속적으로 모색하고 끊임없이 변경하고 있습니다. 올해 초, Meta는 교차 점검 시스템을 개선할 추가적인 기회를 확인했습니다. 구조적인 변경 사항 중 하나는 교차 점검 시스템이 이제 일반 2차 검토(GSR)와 민감한 엔티티 2차 검토(SSR)라는 두 가지 구성 요소로 구성된다는 점입니다. 특정 사용자 및 엔티티 중 일부를 SSR에 포함시키기 위해 위에서 설명한 리스트 기반 접근 방식을 계속 사용하겠지만, GSR의 경우 Facebook 및 Instagram에 있는 모든 사용자 및 엔티티의 콘텐츠가 '교차 점검 지정 시스템'이라는 동적 우선순위 지정 시스템에 기반한 교차 점검 검토 대상인지 확인하는 과정을 거칩니다.
GSR에는 규정 시행 조치를 취하기 이전에 정책을 위반할 수 있는 콘텐츠 및 엔티티에 대한 2차 검토를 수행할 계약 검토 담당자와 지역 팀원이 포함됩니다. 이 검토는 사용자나 단체의 신원을 유일한 기준으로 삼아 교차 점검 검토 대상 콘텐츠를 결정하지는 않습니다. 교차 점검 순위 지정 시스템은 주제 민감도(주제의 인기도/민감도), 규정 시행 심각도(잠재적인 규정 시행 조치의 심각성, 오탐지 가능성, 예상 도달, 엔티티 심각성(대부분 위에서 설명한 취합된 리스트를 기반으로 함) 등과 같은 기준을 사용하여 오탐지 위험을 기반으로 콘텐츠의 순위를 평가합니다. 교차 점검 순위 지정 시스템은 현재 대부분의 교차 점검 검토에서 이미 사용되고 있습니다.
SSR은 기존 교차 점검 시스템과 비슷합니다. SSR을 받을 콘텐츠 또는 엔티티를 결정하기 위해 저희는 커뮤니티 규정을 위반할 가능성이 있는 것으로 지정된 시행에 대해 추가적인 교차 점검 검토를 받을 사용자 및 엔티티 목록을 지속적으로 유지 관리합니다. 하지만 이러한 리스트를 취합하고 수정하는 과정에 대한 관리 기능을 추가했습니다. 2020년 9월 이전에는 대부분의 직원이 교차 점검 리스트에 사용자나 엔티티를 추가할 수 있었습니다. 2020년 9월부터는 직원은 사용자 또는 엔티티를 교차 점검 리스트에 추가하도록 요청할 수만 있고 실제로 리스트에 추가하는 권한은 지정된 일련의 직원에게만 부여됩니다.
SSR 리스트에 대한 관리 책임은 현재 글로벌 운영 조직에 있으며, 법무 및 파트너십 팀이 전문 지식과 경험을 바탕으로 지원을 제공하고 있습니다. 글로벌 운영팀의 보고 체계는 Meta의 공공 정책팀과는 별개이지만, 공공 정책팀은 회사 전체의 많은 콘텐츠 관리 영역에서와 마찬가지로 교차 점검 관련 결정에 대한 조언을 제공합니다. 이러한 경우 Meta 운영팀은 지역 및 문화적 관점을 보완하기 위해 Meta 공공 정책팀의 전문 지식과 지역 전문가 및 언어에 구애받지 않는 전문 검토 인력의 지원을 받을 수 있습니다. 독립적인 보고 체계는 정치적 또는 경제적 영향으로부터 독립적으로 검토가 이루어지도록 보장합니다. 또한 관련성이 높고 적절한 리스트를 유지하기 위해 SSR 리스트에 포함된 엔티티의 자격을 계속해서 심사하기 위한 세밀한 연례 검토 절차를 개발했으며, 앞으로도 계속해서 이 절차를 개선해나갈 것입니다.
최근 몇 달 동안 Meta는 매일 평균 수천 개의 교차 점검 작업을 검토했으며, 그중 대부분은 GSR에서 완료되었습니다. 매일 수백만 개의 콘텐츠가 커뮤니티 규정을 위반하는 것으로 지정되어 조치되는 것에 비하면 이 수는 극히 일부에 불과합니다. 현재 SSR은 이러한 일일 검토의 일부만 차지합니다. 2021년 말부터 2022년까지 GSR 우선순위 지정의 결과로 교차 점검 검토 작업 수가 계속해서 변화할 것으로 예상됩니다.
SSR의 일부로 포함된 개인 또는 단체에서 만든 콘텐츠인 경우 일반적으로 지역 팀에서 먼저 검토합니다. 그런 다음 에스컬레이션 팀에서 검토하여 위반 콘텐츠인지 여부를 확인합니다. 일반적으로 지역 팀에서 해당 콘텐츠가 저희 정책을 위반하지 않는 것으로 결정한 경우 에스컬레이션 팀은 검토하지 않습니다. 교차 점검 순위 지정 시스템, 계약 직원 또는 지역 팀에서 우선순위를 지정한 개인이나 단체에서 게시한 콘텐츠인 경우, 검토할 추가에스컬레이션 팀의 검토 역량이 없는 한 계약 직원 또는 지역 팀이 일반적으로 검토합니다. 기존 교차 점검과 마찬가지로, 매우 복잡한 문제는 추가 검토를 받을 수 있으며 드물게는 경영진의 사례 검토도 이루어질 수 있습니다. 최종 검토에서 커뮤니티 규정을 위반한 것으로 확인된 경우 해당 콘텐츠는 삭제됩니다. 검토에서 콘텐츠가 규정을 위반하지 않는 것으로 확인된 경우 해당 콘텐츠는 그대로 유지됩니다.
2021년 10월 16일 현재, 약 660,000명의 사용자 및 엔티티가 위에 설명된 목록에 포함됨에 따라 어떠한 형태로든 SSR이 필요한 조치에 취해졌습니다. 저희는 진화하는 포함 기준에 따라 위에서 설명한 리스트에서 사용자 및 엔티티를 추가하거나 삭제하므로 이 숫자는 주기적으로 변경됩니다. SSR을 적용할 수 있는 사용자 및 엔티티의 예는 다음을 포함하되 이에 국한되지 않습니다.
- 에스컬레이션 응답 또는 고위험 이벤트와 관련된 엔티티. 현재 고위험 이벤트에 대비하는 팀에서 과도한 정책 집행 위험이 높은 엔티티을 파악하는 비공식적인 절차가 적용되고 있습니다. 예를 들어 한 사용자가 올린 논란의 여지가 있는 콘텐츠에 대한 소문이 확산되고 있는 경우(예: 경찰 폭력에 대한 라이브 방송), 저희는 잘못된 삭제를 방지하기 위해 해당 사용자가 SSR 대상인지 확인할 수 있습니다.
- 법률 준수를 위해 포함된 엔티티. 저희는 법률 또는 규제 요구 사항을 준수하기 위해 특정 상황에서 SSR을 사용합니다.
- 널리 알려진 공인 및 퍼블리셔 저희는 과도한 규정 시행으로 인해 다수의 사용자가 부정적인 경험을 겪을 수 있으므로 엔티티가 SSR 적용 대상인지 여부를 확인합니다.
- 소외된 집단. 저희는 국가 차원 또는 기타 적대적 괴롭힘, 악의적 집단 행동, 대량 신고 등으로부터 보호하기 위해 이러한 공격의 대상이 될 수 있는 인권 옹호자, 반정부 인사 및 기타 인물을 확인합니다.
- 시민 단체. Meta는 객관적인 기준과 지역 내 정책 팀의 전문 지식을 바탕으로 정치인, 정부 인사, 기관, 단체, 지지 단체 및 시민 인플루언서를 식별합니다. 저희는 SSR에 이러한 엔티티를 포함하여 규정을 위반하지 않는 정치적 발언을 제한하고 선거, 공공 정책, 사회 문제와 같은 시민과 관련된 주제에 대한 토론에 부정적인 영향을 미칠 수 있는 실수를 방지하기 위해 노력하고 있습니다. Meta는 국가의 시민 단체 간에 동등성을 보장하고자 합니다. 예를 들어 SSR에 특정 국가 내각 부처를 포함하는 경우, 해당 국가 정부의 모든 부처를 SSR에 포함합니다.
- 비즈니스. Meta는 수익을 보호하고 플랫폼에 대한 장기적인 신뢰를 쌓기 위해 가치 높은 광고주와 과도한 규정 시행을 경험한 광고주를 식별합니다.
현재 SSR을 적용해야 하는 엔티티를 식별하기 위한 기준을 개선할 방법을 검토하고 있습니다. 예를 들어 팔로워 수, 과거의 오탐지 적용 횟수, 법률/규제 요건, 중요한 정치/사회적 이슈 등과 같은 영역에서 기준을 발전시키고 있습니다. 사용자는 이 양식을 통해 자신이 SSR 리스트에 포함되지 않도록 요청할 수 있습니다. Meta는 사용자가 리스트에 포함되어 있는지, 삭제되었는지 여부를 확인하지 않습니다. 하지만 저희는 사용자의 자율 결정권을 존중하며, 최대한 빠르게 각 요청을 검토할 것입니다.
저희는 교차 점검 시스템의 두 구성 요소 외에 동적 다중 검토(DMR)라고 하는 내부 실수 예방 시스템을 보유하고 있습니다. 이는 검토된 사례를 재검토를 위해 다시 보내 결정에 대해 다수결로 결정하도록 지원하는 시스템으로(예: 다수 검토자가 결정에 동의하면 사례가 종결됨), 정확성에 대한 신뢰도를 높일 수 있는 장치입니다. 저희는 이 시스템을 통해 전파성, 조회수, 피해 유발 가능성(예: 성적 학대 및 위험한 개인 및 단체에 관한 정책 위반 가능성) 등 여러 요인을 기반으로 최종 결정에 필요한 검토 수를 조정하여 인적 검토의 품질과 정확성을 개선하고 잘못된 결정의 위험을 완화할 수 있습니다.
향후 교차 점검 투명성 개선 조치
감독위원회가 교차 점검 정책 자문 의견 회부에 관해 내린 2022년 12월 결정에 따라, 저희는 다양한 실수 예방 및 투명성 개선 조치의 시행도 약속했습니다. 이러한 조치에는 다음이 포함됩니다.
- Meta의 내부 인권 및 시민권 팀, 신뢰할 수 있는 파트너, 기타 외부 시민 사회 단체와의 체계적이고 긴밀한 협력을 통해 교차 점검 리스트에 포함할 공익 엔티티를 식별하는 데 사용하는 기준을 알리는 방법을 탐구합니다.
- 전 세계, 지역 및 현지 시민 사회 단체의 보다 공식적인 교차 점검 리스트 지명 절차를 모색합니다.
- 가능한 경우 현지 언어를 구사하고 해당 지역에 대한 전문 지식을 갖춘 검토 담당자를 통해 모든 교차 점검 결정을 내리도록 하면서 질 높은 검토 및 교육 리소스에 투자합니다.
- 실수 예방 시스템 전반에 걸쳐 검토 결정에 대한 강력한 서비스 수준 계약(SLA)을 시행하여 현재의 검토 인력 배치 모델을 최적화하고 가능한 한 빠른 현지화 검토를 지원합니다.
저희는 교차 점검 시스템을 상당히 개선했지만, 커뮤니티 규정을 위반하는 콘텐츠를 삭제하는 동시에 가장 큰 영향을 미치는 규정 시행 오류를 최소화하는 것을 목표로 이 시스템이 적절한 균형을 유지하도록 할 추가적인 방법을 계속해서 강구하고 있습니다.