Meta에서 콘텐츠 검토 우선순위를 지정하는 방식

업데이트됨 2024. 11. 12.
Meta는 기술을 사용하여 대부분의 위반 콘텐츠를 사람들이 신고하기 전에 감지하여 삭제합니다. Facebook, Instagram, Messenger 또는 Threads에 누군가 게시물을 올리면 Meta는 기술을 통해 해당 콘텐츠가 커뮤니티 규정을 위반하는지 확인합니다. 대부분의 경우 식별은 간단합니다. 게시물은 정책을 명백히 위반하거나, 위반하지 않습니다.
식별이 어려운 경우도 있습니다. 게시물의 의도가 확실하지 않거나, 사용된 언어가 다소 복잡하거나, 이미지가 컨텍스트에 따라 달라지는 경우가 여기에 해당할 수 있습니다. 이 경우 사람이 추가 검토를 실시합니다.
직접 검토 요인 우선순위 지정
직접 검토 팀이 대상이 되는 콘텐츠의 우선순위를 결정할 때 먼저 다음 3가지 요소를 고려합니다.
심각성
온라인과 오프라인 모두에서 콘텐츠가 피해로 이어질 가능성이 얼마나 되나요?
전파성
콘텐츠가 얼마나 빠르게 공유되고 있나요?
위반 가능성
콘텐츠가 실제로 저희 정책을 위반할 가능성이 얼마나 되나요?
피해를 최대한 예방하는 것이 목표이기 때문에 저희의 검토 시스템에서는 기술을 활용하여 오프라인 상해로 이어질 가능성이 있는 높은 심각도의 콘텐츠와 입소문으로 빠르게 확산되는 콘텐츠에 우선순위를 지정합니다.
직접 검토 팀이 기술 향상을 지원
직접 검토 팀은 특정 정책 영역과 로캘에 대한 전문성을 활용하여 까다롭고 미묘한 차이를 판정합니다. 검토자가 결정을 내리면 저희는 해당 정보를 사용하여 기술을 학습시킵니다. 시간이 지나며 여러 차례의 결정이 반복될수록 기술이 향상되어 더 많은 위반 콘텐츠를 삭제할 수 있습니다.
검토자가 올바른 결정을 내리도록 지원
직접 검토 팀이 업무를 최적화할 수 있도록 지원하는 기술
많은 머신 러닝 모델과 마찬가지로 Meta의 기술 또한 시간이 지나면서 더 많은 위반 콘텐츠 사례를 수신하고 이를 기반으로 개선됩니다. 이에 따라 직접 검토 팀은 심각하고, 전파가 빠르고, 미묘하며, 새롭고 복잡한 콘텐츠의 위반 여부를 판단하는 데 전적으로 집중할 수 있습니다. 실질적으로 기술보다 사람이 더 뛰어난 능력을 발휘할 수 있는 부분에 온전히 집중할 수 있는 것이죠.
콘텐츠 검토 우선순위 지정에 대한 일반적인 질문
이전에 직접 검토 팀은 사람들이 신고한 콘텐츠를 검토하는 데 대부분의 시간을 소비했습니다. 이에 따라 때때로 심각도가 낮거나 위반 여부가 확실하지 않은 콘텐츠에 너무 많은 시간을 소비하여 피해가 발생할 가능성이 가장 높은, 가장 심각한 콘텐츠에 할애할 시간이 부족한 경우가 발생했었습니다. 또한 많은 직접 결정은 규정 시행 기술을 개선하는 데 그렇게 유용하지 않았습니다.
우선순위 지정에 대한 현재의 접근 방식에서는 이러한 문제를 해결하여 피해가 발생할 가능성이 가장 높은 콘텐츠를 먼저 검토하고 기술을 빠르게 개선합니다.
반드시 그렇지는 않습니다. 사용자 신고를 검토하는 데 직접 검토 팀과 기술이 모두 사용됩니다. Meta 기술로 대상 콘텐츠를 분석할 수 있는 경우 해당 콘텐츠에 대한 조치가 자동으로 취해질 수도 있습니다.
Meta 테크놀로지 내 AI 구축과 관련한 공정성 및 포용성 문제를 해결하기 위해 윤리학자, 사회학자, 정치학자, 정책 전문가, 인공 지능 연구원, 엔지니어 등 다방면의 전문가들로 구성된 책임감 있는 AI 팀을 결성했습니다. 팀의 전반적인 목표는 AI 책임성 문제를 처리하고 Meta 전반에서 이러한 체계적 리소스를 폭넓게 활용할 수 있도록 도와주는 가이드라인, 도구 및 절차를 개발하는 것입니다.