규정 시행 기술의 작동 방식
업데이트됨 2024. 11. 12.
모델 구축 및 예측 수행
이 프로세스는 인공 지능 팀으로부터 시작됩니다. 이 팀은 사진에 포함된 콘텐츠를 인식하거나 텍스트를 이해하는 등의 작업을 수행할 수 있는 머신 러닝 모델을 개발합니다. 그러면 감지 및 정책 시행 조정을 담당하는 무결성 팀에서 해당 모델을 기반으로 사람들과 콘텐츠에 대해 예측하는 더 구체적인 모델을 구축합니다. 이러한 예측은 정책을 시행하는 데 도움이 됩니다.
예를 들어 AI 모델은 콘텐츠가 혐오 발언 또는 폭력적이고 자극적인 내용인지 예측합니다. Meta는 규정 시행 기술이라는 별도의 시스템을 통해 콘텐츠를 삭제하거나, 강등하거나, 추가 검토를 위해 인적 검토 팀에 콘텐츠를 보내기 등 조치를 취할지 여부를 결정합니다.
반복 학습, 수동 확인
Meta는 콘텐츠 관련 정책 시행을 위한 새로운 기술을 개발할 때 특정 신호를 찾도록 교육합니다. 예를 들어, 일부 기술은 사진에서 나체를 찾고, 일부 기술은 학습을 통해 텍스트를 이해합니다. 처음에는 새로운 유형의 기술이 콘텐츠가 Facebook 정책을 위반하는지 여부를 제대로 판단하지 못할 수 있습니다.
이 경우 검토 팀이 최종 결정을 내리며, Meta의 기술이 수동으로 이루어진 결정을 학습할 수 있습니다. 인적 검토를 통한 결정 수천 건을 학습하면서 시간이 갈수록 기술이 훨씬 정확해집니다.
Meta 정책도 시간에 따라 제품, 사회적 규범 및 언어의 변화에 맞게 발전합니다. 따라서 기술 및 콘텐츠 검토 팀 교육은 점진적이고 반복적으로 이루어집니다.
반복적인 위반 감지기술은 동일한 콘텐츠를 반복적으로 감지하는 데 매우 유용하며, 필요에 따라 수백만 회 감지할 수도 있습니다. Meta 기술은 새로운 콘텐츠가 다른 위반 콘텐츠와 일치하거나 유사할 경우 적절한 조치를 취합니다. 이 기술은 입소문을 타고 매우 빠르게 확산될 수 있는 허위 정보 캠페인, 밈 및 기타 콘텐츠에 특히 유용합니다.
미묘한 차이 구별
기술을 통해 동일한 콘텐츠를 반복적으로 찾아서 삭제할 수 있습니다. 하지만 시스템에서 단어 선택의 뉘앙스를 이해하거나 사소한 차이로 컨텍스트가 어떻게 변경될 수 있는지를 이해하는 것은 매우 어려운 문제입니다.
첫 번째 이미지는 오해의 소지가 있는 콘텐츠의 원본으로, 공중 보건 안전에 대한 잘못된 정보를 포함하고 있습니다.
두 번째 이미지는 첫 번째 이미지의 스크린샷으로, 상단에 컴퓨터의 메뉴 모음이 있습니다.
마지막으로, 세 번째 이미지는 첫 번째 및 두 번째 이미지와 매우 유사해 보이지만, 두 단어가 살짝 변경되어 헤드라인이 정확하고 거짓이 아닌 콘텐츠입니다.
이는 사람이 이해하기에는 쉽지만 기술적으로 올바르게 파악하기는 어렵습니다. 한쪽으로 지나치게 치우칠 위험이 있습니다. 기술이 지나치게 정확한 경우 규정을 위반하지 않은 수백만 개의 게시물이 삭제될 것입니다. 반대로 충분히 정확하지 않은 경우에는 메뉴 모음이 있는 스크린샷을 원본과 다른 이미지로 간주하여 콘텐츠에 대해 조치를 취하지 못하게 됩니다.
Meta는 이를 해결하는 데 많은 시간을 할애하고 있습니다. 저희는 지난 몇 년 동안 Meta 기술이 콘텐츠의 미묘한 차이를 효율적으로 감지하도록 돕기 위해 다양한 투자를 했습니다. Meta 기술은 지속적인 학습을 통해 매일 더욱 정교해지고 있습니다.
