規定施行テクノロジーのしくみ
更新日 2024/11/12
モデルの構築と予測の実施
規定施行プロセスは人工知能チームから始まります。このチームは、写真の内容の認識やテキストの理解といったタスクを実行する機械学習モデルを構築します。次に、検出の規模拡大と規定施行を担う統合チームが、この機械学習モデルを基盤に、利用者とコンテンツについての予測を行う、より具体的な用途を持つモデルを構築します。こうした予測は弊社がポリシーを施行するうえで非常に役立ちます。
例えば、AIモデルはコンテンツがヘイトスピーチあるいは暴力的または過激な描写を含んでいるかどうかを予測します。コンテンツの削除やより低い表示順位への変更などの措置、または人間による再審査のためにコンテンツを審査チームに転送するといった対応を実施すべきかどうかは、分離されたシステムである規定施行テクノロジーによって判断されます。
反復学習、人間による確認
弊社では、コンテンツに関する規定施行用にテクノロジーを構築する際、特定のシグナルを探すことができるようテクノロジーの訓練を実施しています。例えばテクノロジーには、写真に含まれるヌードを探すものやテキストを認識するものなど、さまざまなタイプがあります。構築されてまだ間もないテクノロジーの場合、あるコンテンツがポリシーに違反するかどうかという判断の信頼度が高くないことがあります。
このような場合には審査チームが最終的な判断を下し、テクノロジーは人間が下した各決定を学習していきます。テクノロジーは数千件にも及ぶ人間による決定から継続的に学び、時間の経過とともにその精度を高めていくことができます。
弊社のポリシーも製品内の変更や社会規範と言語の変化に応じて進化しています。そのため、テクノロジーの訓練と審査チームのトレーニングはともに段階的な反復プロセスであるといえます。
繰り返される違反の検出テクノロジーの利点は、同じコンテンツの検出を何度でも、必要であれば何百万回でも実行できることです。弊社のテクノロジーは、新しいコンテンツが違反コンテンツに一致もしくは非常に似ている場合に措置を実施します。これは、極めて短い期間にバイラルに拡散する可能性のある偽情報のキャンペーンやミームなどのコンテンツを防止するのに特に役立ちます。
微妙な違いの見極め
テクノロジーは何度でも同じコンテンツを見つけてそれを削除できますが、言葉選びの微妙な違いや、わずかに異なる内容がもたらす背景の変化についてマシンに理解させることは非常に困難です。
1つ目は誤解を招くコンテンツのオリジナル画像で、公衆衛生・安全に関する偽情報が含まれています。
2つ目は1つ目の画像のスクリーンショットですが、コンピューターのメニューバーが最上部に表示されています。
最後に、3つ目はほかの2つに非常によく似ていますが、見出しの2個所に微妙な訂正が加えられており、偽情報ではなくなりました。
これらの違いは人間にとっては比較的容易に見分けられますが、テクノロジーにとっては容易ではありません。検出が過剰である、または不十分であるという極端なケースに至りかねません。テクノロジーによる措置施行が過度に積極的な場合、違反していない数百万件ものコンテンツが削除されてしまいます。しかしこの積極性が不足すると、メニューバーが表示されているスクリーンショットをオリジナルとは異なる判断して、措置を実施しないことに至ります。
弊社ではこの課題を克服するために多くの時間と労力を費やしています。ここ数年では、コンテンツに含まれる微妙な違いをテクノロジーがより正確に見極められるようにするための取り組みを実施しました。継続的に学習を重ねるMetaのテクノロジー。その精度は日を追うごとに向上しています。
