政策執行技術的運作方式
上次更新日期 2024年11月12日
建立模型和作出預測
整個程序由我們的人工智能團隊開始。此團隊們建立了機器學習模型,而這些模型可執行各項任務,例如辨識相片中的內容或理解文字。接下來,負責擴大偵測與政策執行範圍的誠信團隊會以這些模型為基礎,建立出更多能夠預測用戶與內容的特定模型。這些預測資料有助我們執行政策。
舉例來說,有個人工智能模型可以預測某一則內容是否屬於仇恨言論或血腥暴力內容;而另一個獨立的政策執行技術系統將會判斷是否要採取行動,例如將內容刪除或降級,或是轉交給人工審查團隊進一步審查。
重複學習,人手驗證
當我們剛開始建立新的內容政策執行技術時,我們會培訓這個技術去尋找特定的訊號。舉例來說,有些技術會尋找相片中的裸露內容,而其他的技術則會努力學習理解文字。一開始時,新型的技術在判斷內容是否違反政策方面可能不太可信。
審查團隊接下來可作出最終裁決,而我們的技術則可從每一次真人審查員的決定中學習。隨著時間過去,這項技術可透過數以千計的真人決定中學習,慢慢變得更準確。
我們的政策也會隨著時間不斷改進,以跟上我們產品、社會規範和語言的變化。因此,我們需要逐步和反覆培訓我們的技術和審查團隊。
偵測屢次違規行為技術非常擅長於重複偵測相同的內容,即使要偵測數百萬次也可以。如果我們的技術發現某一則新的內容和另一則違規內容相符或非常類似,便會就新內容採取行動。這對於控制網上瘋傳的錯誤資訊行動、迷因和其他可以快速散播的內容來說特別有效。
判斷細微差異
技術可以一再找出並移除相同的內容。不過,要讓機器理解不同用字之間的細微差異,或是理解多細微的差異就可能會改變語境,都是極為困難的事情。
第 1 張圖像是原版造成誤導的內容,內含有關公共衛生安全的錯誤資訊。
第 2 張圖像是第 1 張圖像的螢幕截圖,這次上方還有電腦的選單列。
最後第 3 張圖像非常近似於第 1 張和第 2 張圖像,但其中簡單修改了兩個字,令標題變得準確而不再失實。
這對真人來說非常容易理解,但技術卻很難做出正確的判斷,因此可能會一不小心就執法過嚴或過鬆。如果技術執法過嚴,很可能會移除掉數百萬則沒有違規的帖子;但如果不夠嚴厲,就有可能會判斷加上選單列的螢幕截圖與原版圖像不同,結果便不會對該內容採取行動。
我們花了非常多的時間來改善這一點。過去幾年來,我們投資了幾個項目,以助我們的技術更有效地偵測內容中的細微差異。隨著持續學習,我們的技術會變得越來越精準。