בדיקה של תוכן בעל השפעה רבה באופן מדויק באמצעות מערכת הבדיקות הצולבות שלנו
מעודכן 12 בנוב' 2024
ב-6 בדצמבר 2022, פרסמה מועצת הפיקוח את ה-PAO לגבי מדיניות הבדיקות הצולבות של Meta. כדי להתייחס באופן מלא להמלצות, סיכמנו עם המועצה על בדיקה ותגובה תוך 90 יום. לקבלת מידע נוסף על מערכת הבדיקות הצולבות, בקרו בפוסט של מרכז השקיפות.
סקירה כללית של בדיקות צולבות
משתמשי פייסבוק ואינסטגרם יוצרים מיליארדי פריטי תוכן בכל יום. הפיקוח על תוכן בקנה מידה כזה מציב אתגרים, כולל פשרות בין ערכים ויעדים חשובים. אנחנו משתדלים לבדוק במהירות תוכן שעלול להוות הפרה ולהסיר אותו אם הוא מפר את המדיניות שלנו. אבל עלינו לשקול את המטרה הזו מול הסיכון של "זיהוי כוזב" (הסרה שגויה של תוכן שאינו מפר) כדי להגן על קולם של המשתמשים. (כאן, אנחנו מתייחסים ל"הסרה" של תוכן, מונח שמשמש אותנו לתיאור כללי של פעולות בתחום היושרה. הפעולות האלה יכולות לכלול, לדוגמה, שימוש במסכי אזהרה או הסרה של דפים.)
כדי לאזן בין השיקולים הללו, Meta יישמה את מערכת הבדיקות הצולבות כדי לזהות תוכן שיש בו סיכון גבוה יותר לזיהוי כוזב וכדי לספק רמות נוספות של בדיקות כדי לצמצם את הסיכון הזה. בדיקה צולבת מספקת רמות נוספות של בדיקות עבור תוכן מסוים שהמערכות הפנימיות שלנו סימנו בתור הפרה (באמצעות אוטומציה או בדיקה אנושית), במטרה למנוע או לצמצם שגיאות פיקוח במקרים בעלות סיכון גבוה יותר לזיהוי כוזב עקב גורמים שונים, כגון הצורך להבין ניואנסים או הקשר. (כאן, אנחנו מתייחסים ל"תוכן" שנבדק באמצעות מערכת הבדיקות הצולבות שלנו. אנחנו משתמשים בבדיקות צולבות גם כדי לבדוק פעולות אחרות, כגון הסרת דף או פרופיל.) בעוד שבדיקות צולבות מספקות רמות נוספות של בדיקות, הבודקים מיישמים את אותם כללי קהילה שחלים על כל שאר התוכן בפייסבוק או באינסטגרם.
מערכת הבדיקות הצולבות ממלאת תפקיד מכריע בהגנה על זכויות אדם. למשל, מערכת הבדיקות הצולבות כוללת ישויות ופוסטים של עיתונאים שמדווחים מאזורי סכסוך ושל מנהיגי קהילה שמעלים מודעות למקרים של שנאה או אלימות. הבדיקות הצולבות מביאות בחשבון את ההקשר שעוזר לנו לפעול נכון לגבי התוכן הזה. הבדיקות הצולבות עשויות לחול גם על ישויות אזרחיות, כאשר המשתמשים מעוניינים לראות מה אומרים המנהיגים שלהם.
בנוסף, הבדיקות הצולבות ממלאות תפקיד חשוב בניהול מערכות היחסים של Meta עם רבים מהשותפים העסקיים שלנו. למשל, הסרה שגויה של תוכן שפורסם על ידי דף או פרופיל עם קהל עוקבים גדול עלולה לגרום לחוויות שליליות מבחינת השותפים העסקיים של Meta ומבחינת המשתמשים הרבים שעוקבים אחריו. אנחנו מיישמים בדיקות צולבות גם במקרים של קבוצות גדולות במיוחד, שבהן כל שגיאה עלולה להשפיע על מאות אלפי או מיליוני משתמשים. הבדיקות הצולבות אינן פוטרות את השותפים העסקיים או את הקבוצות של Meta ממדיניות התוכן שלנו, אבל הן מספקות לפעמים רמות נוספות של בדיקות כדי להבטיח שהמדיניות מיושמת בצורה מדויקת.
משתמשי פייסבוק ואינסטגרם מפרסמים מיליארדי פריטי תוכן בכל יום. אפילו עם אלפי בודקים מסורים ברחבי העולם, לא ניתן לבדוק ידנית כל פריט תוכן שעלול להפר את כללי הקהילה שלנו. הרוב המכריע של התוכן המפר שאנחנו מסירים מזוהה באופן יזום על ידי הטכנולוגיות שלנו עוד לפני שמישהו מדווח עליו. כשמישהו מפרסם פוסט בפייסבוק או באינסטגרם, הטכנולוגיות שלנו בודקות אם התוכן עלול להפר את כללי הקהילה. במקרים רבים, הזיהוי הוא עניין פשוט. או שהפוסט מפר באופן ברור את המדיניות שלנו, או שהוא אינו מפר אותה. אבל במקרים אחרים, התוכן מועבר לבודק אנושי להערכה נוספת.
מערכות הבדיקה העיקריות שלנו משתמשות בטכנולוגיות כדי לתעדף תוכן ברמת חומרה גבוהה, כולל תוכן "ויראלי" שמתפשט במהירות. כאשר המערכות מסמנות תוכן להסלמה, הבודקים שלנו מקבלים החלטות קשות, ולעתים קרובות מבוססות על ניואנסים, כדי לקבוע אם התוכן צריך להישאר בפלטפורמה. אנחנו תמיד משתדלים לקבל את ההחלטות הנכונות, אבל אנחנו מכירים בכך שמקרים של זיהוי כוזב אכן מתרחשים, ולפעמים קורה שאנחנו מייעדים תוכן להסרה בשל הפרת המדיניות של Meta כשבפועל לא קרתה שום הפרה. לפיכך, Meta השקיעה במניעת טעויות כדי להמשיך ולבחון תוצאות של זיהוי כוזב ולצמצם אותן. הבדיקות הצולבות הן אחת מהאסטרטגיות הללו למניעת טעויות.
מערכת הבדיקות הצולבות משמשת כדי להבטיח שהחלטות אכיפה מתקבלות בצורה מדויקת, ועם רמות נוספות של בדיקה אנושית. אם במהלך הבדיקה הצולבת הבודק מאשר שתוכן מסוים מפר את כללי הקהילה שלנו, אנחנו אוכפים את המדיניות ומטפלים בתוכן המפר בהתאם. בהתאם למורכבות התוכן, ייתכן שניישם כמה רמות של בדיקה, כולל בדיקה של ההנהלה במקרים נדירים. אם הבודק האחרון קובע שהתוכן הנדון לא מפר את כללי הקהילה, הבודק יכול "לבטל" את הפעולה הראשונית ולהשאיר את התוכן בפלטפורמה.
שיטות קודמות לבדיקות צולבות
המערכת שקרויה היום בדיקות צולבות יושמה לראשונה בשנת 2013. פרטי המערכת התפתחו במהלך השנים, ובמידת האפשר, סיפקנו תאריכים וטווחי תאריכים שמסבירים מתי התרחשו השינויים האלה.
כדי לקבוע איזה תוכן או אילו ישויות יעברו בדיקות צולבות, הצוותים שלנו זיהו והכינו רשימות של משתמשים או ישויות שנקבע שקיים בהם סיכון גבוה יותר לפעולות שגויות נגדם בשל זיהוי כוזב. "סיכון לזיהוי כוזב" מתייחס לסיכון של אכיפה שגויה נגד תוכן או ישויות שלא הפרו בפועל את כללי הקהילה. כדי לקבוע לאילו משתמשים וישויות יש סיכון גבוה יותר לזיהוי כוזב, הצוותים שלנו השתמשו במגוון קריטריונים, כולל סוג המשתמש או הישות (למשל, נבחר ציבור, עיתונאי, שותף עסקי חשוב, ארגון זכויות אדם), מספר העוקבים שלהם והנושא של הישות. (ישות היא מונח כללי למקור שממנו מגיע התוכן או שבו הוא הופיע, כגון חשבון משתמש, דף או קבוצה.)
כאשר משתמשים או ישויות שהופיעו ברשימות האלה פרסמו תוכן או ביצעו פעולות שהמערכות שלנו סימנו בתור הפרה פוטנציאלית של המדיניות שלנו, הוספנו את התוכן או הישות לתור לבדיקות צולבות.
החל מ-2020, ביצענו שינויים לתעדוף של רוב התוכן בתור באמצעות מסגרת עבודה של הערכת סיכונים, שהקצתה רמות של סיכון לזיהוי כוזב אם Meta תסיר את התוכן הזה באופן שגוי. מסגרת העבודה להערכת סיכונים הסתמכה בדרך כלל על 3 גורמים: (1) הרגישות של הישות, (2) חומרת ההפרה לכאורה, וכן (3) החומרה של פעולת האכיפה הפוטנציאלית.
שיטות נוכחיות לבדיקות צולבות
בדומה לכל המדיניות והתהליכים שלנו, אנחנו מחפשים כל הזמן דרכים לשיפור ועורכים שינויים באופן שוטף. מוקדם יותר השנה, זיהינו הזדמנויות נוספות לשיפור של מערכת הבדיקות הצולבות. אחד מהשינויים המבניים שביצענו הוא שמערכת הבדיקות הצולבות בנויה כיום משני מרכיבים: בדיקה כללית משנית (GSR) ובדיקה משנית של ישות רגישה (SSR). נמשיך להשתמש בגישה המבוססת על רשימות שתוארה קודם לכן לצורך הכללה בבדיקת SSR לאחוז מסוים מהמשתמשים והישויות, אבל עם בדיקת GSR, אנחנו מתקדמים לקראת מצב שבו תוכן מכל המשתמשים והישויות בפייסבוק ובאינסטגרם יהיה זכאי לבדיקות צולבות בהתבסס על מערכת תעדוף דינמית בשם "מדרג בדיקות צולבות".
בדיקת GSR נעשית על ידי בודקי קבלן ואנשים מהצוותים האזורים שלנו שמבצעים בדיקה משנית של תוכן וישויות שעלולים להפר את המדיניות שלנו לפני הנקיטה של פעולת אכיפה. הבדיקה הזו לא מסתמכת רק על זהות המשתמש או הישות כדי לקבוע איזה תוכן יעבור בדיקות צולבות. מדרג הבדיקות הצולבות מדרג תוכן על פי הסיכון לזיהוי כוזב תוך שימוש בקריטריונים כגון רגישות הנושא (עד כמה הנושא פופולרי/רגיש), חומרת האכיפה (החומרה של פעולת האכיפה הפוטנציאלית), ההסתברות לזיהוי כוזב, טווח התפוצה החזוי והרגישות של הישות (בהתבסס בעיקר על הרשימות שנוצרו ושתוארו קודם לכן). מדרג הבדיקות הצולבות נמצא כבר בשימוש ברוב הבדיקות הצולבות כיום.
בדיקת SSR דומה למערכת הבדיקות הצולבות הישנה. כדי לקבוע איזה תוכן או אילו ישויות יעברו בדיקת SSR, אנחנו ממשיכים לנהל רשימות של משתמשים וישויות שהאכיפה נגדם עוברת בדיקות צולבות נוספות אם הם מסומנים בתור הפרה פוטנציאלית של כללי הקהילה. עם זאת, הוספנו בקרות לתהליך ההכנה והעריכה של הרשימות האלה. לפני ספטמבר 2020, רוב העובדים היו מסוגלים להוסיף משתמש או ישות לרשימת הבדיקות הצולבות. לאחר ספטמבר 2020, בעוד שכל עובד יכול לבקש להוסיף משתמש או ישות לרשימות הבדיקות הצולבות, רק לקבוצה ייעודית של עובדים יש את הסמכות להוסיף לרשימה.
האחריות לניהול רשימת ה-SSR נמצאת כיום בידי צוות הפעולות הגלובלי, עם תמיכה מהצוות המשפטי ומצווות השותפויות עם הידע והניסיון הייחודיים שלהם. אף על פי שמבנה הכפיפות של צוות הפעולות הגלובלי נפרד מצוות המדיניות הציבורית של Meta, צוות המדיניות הציבורית מייעץ לגבי החלטות שקשורות לבדיקות צולבות – בדומה לתחומים רבים אחרים של מודרציית תוכן ברחבי החברה. במקרים האלה, צוות הפעולות עשוי לנצל את המומחיות של צוות המדיניות הציבורית של Meta, בשילוב עם המומחים האזוריים והבודקים המומחים שאינם מוגבלים לשפה מסוימת, כדי לשפר את נקודות המבט המקומיות והתרבותיות. מבני הכפיפות הנפרדים עוזרים להבטיח שהבדיקה תהיה חופשית מהשפעה פוליטית או כלכלית. כדי לקיים רשימות רלוונטיות והולמות, פיתחנו גם תהליך סקירה שנתי יסודי לביקורת של הישויות שמופיעות ברשימות SSR לצורך המשך זכאות, ונמשיך לשכלל אותו לאורך הזמן.
בחודשים האחרונים, Meta בודקת בממוצע כמה אלפי משימות של בדיקות צולבות ביום, כאשר הרוב המכריע מבוצע באמצעות בדיקת GSR. (יחסית למיליוני פריטי התוכן שמסומנים ומטופלים עקב הפרת כללי הקהילה מדי יום, זהו חלק קטן.) בדיקת SSR מהווה כעת חלק קטן מהבדיקות היומיות האלה. אנחנו צופים שינוי מתמשך במספר המשימות של הבדיקות הצולבות כתוצאה מהתעדוף של בדיקת GSR לקראת סוף 2021 ותחילת 2022.
אם פריט התוכן מגיע מאדם או מישות שנכללו בבדיקת SSR, הוא ייבדק תחילה על ידי צוות האזור, ברוב המקרים. לאחר מכן, צוות ההסלמה יבדוק אותו כדי לאשר שהתוכן אכן מפר את המדיניות. באופן כללי, אם צוות האזור ימצא שהתוכן לא מפר את המדיניות שלנו, לא תתבצע בדיקה של צוות ההסלמה. אם פריט התוכן מגיע מאדם או מישות שתועדפו על ידי מדרג הבדיקות הצולבות, בדרך כלל יבדקו אותו עובדי קבלן או צוות האזור, אלא אם כן לצוות ההסלמה יש זמן לבדוק אותו. בדומה לבדיקות הצולבות הישנות, בעיות עם מורכבות גבוהה עשויות לעבור בדיקה נוספת, כולל בדיקה מצד ההנהלה במקרים נדירים. אם הבדיקה הסופית קובעת שהתוכן מפר את כללי הקהילה, אנחנו מסירים אותו. אם הבדיקות שלנו קובעות שהתוכן לא מהווה הפרה, אנחנו משאירים אותו.
נכון ל-16 באוקטובר 2021, כ-660,000 משתמשים וישויות ביצעו פעולות המחייבות צורה כלשהי של בדיקת SSR כתוצאה מההכללה שלהם ברשימות שתוארו קודם לכן. המספר הזה משתנה כל הזמן בזמן שאנחנו מוסיפים או מסירים משתמשים וישויות ברשימות שתוארו על סמך שינויים בקריטריונים להכללה. דוגמאות למשתמשים וישויות שזכאים לבדיקת SSR כוללות, בין היתר:
- ישויות שקשורות לתגובות של הסלמה או לאירועים בסיכון גבוה. בשלב הזה, קיים תהליך לא פורמלי שבו צוותים שמתכוננים לאירועים בסיכון גבוה מזהים ישויות שנמצאות בסיכון גבוה לאכיפת יתר. לדוגמה, אם תוכן מעורר מחלוקת של משתמש מסוים הופך לוויראלי (למשל, סרטון בשידור חי של אלימות משטרתית), ייתכן שנעביר את המשתמש לבדיקת SSR כדי למנוע הסרה שגויה.
- ישויות שכלולות למטרות ציות לחוק. במקרים מסוימים, אנחנו משתמשים בבדיקת SSR כדי לעמוד בדרישות החוק או הרגולציה.
- דמויות ציבוריות ובעלי תוכן בפרופיל גבוה. אנחנו מזהים ישויות לצורך בדיקת SSR כיוון שאכיפת-יתר עלולה לגרום לחוויה שלילית מבחינת קבוצה גדולה של משתמשים.
- אוכלוסיות מודרות. אנחנו מזהים גורמים שמגינים על זכויות אדם, מתנגדים פוליטיים וגורמים אחרים שעלולים לדעתנו להוות מטרה לפעולות עוינות של הטרדה, מתקפות מתואמות או דיווח המוני בחסות המדינה או ישות אחרת כדי להגן מפני המתקפות האלה.
- ישויות אזרחיות. אנחנו מסתמכים על קריטריונים אובייקטיביים ועל המומחיות של צוותי המדיניות המקומיים שלנו כדי לזהות פוליטיקאים, פקידי ממשל, מוסדות, ארגונים, קבוצות לקידום מטרות ואזרחים בעלי השפעה. אנחנו מכלילים את הישויות האלה בבדיקות SSR כדי למנוע טעויות שיגבילו שיח פוליטי שאינו מפר את הכללים וישפיעו בשוגג על הדיון בנושאים אזרחיים כמו בחירות, מדיניות ציבורית ונושאים חברתיים. אנחנו שואפים להבטיח שוויון בין הישויות האזרחיות במדינה – לדוגמה, אם נכלול משרד ממשלתי מסוים לצורך בדיקת SSR, נכלול גם את כל המשרדים הממשלתיים של אותה מדינה לצורך בדיקת SSR.
- עסקים. אנחנו מזהים מפרסמים בעלי ערך גבוה, וכן מפרסמים שחוו אכיפת-יתר, כדי להגן על הכנסות ולבנות אמון לטווח ארוך בפלטפורמה שלנו.
בימים אלה, אנחנו בוחנים דרכים לשפר את הקריטריונים לזיהוי ישויות שצריכות לעבור בדיקת SSR. לדוגמה, אנחנו בוחנים פיתוח קריטריונים בתחומים כמו מספר העוקבים, מספר האכיפות הקודמות בגין זיהוי כוזב, דרישות משפטיות/רגולטוריות וכן נושאים פוליטיים/חברתיים חשובים. משתמשים יכולים לבקש שלא להיכלל ברשימת ה-SSR באמצעות טופס זה. Meta אינה מאשרת אם משתמשים מסוימים נמצאים ברשימות או הוסרו מהן. עם זאת, אנחנו מאמינים בכל לבנו באוטונומיה של המשתמשים ונבדוק כל בקשה בהקדם האפשרי.
בנוסף לשני המרכיבים של מערכת הבדיקות הצולבות, אנחנו מפעילים גם מערכת פנימית למניעת טעויות בשם "בדיקות מרובות דינמיות" (DMR). המערכת הזו מאפשרת לנו לשלוח מקרים שנבדקו לבדיקה חוזרת כדי לקבל הצבעת רוב לגבי ההחלטה (למשל, אם רוב הסוקרים מסכימים על ההחלטה, המקרה נסגר), כך שנרגיש בטוחים יותר שהתקבלה החלטה נכונה. אנחנו משתמשים במערכת הזו כדי לשפר את האיכות והדיוק של הביקורת האנושית וכדי להפחית את הסיכון להחלטות שגויות על ידי שינוי מספר הבדיקות שאנחנו דורשים לצורך קבלת ההחלטה הסופית בהתבסס על כמה גורמים שונים כגון ויראליות, מספר הצפיות והפוטנציאל לתרום לפגיעה (כמו הפרות אפשריות של המדיניות שלנו בנושא ניצול מיני או אנשים וארגונים מסוכנים).
התערבות בעתיד בשקיפות של הבדיקות הצולבות
בתגובה להחלטת מועצת הפיקוח מדצמבר 2022 בנושא ההתייחסות לעמדה של יועצי המדיניות לגבי מדיניות הבדיקות הצולבות, התחייבנו גם לשורה של פעולות התערבות לצורך שקיפות למניעת טעויות. פעולות ההתערבות האלה כוללות:
- מעורבות מבנית איתנה של צוותים פנימיים בנושא זכויות אדם וזכויות אזרח, שותפים מהימנים וארגוני קהילה אזרחית חיצוניים אחרים כדי לבחון דרכים לחידוד הקריטריונים שבהם אנחנו משתמשים לזיהוי ישויות בעלות אינטרס ציבורי לצורך רשימות הבדיקות צולבות.
- בחינת תהליך המלצה רשמי יותר לגבי הוספה לרשימות הבדיקות הצולבות מצד קבוצות קהילה אזרחית גלובליות, אזוריות ומקומיות.
- השקעה במשאבי בדיקה והדרכה איכותיים בזמן האיוש של צוותי ההחלטות לגבי בדיקות צולבות, והקפדה על איתור בודקים שדוברים את השפה ושיש להם מומחיות אזורית במידת האפשר.
- הטמעת הסכמי רמת שירות (SLA) משמעותיים בהחלטות הבדיקה בכל המערכות שלנו למניעת טעויות, דבר שיאפשר לנו לייעל את המודל הנוכחי לאיוש בודקים כך שבדיקות בשפת המקור יתקיימו מהר ככל האפשר.
למרות השיפורים המשמעותיים במערכת הבדיקות הצולבות, אנחנו ממשיכים לבחון דרכים לוודא שהמערכת מאזנת היטב בין היעדים של הסרת תוכן שמפר את כללי הקהילה לבין ההקפדה על צמצום שגיאות אכיפה שיש להן השפעה רבה.