שיפור המדידה

מעודכן ‏19 בינו' 2022‏
אנחנו ממשיכים לבצע הערכה של המדדים שלנו כדי ללמוד איך לשפר את אופן ביצוע המדידות בדוח האכיפה של כללי הקהילה שלנו.
אנחנו גם ממשיכים לבדוק את המדיניות והתהליכים שלנו ואת המתודולוגיות שעומדות מאחוריהם. שינויים בכל אחד מאלה ישנו באופן מהותי את חישובי המדדים עצמם. השינויים הללו במתודולוגיות או בתהליכים עשויים להיות בנוסף למגמות המצביעות על כך שאנחנו משתפרים או מתדרדרים בצמצום ההפרות.
איכות מידע, עדכונים ותיקונים
ככל שתהליכי המדידה שלנו מתפתחים, אנחנו בודקים ומאמתים את המדדים שלנו באופן שוטף. כמו כן, יצרנו מערך של כללים שחלים על האופן שבו אנחנו מזהים ומתקנים את ההתאמות שבוצעו בנתונים שפורסמו בעבר, ומדווחים עליהן לציבור.
אנחנו מזהים בעיות אפשריות בנתונים שלנו באמצעות מגוון בדיקות איכות שוטפות המבוצעות במסדי הנתונים, בכלי המדידה ובמערכות הרישום שלנו. בעת זיהוי בעיה אפשרית, הצוותים הרלוונטיים ב-Meta מבצעים סדרת צעדים כדי לחקור, לצמצם ולזהות תיקונים של הבעיה לטווח הארוך.
לאחר הטיפול בבעיה, Meta תעדכן את הנתונים בדוח האכיפה של כללי הקהילה. אם התיקונים משמעותיים, Meta תתאר את הבעיה, את המדדים המושפעים ממנה ואת פרקי הזמן שבהם הם הושפעו.
תיקונים והתאמות
מדוע פיתחנו תהליכים לאיכות מידע
אנחנו מחויבים לשתף באופן שקוף הן את המדדים שלנו והן את התהליכים המשמשים אותנו כדי לחשב ולשפר אותם. כדי לפשט ולהחיל בצורה טובה יותר את פרסום ההתאמות והתיקונים שבוצעו במתודולוגיות ובמדדים שלנו, פיתחנו נוהל לאיכות מידע במטרה לזהות, לתקן ולפרסם דוח של כל ההתאמות שביצענו במידע שפורסם בעבר. זוהי דרך עבודה מקובלת בדוחות ציבוריים גדולים של סוכנויות לעיבוד נתונים סטטיסטיים וסוכנויות פדרליות והיא פותחה בהתאם לשיטות העבודה המומלצות לדיווח על נתונים במגזר הציבורי והפרטי. הבדיקות והנהלים שפיתחנו יהיו חיוניים לשמירה על הדיוק והמהימנות של הדיווח מעתה ואילך.
אנחנו מבצעים הערכה ואימות מתמידים של המדדים שלנו ומוודאים שהמידע שאנו משתפים מדויק וכי המתודולוגיות שבהן אנו משתמשים לייצור הנתונים מבוססות. כחלק מעבודה זו, כשנעדכן את המתודולוגיות או נבצע התאמה של המדדים, נשתף את השינויים הללו כאן.
אופן הערכת המדדים ושיפורם
אנחנו משפרים תמיד את התהליכים והמתודולוגיות שבהם אנו משתמשים במטרה לספק את הנתונים המשמעותיים והמדויקים ביותר לגבי האופן שבו אנחנו אוכפים את המדיניות. במהלך הקיץ של שנת 2019 יישמנו תהליכי איכות מידע שיוצרים בלמים ואיזונים נוספים כדי לוודא שהמדדים שאנו משתפים הם תקפים ועקביים.
זיהוי תרחישי עדיפות לאישור התקפות
אנחנו מזהים ממדים שונים לכל מדד ומפתחים תעדוף סיכונים של סגמנטים שעשויים להשפיע על המדדים בצורה משמעותית. לגבי הסגמנטים ברשימת התעדוף אנחנו מיישמים בדיקות מרובות כדי לוודא שהם לוכדים מידע באופן מדויק.
לדוגמה, פירטנו את מדדי התוכן שלגביו ננקטה פעולה לממדים מרובים לצורך בדיקה. לדוגמה, הפרדנו תוכן בהתבסס על השאלה האם מערכות אוטומטיות או בודקים אנושיים נקטו את הפעולה, מה גרם לכך שאנחנו נקטנו פעולה, ולגבי איזה סוג של תוכן (תמונות, טקסט, סרטון) נקטנו פעולה.
בעזרת הממדים השונים הללו אנחנו מבצעים הערכה שבודקת כמה הטיה הייתה נכללת במדידה שלנו אם ממד זה לא היה מיוצג נכון במדד (לדוגמה, אם לא כללנו תוכן של סרטון במדדים שלנו). ההערכות הללו אפשרו לנו לזהות ממדים שעשויים להשפיע על המדד (למשל, האם בני אדם נקטו פעולה).
לאחר מכן בדקנו עד כמה היה מושפע המדד אם ממד זה היה שגוי (למשל אם לא רשמנו את התוכן שלגביו בני אדם נקטו פעולה). בשלב זה תעדפנו את תרחישי הסיכון הגבוה ביותר כדי לבצע בדיקות צולבות נוספות. עבור שילובי הסיכונים הגבוהים הללו, פיתחנו מערכות נוספות לצורך ביצוע מעקב ובדיקות צולבות כדי לוודא שהמדדים הללו הוערכו בצורה נכונה.
בדיקות תקפות ועקביות
בנוסף לכך יישמנו בדיקות עקביות כדי להוסיף אימות למדדים שלנו. ביניהן נכללו הבדיקות הבאות:
מדי פעם אנחנו מודדים את הפעולות שלנו באמצעות מערכת נפרדת ובלתי תלויה שמודדת תוכן שננקטו נגדו פעולות. אנחנו בודקים באופן קבוע את המדדים הבלתי תלויים השונים הללו, שנועדו לזהות שגיאות משמעותיות בדיווח שלנו.
אנחנו מבצעים מגוון רחב של בדיקות נקודתיות אקראיות כדי לאמת את דיוק מערכות המדידה כמעט בזמן אמת. ביניהן בדיקה של תוצאות שונות שמתרחשות במערכת מאוחר יותר כדי לבדוק שוב את התוצאות בהמשך התהליך. לדוגמה, אנחנו מאשרים שהתוכן שהוגש לגביו ערעור נרשם גם כתוכן שננקטה נגדו פעולה, מכיוון שחייבים לנקוט פעולה לגבי תוכן כדי שניתן יהיה לערער עליו. רבות מהבדיקות הללו נועדו לזהות שגיאות משמעותיות כמו תוכן שהוגש לגביו ערעור אך מעולם לא הוסר.
בדומה לכל היבטי הדיווח על אכיפת הכללים שלנו, אנחנו ממשיכים לפתח ולשפר את תהליכי בדיקת התקפות והעקביות במהלך הזמן.
נהלים פנימיים של בדיקה ותיקון
בנוסף לכך יצרנו נהלים לזיהוי ולתיקון של מידע ששותף בעבר בדוח האכיפה, שאותו אנחנו בודקים ומעדכנים באופן שגרתי. כאשר אנחנו מזהים בעיות אפשריות במדדים ששותפו בדוח האכיפה של כללי הקהילה, אנחנו מבצעים את הצעדים הבאים:
  • דיווח. אם התגלתה בעיה פוטנציאלית, הצוותים שלנו מגישים מיד דוח תקרית שמתריע לצוותים הרלוונטיים להתחיל בחקירת הבעיה.
  • חקירה וטיפול. הצוותים הרלוונטיים בודקים את הבעיה הפוטנציאלית, מבצעים שינויים מיידיים כדי למנוע בעיות נוספות של עקביות לפי הצורך, ומפתחים פתרונות כדי למנוע את הישנות הבעיה
  • הבנת הבעיה. הצוותים הרלוונטיים בודקים את הבעיה הפוטנציאלית, מבצעים שינויים מיידיים כדי למנוע בעיות נוספות של עקביות לפי הצורך, ומפתחים פתרונות כדי למנוע את הישנות הבעיה.
  • בדיקה של אירועים לאחר מעשה. לאחר הטיפול בבעיה, אנחנו מבצעים בדיקה פנימית מפורטת לזיהוי סיבות השורש של הבעיה וההשפעה המלאה שלה. תהליך זה מאפשר לנו לזהות סיכונים רחבים יותר לתקפות המדידה שאנחנו מבצעים כדי שנוכל למנוע ולמזער אותם.
התאמות לדיווח
לאחר זיהוי הבעיה והתאמת המדד המושפע, נפרסם לציבור דוח על התיקון על ידי עדכון פוסט זה במועד פרסום המהדורה הבאה של דוח האכיפה של כללי הקהילה. בעדכון זה נתאר את הבעיה, את המדדים המושפעים ואת פרקי הזמן שבהם הם מושפעים. הנתונים לרבעונים שהושפעו בעבר בדוח האכיפה של כללי הקהילה עצמו יכללו את כל המדדים שעברו התאמה, ככל האפשר, כדי להבטיח שההשוואות לאורך זמן הן בעלות משמעות.
בקשת משוב והרחבת המדדים שעליהם אנחנו מדווחים
בנוסף לעבודה שאנו מבצעים באופן פנימי כדי להעריך ולשפר את המדדים שלנו, אנחנו גם מבקשים משוב חיצוני לגבי המתודולוגיות המשמשות אותנו ומרחיבים את המדדים שעליהם אנו מדווחים כדי לספק תמונה מבוססת יותר של רמת הביצועים שלנו באכיפת המדיניות.
הערכת המתודולוגיה ומשובים
כדי להבטיח שהשיטות שבהן אנו משתמשים הן שקופות ונסמכות על עקרונות מבוססים, אנחנו מבקשים ממומחים חיצוניים בנושא לבצע ניתוח ולספק משוב בתחומים שונים, למשל האם המדדים שאנחנו מספקים הם אינפורמטיביים.
על מנת להבטיח שהגישה שבה נקטנו למדידת אכיפת התוכן הייתה משמעותית ומדויקת, עבדנו עם Data Transparency Advisory Group (DTAG), קבוצה חיצונית של מומחים אקדמאים בינלאומיים בתחומי המדידה, הסטטיסטיקה, הקרימינולוגיה והממשל. במאי 2019 סיפקה הקבוצה הערכה ציבורית עצמאית בנוגע לשאלה האם המדדים שאנו משתפים בדוח האכיפה של כללי הקהילה מספקים מדדים מדויקים ובעלי משמעות לגבי רמת הביצועים שלנו באכיפת המדיניות, וכן את האתגרים שעמם אנחנו מתמודדים בעבודה זו, ומה עלינו לעשות כדי להתמודד איתם. באופן כללי גילתה הקבוצה שהמדדים שלנו הם אמצעים סבירים למדידת הפרות ותואמים את שיטות העבודה המומלצות. היא גם סיפקה כמה המלצות לגבי הדרך שבה נוכל להמשיך ולהיות שקופים בנוגע לעבודה שאנחנו מבצעים, שתיארנו בפירוט ושנמשיך לבדוק. בנוסף לכך, Meta התחייבה לבצע ביקורת עצמאית של המדדים ששותפו בדוח זה בשנת 2021.
הציגו את דוח האכיפה האחרון של כללי הקהילה