मूल्यांकन के तरीके को बेहतर बनाना

अपडेट किया गया 19 जन 2022
हम अपनी कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्ट में मूल्यांकन करने के तरीकों को बेहतर बनाने के तरीके जानने के लिए, अपने मीट्रिक का लगातार मूल्यांकन कर रहे हैं.
हम अपनी पॉलिसी और प्रोसेस तथा उनके पीछे काम करने वाली कार्यप्रणालियों का भी रिव्यू करते रहते हैं. इनमें से किसी में भी बदलाव होने से मीट्रिक की गणना अपने आप बदल जाती है. कार्यप्रणाली या प्रक्रिया में हुए ये बदलाव उन रुझानों के अलावा हो सकते हैं, जिनमें यह पता चलता है कि उल्लंघनों को कम करने में हमारी स्थिति सुधरी है या बिगड़ी है.
जानकारी की क्वालिटी, अपडेट और सुधार
जैसे-जैसे हमारी मूल्यांकन के प्रोसेस बेहतर होते हैं, हम नियमित रूप से अपने मीट्रिक का रिव्यू और सत्यापन करते हैं. हमने ऐसे कुछ स्टैंडर्ड भी बनाए हैं, जो पहले जारी किए गए डेटा में हुए सभी बदलावों का पता लगाने, उनमें सुधार करने और सार्वजनिक रूप से उनकी रिपोर्ट करने के हमारे तरीके को नियंत्रित करते हैं.
हम अपने डेटासेट, मूल्यांकन के टूल और लॉगिंग सिस्टम पर कई तरह के नियमित क्वालिटी चेक करके अपने डेटा से जुड़ी संभावित समस्याओं का पता लगाते हैं. जब किसी संभावित समस्या का पता चलता है, तो Meta में संबंधित टीम उस समस्या की जाँच करने, उसे कम करने और लंबे समय तक उसके समाधान का पता लगाने के लिए कई कदम उठाती हैं.
समस्या का समाधान हो जाने के बाद, Meta कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्ट में डेटा अपडेट कर देता है. जहाँ इस तरह के सुधार काम के साबित होते हैं, वहाँ Meta उस समस्या, उससे प्रभावित होने वाले मीट्रिक और प्रभावित होने वाली समयावधि का वर्णन करेगा.
सुधार और बदलाव
हमने जानकारी की क्वालिटी के प्रोसेस क्यों विकसित किए
हम अपने मीट्रिक के साथ-साथ उन सभी प्रोसेस को पारदर्शी तरीके से शेयर करने के लिए प्रतिबद्ध हैं, जिनका उपयोग हम उनकी गणना और उनमें सुधार करने के लिए करते हैं. हमारे काम करने के तरीकों और मीट्रिक में किए गए एडजस्टमेंट और सुधारों को कारगर बनाने और बेहतर ढंग से नियंत्रित करने के लिए, हमने पहले जारी की गई जानकारी में किए गए सभी एडजस्टमेंट का पता लगाने, उन्हें सुधारने और सार्वजनिक रूप से रिपोर्ट करने के लिए जानकारी की क्वालिटी की एक प्रक्रिया को विकसित किया. यह बड़ी सांख्यिकीय एजेंसियों और प्राधिकरण की सार्वजनिक रिपोर्ट में एक सामान्य कार्यप्रणाली है तथा इसे सार्वजनिक और निजी दोनों क्षेत्रों में डेटा रिपोर्टिंग की सर्वोत्तम प्रक्रियाओं के अनुरूप विकसित किया गया था. हमारे द्वारा विकसित किए गए ये रिव्यू और प्रक्रियाएँ आगे चलकर हमारी रिपोर्टिंग की सटीकता और प्रामाणिकता को बनाए रखने में महत्वपूर्ण होंगी.
हम लगातार अपने मीट्रिक का मूल्यांकन और सत्यापन करते हैं और सुनिश्चित करते हैं कि हमारे द्वारा शेयर की जा रही जानकारी सटीक है तथा इस डेटा को जेनरेट करने के लिए हमारी कार्यपद्धतियाँ सही हैं. इस काम की प्रक्रिया में जब हम अपनी कार्यपद्धतियाँ अपडेट या मीट्रिक समायोजित करेंगे, तब हम उन बदलावों को यहाँ शेयर करेंगे.
हम अपने मीट्रिक का मूल्यांकन और उनमें सुधार कैसे करते हैं
हम अपनी पॉलिसी कैसे लागू कर रहे हैं, इस बारे में सबसे सार्थक और सटीक संख्या उपलब्ध करवाने के लिए हम अपनी प्रक्रियाओं और कार्यपद्धतियों में लगातार सुधार कर रहे हैं. 2019 की गर्मियों में, हमने जानकारी की क्वालिटी की अतिरिक्त जाँच करने और संतुलन बनाने वाली प्रक्रियाओं को कार्यान्वित किया ताकि यह सुनिश्चित किया जा सके कि हम वैध और संगत मीट्रिक शेयर करते हैं.
वैधता कन्फ़र्म करने के लिए प्राथमिकता के परिदृश्यों का पता लगाना
हम हर मीट्रिक के विभिन्न डायमेंशन का पता लगाते हैं और उन सेगमेंट की जोखिम-प्राथमिकता विकसित करते हैं, जो मीट्रिक को महत्वपूर्ण रूप से प्रभावित कर सकते हैं. इस प्राथमिकता सूची में शामिल सेगमेंट के लिए हम यह सुनिश्चित करने हेतु कई तरह की जाँच करते हैं कि ये सेगमेंट जानकारी को सटीक रूप से कैप्चर कर रहे हैं.
उदाहरण के लिए, हम रिव्यू करने के लिए कंटेंट पर एक्शन लेने से जुड़े अपने मीट्रिक को कई डायमेंशन में विभाजित करते हैं. उदाहरण के लिए, हम इस आधार पर कंटेंट को अलग करते हैं कि क्या हमारे ऑटोमेटेड सिस्टम या ह्यूमन रिव्यूअर ने एक्शन लिया, किस वजह से हमें एक्शन लेना पड़ा और हमने किस तरह के कंटेंट (फ़ोटो, टेक्स्ट, वीडियो) पर एक्शन लिया.
इन अलग-अलग डायमेंशन के साथ, हम यह आकलन करते हैं कि अगर उस डायमेंशन को मीट्रिक में सही ढंग से प्रदर्शित नहीं किया गया था तो हमारे मूल्यांकन पर कितना असर पड़ा और यह कितना बिगड़ा (उदाहरण के लिए, अगर हमने अपने मीट्रिक में वीडियो कंटेंट शामिल नहीं किया था). इन आकलनों से हम उन डायमेंशन का पता लगा पाते हैं, जो मीट्रिक पर असर डाल सकते हैं (जैसे कि क्या लोगों ने एक्शन लिया).
फिर, हम यह पता लगाते हैं कि अगर वह डायमेंशन गलत था, तो मीट्रिक पर कितना असर पड़ सकता है (मान लें कि हमने ऐसे किसी भी कंटेंट को लॉग नहीं किया जिस पर लोगों ने एक्शन लिया था). फिर, इसे और बारीकी से जाँचने के लिए, हम सबसे गंभीर या सबसे ज़्यादा असर डालने वाले जोखिमों पर फ़ोकस करते हैं. ज़्यादा जोखिम वाले इन कॉम्बिनेशन के लिए, हम अतिरिक्त ट्रैकिंग और क्रॉस-चेक सिस्टम विकसित करते हैं, ताकि यह पक्का हो सके कि अनुमानित मीट्रिक सही हैं.
वैधता और कंसिस्टेंसी की जाँच
अपने मीट्रिक को ज़्यादा प्रामाणिक बनाने के लिए, हमने कंसिस्टेंसी की जाँच भी लागू की है. इनमें ये शामिल हैं:
हम समय-समय पर एक अलग और निष्पक्ष सिस्टम का उपयोग करके कंटेंट के खिलाफ़ लिए गए अपने एक्शन का रिव्यू करते हैं. हम नियमित रूप से इन विभिन्न निष्पक्ष मीट्रिक की जाँच करते हैं, जिनका उद्देश्य हमारी अकाउंटिंग में बड़ी गलतियों का पता लगाना है.
हम अपने मूल्यांकन सिस्टम की सटीकता को वेरिफ़ाई करने के लिए, करीब-करीब रियल-टाइम में किसी भी क्रम में कई स्पॉट चेक करते हैं. इसमें अलग-अलग परिणामों की जाँच की जाती है, जो हमारे सिस्टम में बाद में दिखते हैं ताकि यह पक्का हो सके कि पिछले परिणाम सही थे. उदाहरण के लिए, हम यह कन्फ़र्म करते हैं कि जिस कंटेंट के लिए अपील की गई है, उसे ऐसे कंटेंट के तौर पर भी लॉग किया गया है, जिस पर एक्शन लिया गया, क्योंकि अपील करने के लिए कंटेंट पर एक्शन लिया जाना ज़रूरी है. इनमें से कई जाँचों का उद्देश्य बड़ी गलतियों का पता लगाना होता है, जैसे कि ऐसा कंटेंट जिस पर अपील की गई हो, लेकिन जिसे कभी हटाया नहीं गया.
हमारी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्टिंग के सभी पहलुओं की तरह, हम समय के साथ वैधता और कंसिस्टेंसी के रिव्यू से संबंधित अपनी प्रक्रियाओं को विकसित करना और सुधारना जारी रखेंगे.
इंटरनल रिव्यू और सुधार की प्रक्रियाएँ
हमने अपनी एन्फ़ोर्समेंट रिपोर्ट में पहले शेयर की गई जानकारी का पता लगाने और उसमें सुधार करने के लिए भी प्रक्रियाएँ बनाई हैं, जिन्हें हम नियमित रूप से रिव्यू और अपडेट करेंगे. जब हम कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्ट में शेयर किए गए मीट्रिक में संभावित समस्याओं का पता लगा लेते हैं, तो हम इन चरणों का पालन करते हैं:
  • रिपोर्टिंग. अगर किसी संभावित समस्या का पता चलता है, तो हमारी टीमें तुरंत एक घटना की रिपोर्ट दर्ज करती हैं, जो संबंधित टीमों को समस्या की जाँच शुरू करने के लिए अलर्ट करती है.
  • जाँच पड़ताल करना और समस्याओं को कम करना. संबंधित टीमें, संभावित समस्या का रिव्यू करती हैं, जहाँ आवश्यक हो वहाँ कंसिस्टेंसी से जुड़ी समस्याओं को रोकने के लिए तुरंत बदलाव करती हैं और भविष्य में समस्या से बचने के लिए समाधान निकालती हैं
  • समस्या की गंभीरता तय करना. संबंधित टीमें, संभावित समस्या का रिव्यू करती हैं, जहाँ आवश्यक हो वहाँ कंसिस्टेंसी से जुड़ी समस्याओं को रोकने के लिए तुरंत बदलाव करती हैं और भविष्य में समस्या से बचने के लिए समाधान निकालती है.
  • समस्या हल होने के बाद, बारीकी से रिव्यू करना. जब समस्या कम हो जाती है, तो हम उसके मूल कारणों और पूरे प्रभाव का पता लगाने के लिए एक विस्तृत आंतरिक रिव्यू करते हैं. इससे हम अपने मूल्यांकन की वैधता के लिए ज़्यादा जोखिमों का पता लगा पाते हैं ताकि हम उन्हें रोक सकें या कम कर सकें.
रिपोर्टिंग एडजस्टमेंट
जब हम किसी समस्या का पता लगाकर, उसकी वजह से प्रभावित हुए मीट्रिक को एडजस्ट कर देंगे, तो हम अगली कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्ट जारी होने पर इस पोस्ट को अपडेट करेंगे और सार्वजनिक रूप से इस सुधार के बारे में बताएँगे. इस तरह के अपडेट में हम समस्या, प्रभावित हुए मीट्रिक और प्रभावित समयावधि का वर्णन करेंगे. पिछली तिमाहियों के जिस डेटा में समस्या थी उसे जब भी संभव होगा तब सही मीट्रिक के साथ, कंटेंट स्टैंडर्ड एन्फ़ोर्समेंट की अगली रिपोर्ट में अपडेट कर दिया जाएगा, ताकि बाद में ज़रूरत पड़ने पर इनकी तुलना की जा सके.
इनपुट ढूँढना और हमारे द्वारा रिपोर्ट किए जाने वाले मीट्रिक का विस्तार करना
हमारे मीट्रिक का मूल्यांकन करने और उनमें सुधार करने के लिए हमारे द्वारा आंतरिक रूप से किए जाने वाले कामों के अलावा, हम अपने काम करने के तरीकों के लिए बाहरी फ़ीडबैक का भी पता लगाते हैं और अपनी रिपोर्ट में ज़्यादा से ज़्यादा मीट्रिक जोड़ते हैं ताकि लोगों को यह पता चले कि हम अपनी पॉलिसी को कितनी अच्छी तरह से लागू करते हैं.
काम करने के तरीके का मूल्यांकन और इनपुट
यह सुनिश्चित करने के लिए कि हमारे तरीके पारदर्शी हैं और सही सिद्धांतों पर आधारित हैं, हम कुछ क्षेत्रों के विषय-वस्तु विशेषज्ञों से विश्लेषण और इनपुट माँगते हैं, जैसे कि हमारे द्वारा दिए जाने वाले मीट्रिक से जानकारी मिलती है या नहीं.
यह सुनिश्चित करने के लिए कि कंटेंट एन्फ़ोर्समेंट का मूल्यांकन करने के लिए हमारा तरीका सार्थक और सटीक था, हमने डेटा ट्रांसपेरेंसी एडवाइज़री ग्रुप (DTAG) के साथ काम किया, जो मूल्यांकन, सांख्यिकी, अपराध विज्ञान और संचालन में अंतरराष्ट्रीय शैक्षणिक विशेषज्ञों का एक बाहरी समूह है. मई 2019 में, उन्होंने इस बारे में अपना निष्पक्ष और सार्वजनिक आकलन उपलब्ध करवाया कि हमारे द्वारा कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट रिपोर्ट में शेयर किए जाने वाले मीट्रिक से हमारी पॉलिसी लागू करने के तरीके की सटीक और सार्थक जानकारी मिलती है या नहींं. साथ ही, उन्होंने इस काम में आने वाली परेशानियों और उनका समाधान करने के लिए हमारे द्वारा किए जाने वाले कामों की जानकारी भी दी. कुल मिलाकर, उन्होंने पाया कि हमारे मीट्रिक उल्लंघनों का मूल्यांकन करने का उचित तरीका हैं और इन्हें पाने के लिए जाने-माने तरीकों का उपयोग किया गया है. उन्होंने इस बारे में कई सुझाव भी दिए कि हम अपने काम को लेकर और पारदर्शी कैसे बने रह सकते हैं, जिस पर हमने विस्तार से चर्चा की और जिसके बारे में पता लगाना जारी रखा. इसके अलावा, Meta ने इस बात की प्रतिबद्धता ज़ाहिर की है कि वह साल 2021 में इस रिपोर्ट में शेयर किए गए मीट्रिक का निष्पक्ष ऑडिट कराएगा.
कम्युनिटी स्टैंडर्ड एन्फ़ोर्समेंट की नई रिपोर्ट देखें