พัฒนาการวัดผล

อัพเดตแล้ว 19 ม.ค. 2022
เราประเมินเกณฑ์ชี้วัดของเราอย่างต่อเนื่องเพื่อเรียนรู้ว่าเราจะปรับปรุงวิธีการวัดผลในรายงานการบังคับใช้มาตรฐานชุมชนของเราได้อย่างไร
นอกจากนี้ เรายังตรวจสอบนโยบายและกระบวนการต่างๆ ของเรา รวมถึงระเบียบวิธีที่ใช้ตรวจสอบอย่างต่อเนื่อง การเปลี่ยนแปลงใดๆ ในนโยบายและขั้นตอนจะส่งผลให้การคำนวณเกณฑ์ชี้วัดเปลี่ยนแปลงไปด้วย การเปลี่ยนแปลงระเบียบวิธีหรือกระบวนการเหล่านี้อาจเป็นผลสืบเนื่องมาจากแนวโน้มต่างๆ ที่บ่งชี้ว่าเราดำเนินการลดการละเมิดได้ดีขึ้นหรือแย่ลง
คุณภาพของข้อมูล การอัพเดต และการแก้ไข
เราจะตรวจสอบและประเมินความถูกต้องของเกณฑ์ชี้วัดของเราเป็นประจำตลอดระยะเวลาที่กระบวนการวัดผลของเราพัฒนาไป เรายังกำหนดมาตรฐานชุดหนึ่งซึ่งจะกำกับดูแลการระบุ การแก้ไข ตลอดจนการรายงานแก่สาธารณะหากมีการปรับเปลี่ยนใดๆ กับข้อมูลที่เคยเผยแพร่ไว้ก่อนหน้านี้
เราระบุปัญหาที่อาจเกิดขึ้นกับข้อมูลโดยใช้วิธีต่างๆ ในการตรวจสอบคุณภาพของชุดข้อมูล เครื่องมือวัดผล และระบบลงบันทึกของเราเป็นประจำ เมื่อพบปัญหาที่อาจเกิดขึ้น ทีมที่เกี่ยวข้องของ Meta จะดำเนินการตามขั้นตอนเพื่อตรวจสอบ ยับยั้ง และหาวิธีแก้ไขปัญหาในระยะยาว
เมื่อจัดการปัญหาเรียบร้อยแล้ว Meta จะอัพเดตข้อมูลในรายงานการบังคับใช้มาตรฐานชุมชน หากการแก้ไขข้อมูลดังกล่าวนั้นเป็นเรื่องสำคัญ Meta จะอธิบายปัญหา เกณฑ์ชี้วัดที่ได้รับผลกระทบ และระยะเวลาที่เกิดผลกระทบ
การแก้ไขและการปรับเปลี่ยน
เหตุผลที่เราพัฒนากระบวนการตรวจสอบคุณภาพของข้อมูล
เรามุ่งมั่นที่จะสร้างความโปร่งใสในการให้ข้อมูลเกณฑ์ชี้วัดของเรา รวมถึงกระบวนการที่เราใช้ในการคำนวณและปรับปรุงเกณฑ์ชี้วัดดังกล่าว เพื่ออำนวยความสะดวกและปรับปรุงการกำกับดูแลการเผยแพร่เมื่อมีการเปลี่ยนแปลงและแก้ไขวิธีการและเกณฑ์ชี้วัดที่ใช้ เราได้พัฒนากระบวนการตรวจสอบคุณภาพของข้อมูลที่จะระบุ แก้ไข และรายงานต่อสาธารณะหากมีการปรับเปลี่ยนใดๆ ที่เราทำกับข้อมูลที่เราเคยเผยแพร่ไว้ก่อนหน้านี้ หน่วยงานด้านสถิติใหญ่ๆ และรายงานสาธารณะของหน่วยงานรัฐบาลกลางมักใช้หลักปฏิบัตินี้ ซึ่งได้รับการพัฒนามาให้สอดคล้องกับหลักปฏิบัติที่ดีที่สุดในการรายงานข้อมูล ทั้งในภาครัฐและเอกชน การตรวจสอบและกระบวนการเหล่านี้ที่เราพัฒนาขึ้นจะมีส่วนสำคัญในการรักษาความถูกต้องและความสมบูรณ์ของการรายงานของเราในภายหลัง
เราประเมินและตรวจสอบความถูกต้องของเกณฑ์ชี้วัดของเราอย่างสม่ำเสมอ รวมทั้งตรวจสอบให้แน่ใจว่าข้อมูลที่เราแจ้งนั้นถูกต้องและวิธีการที่เราใช้รวบรวมข้อมูลนี้นั้นสมเหตุสมผล ด้วยเหตุนี้ เมื่อเราอัพเดตวิธีการหรือปรับเปลี่ยนเกณฑ์ชี้วัด เราจึงจะแจ้งการเปลี่ยนแปลงดังกล่าวที่นี่
วิธีที่เราประเมินและปรับปรุงเกณฑ์ชี้วัดของเรา
เรากำลังปรับปรุงกระบวนการและระเบียบวิธีต่างๆ อย่างต่อเนื่องเพื่อให้ตัวเลขที่มีความหมายและถูกต้องที่สุดซึ่งบ่งบอกถึงวิธีการบังคับใช้นโยบายของเรา ในช่วงฤดูร้อนของปี 2019 เราได้ใช้กระบวนการตรวจสอบคุณภาพข้อมูลที่ก่อให้เกิดการตรวจสอบและถ่วงดุลต่อไปเพื่อให้เกณฑ์ชี้วัดที่เราใช้มีความถูกต้องและความสม่ำเสมอ
การระบุสถานการณ์สำคัญที่สุดเพื่อยืนยันความถูกต้อง
เราพิจารณามิติต่างๆ ของเกณฑ์ชี้วัดแต่ละตัวและพัฒนาการแบ่งกลุ่มเนื้อหาตามลำดับความสำคัญของความเสี่ยง ซึ่งอาจส่งผลอย่างมากต่อเกณฑ์ชี้วัด เมื่อได้กลุ่มเนื้อหาต่างๆ ที่ได้รับการจัดลำดับความสำคัญนี้แล้ว เราจะดำเนินการตรวจสอบหลายครั้งเพื่อให้กลุ่มเนื้อหาเหล่านี้แสดงถึงข้อมูลที่ถูกต้อง
ตัวอย่างเช่น เราแบ่งเกณฑ์ชี้วัดที่ดำเนินการกับเนื้อหาของเราออกเป็นมิติต่างๆ เพื่อตรวจสอบ เช่น เราแบ่งเนื้อหาของเราตามเกณฑ์ที่ว่าเนื้อหาถูกดำเนินการโดยระบบอัตโนมัติหรือเจ้าหน้าที่ผู้ตรวจสอบ เหตุผลที่ทำให้เราต้องดำเนินการ และเนื้อหาประเภทใด (รูปภาพ ข้อความ หรือวิดีโอ) ที่ถูกเราดำเนินการ
เมื่อแบ่งเป็นมิติที่แตกต่างกันแล้ว เราจะประเมินว่าการวัดผลของเราจะมีความเอนเอียงมากน้อยเพียงใดหากเกณฑ์ชี้วัดไม่ได้แสดงมิตินั้นๆ อย่างถูกต้อง (เช่น หากเราไม่ได้ใส่เนื้อหาแบบวิดีโอในเกณฑ์ชี้วัดของเรา) การประเมินนี้ช่วยให้เราทราบมิติที่อาจมีผลกระทบต่อเกณฑ์ชี้วัด (เช่น มีการดำเนินการโดยเจ้าหน้าที่หรือไม่)
จากนั้นเราจะวิเคราะห์ว่าเกณฑ์ชี้วัดจะได้รับผลกระทบมากน้อยเพียงใดหากมิตินั้นไม่ถูกต้อง (เช่น เราไม่ได้ลงบันทึกเนื้อหาที่มีการดำเนินการโดยเจ้าหน้าที่เลย เป็นต้น) จากนั้นเราจะเลือกสถานการณ์ที่มีความเสี่ยงสูงสุดเพื่อนำมาตรวจสอบเปรียบเทียบเพิ่มเติมก่อน สำหรับชุดสถานการณ์ที่มีความเสี่ยงสูงเหล่านี้ เราได้พัฒนาระบบติดตามและตรวจสอบเปรียบเทียบเพิ่มเติมเพื่อให้ประมาณเกณฑ์ชี้วัดได้อย่างแม่นยำ
การตรวจสอบความถูกต้องและความสม่ำเสมอ
เรายังใช้การตรวจสอบความสม่ำเสมอเพื่อตรวจสอบความถูกต้องของเกณฑ์ชี้วัดของเราเพิ่มเติมอีกด้วย โดยมีรายละเอียดดังนี้
เราวัดผลการดำเนินการของเราเป็นระยะโดยใช้ระบบวัดผลการดำเนินการต่อเนื้อหาอีกระบบหนึ่งที่เป็นอิสระจากระบบอื่น เราตรวจสอบเกณฑ์ชี้วัดอิสระหลายตัวนี้เป็นประจำ โดยมีจุดประสงค์เพื่อหาข้อผิดพลาดใหญ่ๆ ในการจัดการของเรา
เราทำการตรวจสอบเฉพาะจุดแบบสุ่มหลากหลายรายการเพื่อยืนยันความถูกต้องของระบบวัดผลของเราในเวลาที่ใกล้เคียงเวลาจริง ซึ่งประกอบด้วยการตรวจสอบผลลัพธ์หลายประการที่เกิดขึ้นตามมาในระบบของเราเพื่อตรวจสอบผลลัพธ์ของกระบวนการก่อนหน้าซ้ำอีกครั้งหนึ่ง ตัวอย่างเช่น เราจะยืนยันว่าเนื้อหาที่อุทธรณ์ได้รับการลงบันทึกเป็นเนื้อหาที่ถูกดำเนินการ เนื่องจากเนื้อหาต้องถูกดำเนินการก่อนจึงจะขออุทธรณ์ได้ การตรวจสอบหลายอย่างมีจุดประสงค์ที่จะหาข้อผิดพลาดใหญ่ๆ เช่น เนื้อหาที่อุทธรณ์แต่ไม่เคยถูกลบออกเลย
เราจะพัฒนาและปรับปรุงกระบวนการตรวจสอบความถูกต้องและความสม่ำเสมอของเราต่อไปโดยพิจารณาทุกแง่มุมของการรายงานการบังคับใช้มาตรฐานของเรา
กระบวนการตรวจสอบและแก้ไขภายใน
เรายังกำหนดกระบวนการระบุและแก้ไขข้อมูลที่เคยแจ้งในรายงานการบังคับใช้ของเรา ซึ่งเราจะทำการตรวจสอบและปรับปรุงเป็นระยะ เมื่อเราพบจุดที่อาจเป็นปัญหาในเกณฑ์ชี้วัดที่แจ้งในรายงานการบังคับใช้มาตรฐานชุมชนของเรา เราจะปฏิบัติตามขั้นตอนต่างๆ ดังนี้
  • การรายงาน หากพบสิ่งที่อาจเป็นปัญหา ทีมของเราจะรายงานถึงสิ่งที่เกิดขึ้นโดยจะเป็นการแจ้งให้ทีมที่เกี่ยวข้องเริ่มเข้ามาตรวจสอบปัญหา
  • การตรวจสอบและยับยั้ง ทีมที่เกี่ยวข้องจะตรวจสอบสิ่งที่อาจเป็นปัญหา โดยจะทำการแก้ไขทันทีในจุดที่จำเป็นเพื่อป้องกันไม่ให้เกิดปัญหาเรื่องความสม่ำเสมอในภายหลัง จากนั้นจึงพัฒนาวิธีแก้ไขเพื่อหลีกเลี่ยงปัญหาดังกล่าวในอนาคต
  • การจำกัดขอบเขตปัญหา ทีมที่เกี่ยวข้องจะตรวจสอบสิ่งที่อาจเป็นปัญหา โดยจะทำการแก้ไขทันทีในจุดที่จำเป็นเพื่อป้องกันไม่ให้เกิดปัญหาเรื่องความสม่ำเสมอในภายหลัง จากนั้นจึงพัฒนาวิธีแก้ไขเพื่อหลีกเลี่ยงปัญหาดังกล่าวในอนาคต
  • การตรวจสอบหลังเกิดเหตุ เมื่อยับยั้งปัญหาแล้ว เราจะทำการตรวจสอบภายในโดยละเอียดเพื่อหาต้นตอและผลกระทบทั้งหมดที่เกิดจากปัญหา ขั้นตอนนี้ช่วยให้เราเห็นความเสี่ยงต่อการตรวจสอบความถูกต้องของการวัดผลของเราในภาพรวมยิ่งขึ้น เพื่อให้เราสามารถป้องกันหรือลดความเสี่ยงให้เหลือน้อยที่สุด
รายงานการปรับเปลี่ยน
เมื่อระบุปัญหาและปรับเปลี่ยนเกณฑ์ชี้วัดที่ได้รับผลกระทบแล้ว เราจะรายงานการแก้ไขนั้นแก่สาธารณะโดยอัพเดตโพสต์นี้ในเวลาที่มีการเผยแพร่รายงานการบังคับใช้มาตรฐานชุมชนของเราฉบับถัดไป ในการอัพเดตดังกล่าว เราจะอธิบายปัญหา เกณฑ์ชี้วัดที่ได้รับผลกระทบ และระยะเวลาที่เกิดผลกระทบ ข้อมูลสำหรับไตรมาสที่ได้รับผลกระทบมาก่อนหน้านั้นในรายงานการบังคับใช้มาตรฐานจะระบุเกณฑ์ชี้วัดทุกเกณฑ์ที่ถูกปรับเปลี่ยนด้วยหากทำได้ เพื่อให้การเปรียบเทียบผลที่เปลี่ยนแปลงไปนั้นทำได้อย่างมีประสิทธิภาพ
การขอคำแนะนำและการขยายขอบเขตของเกณฑ์ชี้วัดที่เรารายงาน
นอกเหนือจากงานที่เราทำเป็นการภายในเพื่อประเมินและปรับปรุงเกณฑ์ชี้วัดของเราแล้ว เรายังเสาะหาคำแนะนำเพิ่มเติมเกี่ยวกับระเบียบวิธีของเราและขยายขอบเขตของเกณฑ์ชี้วัดที่เรารายงานเพื่อให้เห็นประสิทธิภาพในการบังคับใช้นโยบายของเราได้ชัดเจนขึ้น
การประเมินและคำแนะนำเกี่ยวกับระเบียบวิธี
เราต้องการให้วิธีการของเรามีความโปร่งใสและเป็นไปตามหลักการที่สมเหตุสมผล เราจึงขอให้ผู้เชี่ยวชาญเฉพาะด้านต่างๆ วิเคราะห์และให้คำแนะนำ เช่นว่าเกณฑ์ชี้วัดที่เราระบุนั้นให้ข้อมูลที่มีประโยชน์หรือไม่
เพื่อให้แนวทางในการวัดการบังคับใช้เนื้อหาของเรามีประโยชน์และถูกต้อง เราได้ร่วมมือกับกลุ่มที่ปรึกษาด้านความโปร่งใสของข้อมูล (Data Transparency Advisory Group - DTAG) ซึ่งเป็นกลุ่มนักวิชาการผู้เชี่ยวชาญระดับสากลด้านการวัดผล สถิติ อาชญาวิทยา และระบบการจัดการ ในเดือนพฤษภาคม 2019 นั้น DTAG ได้จัดให้มีการประเมินสาธารณะโดยอิสระว่าเกณฑ์ชี้วัดที่เราแจ้งในรายงานการบังคับใช้มาตรฐานชุมชนนั้นใช้วัดผลการบังคับใช้นโยบายของเราได้อย่างถูกต้องและเป็นประโยชน์หรือไม่ รวมถึงอภิปรายถึงปัญหาที่เราเผชิญในงานนี้และสิ่งที่เราทำเพื่อจัดการปัญหา โดยรวมแล้ว DTAG พบว่าเกณฑ์ชี้วัดของเราสมเหตุสมผลสำหรับใช้วัดการละเมิดและสอดคล้องกับหลักปฏิบัติที่ดีที่สุด ทั้งยังให้ข้อเสนอแนะหลายประการเกี่ยวกับวิธีที่เราสามารถเพิ่มความโปร่งใสในการดำเนินงานของเราได้ ซึ่งเราได้พูดคุยกันในรายละเอียดและจะดำเนินการวิเคราะห์ต่อไป นอกจากนี้ Meta ยังมีเป้าหมายที่จะให้มีการตรวจสอบโดยอิสระสำหรับเกณฑ์ชี้วัดที่แจ้งในรายงานนี้ในปี 2021
ดูรายงานการบังคับใช้มาตรฐานชุมชนฉบับล่าสุด