Pengukuran yang lebih baik

DIPERBARUI 19 JAN 2022
Kami terus menilai metrik kami untuk mempelajari bagaimana kami bisa menyempurnakan cara melakukan pengukuran dalam Laporan Penegakan Standar Komunitas kami.
Kami juga terus meninjau kebijakan dan proses kami serta metodologi di baliknya. Perubahan terhadap kebijakan, proses, dan metodologi ini secara inheren mengubah perhitungan metrik itu sendiri. Perubahan metodologi atau proses ini mungkin menjadi tambahan tren yang menunjukkan bahwa kami semakin baik atau buruk dalam memitigasi pelanggaran.
Kualitas informasi, info terkini, dan koreksi
Seiring dengan meningkatnya proses pengukuran, kami secara rutin meninjau dan memvalidasi metrik kami. Kami juga telah menetapkan serangkaian standar yang mengatur cara kami mengidentifikasi, mengoreksi, dan melaporkan secara publik setiap penyesuaian terhadap data yang dirilis sebelumnya.
Kami mengidentifikasi potensi masalah dengan data kami menggunakan serangkaian pemeriksaan kualitas reguler terhadap set data, fitur pengukuran, dan sistem pencatatan kami. Saat potensi masalah teridentifikasi, tim terkait di Meta menjalani serangkaian langkah untuk menyelidiki, memitigasi, dan mengidentifikasi perbaikan jangka panjang untuk masalah tersebut.
Setelah masalah teratasi, Meta akan memperbarui data dalam Laporan Penegakan Standar Komunitas. Jika koreksi tersebut bermakna, Meta akan menjelaskan masalah, metrik yang terdampak, dan periode waktu yang terdampak.
Koreksi dan penyesuaian
Mengapa kami mengembangkan proses kualitas informasi
Kami berkomitmen untuk membagikan metrik kami secara transparan serta proses yang kami gunakan untuk menghitung dan menyempurnakannya. Untuk merampingkan dan mengatur dengan lebih baik rilis penyesuaian dan koreksi terhadap metodologi dan metrik kami, kami mengembangkan prosedur kualitas informasi untuk mengidentifikasi, memperbaiki, dan melaporkan secara publik setiap penyesuaian yang kami buat pada informasi yang dirilis sebelumnya. Ini adalah praktik umum di lembaga statistik besar dan laporan publik lembaga federal serta dikembangkan sejalan dengan praktik terbaik pelaporan data di sektor publik dan swasta. Tinjauan dan prosedur yang kami kembangkan ini akan sangat penting dalam menjaga keakuratan dan integritas pelaporan kami di masa mendatang.
Kami terus mengevaluasi dan memvalidasi metrik kami serta memastikan informasi yang kami bagikan akurat dan metodologi kami untuk menghasilkan data ini logis. Sebagai bagian dari pekerjaan ini, saat kami memperbarui metodologi atau menyesuaikan metrik, kami akan membagikan perubahan tersebut di sini.
Bagaimana kami mengevaluasi dan menyempurnakan metrik kami
Kami terus menyempurnakan proses dan metodologi kami untuk memberikan angka yang paling bermakna dan akurat tentang cara kami menegakkan kebijakan kami. Selama musim panas 2019, kami menerapkan proses kualitas informasi yang menciptakan pemeriksaan dan keseimbangan lebih lanjut untuk memastikan kami membagikan metrik yang valid dan konsisten.
Mengidentifikasi skenario prioritas untuk mengonfirmasi validitas
Kami mengidentifikasi dimensi yang berbeda dari setiap metrik dan mengembangkan prioritas risiko segmen yang dapat secara signifikan memengaruhi metrik. Untuk segmen dalam daftar prioritas ini, kami menerapkan beberapa pemeriksaan untuk memastikan segmen ini menangkap informasi secara akurat.
Misalnya, kami memerinci metrik konten yang ditindaklanjuti ke dalam beberapa dimensi untuk ditinjau. Misalnya, kami memisahkan konten berdasarkan sistem otomatis atau tinjauan oleh manusia yang mengambil tindakan, alasan kami mengambil tindakan, dan jenis konten (foto, teks, video) yang kami tindak lanjuti.
Dengan dimensi yang berbeda ini, kami kemudian menilai seberapa besar bias yang akan diperkenalkan ke dalam pengukuran kami jika dimensi tersebut tidak direpresentasikan dengan benar dalam metrik (misalnya, jika kami tidak menyertakan konten video dalam metrik kami). Penilaian ini membantu kami mengidentifikasi dimensi yang mungkin memengaruhi metrik (misalnya, apakah manusia menindaklanjuti).
Kemudian, kami mencari tahu seberapa besar dampak metrik tersebut jika dimensi tersebut salah (misalnya jika kami tidak mencatat konten apa pun yang ditindaklanjuti oleh manusia). Kami kemudian memprioritaskan skenario risiko terbesar untuk melakukan pemeriksaan silang tambahan. Untuk kombinasi berisiko tinggi ini, kami mengembangkan sistem pelacakan dan pemeriksaan silang tambahan untuk memastikan metrik ini diperkirakan dengan benar.
Pemeriksaan validitas dan konsistensi
Kami juga menerapkan pemeriksaan konsistensi untuk menambahkan validasi ekstra untuk metrik kami. Hal ini mencakup:
Kami secara berkala mengukur tindakan kami dengan sistem terpisah dan independen yang mengukur tindakan konten. Secara teratur, kami memeriksa berbagai metrik independen ini yang dimaksudkan untuk mengidentifikasi kesalahan besar dalam perhitungan kami.
Kami melakukan serangkaian pemeriksaan acak untuk memverifikasi keakuratan sistem pengukuran kami hampir secara realtime. Ini termasuk memeriksa berbagai hasil yang terjadi nantinya di sistem kami untuk memeriksa ulang hasil upstream. Misalnya, kami mengonfirmasi bahwa konten yang diajukan banding juga dicatat sebagai konten yang telah ditindaklanjuti karena konten harus ditindaklanjuti untuk mengajukan banding. Banyak dari pemeriksaan ini dimaksudkan untuk mengidentifikasi kesalahan besar seperti konten yang diajukan banding tetapi tidak pernah dihapus.
Seperti semua aspek pelaporan penegakan standar kami, kami akan terus mengembangkan dan meningkatkan proses tinjauan validitas dan konsistensi dari waktu ke waktu.
Prosedur tinjauan dan koreksi internal
Kami juga menetapkan prosedur untuk mengidentifikasi dan memperbaiki informasi yang sebelumnya dibagikan dalam laporan penegakan kami, yang akan kami tinjau dan perbarui secara berkala. Saat kami mengidentifikasi potensi masalah dalam metrik yang dibagikan dalam Laporan Penegakan Standar Komunitas, kami mengikuti langkah-langkah berikut:
  • Pelaporan. Jika ditemukan potensi masalah, tim kami segera mengajukan laporan insiden yang memperingatkan tim terkait untuk mulai menyelidiki masalah tersebut.
  • Menyelidik dan memitigasi. Tim terkait meninjau potensi masalah, membuat perubahan segera untuk mencegah masalah konsistensi lebih lanjut jika diperlukan, dan mengembangkan solusi untuk menghindari masalah di masa mendatang
  • Memperkirakan skala masalah. Tim terkait meninjau potensi masalah, membuat perubahan segera untuk mencegah masalah konsistensi lebih lanjut jika diperlukan, dan mengembangkan solusi untuk menghindari masalah di masa mendatang.
  • Tinjauan pascainsiden. Setelah masalah dimitigasi, kami melakukan tinjauan internal terperinci untuk mengidentifikasi akar penyebab dan dampak penuh dari masalah tersebut. Dengan ini, kami dapat mengidentifikasi risiko yang lebih luas terhadap validitas pengukuran kami sehingga kami dapat mencegah atau meminimalkannya.
Melaporkan penyesuaian
Setelah mengidentifikasi masalah dan menyesuaikan metrik yang terdampak, kami akan melaporkan koreksi secara publik dengan memperbarui postingan ini pada saat rilis Laporan Penegakan Standar Komunitas berikutnya. Dalam pembaruan itu, kami akan menjelaskan masalah, metrik yang terdampak, dan periode waktu yang terdampak. Data untuk kuartal yang sebelumnya terdampak dalam Laporan Penegakan Standar Konten itu akan mencakup metrik yang telah disesuaikan jika memungkinkan untuk memastikan perbandingan dari waktu ke waktu tersebut memiliki makna.
Mencari masukan dan memperluas metrik yang kami laporkan
Selain pekerjaan yang kami lakukan secara internal untuk mengevaluasi dan meningkatkan metrik kami, kami juga mencari masukan eksternal tentang metodologi kami dan memperluas metrik yang kami laporkan untuk memberikan gambaran yang lebih kuat tentang kinerja kami dalam menegakkan kebijakan.
Penilaian dan masukkan metodologi
Untuk memastikan metode kami transparan dan didasarkan prinsip yang logis, kami mencari analisis dan masukan dari pakar pokok permasalahan di berbagai bidang seperti apakah metrik yang kami berikan informatif.
Untuk memastikan pendekatan kami dalam mengukur penegakan konten bermakna dan akurat, kami bekerja sama dengan Data Transparency Advisory Group (DTAG), sebuah kelompok eksternal yang terdiri dari pakar akademik internasional dalam pengukuran, statistik, kriminologi, dan tata kelola. Pada Mei 2019, mereka memberikan penilaian publik independen tentang apakah metrik yang kami bagikan dalam Laporan Penegakan Standar Komunitas memberikan ukuran yang akurat dan bermakna tentang bagaimana kami menegakkan kebijakan kami, serta tantangan yang kami hadapi dalam pekerjaan ini, dan apa yang kami lakukan untuk mengatasinya. Secara keseluruhan, mereka menganggap metrik kami sebagai cara yang wajar untuk mengukur pelanggaran dan sejalan dengan praktik terbaik. Mereka juga memberikan sejumlah rekomendasi tentang bagaimana kami dapat terus lebih transparan tentang pekerjaan kami, yang telah kami diskusikan secara detail dan terus kami jelajahi. Selain itu, Meta telah berkomitmen untuk melakukan audit independen terhadap metrik yang dibagikan dalam laporan ini pada tahun 2021.
Lihat Laporan Penegakan Standar Komunitas terbaru