Ölçümleri iyileştirme

GÜNCELLENME 19 OCA 2022
Topluluk Standartları Uygulama Raporumuzda ölçüm yöntemlerimizi nasıl iyileştirebileceğimizi öğrenmek için ölçümlerimizi sürekli olarak değerlendiriyoruz.
Hem ilkelerimizi ve süreçlerimizi hem de bunların ardındaki metodolojilerimizi de sürekli olarak gözden geçirmeye devam ediyoruz. Bunlardan herhangi birinde yapılan değişiklikler, hesaplamaların da değişmesine sebep oluyor. Bu metodoloji veya süreç değişiklikleri, ihlallerin etkisini en aza indirmede başarımızın arttığını veya azaldığını gösteren gelişmelere ek olarak gözlemlenebilir.
Bilgi kalitesi, güncellemeler ve düzeltmeler
Ölçüm süreçlerimiz olgunlaştıkça biz de ölçümlerimizi düzenli bir şekilde gözden geçiriyor ve doğruluyoruz. Bunun yanı sıra, önceden yayınlanmış verilerde yapılan düzenlemeleri nasıl tespit edeceğimizin, düzelteceğimizin ve herkese açık bir şekilde raporlayacağımızın tabi olduğu bir dizi standart belirledik.
Veri setlerimizde, ölçüm araçlarımızda ve kayıt sistemlerimizde düzenli bir şekilde çeşitli kalite kontrolleri kullanarak verilerimizdeki potansiyel sorunları tespit ediyoruz. Bir potansiyel sorun tespit edildiğinde, Meta'nın ilgili ekipleri sorunu araştırmak, sorunun etkilerini azaltmak ve uzun vadeli düzeltmeleri belirlemek için bir dizi adım izler.
Sorun giderildikten sonra Meta, Topluluk Standartları Uygulama Raporundaki verileri günceller. Bu düzeltmelerin anlamlı büyüklükte olduğu durumlarda Meta sorunu, etkilenen ölçümleri ve etkilenen zaman aralıklarını açıklar.
Düzeltmeler ve ayarlamalar
Bilgi kalitesi süreçlerini neden geliştirdik?
Hem ölçümlerimizi hem de bunları hesaplamak ve iyileştirmek üzere kullandığımız süreçleri şeffaf bir şekilde paylaşma taahhüdümüze büyük önem veriyoruz. Metodoloji ve ölçümlerimizdeki düzenlemelerin ve düzeltmelerin yayınlanmasını daha akıcı hale getirmek ve daha iyi idare etmek amacıyla, daha önce yayınlanmış bilgilerde yapılan her türlü düzenlemeyi tespit etmek, düzeltmek ve herkese açık bir şekilde raporlamak için bir bilgi kalitesi prosedürü geliştirdik. Büyük istatistik kurumlarında ve federal kurumların kamuya açık raporlarında son derece yaygın bir şekilde kullanılan bu uygulama, hem kamu sektöründeki hem de özel sektördeki veri raporlama en iyi uygulamalarına uygun şekilde geliştirildi. Bu değerlendirme ve prosedürler, gelecekte raporlarımızın doğruluğunu ve bütünlüğünü sürekli kılma noktasında kritik öneme sahip olacak.
Ölçümlerimizi sürekli olarak değerlendiriyor ve doğruluyor, paylaştığımız bilgilerin doğru ve bu verileri üretirken kullandığımız metodolojilerin sağlıklı olduğundan emin oluyoruz. Bu çalışmalar kapsamında metodolojilerimizi güncellediğimizde veya ölçümlerimizi düzenlediğimizde, yapılan değişiklikleri burada paylaşacağız.
Ölçümlerimizi nasıl değerlendirir ve iyileştiririz?
İlkelerimizi nasıl uyguladığımıza dair en anlamlı ve isabetli sayıları temin etmek için süreç ve metodolojilerimizi sürekli olarak iyileştiriyoruz. 2019 yılının yaz mevsimi boyunca, doğrulanmış ve tutarlı ölçümler paylaştığımızdan emin olmak için ilave kontroller ve dengeler oluşturan bilgi kalitesi süreçleri uyguladık.
Doğruluğu onaylamak için öncelik senaryolarını tespit etme
Her bir ölçümün farklı boyutlarını tespit ederiz ve ölçümleri ciddi ölçüde etkileyebilecek olan segmentler için riske dayalı önceliklendirme yaparız. Öncelik listesindeki segmentlerin bilgileri doğru şekilde yakaladığından emin olmak için birden fazla kontrol uygularız.
Örneğin, işlem yapılan içerikler ölçümümüzü değerlendirmek üzere birden fazla boyuta böleriz. Örneğin, işlemi yapanın otomatik sistemler mi yoksa değerlendirme görevlileri mi olduğuna, bizi işlem yapmaya yönlendiren unsurun ne olduğuna ve işlem yaptığımız içeriğin türüne (fotoğraflar, metinler, videolar) dayalı olarak içerikleri gruplara ayırırız.
Bu farklı boyutları elde ettikten sonra ilgili boyutun ölçümde doğru şekilde temsil edilmediği bir senaryoda (örneğin, video içeriklerini ölçümlerimize dahil etmediğimizde) ölçümümüzde ne kadar sapma oluştuğunu değerlendiririz. Bu değerlendirmeler, ölçümü etkileyebilecek olan boyutları (örneğin, işlemin insanlar tarafından yapılıp yapılmadığı) tespit etmemize olanak tanır.
Devamında, ilgili boyutun yanlış olduğu bir senaryoda (örneğin, insanların işlem yaptığı içeriklerin hiçbirini kayıt altına almadığımızda) ölçümün ne kadar etkilenebileceğini anlamaya çalışırız. Sonrasında ilave çapraz kontroller gerçekleştirmek için en büyük riski taşıyan senaryolara öncelik veririz. Bu yüksek risk kombinasyonları söz konusu olduğunda, bu ölçümlerin doğru şekilde tahmin edildiğinden emin olmak için ilave takip ve çapraz kontrol sistemleri geliştiririz.
Doğruluk ve tutarlılık kontrolleri
Ölçümlerimizin doğrulama düzeyini artırmak için tutarlılık kontrolleri de uyguladık. Bunlardan bazıları şunlardır:
Uyguladığımız işlemleri, sadece içerik işlemlerini ölçen ayrı ve bağımsız bir sistem kullanarak periyodik olarak ölçüyoruz. Sayımlarımızdaki büyük hataları tespit etme amacı taşıyan bu çeşitli bağımsız ölçümleri düzenli bir şekilde kontrol ediyoruz.
Ölçüm sistemlerimizin isabet derecesini neredeyse gerçek zamanlı olarak doğrulamak için çeşitli rastgele kontroller yürütüyoruz. Önce gerçekleşmesi gereken sonuçları teyit etmek için sistemimizde daha sonra oluşan sonuçları kontrol etmek de bunlara dahildir. Örneğin, bir içeriğe itiraz edilebilmesi için içeriğe işlem yapılması gerektiğinden, itiraz alan içeriklerin aynı zamanda işlem görmüş içerikler olarak kayıt altına alındığını onaylıyoruz. Bu kontrollerin birçoğu, aslında hiç kaldırılmamış olan bir içeriğe itiraz edilmesi gibi büyük hataları tespit etme amacı taşır.
Standartları uygulama raporlarımızın her yönünde olduğu gibi, doğruluk ve tutarlılık değerlendirme süreçlerimizi de zamanla geliştirmeye ve iyileştirmeye devam edeceğiz.
Dahili değerlendirme ve düzeltme prosedürleri
Düzenli olarak gözden geçireceğimiz ve güncelleyeceğimiz uygulama raporumuzda daha önce paylaşılan bilgileri tespit etmek ve düzeltmek için prosedürler de belirledik. Topluluk Standartları Uygulama Raporunda paylaşılan ölçümlerde potansiyel sorunlar tespit ettiğimizde şu adımları izleriz:
  • Raporlama. Bir potansiyel sorun keşfedilirse en kısa sürede ekiplerimiz, sorunu araştırmaya başlaması için ilgili ekipleri uyaran bir olay raporu oluşturur.
  • İnceleme ve hafifletme. İlgili ekipler potansiyel sorunu gözden geçirir, gerekirse tutarlılık sorunlarının sona ermesi için derhal değişiklikler yapar ve gelecekte sorunun bir daha meydana gelmemesi için çözümler geliştirir.
  • Sorunun boyutunu belirleme. İlgili ekipler potansiyel sorunu gözden geçirir, gerekirse tutarlılık sorunlarının sona ermesi için derhal değişiklikler yapar ve gelecekte sorunun bir daha meydana gelmemesi için çözümler geliştirir.
  • Olay sonrası değerlendirme. Sorun giderildiğinde, kök sebepleri ve sorunun tam etki kapsamını tespit etmek için detaylı bir dahili değerlendirme yürütürüz. Bu da ölçümlerimizin doğruluğuna dair geniş kapsamlı riskleri tespit ederek önlememize veya en aza indirmemize yardımcı olur.
Raporlarda yapılan düzenlemeler
Bir sorunu tespit ettikten ve etkilenen ölçümü düzenledikten sonra, bir sonraki Topluluk Standartları Uygulama Raporu yayınlandığında bu gönderiyi güncellemek suretiyle, yapılan düzeltmeyi herkese açık bir şekilde raporlarız. Bu güncellemelerde sorunu, etkilenen ölçümleri ve etkilenen zaman aralıklarını açıklarız. İçerik Standartları Uygulama Raporundaki daha önce etkilenen çeyreklerin verileri, farklı zaman dilimleri arasında yapılan karşılaştırmaların anlamlı olabilmesi amacıyla, mümkünse düzenlenmiş ölçümleri içerir.
Görüş alma ve raporladığımız ölçümleri genişletme
Ölçümlerimizi değerlendirmek ve iyileştirmek için dahili olarak yürüttüğümüz çalışmalara ek olarak, ilkelerimizi uygulama performansımızın daha net bir tablosunu çıkarabilmek için metodolojilerimizle ilgili harici görüşler almaya ve raporladığımız ölçümleri genişletmeye çalışırız.
Metodoloji hakkında değerlendirmeler ve görüşler
Yöntemlerimizin şeffaf olduğundan ve sağlıklı prensiplere dayalı olduğundan emin olmak amacıyla, sağladığımız ölçümlerin bilgilendirici olup olmadığı gibi çeşitli alanlarda, konu uzmanlarının analiz ve görüşlerini almaya çalışırız.
İçerik yaptırımlarına yaklaşımımızın anlamlı ve isabetli olduğundan emin olmak amacıyla; ölçüm, istatistik, krimonoloji ve yönetim konularında uluslararası uzman akademisyenlerin oluşturduğu harici bir grup olan Veri Şeffaflığı Tavsiye Grubu (DTAG) ile birlikte çalıştık. Mayıs 2019'da bu grup, hem Topluluk Standartları Uygulama Raporunda paylaştığımız ölçümlerin ilkelerimizi uygulama biçimimizi isabetli ve anlamlı şekilde ölçüp ölçmediğine hem de bu çalışmalarda karşılaştığımız zorluklara ve bunları ele alırken ortaya koyduğumuz çalışmalara dair bağımsız ve herkese açık bir değerlendirmede bulundu. Grup, genel olarak bakıldığında ölçümlerimizin ihlalleri ölçerken kullanılabilecek makul yollar olduğunu ve en iyi uygulamalarla paralel olduğunu tespit etti. Bunun yanı sıra, çalışmalarımız hakkında daha şeffaf olmaya nasıl devam edebileceğimiz konusunda çok sayıda tavsiyede bulundu. Bizler de bu konuyu detaylı bir şekilde ele aldık ve irdelemeye devam ediyoruz. Buna ek olarak Meta, 2021'de bu raporda paylaşılan ölçümlerin bağımsız olarak denetlenmesi için taahhütte bulundu.
En son Topluluk Standartları Uygulama Raporu'nu görün