Βελτίωση μετρήσεων

ΕΝΗΜΕΡΩΘΗΚΕ 19 Ιαν 2022
Αξιολογούμε συνεχώς τις μετρήσεις μας, ώστε να μαθαίνουμε πώς μπορούμε να βελτιώσουμε τους τρόπους υπολογισμού των μετρήσεων στην Έκθεση επιβολής των Όρων της κοινότητας.
Ταυτόχρονα, αναθεωρούμε συστηματικά τις πολιτικές και τις διαδικασίες μας, καθώς και τις μεθοδολογίες που τις διέπουν. Οποιαδήποτε αλλαγή των παραπάνω επηρεάζει εγγενώς τον υπολογισμό των ίδιων των μετρήσεων. Αυτές οι αλλαγές στις μεθοδολογίες ή στις διαδικασίες ενδέχεται να συνδυάζονται με τάσεις που δείχνουν βελτίωση ή επιδείνωση της αποτελεσματικότητάς μας στον περιορισμό των παραβιάσεων.
Ποιότητα πληροφοριών, ενημερώσεις και διορθώσεις
Καθώς οι διαδικασίες μέτρησης ωριμάζουν, ελέγχουμε και επικυρώνουμε τακτικά τις μετρήσεις μας. Έχουμε, επίσης, καθιερώσει ένα σύνολο προτύπων που διέπουν τον τρόπο με τον οποίο εντοπίζουμε, διορθώνουμε και αναφέρουμε δημοσίως τυχόν προσαρμογές στα ήδη δημοσιευμένα δεδομένα.
Αναγνωρίζουμε τα πιθανά προβλήματα με τα δεδομένα μας, πραγματοποιώντας μια σειρά τακτικών ελέγχων ποιότητας στα σύνολα δεδομένων, στα εργαλεία μέτρησης και στα συστήματα καταγραφής. Όταν εντοπίζεται ένα πιθανό πρόβλημα, οι αρμόδιες ομάδες του Meta ακολουθούν μια σειρά βημάτων για τη διερεύνηση, τον περιορισμό και τον εντοπισμό μακροπρόθεσμων λύσεων.
Αφού λυθεί το πρόβλημα, το Meta ενημερώνει τα δεδομένα στην Έκθεση επιβολής των Όρων της κοινότητας. Στις περιπτώσεις που αυτές οι διορθώσεις είναι ουσιαστικές, το Meta περιγράφει το πρόβλημα, τις μετρήσεις που επηρεάστηκαν και τις σχετικές χρονικές περιόδους.
Διορθώσεις και προσαρμογές
Γιατί αναπτύξαμε διαδικασίες διασφάλισης της ποιότητας των πληροφοριών
Έχουμε δεσμευτεί για τη διαφανή κοινοποίηση των μετρήσεων και των διαδικασιών που χρησιμοποιούμε για τον υπολογισμό και τη βελτίωσή τους. Για τη βελτιστοποίηση και την καλύτερη διαχείριση της κυκλοφορίας προσαρμογών και διορθώσεων στις μεθοδολογίες και στις μετρήσεις μας, αναπτύξαμε μια διαδικασία διασφάλισης της ποιότητας των πληροφοριών για τον εντοπισμό, τη διόρθωση και τη δημοσίευση των προσαρμογών που κάνουμε σε ήδη δημοσιευμένα δεδομένα. Πρόκειται για μια κοινή πρακτική που εφαρμόζεται στις εκθέσεις μεγάλων στατιστικών υπηρεσιών και ομοσπονδιακών φορέων, η οποία έχει αναπτυχθεί σύμφωνα με τις βέλτιστες πρακτικές αναφοράς δεδομένων για τον δημόσιο και τον ιδιωτικό τομέα. Οι έλεγχοι και οι διαδικασίες που αναπτύξαμε θα έχουν κρίσιμη σημασία για τη διασφάλιση της ακρίβειας και της ακεραιότητας των αναφορών μας στο μέλλον.
Αξιολογούμε και επικυρώνουμε συνεχώς τις μετρήσεις μας, και διασφαλίζουμε ότι τα δεδομένα που κοινοποιούμε είναι ακριβή και οι μεθοδολογίες που χρησιμοποιούμε για την παραγωγή αυτών των δεδομένων είναι αξιόπιστες. Στο πλαίσιο αυτό, κάθε φορά που αναπροσαρμόζουμε τις μεθοδολογίες ή τις μετρήσεις μας, θα κοινοποιούμε τις σχετικές αλλαγές εδώ.
Πώς αξιολογούμε και βελτιώνουμε τις μετρήσεις μας
Βελτιώνουμε συνεχώς τις διαδικασίες και τις μεθοδολογίες μας, προκειμένου να παρέχουμε τα πλέον ουσιαστικά και ακριβή στοιχεία σχετικά με τον τρόπο με τον οποίο εφαρμόζουμε τις πολιτικές μας. Το καλοκαίρι του 2019, ξεκινήσαμε να εφαρμόζουμε κάποιες διαδικασίες διασφάλισης της ποιότητας των πληροφοριών που δημιουργούν περαιτέρω ελέγχους και ισορροπίες, προκειμένου να διασφαλίσουμε την εγκυρότητα και τη συνέπεια των μετρήσεων που κοινοποιούμε.
Προσδιορισμός σεναρίων προτεραιότητας για την επιβεβαίωση της εγκυρότητας
Προσδιορίζουμε τις διαφορετικές διαστάσεις κάθε μέτρησης και ιεραρχούμε βάσει κινδύνου τα επιμέρους τμήματα που ενδέχεται να επηρεάσουν σημαντικά τις μετρήσεις. Για τα τμήματα υψηλής προτεραιότητας, εφαρμόζουμε πολλαπλούς ελέγχους προκειμένου να διασφαλίζουμε την ακριβή καταγραφή των σχετικών δεδομένων.
Για παράδειγμα, διαχωρίζουμε τη μέτρηση περιεχομένου για το οποίο έχουν γίνει ενέργειες σε πολλές διαστάσεις προς έλεγχο. Για παράδειγμα, διαχωρίζουμε το περιεχόμενο ανάλογα με το αν οι ενέργειες έγιναν από τα αυτοματοποιημένα συστήματά μας ή από ελεγκτές, τι μας οδήγησε να προβούμε σε ενέργειες και το είδος του περιεχομένου (φωτογραφίες, κείμενο, βίντεο) για το οποίο προβήκαμε σε ενέργειες.
Αφού προσδιορίσουμε τις διαφορετικές διαστάσεις, αξιολογούμε πόσο μεροληπτικές θα ήταν οι μετρήσεις μας, αν δεν αντιπροσωπευόταν σωστά η εκάστοτε διάσταση (για παράδειγμα, αν δεν συμπεριλαμβάναμε περιεχόμενο βίντεο στις μετρήσεις μας). Αυτές οι αξιολογήσεις μάς επιτρέπουν να εντοπίσουμε τις διαστάσεις που μπορούν να επηρεάσουν τη μέτρηση (όπως αν η ενέργεια έγινε από ανθρώπους).
Στη συνέχεια, προσδιορίζουμε πόσο θα μπορούσε να επηρεαστεί η μέτρηση, αν αυτή η διάσταση ήταν λανθασμένη (αν, για παράδειγμα, δεν καταγράφαμε κανένα από τα στοιχεία περιεχομένου για τα οποία έγιναν ενέργειες από ανθρώπους). Τέλος, δίνουμε προτεραιότητα στα σενάρια με τον μεγαλύτερο κίνδυνο για να κάνουμε επιπλέον ελέγχους διασταύρωσης. Για αυτούς τους συνδυασμούς υψηλού κινδύνου, αναπτύσσουμε επιπλέον συστήματα παρακολούθησης και διασταύρωσης, για να διασφαλίσουμε τον σωστό υπολογισμό των σχετικών μετρήσεων.
Έλεγχοι εγκυρότητας και συνέπειας
Έχουμε εφαρμόσει, επίσης, ελέγχους συνέπειας για την περαιτέρω ενίσχυση της εγκυρότητας των μετρήσεών μας. Στους ελέγχους αυτούς περιλαμβάνονται τα εξής:
Μετράμε περιοδικά τις ενέργειές μας με ένα ξεχωριστό, ανεξάρτητο σύστημα που μετρά τις ενέργειες επί του περιεχομένου. Ανά τακτικά διαστήματα, ελέγχουμε αυτές τις ανεξάρτητες μετρήσεις που αποσκοπούν στον εντοπισμό μεγάλων σφαλμάτων στους υπολογισμούς μας.
Διεξάγουμε μια σειρά τυχαίων ελέγχων για να επαληθεύουμε την ακρίβεια των συστημάτων μέτρησης σε σχεδόν πραγματικό χρόνο. Μεταξύ άλλων, ελέγχουμε διάφορα αποτελέσματα που προκύπτουν αργότερα στο σύστημά μας για την επιβεβαίωση προγενέστερων αποτελεσμάτων. Για παράδειγμα, επιβεβαιώνουμε ότι το περιεχόμενο για το οποίο έχουν υποβληθεί ενστάσεις έχει καταγραφεί επίσης ως περιεχόμενο για το οποίο έχουν γίνει ενέργειες, εφόσον για να υποβληθεί ένσταση θα πρέπει να έχει προηγηθεί η λήψη ενεργειών για το περιεχόμενο. Πολλοί από αυτούς τους ελέγχους αφορούν τον εντοπισμό μεγάλων σφαλμάτων, όπως περιεχόμενο για το οποίο υποβλήθηκε ένσταση αλλά δεν αφαιρέθηκε ποτέ.
Όπως συμβαίνει με όλες τις πτυχές της Έκθεσης επιβολής των Όρων της κοινότητας, θα συνεχίσουμε να εξελίσσουμε και να βελτιώνουμε τις διαδικασίες ελέγχου εγκυρότητας και συνέπειας με την πάροδο του χρόνου.
Διαδικασίες εσωτερικού ελέγχου και διόρθωσης
Καθιερώσαμε επίσης διαδικασίες για τον εντοπισμό και τη διόρθωση δεδομένων που έχουν δημοσιευτεί ήδη στην Έκθεση επιβολής, την οποία θα εξετάζουμε και θα ενημερώνουμε τακτικά. Όταν εντοπίζουμε πιθανά προβλήματα σε μετρήσεις που έχουν δημοσιευτεί στην Έκθεση επιβολής των Όρων της κοινότητας, ακολουθούμε τα εξής βήματα:
  • Αναφορά. Αν εντοπιστεί ένα πιθανό πρόβλημα, οι ομάδες μας υποβάλλουν αμέσως μια αναφορά συμβάντος που ειδοποιεί τις αρμόδιες ομάδες ώστε να ξεκινήσουν να διερευνούν το ζήτημα.
  • Διερεύνηση και περιορισμός των επιπτώσεων. Οι αρμόδιες ομάδες ελέγχουν το πιθανό πρόβλημα, κάνοντας άμεσες αλλαγές για την αποφυγή περαιτέρω προβλημάτων συνέπειας όπου είναι απαραίτητο και αναπτύσσοντας λύσεις για την αποφυγή του προβλήματος στο μέλλον.
  • Εκτίμηση του προβλήματος. Οι αρμόδιες ομάδες ελέγχουν το πιθανό πρόβλημα, κάνοντας άμεσες αλλαγές για την αποφυγή περαιτέρω προβλημάτων συνέπειας όπου είναι απαραίτητο και αναπτύσσοντας λύσεις για την αποφυγή του προβλήματος στο μέλλον.
  • Έλεγχος του περιστατικού μετά το συμβάν. Αφού αντιμετωπιστεί το πρόβλημα, διεξάγουμε έναν λεπτομερή εσωτερικό έλεγχο για να εντοπίσουμε τις βασικές αιτίες και τον πλήρη αντίκτυπο του προβλήματος. Αυτό μας επιτρέπει να εντοπίζουμε ευρύτερους κινδύνους για την εγκυρότητα της μέτρησής μας, ώστε να μπορούμε να τους αποτρέψουμε ή να τους ελαχιστοποιήσουμε.
Αναφορά προσαρμογών
Αφού εντοπίσουμε ένα πρόβλημα και προσαρμόσουμε την επηρεαζόμενη μέτρηση, θα αναφέρουμε δημοσίως τη διόρθωση ενημερώνοντας τη σχετική δημοσίευση κατά την επόμενη κυκλοφορία της Έκθεσης επιβολής των Όρων της κοινότητας. Η ενημέρωση θα περιγράφει το πρόβλημα, καθώς επίσης τις μετρήσεις και τις χρονικές περιόδους που επηρεάστηκαν. Τα δεδομένα των προηγούμενων επηρεαζόμενων τριμήνων στην Έκθεση επιβολής των Όρων περιεχομένου θα περιλαμβάνουν επίσης τις προσαρμοσμένες μετρήσεις, όταν αυτό είναι εφικτό, προκειμένου να διασφαλίζεται η βασιμότητα των συγκρίσεων σε βάθος χρόνου.
Συμβολή τρίτων και διεύρυνση αναφερόμενων μετρήσεων
Εκτός από όσα κάνουμε εσωτερικά για την αξιολόγηση και τη βελτίωση των μετρήσεών μας, επιζητούμε επίσης τη συμβολή τρίτων στις μεθοδολογίες μας και διευρύνουμε τις αναφερόμενες μετρήσεις, προκειμένου να παρέχουμε μια καλύτερη εικόνα των επιδόσεών μας όσον αφορά την επιβολή των πολιτικών μας.
Αξιολόγηση και συμβολή τρίτων στις μεθοδολογίες μας
Για να διασφαλίσουμε ότι οι μέθοδοί μας είναι διαφανείς και βασίζονται σε ορθές αρχές, απευθυνόμαστε σε ειδικούς προκειμένου να αναλύσουν τις μεθοδολογίες μας και να εκφράσουν την άποψή τους για θέματα όπως η πληροφοριακή αξία των μετρήσεών μας.
Προκειμένου να διασφαλίσουμε ότι η προσέγγισή μας σε ό,τι αφορά τις μετρήσεις επιβολής είναι ουσιαστική και ακριβής, συνεργαστήκαμε με την Data Transparency Advisory Group (DTAG), μια εξωτερική ομάδα διεθνών ακαδημαϊκών που εξειδικεύονται στις μετρήσεις, τη στατιστική, την εγκληματολογία και τη διακυβέρνηση. Τον Μάιο του 2019, η DTAG παρέδωσε την ανεξάρτητη, δημόσια αξιολόγησή της για την ακρίβεια και την ουσιαστική αξία των μετρήσεων που κοινοποιούμε στην Έκθεση επιβολής των Όρων της κοινότητας για τον τρόπο με τον οποίο επιβάλλουμε τις πολιτικές μας, τις προκλήσεις που αντιμετωπίζουμε σε αυτό το έργο και τι κάνουμε για την αντιμετώπισή τους. Συνολικά, διαπίστωσε ότι οι μετρήσεις μας συνιστούν λογικούς τρόπους μέτρησης των παραβιάσεων και συνάδουν με τις βέλτιστες πρακτικές. Η DTAG έκανε, επίσης, ορισμένες προτάσεις για το πώς μπορούμε να συνεχίσουμε να είμαστε πιο διαφανείς για το έργο μας, τις οποίες συζητήσαμε λεπτομερώς και συνεχίζουμε να διερευνούμε. Επιπλέον, το Meta έχει δεσμευτεί για ανεξάρτητο έλεγχο των μετρήσεων που θα κοινοποιηθούν σε αυτήν την έκθεση το 2021.
Δείτε την τελευταία Έκθεση επιβολής των Όρων της κοινότητας