Analyysin parantaminen
PÄIVITETTY 19.1.2022
Jatkamme myös käytäntöjemme ja prosessiemme sekä niiden taustalla olevien menetelmien tarkistamista. Niihin tehdyt muutokset muuttavat luonnollisesti myös muuttujien laskelmia. Muiden kehityssuuntausten lisäksi menetelmiin tai prosesseihin tehdyt muutokset voivat viitata siihen, että rikkomusten torjuntamme on kehittymässä paremmaksi tai muuttumassa huonommaksi.
Tietojen laatu, päivitykset ja oikaisut
Tarkistamme ja validoimme säännöllisesti muuttujiamme sitä mukaa kun analyysiprosessimme kehittyvät. Olemme myös laatineet normit, joiden perusteella tunnistamme, oikaisemme ja raportoimme julkisesti kaikki muutokset, jotka teemme aiemmin julkaisemiimme tietoihin.
Tunnistamme mahdollisia ongelmia tiedoissamme tekemällä säännöllisesti tietojoukkojemme, analyysityökalujemme ja kirjausjärjestelmiemme laaduntarkistuksia. Kun havaitsemme mahdollisen ongelman, tarvittavat Metan tiimit ryhtyvät toimiin ongelman tutkimiseksi ja torjumiseksi sekä pitkän aikavälin korjausten määrittämiseksi.
Kun ongelma on ratkaistu, Meta saattaa yhteisönormien soveltamista koskevan raportin tiedot ajan tasalle. Jos tällaiset oikaisut ovat merkityksellisiä, Meta esittää kuvauksen ongelmasta, siihen liittyneistä muuttujista ja ajanjaksoista, jolloin ongelma ilmeni.
Oikaisut ja muutokset
Miksi olemme kehittäneet prosesseja tietojen laadun varmistamiseksi?
Olemme sitoutuneet tiedottamaan läpinäkyvästi muuttujistamme ja prosesseistamme, joita käytämme muuttujien laskemiseen ja parantamiseen. Olemme kehittäneet tietojen laadun varmistusmenettelyn, jonka avulla tunnistamme, oikaisemme ja raportoimme julkisesti kaikki aiemmin julkaisemiimme tietoihin tekemämme muutokset, jotta voisimme sujuvoittaa ja hallita paremmin menetelmiemme ja muuttujiemme muutosten ja oikaisujen julkaisemista. Tämä on yleinen käytäntö suurissa tilastotoimistoissa ja valtion virastojen julkisissa raporteissa. Se on kehitetty tietojen raportointiin liittyvien julkisen ja yksityisen sektorin parhaiden käytäntöjen mukaisesti. Tarkistuksemme ja menettelymme ovat erittäin tärkeitä, jotta voimme varmistaa raportointimme paikkansapitävyyden ja eheyden tulevaisuudessa.
Arvioimme ja validoimme jatkuvasti muuttujiamme ja varmistamme, että ilmoittamamme tiedot pitävät paikkansa ja että tietojen luomista varten käyttämämme menetelmät ovat toimivia. Tähän liittyen tiedotamme näistä muutoksista täällä, kun päivitämme menetelmiämme tai teemme muutoksia muuttujiimme.
Miten arvioimme ja parannamme muuttujiamme?
Hienosäädämme jatkuvasti prosessejamme ja menetelmiämme, jotta voimme tarjota mahdollisimman merkityksellisiä ja tarkkoja laskelmia käytäntöjemme täytäntöönpanosta. Otimme vuoden 2019 kesän aikana käyttöön tietojen laadun varmistusprosesseja. Ne sisältävät lisätarkistuksia ja -tasapainotuksia, joiden avulla varmistamme ilmoittamiemme muuttujien tietojen paikkansapitävyyden ja johdonmukaisuuden.
Ensisijaisten tilanteiden tunnistaminen pätevyyden vahvistamiseksi
Määritämme kunkin muuttujan eri ulottuvuudet ja priorisoimme riskit sellaisten segmenttien osalta, jotka voivat vaikuttaa muuttujiin merkittävästi. Teemme tähän priorisoituun listaan kuuluville segmenteille useita tarkistuksia sen varmistamiseksi, että segmentit tallentavat tietoja tarkasti.
Erittelemme esimerkiksi sisällön toimintamuuttujat useisiin ulottuvuuksiin tarkistusta varten. Erottelemme esimerkiksi toimien kohteena olleen sisällön sen perusteella, ovatko automatisoidut järjestelmämme tai tarkistuksia tekevät työntekijämme ryhtyneet toimiin, mikä sai meidät ryhtymään toimiin ja minkä tyyppisen sisällön osalta toimiin ryhdyttiin. Sisältötyyppejä ovat kuvat, teksti ja videot.
Arvioimme sitten näiden eri ulottuvuuksien avulla, kuinka paljon vääristymiä analyysiimme sisältyisi, jos kyseistä ulottuvuutta ei kuvattaisiin oikein muuttujassa. Näin voisi tapahtua esimerkiksi silloin, jos emme sisällyttäisi videosisältöä muuttujiimme. Näiden arviointien avulla voimme määrittää ulottuvuuksia, jotka voivat vaikuttaa muuttujaan, kuten sen, ryhtyivätkö henkilöt toimiin.
Sen jälkeen selvitämme, miten paljon ulottuvuuden vääryys vaikuttaisi muuttujaan. Tämä voisi johtua esimerkiksi siitä, ettemme kirjaisi sisältöä, johon henkilöt ovat tehneet toimia. Sen jälkeen asetamme merkittävimmät riskitilanteet tärkeysjärjestykseen ja teemme sen pohjalta lisää ristiintarkistuksia. Kehitämme näitä korkean riskin yhdistelmiä varten ylimääräisiä seuranta- ja ristiintarkistusjärjestelmiä, jotta voimme varmistaa muuttujien moitteettoman arvioinnin.
Validointi ja johdonmukaisuuden tarkistukset
Teemme myös johdonmukaisuuden tarkistuksia, jotta voimme validoida paremmin muuttujamme. Niihin kuuluvat seuraavat tarkistukset:
Johdonmukaisuuden tarkistukset
Analysoimme toimintaamme säännöllisesti erillisen, itsenäisen järjestelmän avulla, joka analysoi sisällölle tehtäviä toimintoja. Tarkistamme nämä erilaiset riippumattomat muuttujat säännöllisesti. Niiden tarkoituksena on kirjanpitomme suurten virheiden tunnistaminen.
Analyysityökalujemme tarkistus ja virheenkorjaus
Teemme erilaisia satunnaisia pistotarkistuksia, jotta voimme varmentaa analyysijärjestelmiemme paikkansapitävyyden lähes reaaliajassa. Osana tätä tarkistamme järjestelmiemme myöhemmän vaiheen tulokset alkuvaiheen tulosten varmentamiseksi. Varmistamme esimerkiksi, että valituksen kohteena ollut sisältö kirjataan myös toimien kohteena olleeksi sisällöksi, koska sisällön on oltava ollut toimien kohteena, jotta siitä on voitu tehdä valitus. Monet tällaisista tarkistuksista on tarkoitettu suurten virheiden tunnistamista varten. Esimerkki tällaisesta virheestä on tilanne, jossa sisällöstä on tehty valitus mutta sisältöä ei ole koskaan poistettu.
Kaikkien muiden normien soveltamista koskevan raportointimme osa-alueiden tapaan jatkamme kelpoisuuden ja johdonmukaisuuden tarkistusprosessiemme kehittämistä ja parantamista ajan myötä.
Sisäiset tarkistus- ja oikaisumenettelyt
Olemme myös ottaneet käyttöön menettelyjä sellaisten tietojen tunnistamiseen ja oikaisemiseen, jotka olemme ilmoittaneet aiemmin normiemme soveltamista koskevassa raportissamme. Tarkistamme ja päivitämme raporttimme säännöllisesti. Kun havaitsemme mahdollisia ongelmia muuttujissa, joista olemme ilmoittaneet yhteisönormien soveltamista koskevassa raportissa, toimimme seuraavasti:
- Raportointi: jos havaitsemme mahdollisen ongelman, tiimimme kirjaavat välittömästi poikkeamaraportin, jossa kehotetaan asiaankuuluvia tiimejä aloittamaan ongelman tutkiminen.
- Tutkimus ja torjunta: asiaankuuluvat tiimit tarkistavat mahdollisen ongelman, tekevät tarvittaessa välittömät muutokset uusien johdonmukaisuuteen liittyvien ongelmien estämiseksi ja kehittävät ratkaisuja, joiden avulla näiltä ongelmilta vältytään jatkossa.
- Ongelman arviointi: asiaankuuluvat tiimit tarkistavat mahdollisen ongelman, tekevät tarvittaessa välittömät muutokset uusien johdonmukaisuuteen liittyvien ongelmien estämiseksi ja kehittävät ratkaisuja, joiden avulla näiltä ongelmilta vältytään jatkossa.
- Ongelman jälkeen tehtävä tarkistus: Kun ongelma on torjuttu, teemme yksityiskohtaisen sisäisen tarkistuksen, jossa määritämme ongelman ydinsyyt ja arvioimme kaikki sen vaikutukset. Näin voimme tunnistaa analyysitulostemme laajempia kelpoisuusriskejä, jotta voimme estää tai minimoida niitä.
Raportoinnin muutokset
Kun olemme tunnistaneet ongelman ja muuttaneet siihen liittyvää muuttujaa, raportoimme oikaisun julkisesti päivittämällä tämän julkaisun samaan aikaan kun julkaisemme seuraavan yhteisönormien soveltamista koskevan raportin. Kuvailemme tällaisessa päivityksessä ongelman, siihen liittyneet muuttujat ja ajanjaksot, jolloin ongelma ilmeni. Sisältönormien soveltamista koskevaan raporttiin sisällytetään tietoja aiemmilta vuosineljänneksiltä, joihin ongelma vaikutti. Tiedot mahdollisuuksien mukaan sisältävät mahdolliset muutetut muuttujat, jotta aikavälivertailut olisivat merkityksellisiä.
Näkemysten pyytäminen ja raportoimiemme muuttujien laajentaminen
Sen lisäksi, että arvioimme ja parannamme sisäisesti muuttujiamme, pyydämme myös ulkoisilta toimijoilta näkemyksiä menetelmistämme ja laajennamme raportoimiamme muuttujia, jotta voimme antaa kattavamman kuvan siitä, miten panemme täytäntöön käytäntöjämme.
Menetelmien arviointi ja näkemykset
Pyydämme asiantuntijoilta analyyseja ja näkemyksiä eri osa-alueilta, kuten siitä, ovatko tarjoamamme muuttujat informatiivisia, jotta voimme varmistaa menetelmiemme läpinäkyvyyden ja vankan perustan.
Sisältöanalyysin lähestymistapamme merkityksellisyyden ja paikkansapitävyyden varmistamiseksi olemme tehneet yhteistyötä Data Transparency Advisory Groupin eli DTAG:n kanssa. DTAG on ulkoinen ryhmä, johon kuuluu analyysin, tilastotieteen, kriminologian ja hallinnon alan kansainvälisiä akateemisia asiantuntijoita. Se antoi vuoden 2019 toukokuussa riippumattoman julkisen arvionsa siitä, saadaanko yhteisönormien soveltamista koskevassa raportissamme ilmoittajiemme muuttujien avulla tarkkoja ja merkityksellisiä tietoja käytäntöjemme täytäntöönpanosta, tässä työssä kohtaamistamme haasteista ja siitä, miten pyrimme ratkaisemaan ne. DTAG totesi yleisesti, että muuttujamme analysoivat rikkomuksia kohtuullisesti ja että ne ovat parhaiden käytäntöjen mukaisia. Se antoi myös useita suosituksia siitä, miten voimme parantaa työmme läpinäkyvyyttä. Keskustelimme siitä yksityiskohtaisesti ja jatkamme asiaan perehtymistä. Tämän lisäksi Meta on sitoutunut tekemään riippumattoman auditoinnin tässä raportissa vuonna 2021 ilmoitetuista muuttujista.
Lue viimeisin yhteisönormien soveltamista koskeva raportti