Kiekvieną savaitę policijos komisariatai paskelbia šimtus pranešimų – apie vagystes, avarijas, muštynes, dingusius žmones. Dauguma jų nueina užmarštin, pasimeta tarp antraščių apie orus ar sportą. Bet tam, kas moka su jais dirbti, tai – aukso gysla. Tik ne visada blizganti, o kartais tiesiog dulkėta ir nesutvarkyta.
Lietuvoje policijos atvirų duomenų kultūra dar tik formuojasi. Kai kurie komisariatai skelbia informaciją tvarkingose lentelėse, kiti – pranešimų spaudai kalneliuose, iš kurių reikšmingus faktus tenka rankiniu būdu traukti kaip grybus po lietaus. Tad pirmas dalykas, kurį reikia suprasti – šie duomenys nėra vienalyčiai. Vienas komisariatas gali fiksuoti nusikaltimą pagal įvykio vietą, kitas – pagal registracijos vietą. Skirtumas atrodo smulkmena, kol nepradedi lyginti rajonų nusikalstamumo statistikos ir supranti, kad lygini obuolius su kriaušėmis.
Kur ieškoti ir ką iš tikrųjų gauni
Oficialūs šaltiniai – tai Policijos departamento svetainė, atviri.data.gov.lt portalas, kartais ir regioniniai komisariatų puslapiai. Tačiau čia slypi pirmoji spąstas: duomenys būna „atviri“ tik pavadinimu. Failas gali būti PDF formatu, su nuskenuotomis lentelėmis, kurių teksto net nepavyksta nukopijuoti. Tokiu atveju tenka griebtis OCR įrankių arba tiesiog sėsti ir perrašyti ranka – nemalonu, bet dažnai neišvengiama.
Kitas dalykas, į kurį verta atkreipti dėmesį – atnaujinimo dažnis. Kai kurie rinkiniai atnaujinami kasdien, kiti – kartą per ketvirtį, o būna ir taip, kad paskutinis atnaujinimas buvo prieš dvejus metus, nors puslapyje rašoma „aktualu“. Prieš pradedant bet kokią analizę, verta patikrinti datą stulpelyje, o ne pasitikėti puslapio antrašte.
Skaičiai, kurie meluoja netyčia
Policijos pranešimų duomenys dažnai atspindi ne tai, kas realiai vyksta, o tai, kas buvo užregistruota. Skirtumas milžiniškas. Jei tam tikrame rajone per metus užfiksuota mažiau smulkių vagysčių, tai gali reikšti dvejopai: arba ten iš tiesų saugiau, arba žmonės tiesiog nustojo skambinti policijai, nes netiki, kad kas nors pasikeis. Statistikos be konteksto skaitymas – tiesus kelias į klaidingas išvadas, kurias vėliau kartos ir kiti žurnalistai, cituodami vieni kitus.
Svarbu ir tai, kaip klasifikuojami įvykiai. Vienas mušimasis prie baro gali būti užregistruotas kaip „viešosios tvarkos pažeidimas“, kitas – kaip „nesunkus sveikatos sutrikdymas“, priklausomai nuo pareigūno, pildžiusio protokolą, nuovargio lygio tą vakarą. Todėl prieš darant apibendrinimus, verta peržiūrėti keliasdešimt konkrečių atvejų, o ne pasitikėti vien suvestine kategorija.
Praktiniai įrankiai, be kurių sunku apsieiti
Excel ar Google Sheets tinka pradžiai, bet kai duomenų failai siekia dešimtis tūkstančių eilučių, verta pereiti prie Python su pandas biblioteka arba bent jau prie OpenRefine – įrankio, skirto būtent netvarkingų, nenuosekliai suvestų duomenų valymui. Jis puikiai tinka, kai tas pats miestas viename stulpelyje rašomas kaip „Kaunas“, kitame – „kaunas“, o trečiame – „Kauno m.“
Geografinei analizei praverčia QGIS – nemokama programa, leidžianti nusikaltimų duomenis uždėti ant žemėlapio ir pamatyti, ar tikrai tam tikra gatvė yra „karšta zona“, ar tiesiog ten daugiau žmonių, taigi ir daugiau progų kažkam nutikti. Tankio žemėlapiai (heatmaps) čia dažnai pasako daugiau nei bet koks tekstinis pranešimas.
- Visada tikrinkite metaduomenis – kada rinkinys sukurtas ir kada paskutinį kartą keistas.
- Lyginkite kelis metus iš eilės, o ne vieną – vienerių metų šuolis dažnai yra atsitiktinumas, o ne tendencija.
- Klauskite komisariatų tiesiogiai, jei kategorijos neaiškios – kartais atsako per savaitę, bet atsako.
- Nepamirškite gyventojų skaičiaus – absoliutūs skaičiai be santykio su populiacija beveik nieko nereiškia.
Kai etika svarbesnė už sensaciją
Dirbant su tokiais duomenimis kyla ir moralinis klausimas – kiek detalių galima atskleisti. Adresai, artimi tikslūs laikai, aukų amžius – visa tai gali padėti identifikuoti konkrečius žmones, ypač mažuose miesteliuose, kur visi vieni kitus pažįsta. Žurnalistas, dirbantis su atvirais duomenimis, turėtų nuolat balansuoti tarp skaidrumo ir privatumo. Skaičius galima publikuoti, bet reikia pagalvoti, ar tas skaičius netampa kažkieno gyvenimo detale, iškelta viešumon be reikalo.
Vietoj taško – kablelis prie nebaigto sakinio
Atviri policijos duomenys niekada nebus tobuli – jie visada bus tokie, kokius juos paliko žmogus, pildęs formą po ilgos pamainos. Tačiau būtent netobulumas ir daro juos įdomius: kiekviena nesutampanti kategorija, kiekvienas pavėluotas atnaujinimas byloja ne tik apie nusikalstamumą, bet ir apie pačią sistemą, kuri tuos duomenis renka. Tas, kas moka skaityti tarp eilučių – ar tiksliau, tarp stulpelių – gauna ne tik statistiką, bet ir portretą institucijos, kuri tą statistiką kuria. O tai jau visai kita, gerokai vertingesnė istorija nei bet kokia lentelė su procentais.