Prieš kokius dešimt metų, kai dar tik pradėjau kapstytis po viešuosius registrus, atviri duomenys atrodė kaip užrakinta spinta, kurios raktą turi kažkas kitas. Šiandien situacija pasikeitusi – spinta atidaryta, tik daugelis vis tiek stovi priešais ją, nežinodami, nuo ko pradėti. Duomenų yra begalė, bet mokėjimas juos rasti, perskaityti ir panaudoti straipsniui ar tyrimui – jau visai kitas amatas.
Kur ieškoti, kai nežinai, ko ieškai
Lietuvoje pagrindinis atspirties taškas – data.gov.lt portalas. Ten sukrauta viskas nuo biudžeto vykdymo iki oro kokybės matavimų. Bet paslaptis tokia: dažniausiai vertingiausi duomenys slypi ne pagrindiniame portale, o institucijų svetainėse, kurios turi savo, atskirus registrus. Valstybinė mokesčių inspekcija, Registrų centras, Statistikos departamentas – kiekvienas turi savo logiką, savo formatus, savo įpročius. Reikia priprasti prie minties, kad universalios paieškos sistemos, kuri viską surastų vienu paspaudimu, tiesiog nėra.
Europos lygmeniu verta pažvelgti į data.europa.eu – ten susirenka duomenys iš visų ES valstybių, ir kartais palyginimas tarp šalių atskleidžia daugiau, nei bet koks vietinis skaičius vienas pats.
Formatas – ne smulkmena
Čia dažniausiai ir užstringa pradedantieji. Duomenys būna pateikti PDF pavidalu, lyg kažkas sąmoningai norėtų apsunkinti darbą. PDF – tai grafinis vaizdas, ne struktūrizuota informacija, todėl jį reikia arba konvertuoti (Tabula ar Camelot įrankiai šiuo atveju gelbsti), arba, jei fantazijos ir kantrybės pakanka, perrašyti ranka. CSV ir XLSX formatai – jau kas kita, juos galima tiesiogiai atsidaryti Excel ar Google Sheets programose ir pradėti dirbti be jokių papildomų ceremonijų.
Tikrieji duomenų entuziastai ieško API – programinės sąsajos, leidžiančios užklausti duomenis tiesiogiai, be žmogaus rankomis atliekamo atsisiuntinėjimo. Tai atrodo bauginančiai tiems, kas niekada nekodavo, bet iš tikrųjų daugelis API veikia per paprastas nuorodas naršyklėje – įrašai grąžinami JSON formatu, kurį jau galima apdoroti su Python ar net su paprastu tekstų redaktoriumi.
Skaičius reikia versti klausimais
Turėti lentelę su tūkstančiu eilučių – tai dar ne straipsnis ir ne tyrimas. Duomenys tampa vertingi tik tada, kai jiems užduodi teisingą klausimą. Ar šis skaičius keitėsi laike? Ar jis skiriasi tarp regionų? Kas jį veikia? Žurnalistas, kuris tiesiog perskaito lentelę ir perrašo skaičius į sakinius, praranda pačią esmę – kontekstą, kuris ir daro istoriją įdomia.
Vienas paprastas pavyzdys: jei matai, kad tam tikrame rajone staiga išaugo mirtingumo rodikliai, pirmas klausimas neturėtų būti „kiek”, o „kodėl būtent čia ir būtent dabar”. Duomenys parodo tik simptomą, priežastis tenka ieškoti kitur – interviu, ataskaitose, kartais net senuose laikraščiuose.
Klaidos, kurios kartojasi
Dažniausia klaida – pasitikėti duomenimis aklai, nepatikrinus metodologijos. Kaip buvo skaičiuojama? Kada paskutinį kartą atnaujinta? Ar apibrėžimas nesikeitė per laikotarpį, kurį lygini? Statistikos departamentas kartais keičia rodiklių skaičiavimo metodiką, ir jei to nepastebėsi, gali padaryti išvadą, kuri tiesiog neteisinga – ne dėl blogos valios, o dėl neatidumo.
Kita bėda – ignoruoti duomenų spragas. Trūkstamos reikšmės kartais pasako daugiau nei pačios reikšmės. Jei savivaldybė nepateikė duomenų apie viešuosius pirkimus per pastaruosius trejus metus, tai jau savaime yra istorija, net jeigu pati skaičių lentelė tuščia.
Įrankiai, kurie tikrai padeda
Nereikia būti programuotoju, kad dirbtum su dideliais duomenų masyvais. Google Sheets su pivot lentelėmis padengia devyniasdešimt procentų kasdienių poreikių. Kai reikia daugiau – OpenRefine puikiai tvarko netvarkingus, dubliuotus ar neteisingai suformatuotus įrašus. Tiems, kas nori žengti žingsnį toliau, Python su pandas biblioteka atveria duris į automatizuotą analizę, kurią galima kartoti kaskart, kai duomenys atnaujinami.
Vizualizacijai – Flourish arba Datawrapper, abu nemokami bent bazinei versijai ir nereikalaujantys jokio kodavimo. Geras grafikas kartais pasako daugiau nei tūkstantis žodžių, bet blogas grafikas gali visiškai iškraipyti prasmę, tad su spalvom ir ašimis reikia elgtis atsargiai.
Vietoje taško – dar vienas klausimas
Atviri duomenys nėra baigtinis lobis, kurį atradus belieka nusinešti namo. Tai greičiau nuolat besikeičiantis peizažas – šiandien portalas veikia vienaip, rytoj institucija pakeičia formatą, poryt atsiranda visai naujas registras, apie kurį niekas nė nežinojo. Tas, kuris išmoksta gyventi šitoje nepastovioje aplinkoje, nesustoja ties pirmu atsakymu. Kiekvienas rastas skaičius turėtų kelti naują klausimą, o ne uždaryti temą. Būtent tame nuolatiniame klausinėjime ir slypi visas amatas – ne turėti duomenis, o žinoti, ko iš jų paklausti.