Atviri duomenys skamba kaip kažkas techniško ir sudėtingo, bet iš tikrųjų tai gana paprasta idėja — valstybės institucijos, savivaldybės ir viešosios įstaigos surenka informaciją, kurią mes visi apmokame per mokesčius, ir ta informacija turėtų būti prieinama. Ne archyvuose, ne užklausose per savaites, o tiesiog atsisiunčiama ir naudojama. Lietuvoje ši sritis per pastarąjį dešimtmetį gerokai subrendo, tik daugelis žmonių apie tai net neįtaria, kol nepradeda ieškoti konkrečios informacijos savo projektui, tyrimui ar tiesiog smalsumui patenkinti.
Nuo ko pradėti
Pagrindinis taškas, nuo kurio verta pradėti, yra data.gov.lt — Lietuvos atvirų duomenų portalas. Ten sukaupti duomenų rinkiniai iš dešimčių institucijų: nuo oro kokybės matavimų iki mokyklų egzaminų rezultatų, nuo nusikalstamumo statistikos iki viešojo transporto tvarkaraščių. Portalas veikia panašiai kaip paieškos sistema — įvedi raktinį žodį, pasirenki temą, gauni failų sąrašą.
Problema ta, kad ne visada duomenys ten atrodo taip, kaip norėtųsi. Kartais failas būna atnaujintas prieš metus, kartais formatas nepatogus darbui, kartais aprašymas neišsamus. Tai normalu — atvirų duomenų ekosistema visame pasaulyje dar nėra idealiai sutvarkyta, ir Lietuva čia nėra išimtis.
Kiti šaltiniai, kurių portalas neapima
Verta žinoti, kad ne visi vertingi duomenys guli viename portale. Lietuvos statistikos departamentas turi savo platformą osp.stat.gov.lt, kur galima rasti detalią demografinę, ekonominę ir socialinę statistiką — dažnai gerokai išsamesnę nei bendrame portale. Lietuvos bankas skelbia finansinius rodiklius ir makroekonominius duomenis. Registrų centras teikia informaciją apie nekilnojamąjį turtą, įmones, adresus. Savivaldybės, ypač didesnės, kaip Vilnius ar Kaunas, taip pat turi savo atvirų duomenų iniciatyvas, kartais net atskiras platformas biudžeto skaidrumui ar miesto infrastruktūrai stebėti.
Jei ieškote konkrečios srities duomenų, geriausia strategija — pagalvoti, kuri institucija tuo klausimu turėtų būti kompetentinga, ir tikrinti tiesiai jos svetainėje, o tik po to grįžti į bendrą portalą.
Formatai ir kas su jais daryti
Dauguma duomenų rinkinių pateikiami CSV, XLSX arba XML formatu. CSV yra draugiškiausias variantas pradedantiesiems — jį atidaro bet kuri lentelių programa, taip pat lengva importuoti į Python ar R, jei norite eiti toliau nei paprastas peržiūrėjimas. Kai kurios institucijos siūlo ir API prieigą, kas leidžia gauti atnaujintus duomenis automatiškai, neatsisiunčiant failo kiekvieną kartą rankiniu būdu — tai patogu, jei planuojate ilgalaikį projektą, pavyzdžiui, oro kokybės stebėjimo prietaisų skydelį.
Nebijokite atsidaryti failo net nežinodami tiksliai, ko ieškote. Dažnai geriausi atradimai atsiranda tiesiog naršant — pamatai stulpelį, apie kurį nebūtum pagalvojęs, ir staiga atsiranda nauja idėja, ką su tais duomenimis galima padaryti.
Dažniausios kliūtys
Pirmoji kliūtis — duomenų kokybė. Kai kurie rinkiniai turi tuščias reikšmes, nenuoseklius formatus datoms ar skirtingus pavadinimus tam pačiam dalykui skirtinguose failuose. Prieš pradedant bet kokią analizę, verta skirti laiko tiesiog duomenų „sutvarkymui” — tai neįdomiausia darbo dalis, bet be jos rezultatai bus klaidingi.
Antroji kliūtis — licencijavimas. Dauguma Lietuvos atvirų duomenų skelbiami pagal CC BY 4.0 licenciją, kuri leidžia naudoti duomenis beveik bet kokiam tikslui, įskaitant komercinį, jei nurodomas šaltinis. Vis dėlto verta patikrinti kiekvieno rinkinio sąlygas atskirai, nes retkarčiais pasitaiko išimčių.
Trečia — kai kurie duomenys, kurių tikitės rasti, tiesiog dar nėra atverti. Tokiu atveju galima siųsti užklausą institucijai pagal Teisės gauti informaciją iš valstybės ir savivaldybių institucijų įstatymą. Tai užtrunka ilgiau, bet dažnai veikia.
Kam tai realiai naudinga
Žurnalistai naudoja atvirus duomenis tyrimams — pavyzdžiui, analizuodami savivaldybių išlaidas ar viešuosius pirkimus. Studentai ir mokslininkai remiasi statistika savo darbuose, nebeieškodami informacijos per pažįstamus institucijose. Programuotojai kuria aplikacijas, kurios naudoja transporto ar oro kokybės duomenis realiu laiku. Net paprastas gyventojas, norintis suprasti, kiek jo savivaldybė išleidžia keliams ar kiek nusikaltimų užregistruota jo rajone, gali tą informaciją rasti pats, nelaukdamas, kol kas nors paskelbs straipsnį.
Vietoj taško — kelias, kuriuo verta eiti toliau
Atviri duomenys Lietuvoje jau nebe teorinė sąvoka, o realiai veikianti, nors ir netobula sistema. Kuo daugiau žmonių ja naudojasi, tuo labiau institucijos motyvuotos gerinti duomenų kokybę ir prieinamumą — tai savotiškas ratas, kuriame kiekvienas atsisiųstas failas, kiekviena užklausa ar pastaba portalo administratoriams turi reikšmę. Pradėti nebūtina nuo didelio projekto — užtenka pasirinkti temą, kuri tikrai domina, atsidaryti vieną failą ir pažiūrėti, kas ten iš tikrųjų yra. Likusi dalis dažniausiai susidėlioja savaime.