Kā nenoslīkt informācijas plūdos
Publicēts: 19.10.2013
No dažādām NASA misijām plūstošā informācija ir kā ar palu ūdeņiem bagātas upes. Kosmiskie aparāti, kas vēro Visumu, sākot no mūsu planētas līdz pat vistālākajām galaktikām, katru dienu uz Zemi nosūta neskaitāmu daudzumu attēlus un citu informāciju. Visu to nepieciešams uzglabāt, indeksēt un apstrādāt, lai kosmisko aparātu inženieri, zinātnieki un cilvēki no visas pasaules varētu izmantot datus, lai labāk izprastu Zemi un arī pārējo Visumu.
NASA Reaktīvo dzinēju laboratorijas (JPL) misiju vadītāji un programmatūras inženieri izstrādā jaunas stratēģijas, lai tiktu galā ar arvien pieaugošo datu straumi.
Cik liela ir "liela informācija"? NASA misiju ietvaros katru stundu tiek savākti simtiem terabaitu. Tiek uzskatīts, ka viens terabaits informācijas atbilst apjomam, kādu būtu iespējams izdrukāt uz papīra, kas iegūts pārstrādājot 50 000 kokus.
"Zinātnieki izmanto lielus datu apjomus, lai prognozētu laikapstākļus, analizētu Marsa polārās cepures un meklētu tālas galaktikas," pastāstīja Ēriks De Jongs no JPL. "Mēs esam informācijas glabātāji, bet lietotāji ir astronomi un zinātnieki, kuriem nepieciešami attēli, mozaīkas, kartes un video materiāli, lai sameklētu sakarības un pārbaudītu teorijas."
De Jongs paskaidroja, ka kosmisko misiju informācijas pārvaldīšanai ir trīs aspekti - datu uzglabāšana, apstrāde un pieejamība. Datu uzglabāšana ir vērā ņemams izaicinājums, ja datu apjoms ir liels. Kvadrātkilometru masīvs (SKA), kuru veidos tūkstošiem teleskopu Dienvidāfrikā un Austrālijā, lieliski ilustrē šo problēmu. Plānots, ka šī milzeņa celtniecība sāksies 2016. gadā.
JPL piedalās datu arhivēšanas risinājuma izstrādē. Katru dienu SKA masīvs savāks aptuveni 700 terabaitus datu. Šāds apjoms mūsdienās tiek iepludināts globālajā tīmeklī divu dienu laikā. Tā vietā, lai palielinātu fizisko datu krātuvju apjomus, inženieri izstrādā inovatīvus programmatūras risinājumus gan datu arhivēšanai un uzglabāšanai, gan informācijas ātrai meklēšanai šajos arhīvos.
"Mums nevajag izgudrot riteni vēlreiz," pastāstīja Kriss Metmens. "Mēs varam modificēt atvērtā koda programmatūru, lai radītu ātrākus un lētākus risinājumus."
JPL pēdējā laikā aktīvi izmanto atvērtā koda programmatūru, izstrādājot datu apstrādes metodes kosmiskajām misijām. Pēc tam JPL izstrādātie rīki atgriežas pasaulē, kur tie tiek izmantoti dažādas aplikācijās.
"Tas ir veiksmīgs risinājums visiem," piebilda Metmens.
Tomēr arhivēšana nav vienīgais izaicinājums. De Jongs un viņa komanda strādā pie jauna veida informācijas vizualizācijas metodēm. Katra Marsa orbitālās zondes Mars Reconnaissance Orbiter (MRO) fotogrāfija satur 120 megapikseļus. De Jonga komanda veido video materiālus no šiem attēliem.
"Informācija kļūst ne tikai apjomīgāka, bet arī sarežģītāka," paskaidroja De Jongs. "Mēs pastāvīgi strādājam pie vizualizācijas procesu automatizācijas, lai zinātniekiem un inženieriem būtu vieglāk lietot informāciju."
Ne mazāk svarīgs moments ir iespēja lietotājiem ātri iegūt nepieciešamo informāciju no datu arhīviem.
"Ja jums ir milzīgi grāmatplaukti, jums joprojām vajag zināt, kā sameklēt vēlamo grāmatu," teica Stīvs Grūms no Kalifornijas Tehnoloģiju institūta.
Dažkārt lietotāji vēlas iegūt visu informāciju uzreiz, lai meklētu globālas sakarības.
"Astronomi mūsu bibliotēkā var meklēt uzreiz "visās grāmatās"," pastāstīja Grūms.
Kalifornijas Tehnoloģiju institūta NASA Infrasarkano teleskopu datu apstrādes un analīzes centrā tiek uzglabāti dati no Spitzer, WISE un Planka misijām. Šie dati ir pieejami publiski.
"Cilvēks nespēj sašķirot tik milzīgus datu apjomus," teica Andrea Donelana no JPL, kas piedalās QuakeSim projektā. Tā ietvaros tiek apkopoti dati par zemestrīcēm, gan tie, kas savākti uz Zemes, gan tie, kurus iegūst dažādi satelīti kosmosā.
QuakeSim attēli un grafiki palīdz zinātniekiem saprast, kā notiek zemestrīces, un izstrādāt ilgtermiņa preventīvos pasākumus. Jau no Kalifornijas vien dati tiek iegūti no vairāk nekā simts vietām, kur tiek veikti tūkstošiem mērījumu. Donelana un viņas vadītā komanda izstrādā programmatūru, kas palīdzēs lietotājiem rīkoties ar šiem datu plūdiem.
Pats par sevi saprotams, ka datu apjoms turpinās augt un nāksies izstrādāt vēl modernākas metodes šīs informācijas uzglabāšanai un apstrādei, kā arī tālākai izmantošanai.
NASA JPL
