Kako vizualizirati složene podatke na Linuxu

Sadržaj:

Anonim

Vjerojatno ste čuli za Elasticsearch - tražilicu koja vam omogućuje indeksiranje, a zatim brzo pretraživanje podataka. Možda ste stvorili nekoliko vizualizacija u Kibani, grafičkom sučelju za Elasticsearch, pokazujući i klikajući kroz elegantno sučelje.

Ono što možda niste koristili je manje poznati dodatak za vizualizaciju pod nazivom Timelion.

Timelion je fantastičan alat za izradu vizualizacije koji omogućuje ispisivanje vaših upita na svom jednostavnom i moćnom jeziku izraza za prikaz grafikona. Koristi se za prikazivanje podataka vremenskih serija kao što su rast broja stanovnika ili pogodaka na vašoj web lokaciji.

  • Evo popisa najboljih prijenosnih računala za programere
  • Pogledajte ove najbolje distribucije za programere
  • Lagano drobite brojeve na ovim najboljim radnim stanicama
O ovom članku

Ovaj se članak prvi put pojavio u časopisu Linux Format, izdanje # 269, objavljenom u studenom 2022-2023.

S Timelionom možemo izračunati pokretne prosjeke, prikazati razliku između podataka za prošli tjedan i danas i izvršiti neke osnovne detekcije anomalija. To je koristan alat za znati kako raditi. Započnimo.

Montaža

Ako ste redoviti čitač formata Linux, postoje primjeri za sastavljanje dockera za postavljanje klastera u LXF261.

Inače je instaliranje Elasticsearch-a i Kibane relativno jednostavno. Jedini uvjet je Java koju ste možda već instalirali.

Ako ga ne instalira jednostavni sudo apt install default-jre na distribucijama zasnovanim na Debianu, ili bi sudo dnf install java trebao učiniti isto za red distro obitelji Red Hat.

Tada samo trebate preuzeti najnoviju verziju Elasticsearch-a i Kibane za željeni okus operativnog sustava.

U vrijeme pisanja zadnjeg izdanja je kibana-7.8.1-linux-x86_64.tar.gz.

Možete ga izvući pomoću tar -xvzf kibana-7.8.1-linux-x86_64.tar.gz, promijeniti u izvučeni direktorij i pokrenuti ./bin/kibana & da biste pokrenuli instancu Kibana.

Kada napravite potpuno iste korake za postavljanje Elasticsearch-a, zamjenjujući 'kibana' za 'elasticsearch', trebali biste biti u mogućnosti otići do http: // localhost: 5601 u svom omiljenom pregledniku i vidjeti sjajno novo sučelje Kibana za reprodukciju okolo sa.

Ako više volite instalirati pakete s upraviteljem paketa, ista poveznica kao i prije sadrži informacije o dodavanju Elastic repo-a u vaš sustav i instaliranju Kibana i Elasticsearch paketa na taj način.

Možete postaviti grafikone jedan na drugi i upotrijebiti formatiranje kako bi vaši grafikoni izgledali najbolje.

Dohvatite neke podatke

Najnovije verzije Kibane omogućuju automatsko unošenje skupova podataka u naš klaster pomoću Vizualizatora podataka, umjesto da treba stvoriti skriptu ili konfiguraciju Logstasha. Može se baviti skupovima podataka u JSON ili CSV formatu, kao i nekim standardnim datotekama dnevnika, poput Apache dnevnika. Jedino ograničenje je da su manje od 100 MB. To je više nego dovoljno za naše svrhe.

Koristit ćemo podatkovni niz slučajeva Covid-19 širom svijeta s portala EU Open Data. CSV datoteku preuzeli smo iz odjeljka Resursi na stranici.

Ako imate poteškoća, umjesto toga možete preuzeti Excel .xlsx verziju, otvoriti LibreOffice Calc i spremiti je u formatu Text CSV (.csv). Za preuzimanje je dostupna i JSON verzija koju možete koristiti kao alternativu.

Da biste došli do Vizualizatora podataka u Kibani, kliknite ikonu hamburgera u gornjem lijevom kutu, zatim Strojno učenje i na kraju Vizualizator podataka. Kada tamo kliknete Učitaj datoteku u okviru Uvoz podataka, zatim odaberite ili povucite i ispustite datoteku i odaberite csv datoteku koju želite unijeti.

Nakon kratke analize pokazat će neke statistike koje su otkrivene iz prvih 1.000 redaka CSV datoteke. To će biti format u kojem misli da se nalazi svako od polja, poput teksta, datuma ili broja, te istaknuti glavne vrijednosti pronađene u poljima.

Obično to dobro obavi dok to shvati. Ako ste trebali izvršiti bilo kakve prilagodbe, možete kliknuti Nadjačaj postavke da biste ih izmijenili - na primjer, naziv polja kakav će biti postavljen u Elasticsearch.

Ime polja koje bismo trebali nadjačati je dateRep, koji predstavlja datum za izračunatu cifru u našem skupu podataka. Timelion to po zadanom neće znati koristiti kao vremensko polje, pa možemo kasnije pojednostaviti svoj život preimenovanjem ovog polja u nešto što će prepoznati.

Dobar kandidat je vremenska oznaka. Kliknite Primijeni da biste to postavili. Kada ste zadovoljni kako izgleda ostatak, kliknite Uvezi na dnu, indeksu dajte ime - odabrali smo covid - a zatim ponovno kliknite Uvezi da biste podatke prenijeli u svoju klaster.