Elastic Stack - ukládání a analýza logů

Kurz je určen pro všechny, kteří se chtějí naučit, jak pomocí Elastic Stack ukládat velké množství dat. Logy se naučíme ukládat, vyhledávat v nich a vizualizovat pomocí Kibana. Postupně projdeme celý proces od instalace jednotlivých komponent (Beats, Logstash, ElasticSearch, Kibana) přes jejich používání až po správu clusteru.

Na reálných příkladech si vyzkoušíme různé architektury ukládání dat, které budeme sbírat z různých zdrojů, obohacovat je o další informace a ukládat je do ElasticSearch. Účastník se blíže seznámí s úložištěm ElasticSearch tak, aby byl schopný řešení efektivně spravovat a škálovat na velké množství dat. V nástroji Kibana se naučíme, jak logy vizualizovat, vytvářet dashboardy a rozumět datům více do hloubky.

Cílová skupina

• Vývojáři aplikací
• Systémoví administrátoři
• IT profesionálové 
  
  

Cíle kurzu

• jak ukládat různé logy pomocí Elastic Stack
• jak navrhnout architekturu logování pro různé případy užití
• jak instalovat a konfigurovat jednotlivé komponenty zpracování dat (Beats, Logstash, ElasticSearch, Kibana)
• technologii ElasticSearch více do hloubky, naučí se jak používat nástroje pro práci s úložištěm, jak jej spravovat, škálovat a monitorovat
• vytvářet dashboardy a pracovat s nástrojem Kibana

Garant kurzu

PETR NOVOTNÝ

Petrův odborný záběr je od solution architektury přes vlastní development (JavaScript, PHP) přes ElasticSearch, Oracle, PL/SQL až po agilní metodiky a SCRUM. Petr se zároveň věnuje již několik let technologii ElasticSearch a stal se kmenovým lektorem společnosti Datascript.

Osnova

Logování a elasticsearch 

• Event log management
• Vizualizace logů
• Příklady použití Elastic Stack v praxi

Elasticsearch

• Jednotlivé komponenty ElasticSearch
• Základní práce s clusterem, nody, indexy
• Lab

Instalace a Konfigurace

• Instalace ElasticSearch
• Konfigurace pro logování
• Ukázkové konfigurace z praxe

Cluster, nody, indexy

• Architektura
• Nástroje pro práci s clusterem
• Pochopení a konfigurace různých druhů Nodes
• Práce s indexy, nastavení indexů pro ukládání logů
• Lab

Sběr dat

• Beats
• Sběr aplikačních logů ze souborů
• Sběr metrik ze serveru
• Možné architektury pro sběr dat
• Ingest Node
• Lab

Logstash

• Sběr dat z různých zdrojů
• Konfigurace, ukázky nasazení na reálných aplikacích
• Input, Filter, Output
• Grok filter
• Nastavení ukládání do ElasticSearch
• Filebeat
• Lab

Kibana

• Konfigurace, index patterns
• Rozhraní discover
• Agregace pomocí Kibana
• Tvorba vizualizací
• Dashboardy
• Vyhledávání v datech
• Timelion - práce s časovými řadami
• Ukázkové dashboardy, příklady z praxe
• Lab

Monitoring logů

• Sledování změn v logách
• Detekce anomálií, notifikace
• Elastic Stack
• ElastAlert
• Lab

Distribuované vyhledávání v logách

• Vyhledávání v ElasticSearch
• Inverted index, relevance a další
• Analýza dat, mapping, dynamic templates
• Lab

Správa indexů

• Plánování kapacity a konfigurace
• Správa indexů, komprese
• Cache
• Rollover, Shrink API
• Lab

Správa clusteru

• Restart (rolling, full-cluster)
• Správa snapshotů, repozitářů
• Upgrade clusteru (minor, major verze)
• Lab

Monitoring clusteru

• Nastavení monitoringu Elastic cluster
• Co kdy, jak monitorovat
• Nástroje pro monitoring
• Lab

Technické specifikace

• Počítač s jakýmkoliv OS (Linux, Windows, OS X)
• SSH klient (na Windows např. Winsshterm, Putty), oprávnění připojit se vzdáleně na SSH (port 22)
• Webový prohlížeč

Předpoklady účastníka

Základní znalost Elasticsearch, protokol HTTP, formát JSON, obecná znalost databázových systémů.

Předcházející kurz

Elasticsearch