Prometheus - agilní monitoring moderní infrastruktury

Prometheus má v dnešním cloudovém světě své pevné místo a spolu s Kubernetes tvoří komplementární dvojici. Procesů, které se v orchestrátoru mikroservis dějí, jsou stovky až tisíce za vteřinu. První rolí Promethea je vědět o všech těchto procesech, umět si je vyfiltrovat a zobrazit a za pomocí alertů být informován o všech, které jsou relevantní pro provoz. Druhá role je často svázaná s komponentou starající se o persistentní uložení metrik a Prometheus je pak možné využít jako analytický nástroj zobrazující chování daných procesů v delším čase. Typicky je pak možné si zobrazit např. spotřebované zdroje v Kubernetes v závislosti na počtů aplikací za rok zpět. S touto rolí je svázaný Thanos, který ukládá, zpracovává a zpřístupňuje metriky a o němž tu bude rovněž řeč.

V první části mé přednášky se nejdříve zaměříme na popis Promethea a Thanose. Vyzkoušíme si tyto komponenty spustit v rámci demíčka a ukázat si jednotlivé komponenty naživo. V druhé části se budu věnovat reálným zkušenostem s provozem Promethea a Thanose.

Agenda

• Prometheus - k čemu jej potřebujeme a popis jeho komponent
• Thanos - nastupuje tam, kde končí Prometheus
• Demo - pomocí dockeru vytočíme jednotlivé komponenty a popíšeme si jejich funkčnost
• Reálné zkušenosti s provozem Promethea a Thanose - popis 3+ leté zkušenosti a na co si dávat pozor
• Kvíz - když zbyde čas, tak vás trochu "squeeznu"

Přednáška bude složena ze tří částí. V první proletíme hostorii, proč vlastně Prometheus vzniknul a jak se postupně rozvíjel celý ekosystém okolo něj. Z historie se přesuneme k novinkám v tomto prostředí a kam vývoj a trendy směřují.

Druhá část se zaměří na možnosti testování konfigurace a všeho okolo Promethea. Od dob prvních releasů se Prometheí ekosystém hodně rozrostl a ruku v ruce s tím i potřeba lépe kontrolovat a testovat všechnu tuto infrastrukturu. Ukážeme si, co všechno lze testovat a jaké nástroje k tomu použít.

Ve třetí části si více přiblížíme tématiku Service Level Objectives, jak je měřit, co nám přináší a proč je dobré nad nimi alertovat.

Agenda

Historie a směr kam se ubírá ekosystém okolo Promethea

• Příchod Promethea a pull based monitoringu založeného na aplikačních metrikách
• Limitace HA a větších setupů a nástup clusterových řešení
• Kam dál Prometheus směřuje (exemplars, agnet mód atd)

Testování konfigurace a infrastruktury Promethea a nástroje, které k tomu použít

• Kontrola konfigurace Promethea
• Unit testování alertů a jejich syntaxe
• Validate metadat alertů
• Testování routování alertů Alertmanageru
• Testování renderování template alertů

Service Level Objectives o co jde a k čemu to je

• Co to SLO je a proč by vás to mělo zajímat
• Jak ho počítat a na co si dát pozor
• Jak nad ním alertovat

S příchodem cloudových a kontejnerových technologií můžeme pozorovat rostoucí nároky na monitoring vlastních aplikací a prostředí. Staré modely aplikací přestávají platit, aplikace se dneska skládají z více komponent, mnoho komponent lze horizontálně škálovat a instance komponent mohou vznikat dynamicky na základě aktuálních požadavků. Tyto potřeby se promítají i do definice monitoringu, kde stávající statické konfigurace již nejsou udržitelné. Větší důraz je kladen i na vlastní kvalitu obsahu monitoringu, protože nalézt problém v moderní, komplexní a dynamické architektuře je pro klasický přístup téměř neřešitelný problém.
Moje přednáška je zaměřena na definici monitoringu, jak definice vlastních aplikací, ze kterých se monitorovací systém skládá, tak a vlastní definice monitorovacích pravidel. Ukážeme si, jakým způsobem se konfiguruje moderní monitoring, aby dokázal pružně reagovat na měnící se infrastrukturu. V druhé části prezentace si ukážeme, jak je možné využít tyto definice k vytvoření vizualizací a alertů, kde můžeme korelovat data z různých zdrojů a usnadnit-zrychlit tak detekci a analýzu problémů ve sledovaných systémech.
Ukázky jsou postavené na prostředí Kubernetes, ale postupy jsou obecné a aplikovatelné na libovolnou platformu.

Agenda

SRE principy v praxi

• Komponenty monitoring systému
• Monitoring-as-a-code
• Použití a výhody Monitoring mixinů

Dynamický monitoring

• Výhody Service discovery
• Integrace stávajících nástrojů
• Použití a výhody operátorů
• Nasazení USE a RED metod

Vizualizace systémů

• Sjednocení metrik a událostí
• Kvantitativní vizualizace
• elační vizualizace

Živé ukázky

Security monitoring byl donedávna obvykle jen o sběru všech možných logů a událostí z infrastruktury a jejich zpětné, často nepoužitelné, analýze. Implementace eBPF v linuxovém jádře ovšem otevřela platformu pro zcela jiný přístup. Observability a tracing v reálném čase při rozumných nárocích na zdroje a minimální footprint v systému. Současně se v cloud a kontejnerovém světě podstatně zvyšují nároky na zabezpečení a audit systémů.
Přednáška je postavena na zkušenostech z implementace Falco, hardening a testování security compliance cloud systémů. Dozvíte se něco málo o základních technologiích a prostředcích security monitoringu, auditu serverů, kontejnerů a kubernetes s Falco. Konfigurace, deployment, Falco rules a vytváření vlastních pravidel. Integrace s Prometheus alertmanager. Testování a compliance fyzických i cloud serverů. Nakonec se podíváme na analytické možnosti SysFlow.io a alerting.

Agenda

• Security monitoring a audit nástroje, historie
• eBPF historie a implementace
• Host a kontejner security monitoring s Falco
• Integrace s Prometheus
• UI, Dashboardy a alerting
• Host compliance reporting
• SysFlow.io analýza a možnosti

Úvodní část přednášky se pokouší odpovědět na otázku “Proč vůbec zvážit technologii ElasticSearch pro použití jako centrální sklad pro logy aplikací a infrastruktury?” a uvedu objektivně-subjektivní důvody pro a proti. V navazující části popisuji projekt, na kterém jsem se aktivně podílel v roli architekta a engineera, implementující řešení centrálního logování v jedné nejmenované firmě postavené právě
na technologii ElasticSearch, jakých úspěchů jsme dosáhli a jaké pády zažili. A v neposlední řadě co jsem si z toho odnesl do dalšího života. Závěr přednášky věnuji několika lessons learned a na co si dát skutečně pozor, pokud se rozhodnu i přes vše, co v přednášce zaznělo, ElasticSearch nasadit. Na co pamatovat a co zvažovat při definici takového projektu. Skutečný závěr přednášky pak věnuji alternativě, kterou má smysl v dnešní době prozkoumat.

Agenda

Proč ElasticSearch?

• Elastic co?
• Výhody řešení
• Nevýhody řešení
• Cena

Skutečně se stalo

• Obecný popis zadání projektu
• Obecný popis implementovaného řešení
• WOW efekt - kam až jsme se dostali

Here be dragons

• Co nepodcenit
• Co očekávat
• To je život

Alternativy

• Grafana Loki