Neuronové sítě, text a obrázky v Pythonu

Tento kurz je nadstavbou na kurz “Jak algoritmy vidí a čtou v machine learningu”. Naučíte sa jak natrénovat neurónovou síť pomocí knihovny Keras tak, jako se to dělá v praxi. Půjdeme víc do hloubky a budeme techničtější. Naučíte se všechny důležité koncepty, které budete potřebovat v praxi. Vyzkoušíte si svou první konvoluční neuronovou síť a využijete předtrénovaný model na velkém množství dat. Naučíte se, jak takovýto model stáhnout a použít pro vaše obrázkové projekty. V posledný časti se naučíte, jak reprezentovat text čísly pomocí pokročilejších metod velmi často používaných v praxi, embeddingy. Naučíte sa používat knihovnu fastText, pomocí které budete umět natrénovat vlastní embeddingy, anebo textový klasifikačný model. V neposlední řadě se naučíte, jak stáhnout a použít embeddingy, které byly natrénované na velkém množství dat pro váš textový problém.

Cílová skupina:

• Software engineers
• Risk managers
• STEM backgrounds
• Database specialists
• Data analysts

Osnova:

• Neuronové sítě
  • Trénování neuronových sítí pomocí backpropagation
  • Náhodná inicilizace
  • Optimalizační algoritmy, gradient descent, momentum, rmsprop, adam
  • Nákladová funkce
  • Regularizáce, early stopping, dropout
  • Problém mizícího a explodujícího gradientu
  • Batch normalizace
  • Praktické rozsiahle cvičení na natrénování neuronové sítě v Keras a použití výše uvedených konceptů v Keras
• Počítačové vidění
  • Zopakování konvoluce a konvoluční neuronoví sítě
  • Hyperparametry konvoluční neuronové sítě jako padding, stride a pooling
  • Předtrénované modely a přenesené učení, finetuning
  • Klasifikace obrázků
  • Cvičení v Jupyter Notebooku na natrénování konvoluční neuronové sítě, klasifikace obrázků a přenesené učení pomocí předtrénovaných modelů
• Zpracovaní přirozeného jazyka
  • Embeddingy jako číselné reprezentace textu
  • Word2vec: Continuous Bag of Words, Skipgram ⇒ algoritmy na natrénování embeddingů
  • Vlasnosti embeddingů
  • Měření podobnosti embeddingů
  • fastText: knihovna na efektivní trénování embeddingů a na stáhnutí předtrénovaných embeddingů.

Cvičení v Jupyter Notebooku na natrénování vlastních embedingů, na klasifikaci textu a na přenesené učení pomocí stáhnutých embeddingů z fastText knihovny

Předpoklady účastníka:

• Předcházející zkušenost s Pythem
• Základní představa o neuronových sítích
• Schopnost pracovat s Jupyter Notebooky

Technické předpoklady:

• Počítač s přístupem na internet během doby trvaní školení
• Aktualizovaný internetový prohlížec Google Chrome, Microsoft Edge alebo Mozilla Firefox
• Budeme pracovat v prostředí Jupyter. V posledních dnech před školením dostanete instrukce na přípravu prostředí tak, aby jste školení efektivně absolvovali