labs/lab04b-cnn-visualization.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Nástroje na vizualizáciu CNN\n",
    "\n",
    "### [COVNET PLAYGROUND](https://convnetplayground.fastforwardlabs.com/#/):\n",
    "* Webová stránka s ukážkami 11 predtrénovaných konvolučných neurónových sietí + ukážka praktického použitia CNN - *image similarity search*.\n",
    "* Netradičná vizualizácia - nezobrazuje ako jednotlivé príznakové mapy spracúvajú konkrétny vstup - zobrazuje ideálny vstup ktorý produkuje maximálne aktivačné hodnoty pre jednotlivé príznakové mapy.\n",
    "\n",
    "### [COVNETJS](https://cs.stanford.edu/people/karpathy/convnetjs/):\n",
    "* Javascriptová knižnica pre hlboké učenie s viacerými ukážkami dostupnými online, 2 z nich zobrazujú tréning konvolučných neurónových sietí. \n",
    "* Online ukážky umožňujú priamo upravovať topológiu siete, nahrávať a ukladať sieť. Pre offline použitie sa dá knižnica nainštalovať cez `npm` alebo stiahnuť ako `js` súbor.\n",
    "\n",
    "### [TENSORSPACE](https://tensorspace.org/):\n",
    "* Javascriptový framework založený na `tensorflow`. Online verzia ponúka 3D vizualizáciu viacero netrénovaných modelov.\n",
    "* Offline verzia má obmedzenú funkcionalitu - použitie vlastnej siete vyžaduje pre-procesný nástroj.\n",
    "\n",
    "### [NODELINK VISUALIZER](https://www.cs.ryerson.ca/~aharley/vis/):\n",
    "* Javascriptová knižnica funkciami a vizuálne podobná tensorspace.\n",
    "* Online ukážka má 2D aj 3D možnosť vizualizácie. 2D vie byť v niektorých prípadoch prehľadnejšie ako 3D. Js súbory sú dostupné ako zip, avšak pri použití sa vyskytujú problémy so zobrazovaním modelu. \n",
    "\n",
    "### [QUIVER](https://github.com/keplr-io/quiver):\n",
    "* Python knižnica pre `keras` modely. Samotná vizualizácia je veľmi prehľadná a interaktívna, ale knižnica má rozsiahle inštalačné problémy na väčšine počítačov.\n",
    "\n",
    "### [PICASSO](https://github.com/merantix/picasso):\n",
    "* Podobné ako quiver."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Tensorspace Playground\n",
    "\n",
    "**Tensorspace Playground** je set interaktivných 3D ukážok, ktoré boli navrhnuté za účelom prezentovať rôzne pred-vytvorené a pred-trénované konvolučné neurónové siete. Tieto ukážky zahŕňajú rôzne modely hlbokého učenia, napr. klasifikáciu objektov, detegovanie objektov, generovanie obrazu, atď. Všetky modely v Playground sú interaktívne. \n",
    "\n",
    "Tieto modely musia byť pred použitím stiahnuté. Doporučuje sa používať Playground s lepším internetovým pripojením, keďže stiahnutie a načítanie väčších modelov môže chvíľu trvať (do niekoľko minút). \n",
    "\n",
    "Tensorspace odporúča používať zariadenia s minimálnou šírkou obrazovky aspoň 750 pixelov.\n",
    "\n",
    "### Domovská stránka: https://tensorspace.org/\n",
    "Domovská stránka má 3 tlačidlá. **“Get Started”** vedie k návodom pre používanie stiahnutej knižnice, **“Github”** k zdrojovému kódu a **“Playground”** k interaktívnym modelom. \n",
    "\n",
    "### Priamy link: https://tensorspace.org/html/playground/index.html \n",
    "\n",
    "## ROZLOŽENIE STRÁNKY:\n",
    "![rozloženie](https://i.imgur.com/OfeOFNK.png)\n",
    "\n",
    "Rozloženie individuálnych ukážok je veľmi podobné. \n",
    "1. **Väčší priestor na ľavo:** hlavný priestor, kde môžeme vidieť a interagovať s modelom. \n",
    "2. **Menší priestor na pravo:** nastavenia a panel s informáciami - tu môžeme meniť vstup a vidieť predikcie \n",
    "3. **Ľavý dolný roh:** tlačidlo na ľahký prístup k ostatným modelom\n",
    "\n",
    "## 1. MODEL SIETE:\n",
    "\n",
    "Prvá vrstva siete (vstupná vrstva => obraz na vstupe) je umiestnená na dolnej strane okna. Každá ďalšia vrstva je teda nad tou predošlou. \n",
    "### Ovládanie:\n",
    "* kliknutie ľavým tlačidlom myši + potiahnutie - zmena uhla kamery \n",
    "* kliknutie pravým tlačidlom myši + potiahnutie - zmena pozície kamery \n",
    "* rolovanie kolieskom myši - priblíženie/oddialenie\n",
    "* podržaním kurzora nad vrstvami môžeme vidieť vzťahy medzi nimi a veľkosti príznakových máp\n",
    "* kliknutie na vrstvu ju expanduje (na tenzory/príznakové mapy) - nie všetky vrstvy sa dajú expandovať\n",
    "* kliknutie na “mínus” vedľa expandovanej vrstvy ju vráti do pôvodného stavu\n",
    "Pri RGB obrázkoch sa vstupný obrázok tiež dá expandovať na individuálne farebné kanály.\n",
    "\n",
    "<!-- ![model](https://i.imgur.com/EMcIXpO.png) -->\n",
    "<img src=https://i.imgur.com/EMcIXpO.png width=\"700\">\n",
    "\n",
    "### Farby:\n",
    "* žltá - konvolučné vrstvy\n",
    "* tyrkysová - pooling\n",
    "* zelená - dense vrstvy \n",
    "* modrá - padding\n",
    "* sivá - vstupná a výstupná vrstva (a YOLO Grid pre model *YOLOv2-tiny*)\n",
    "* fialová - reshape\n",
    "* ružová - aktivácia\n",
    "* červená - dekonvolúcia\n",
    "* oranžová - depthwise spatial convolution\n",
    "\n",
    "## 2. NASTAVENIA:\n",
    "V nastaveniach môžeme meniť vstup do siete, vidieť predikcie a meniť niektoré nastavenia. \n",
    "\n",
    "### Zmena vstupu:\n",
    "Pri väčšine modelov sa v nastaveniach nachádza tlačidlo **“Select”**, pomocou ktorého môžeme vybrať vstup z predpripravenej vzorky. *LeNet* má priestor, do ktorého môžeme kresliť. *Acgan* má panel číslic, z ktorých je potrebné vybrať jedno a následne kliknúť na tlačidlo **“Generate”** aby bol obrázok číslice vygenerovaný a odoslaný na input. \n",
    "\n",
    "### Iné ovládacie prvky:\n",
    "**“Reset”** - prepne kameru do východzieho nastavenia\n",
    "*LeNet Training Demo* disponuje aj tlačidlami “Start”, “Stop”, “Reset” a “Change Test Image”\n",
    "\n",
    "## 3. DEMÁ:\n",
    "Tensorspace disponuje 8 ukážkami, z čoho 7 ukazuje pred-trénovanú sieť a jej predikciu pre vybraný vstup. *LeNet Training Visualization* ukazuje proces trénovania LeNet siete a trénovacie metriky pre vybranú triedu. \n",
    "\n",
    "Detailnejšie informácie sa dajú nájsť [v oficiálnej dokumentácií](https://tensorspace.org/html/docs/startIntro.html).\n",
    "\n",
    "### Ukážka - LeNet Demo:\n",
    "\n",
    "![ukážka](https://i.imgur.com/YIG8Mcq.png)\n",
    "\n",
    "Po spustení dema LeNet môžeme do poľa na pravo nakresliť číslicu, ktorú následne bude model klasifikovať. \n",
    "\n",
    "Prvá vrstva (sivá, úplne dole) je vlastne náš vstupný obrázok, čiže číslica, ktorú sme napísali. Rozmery tohto vstupu sú *28x28* pixelov. \n",
    "\n",
    "Nasleduje padding (modrá vrstva), ktorý nám pridá “prázdne” pixely na okraje obrázka (v tomto prípade sa rozmery zväčšia na 32x32 pixelov). Týmto sa zaručí, že neprídeme o informácie na týchto okrajoch a že jeho pôvodné rozmery sa po konvolúcií nezmenia.\n",
    "\n",
    "<!-- ![ukážka_konv](https://i.imgur.com/kqB8h6l.png) -->\n",
    "<!-- ![ukážka_pool](https://i.imgur.com/8uBLxlK.png) -->\n",
    "<table><tr><td><img src=https://i.imgur.com/kqB8h6l.png width=\"400\"></td><td><img src=https://i.imgur.com/8uBLxlK.png width=\"432\"></td></tr></table>\n",
    "\n",
    "Ak rozklikneme prvú konvolučnú vrstvu (žltá), tak vidíme príznakové mapy danej vrstvy. Zároveň si treba všimnúť, že rozmer sa vrátil na pôvodných *28x28*. \n",
    "\n",
    "Ďalšou v poradí je pooling vrstva (tyrkysová), kde môžeme vidieť, že rozmery sa nám zmenšili o polovicu (nový rozmer je *14x14*). Táto vrstva využíva *downsampling*, aby viac zovšeobecnila príznakové mapy. \n",
    "\n",
    "<!-- ![ukážka_konv2](https://i.imgur.com/T5G1vCR.png)\n",
    "![ukážka_pool2](https://i.imgur.com/bhs6VLO.png) -->\n",
    "<table><tr><td><img src=https://i.imgur.com/T5G1vCR.png width=\"400\"></td><td><img src=https://i.imgur.com/bhs6VLO.png width=\"428\"></td></tr></table>\n",
    "\n",
    "Nasleduje opäť konvolučná vrstva, ale keďže tu nebola použitá vrstva pre padding, rozmery sa nám znova znížili (na *10x10*), tj. je tu možnosť prísť o okraje obrázka. Po nej nastáva opäť pooling, kde sa rozmery zmenšujú až na *5x5*.\n",
    "\n",
    "<!-- ![ukážka_out](https://i.imgur.com/e9usICo.png) -->\n",
    "<img src=https://i.imgur.com/e9usICo.png width=\"600\">\n",
    "\n",
    "Na konci máme dve dense vrstvy (zelená) s 120 a 84 neurónmi, a výstupnú vrstvu s 10 neurónmi (sivá). “Rozsvietený” neurón vo výstupnej vrstve je predikciou tejto siete na základe nášho vstupu. \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# CovnetJS\n",
    "\n",
    "ConvnetJS je javascriptová knižnica pre hlboké učenie navrhnutá na Stanforde. [Kód knižnice je voľne dostupný na GitHube pod MIT licenciou](https://github.com/karpathy/convnetjs). \n",
    "ConvnetJS podporuje viaceré funkcionality neurónových sietí, vrátane schopnosti vytvoriť a natrénovať konvolučné neurónové siete pre spracovanie obrazu. \n",
    "\n",
    "Funkcionalita knižnice sa dá otestovať priamo vo viacerých interaktívnych ukážkach dostupných [tu](https://cs.stanford.edu/people/karpathy/convnetjs/). \n",
    "\n",
    "Pre konvolučné neurónové siete slúžia dve ukážky - MNIST demo a CIFAR-10 demo.\n",
    "\n",
    "Stránka knižnica má taktiež aj sekciu s oficiálnou dokumentáciou a sekciu niekoľko úvodných tutoriálov pre stiahnutú knižnicu pod “Getting started”.\n",
    "\n",
    "## 1. ONLINE UKÁŽKY: \n",
    "Obe spomínané ukážky zobrazujú trénovací proces konvolučnej siete na danom datasete. Trénovanie začína s načítaním stránky a môže byť kedykoľvek pozastavené aby sme detailne preskúmali vizualizáciu pre daný vstup. \n",
    " \n",
    "**MNIST demo:** \n",
    "* **Dataset:** obrázky s rozmerom *28x28* v odtieňoch sivej zobrazujúce číslice od 0-9\n",
    "<!-- ![dataset_mnist](https://i.imgur.com/xSkOLEt.png) -->\n",
    "<img src=https://i.imgur.com/xSkOLEt.png width=\"700\">\n",
    "\n",
    "* **Presnosť:** dosahuje okolo 99% po pár minútach\n",
    "* **Augmentácia dát:** obrázky trénovacej množiny sú náhodne orezané na formát *24x24*\n",
    "* Predikcia používa na klasifikáciu 4 náhodne orezané verzie obrázku  \n",
    "\n",
    "**CIFAR-10 demo:**\n",
    "* **Dataset:**  *32x32* RGB obrázky z 10 tried zvierat a dopravných prostriedkov (loď, žaba, lietadlo, auto, pes…)\n",
    "<!-- ![dataset_cifar](https://i.imgur.com/bWfEuQL.png) -->\n",
    "<img src=https://i.imgur.com/bWfEuQL.png width=\"700\">\n",
    "\n",
    "* **Presnosť:** ku koncu trénovania okolo 90%\n",
    "* **Augmentácia dát:** náhodné prevracanie a posúvanie obrázkov o max 2px horizontálne a vertikálne\n",
    "\n",
    "Oba datasety sú parsenuté python kódmi dostupnými v popise danej ukážky. \n",
    "Obe ukážky používajú ako optimalizátor Adadelta pokiaľ nenastavíte inak.\n",
    "\n",
    "### ROZLOŽENIE UKÁŽOK: \n",
    "Oba interaktívne ukážky majú rovnaké všeobecné rozloženie.\n",
    "Zhora stránky nadol:\n",
    "1. **Sekcia trénovacích údajov (Training stats):** hlavné metriky trénovania siete, niektoré nastaviteľné užívateľom, + graf.\n",
    "2. **Sekcia vytvorenia siete a metódy trénovania (Instantiate a network and trainer):** textové pole kde viete priamo nakódovať vašu sieť.\n",
    "3. **Sekcia vizualizície (Network visualization):** zobrazenie jednotlivých vrstiev a ich parametrov. \n",
    "4. **Ukážky predikcie (Example predictions):** predikované triedy pre spracované obrázky.\n",
    "\n",
    "### 1. SEKCIA TRAINING STATS: \n",
    "<!-- ![training_stats](https://i.imgur.com/37FZmwQ.png) -->\n",
    "<img src=https://i.imgur.com/37FZmwQ.png width=\"600\">\n",
    "\n",
    "#### Informatívne údaje:\n",
    "* **forward pass time** a **backward pass time** - čas v ms pre daný vstup\n",
    "* Stratová funkcia - **classification loss** (taktiež zobrazené v grafe)\n",
    "* Stratová funkcia zoslabovania váh - **L2 weight decay loss**\n",
    "* Presnosť siete pre trénovaciu a validačnú množinu - **training/validation accuracy**\n",
    "* Počet spracovaných vstupov - **examples seen**\n",
    " \n",
    "#### Nastavitelné parametre:\n",
    "* Učiaci parameter - **learning rate**\n",
    "* Momentum\n",
    "* Batch size\n",
    "* Zoslabovanie váh - **weight decay**\n",
    " \n",
    "Tieto parametre sa dajú meniť kedykoľvek a prejavia sa od nasledujúceho spracovaného vstupu (v ukážke predikcií si môžete všimnúť pokles/nárast presnosti) \n",
    " \n",
    "Obe ukážky používajú automaticky Adadelta optimalizátor, ale ak chcete vyskúšať aj SDG, viete taktiež meniť momentum a  parameter zoslabovania váh. \n",
    " \n",
    "Používateľ vie taktiež:\n",
    "* **Vyčistiť graf** - graf chybovej funkcie voči počtu spracovaných vstupov\n",
    "* **Natiahnuť alebo uložiť snapshot siete ako JSON**\n",
    "* **Natiahnuť pred-trénovanú sieť (iba v CIFAR-10 deme).**\n",
    "\n",
    "### NATIAHNUTIE A ULOŽENIE SIETE: \n",
    " \n",
    "V paneli trénovacích údajov nájdete pre tento účel dve tlačítka a textové pole. Veľkosť textového poľa je meniteľná. \n",
    "\n",
    "#### Tlačítka:\n",
    "* **Save network snapshot as JSON** poskytne momentálne parametre siete ako plain text v textovom okne, kde sa dá potom skopírovať a uložiť.\n",
    "* **Init network from JSON snapshot** nainicializuje sieť podľa parametrov v textovom okne. Nesprávny vstup je ignorovaný. \n",
    " \n",
    "#### Formát vstupu: \n",
    "Aj defaultná jednoduchá sieť v MNIST ukážke vytvorí snapshot dlhý niekoľko strán, keďže tento snapshot zahŕňa špecifické nastavenia všetkých váh. \n",
    "Preto odporúčame používať túto funkcionalitu iba na uloženie natrénovanej siete z ukážky alebo načítanie JSONu uloženej siete vytvorenej touto ukážkou.   \n",
    " \n",
    "**Na navrhnutie vlastnej topológie siete použite textové pole v paneli “Instantiate a network and trainer”.**\n",
    "\n",
    "### 2. SEKCIA INSTANTIATE THE NETWORK AND TRAINER:\n",
    "<!-- ![instantiate_network](https://i.imgur.com/4GHdIz7.png) -->\n",
    "<img src=https://i.imgur.com/4GHdIz7.png width=\"600\">\n",
    "\n",
    "Obsahuje **textové pole** pre váš kód a tlačítko označené ako **“change network”**. V textovom poli sa automaticky nachádza kód defaultnej siete, ktorý môžete vymazať alebo prepisovať ako chcete. \n",
    "Pre funkcie a správnu syntax viď sekciu “funkcie knižnice” v tomto návode alebo pre detailnejšie informácie oficiálnu dokumentáciu na stránke knižnice (link v úvode). \n",
    "\n",
    "### 3. SEKCIA VIZUALIZÁCIE: \n",
    "Každá vrstva siete je zobrazená vo svojom vlastnom paneli. \n",
    "<!-- ![visualization](https://i.imgur.com/xT0bKYJ.png) -->\n",
    "<img src=https://i.imgur.com/xT0bKYJ.png width=\"600\">\n",
    "\n",
    "#### Textové informácie o vrstvách: \n",
    "* Rozmer vstvy (*X x Y x Z* formát) \n",
    "* Informácie závisiace od typu vrstvy: \n",
    "    * Max & min aktivácia (všetky vrstvy) \n",
    "    * Max & min gradient (všetky vrstvy) \n",
    "    * Veľkosť filtra (convolučné vrstvy) \n",
    "    * Pooling veľkosť (pool vrstvy) \n",
    "    * Krok konvolúcie (stride) (convolučné & pool vstvy) \n",
    "    * Počet parametrov  (convolučné & fc vstvy) + výpočet prečo\n",
    "\n",
    "#### Vizualizácia: \n",
    "Príznakové mapy pre spracovaný vstup. Obrázky prevažne v odtieňoch sivej zobrazujúce aktivácie a aktivačný gradient pre každú vrstvu. Taktiež ako menšie obrázky sú zobrazené aktivácie a aktivačný gradient váh.\n",
    "\n",
    "### 4.  UKÁŽKY PREDIKCIE: \n",
    "Pre každý spracovaný vstup zobrazuje 3 najpravdepodobnejšie triedy, korektnú zelenou. Updatuje sa v priebehu trénovania. \n",
    "<!-- ![prediction](https://i.imgur.com/mgQTduM.png) -->\n",
    "<img src=https://i.imgur.com/mgQTduM.png width=\"600\">\n",
    "\n",
    "\n",
    "### UKÁŽKOVÉ SPRACOVANIE VSTUPU: \n",
    "\n",
    "<!-- ![ukážka_cifar](https://i.imgur.com/8Vu4BJt.jpg) -->\n",
    "<img src=https://i.imgur.com/8Vu4BJt.jpg>\n",
    "(Môžete si všimnúť že vstup bol nesprávne klasifikovaný - korektná trieda je náklaďák - posledný štvorček.)\n",
    "\n",
    "<!-- ![ukážka_mnist](https://i.imgur.com/jGQeZkk.jpg) -->\n",
    "<img src=https://i.imgur.com/jGQeZkk.jpg>\n",
    "\n",
    "\n",
    "\n",
    "## 2. JAVASCRIPTOVÁ KNIŽNICA: \n",
    "\n",
    "Knižnica sa dá použiť v prehliadači, alebo na serveri cez `node.js`.\n",
    "\n",
    "### INŠTALÁCIA:\n",
    "\n",
    "#### NODE.JS:\n",
    "Knižnica sa dá stiahnuť cez `npm`.\n",
    "\n",
    "Návod:\n",
    "1. **Inštalácia:** `$ npm install convnetjs`\n",
    "2. **Použitie:** zahrňte `var convnetjs = require(\"convnetjs\");` vo svojom kóde.\n",
    "\n",
    "**Direct link na npm package:** https://www.npmjs.com/package/convnetjs\n",
    "\n",
    "#### V PREHLIADAČI: \n",
    "Minifikovaná knižnica je dostupná cez tento <a href=https://cs.stanford.edu/people/karpathy/convnetjs/build/convnet-min.js>link</a>, alebo kompletný kód cez <a href=https://github.com/karpathy/convnetjs/releases>GitHub</a> (minifikovaná aj neminifikovaná knižnica). \n",
    "\n",
    "Návod:\n",
    "1. **Zahrňte** `<script src=\"convnet-min.js\"></script>` **alebo** `<script src=\"convnet.js\"></script>` **v hlave vášho html dokumentu.** \n",
    "2. Zahrňte odkaz na váš .js script alebo ho napíšete do tela dokumentu. \n",
    "\n",
    "### FUNKCIE KNIŽNICE - PREHĽAD:\n",
    "\n",
    "Knižnica má svoju oficiálnu dokumentáciu na https://cs.stanford.edu/people/karpathy/convnetjs/docs.html ako aj poznámky v samotnom kóde. Toto je všeobecný prehľad funkcionality ktorú môžete použiť v rámci ukážok alebo vlastného kódu.\n",
    "\n",
    "Knižnica má 4 hlavné, dôležité triedy - **triedu vols, triedu vrstiev, triedu siete,** a **triedu trénovacích metód.**\n",
    "Knižnica má zopár ďalších dodatočných tried s užitočnými funkciami pre vizualizáciu a podobne. \n",
    "\n",
    "#### Vol Class:\n",
    "Hlavný stavebný kameň knižnice. 3D volume čísel o šírke, výške a hĺbke. Drží dáta pre všetky filtre, gradienty, váhy…\n",
    "Pri písaní vlastnej topológie v rámci ukážok ju priamo nepoužijete.\n",
    "\n",
    "#### Net class:\n",
    "Funkcionalita neurónovej siete. V podstate zoznam vrstiev a funkcie nad týmto zoznamom.  \n",
    "\n",
    "**Hlavné funkcie:**\n",
    "* **makelayers(layer_defs)** - prijíma definíciu vrstiev (zoznam), vytvorí sieť o týchto vrstvách\n",
    "* **getCostLoss(V,y)** - vykoná dopredný a spätný chod, vráti hodnotu chybovej funkcie\n",
    "* **getPrediction()** - vráti predikovanú triedu \n",
    "* **getParamsAndGrads()** - naakumuluje a vráti parametre a gradienty z celej siete (pre vizualizačné účely)\n",
    "* **toJSON()** - uloží sieť ako JSON\n",
    "* **romJSON(json)** - natiahne sieť z JSONu\n",
    "\n",
    "Pri používaní vlastnej siete v demách treba len zadeklarovať sieť a použiť funkciu makelayers(). Všetko ostatné sa vykonáva ako súčasť funkcionality ukážky. \n",
    "\n",
    "#### Layers class:\n",
    "Knižnica podporuje vrstvy vstupné, fully connected, loss (klasifikačná a regresná verzia), konvolučné, pooling vrstvy a local contrast normalization vrstvy.\n",
    "\n",
    "Na vytvorenie vrstiev a ich pridanie do siete vytvorte prázdny zoznam `(layer_defs_list = [])` a pridajte vrstvy funkciou `layer_defs_list.push({-layer parameters-})`. \n",
    "\n",
    "*Vzorový kód (pridáva konvolučnú vrstvu):*\n",
    "`layer_defs.push({type:'conv', sx:5, filters:8, stride:1, pad:2, activation:'relu'});`\n",
    "\n",
    "#### Trainers class:\n",
    "Knižnica podporuje optimalizátory Adeldata, Adagrad a SDG, špecifikované pomocou parametra “method”. \n",
    "\n",
    "*Vzorový kód (inicializuje optimalizátor typu SDG):*\n",
    "`var trainer = new convnetjs.Trainer(net, {method: 'sgd', learning_rate: 0.01,l2_decay: 0.001, momentum: 0.9, batch_size: 10, l1_decay: 0.001});`\n",
    "\n",
    "Nepovinné parametre zahŕňajú *learning rate, l1 a l2 decay, batch size, momentum, ro (adeltada), eps (adeldata & adam), beta1 a beta2 (adam)*. \n",
    "\n",
    "Hlavné funkcie:\n",
    "* train(x,y). \n",
    "\n",
    "V rámci ukážok stačí trainer zadeklarovať, tréning samotný už vykonáva demo (t.j. Funkciu train v ukážkach nepoužijete). \n",
    "\n",
    "**Pre dodatočné informácie pozrite oficiálnu dokumentáciu na stránke knižnice. Pre jednoduché vzorové príklady pozrite sekciu “Getting started” na stránke knižnice.**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Návod pripravili **Kristína Rolfová** a **Veronika Synová**."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}