od perceptrónupo hlbokú neurónovú sieť · •učeniebez učiteľa(unsupervised learning)...
TRANSCRIPT
![Page 1: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/1.jpg)
Od perceptrónu po hlbokú neurónovú sieť
Peter Lacko, Fakulta informatiky a informačných technológií, Slovenská
technická univerzita v Bratislave
![Page 2: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/2.jpg)
2S O F T E C O NMiesto pre Vaše logo
Prečo sú neurónové siete dnes populárne?
• BIG DATA
• Zhromažďujú sa veľké objemy dát, vytvorila sa infraštruktúra
• GPUs
• NVidia Tesla P100 GPU dokáže dodať výpočtový výkon 4.7Tflops
pričom spotrebuje len 250W elektrickej energie
• Podľa zoznamu TOP500 by počítač s takýmto výkonom bol
najlepším superpočítačom na svete v roku 2000
• Veľké spoločnosti
• Firmy ako Google, Microsoft, Baidu a Facebook podporujú výskum
a vývoj v oblasti umelej inteligencie
http://www.nvidia.co.uk/object/tesla-p100-uk.html
https://www.top500.org/lists/2000/06
![Page 3: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/3.jpg)
3S O F T E C O NMiesto pre Vaše logo
•Učenie s učiteľom (supervised learning)
• používame množinu označených objektov (vektorov
vlastností, čo môžu byť body obrázku, alebo výsledky
testov pacienta), ku každému objektu máme pridelenú
aj jeho kategóriu, pes, mačka, alebo chrípka, angína.
• regresia, klasifikácia, predikcia
• napr. odhaľovanie podvodného správania u
zamestnancov a zákazníkov, predikcia vývoja cien
Prístupy učenia
![Page 4: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/4.jpg)
4S O F T E C O NMiesto pre Vaše logo
•Učenie bez učiteľa (unsupervised learning)
• používame množinu objektov, ktorej prvky nemáme
predom ohodnotené. Snažíme sa týmto objektom
priradiť nejake ohodnotenie (napríklad priradiť ich do
skupiny podobných objektov)
• zhlukovanie, analýza hlavných komponentov (PCA)
• napr. segmentácia zákanzíkov a hľadanie podobných
skupín
Prístupy učenia
![Page 5: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/5.jpg)
5S O F T E C O NMiesto pre Vaše logo
•Učenie posilňovaním (reinforcement learning)
•nepoužívame ohodnotené objekty, algoritmus
teda nedostáva “správne” riešenie úlohy , ale
ohodnocujeme jeho správanie (odmena alebo
trest) - teda dávame mu len informáciu, ako
dobre robí to čo má
•napr. získavanie stratégií pri obchodovaní
Prístupy učenia
![Page 6: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/6.jpg)
6S O F T E C O NMiesto pre Vaše logo
•DÁTA - musíme im rozumieť
•DÁTA - musí ich byť dostatočné množstvo
•DÁTA - musia obsahovať to, čo potrebujeme
algoritmus naučiť
•Výber a trénovanie modelu
Riešenie problému strojového učenia
![Page 7: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/7.jpg)
7S O F T E C O NMiesto pre Vaše logo
Neurónové siete – Perceptrón
• základným stavebným blokom neurónovej siete je neurón a jedným z prvých prístupov učenia bolo použite perceptrónu
•perceptrón je v najjednoduchšej podobe binárny klasifikátor, ktorý mapuje vstupy x na výstupné hodnoty 0 alebo 1 podľa:
![Page 8: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/8.jpg)
8S O F T E C O NMiesto pre Vaše logo
•Perceptrón sa trénuje pomocou zmeny váh
tak, že pre každý vstupný vektor z trénovacej
množiny sa vypočíta výstup perceptrónu
a váhy sa upravujú tak, aby sa minimalizovala
chyba klasifikácie.
•Perceptrón rieši LEN lineárne separovateľné
problémy
Čo perceptrón ale nevie
![Page 9: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/9.jpg)
9S O F T E C O NMiesto pre Vaše logo
Dopredné šírenie
Viacvrstvové neurónové siete (MLP)
Vstupná vrstva
Výstupná vrstva
Skrytá vrstva
![Page 10: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/10.jpg)
10S O F T E C O NMiesto pre Vaše logo
Na trénovanie viacvrstvovej neurónovej siete sa
môže použiť učenie so spätným šírením chyby,
ktoré je založené na vypočítaní chyby na
výstupe neurónovej siete a spätnej propagácii
tejto chyby cez neurónovú sieť s úpravou váh.
Viacvrstvové neurónové siete (MLP)
![Page 11: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/11.jpg)
11S O F T E C O NMiesto pre Vaše logo
Spätné šírenie chyby
Viacvrstvové neurónové siete (MLP)
Vstupná vrstva
Výstupná vrstva
Skrytá vrstva
![Page 12: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/12.jpg)
12S O F T E C O NMiesto pre Vaše logo
• Sieť s jednou skrytou vrstvou je univerzálny aproximátor
• ALE
• Požiadavka na veľkosť skrytej vrstvy môže extrémne narásť
• Problém pretrénovania – sieť negeneralizuje, ale učí sa naspamäť
• Riešenie – hlboké siete
• ALE
• Problém miznúceho a explodujúceho gradientu
• Problém pretrénovania
Od MLP k hlbokým sieťam
![Page 13: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/13.jpg)
13S O F T E C O NMiesto pre Vaše logo
Konvolučné siete
H. Lee, R. Grosse, R. Ranganath, and A. Y. Ng. “Convolutional deep belief networks for scalable unsupervised learning of
hierarchical representations.” In ICML 2009.
![Page 14: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/14.jpg)
14S O F T E C O NMiesto pre Vaše logo
• Konvolučné neurónové siete sú dopredné neurónové siete
inšpirované vizuálnym kortexom živých organizmov,
úspešne sa používajú na analýzu obrazu a textu
• Počas trénovania si sieť na vrstvách vytvára rôzne stupne
abstrakcie vstupu. Nižšie vrstvy sa špecializujú na
odhaľovanie nízkoúrovňových čŕt, pričom ďalšie vrstvy sa
viacej špecializujú a vytvárajú zložite koncepty
Konvolučné siete
![Page 15: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/15.jpg)
15S O F T E C O NMiesto pre Vaše logo
• Pozostávajú zo striedajúcich sa konvolučných a
vzorkovacích vrstiev
• Konvolučná vrstva je reprezentovaná množinou menších filtrov,
ktoré sa postupne aplikujú na celú plochu obrázku.
• Vzorkovacia vrstva sa používa pre nelineárne zmenšenie výstupov
konvolučnej vrstvy (tradične max pooling)
• Výstup celej siete je tvorený vrstvami plne prepojených
neurónov, ako pri normálnych dopredných sieťach
Konvolučné siete
![Page 16: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/16.jpg)
16S O F T E C O NMiesto pre Vaše logo
Rekurentné siete
Christopher Olah, Understanding LSTM Networks, 2015, http://colah.github.io/posts/2015-08-Understanding-LSTMs/
![Page 17: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/17.jpg)
17S O F T E C O NMiesto pre Vaše logo
• Na rozdiel od dopredných sietí obsahujú aj prepojenia,
ktoré vytvárajú cykly
• Majú schopnosť „pamätať si“ predchádzajúce vstupy
• Používajú sa na sekvenčné množiny dát
• rozoznávanie hlasu, generovanie hlasu
• predikcie počasia
• analýza textu
Rekurentné siete
![Page 18: Od perceptrónupo hlbokú neurónovú sieť · •Učeniebez učiteľa(unsupervised learning) •používamemnožinuobjektov, ktorej prvky nemáme ... and A. Y. Ng. “Convolutional](https://reader035.vdocument.in/reader035/viewer/2022062604/5fbb7d3e42bbff57ce6cea56/html5/thumbnails/18.jpg)
18S O F T E C O NMiesto pre Vaše logo
• Použitie architektúry WaveNet a LSTM siete na predikciu:
• spotreby el. energie
• počasia
• Učenie s posilňovaním na vytváranie povelov nákupu a predaja akcií na burze
• Eyetracking cez webkameru
• Prepis audio záznamu do notového zápisu
• Segmentácia zákazníkov webového portálu
• Predikcia konverzie čitateľa na novinovom portáli so spoplatneným obsahom
Projekty, ktoré riešime FIIT STU