artificial intelligence (ai) und machine learning (ml) © b+m … · 2019-02-07 · artificial...
TRANSCRIPT
![Page 1: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/1.jpg)
Kiel, Q1 2019 © b+m Engineering, Tom Stahl
Artificial Intelligence (AI) und Machine Learning (ML)
![Page 2: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/2.jpg)
Einordnung
Live Demo
Funktionsweisen, Merkmale
Diskussion
Stand der Technik
Agenda
![Page 3: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/3.jpg)
Was ist AI ?
3
Historisch: Turing-Test (Alan Turing, 1950) Blindtest: Ist die AI im freien Dialog nicht von einem menschlichen Gesprächspartner unterscheidbar? Der „AI-Effect“ AI ist das, was aktuell gerade am Rande - oder knapp jenseits - der Machbarkeit ist.
In den 60er Jahren galten Schachcomputer als AI-Systeme. Die letzten 3-4 Jahre In der AI-Forschung gab es in den letzten Jahren erstaunliche Durchbrüche – weitgehend unterhalb der
Wahrnehmungsschwelle der Öffentlichkeit (Deep Learning, Reinforcement-Learning). Die Hardware-Entwicklung (Moore‘s Law) spielt dabei tatsächlich eine untergeordnete Rolle.
Big-Data? AI wird oft/meist im Kontext von BigData gesehen.
Doch gerade der Bereich der selbstlernenden Systeme, die ganz ohne externe Trainingsdaten auskommen, hat jüngst beeindruckende Meilensteine hervorgebracht.
Hype? Im öffentlichen Diskurs ist AI zuweilen recht diffus – In der Informatik/Mathematik ist es ein wohl
definiertes Forschungsgebiet. Dass der Fortschritt auf diesem Gebiet ganz ohne langfristige, makroskopische Auswirkungen bleibt, ist unwahrscheinlich.
![Page 4: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/4.jpg)
AI – Definition über Forschungsfelder
4
Spitzenforschung
Forschung in den Kinderschuhen
![Page 5: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/5.jpg)
AI - Ansätze
5
Symbolic AI
Machine-Learning
Supervised Learning
Unsupervised Learning
z.B. klassische Expertensysteme
- Anwendung
explizit ausformulierter Regeln
Lernende, stochastische Systeme
Systeme lernen durch (i.d.R. „von Hand“ annotierte) Beispiele
AI Landscape – Big Picture
Systeme (Agenten) lernen selbstständig durch Erkunden
ihrer Umgebung
Reinforcement Learning
Deep Neural Networks (Deep Learning)
![Page 6: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/6.jpg)
AI-Breakthroughs: Image Recognition – Convolutional Neural Networks (CNN)
6
![Page 7: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/7.jpg)
AI-Breakthroughs: Language Processing - Recurrent Neural Networks (RNN/LSTM)
7
Facebook: Alice & Bob Experiment
Google Assistant: Haircut Appointment Call
Derzeit bester Translation Service
![Page 8: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/8.jpg)
Reinforcement Learning (RL)
8
Policy: What to do next (learnable strategy) Value: Rating of a state based on reward prediction (learnable value estimation) Reward: Measure for objective/goal (given by design) Model: Representation of the environment (explicit MDP or implicit/learnable)
Policy (Function)
Value (Function)
Environment Model
Reward (Function)
Ingedients
![Page 9: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/9.jpg)
AI-Breakthroughs : Reinforcement Learning (RL) - Robotics
9
Boston Dynamics Atlas
Google Deepmind Runner
![Page 10: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/10.jpg)
AI-Breakthroughs : Reinforcement Learning (RL) – „Full Information Games“
10
AlphaGo Zero
„General AI“
Branching-Factor Schach 20 Branching-Factor Go 200 Mögliche Go Positionen 10 Atome im sichtb. Universum 10
170
80 ~ ~
~ ~
~ ~
~ ~
![Page 11: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/11.jpg)
AI-Breakthroughs : Reinforcement Learning (RL) – „Incomplete Information Games “
11
Challenges Long time horizons Partially-observed state High-dim continuous action space High-dim continous observation space Open-AI Five plays 180 years worth of games against itself every day
DotA (Defense of the Ancients) – Open AI Five vs. 5 Humans (Pro Gamer)
Open AI Five won best-of-three match against 99.95% rated Dota Pros
![Page 12: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/12.jpg)
Zusammenfassung: Was ist Machine Learning ?
12
Maschinelles Lernen ist ein Teilgebiet der Informatik / Mathematik ML implementiert AI. Der Begriff des Lernens wird dabei auf die sukzessive Minimierung einer (beliebig
komplexen) Fehlerfunktion oder umgekehrt das Maximieren einer (beliebig komplexen) Belohnungsfunktion zurückgeführt.
Supervised Learning Überwachtes Lernen, Lernen durch Beispieldaten – in der Regel durch Menschen annotierte Roh-Daten
oder Bilder. Die AI abstrahiert dabei selbstständig von den Beispieldaten und kann auf dieser Basis z.B. auch Prognosen erstellen. Beispiele: Kreditrisiko-Prognose, Fraud Detection bei Versicherungsschäden, Erkennung von Objekten auf Bildern.
Unsupervised Learning - spez. Reinforcement Learning Ein AI-System (auch Agent genannt) lernt ohne Daten o. eincodiertes Domänenwissen allein durch
Erkunden seiner (ggf. virtuellen) Umgebung und das Feedback dieser Umgebung. Beispiele: Roboter lernen (wie Kleinkinder) selbstständig Laufen. „Spiele“: AI-Systeme lernen durch Spielen gegen sich selbst. AI-Systeme lernen Geschäftsprozesse (via Simulation) zu optimieren, ohne starr vorgegebene Prozessmodelle.
![Page 13: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/13.jpg)
Klassische Software-Entwicklung vs. Supervised Machine Learning
13
Computer
Computer Deep-Learning
![Page 14: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/14.jpg)
Artificial Neural Nets (ANN) – Live
14
Live Demo
Computer Vision: Image Recognition
ResNet50 Architektur vortrainiert auf dem ImageNet Benchmark Dataset
Aufgabe: Erkennung des primären Objektes auf einem Bild
ANN in einem REST-Server deployed
Browser-basiertes Demo-Frontend (serverless, singlepage, plain HTML5/CSS3 REST-Client)
![Page 15: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/15.jpg)
ANN – Grundlagen: Neurobiologisches Vorbild
15
![Page 16: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/16.jpg)
ANN – Grundlagen: Mathematische Modellierung eines Neurons
16
Axon-Aktivität Synapsen Zellkörper(Soma)
Dendriten
Linearer Teil (gewichtete Summen + Bias) Nicht-linearer Teil (Schwellwertfuntion)
(Bias)
Mathematische Grundelemente eines künstlichen Neurons
![Page 17: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/17.jpg)
ANN – Grundlagen: Multilayer Perceptron (MLP) 1/2
17
Das Multilayer Perceptron (MLP) ist die einfachste mögliche ANN Architektur
![Page 18: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/18.jpg)
ANN – Grundlagen: Multilayer Perceptron (MLP) 2/2
18
Screenshot from tensorflow playground
![Page 19: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/19.jpg)
Convolutional Neural Nets – Beispiel: Face Classification
19
Input Layer (Neuron = Pixel)
Visueller Cortex) Klassifikator (hier: 4 Klassen)
Output-Layer (Neuron = Klasse)
Woman Man Girl Boy
Classification Output Woman: 85% Girl: 14,5% Boy: 0,5% Man: 0%
![Page 20: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/20.jpg)
Deep Dream
20
Visualisierung gelernter Filter (hier: Merkmale von Hunden) eines Convolutional Neural Nets durch Rückpropagierung auf den Input
![Page 21: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/21.jpg)
Supervised Learning – Training and Validation: Samples
21
Image Classification Sample
Input Target (Soll-Output)
„Jaguar E-Type Serie-1 Roadster“
Semantic Text Analysis Sample (Topic + Sentiment Analysis)
Beschwerde, Schadenmeldung; „empört“
Data Based Prediction Sample Adresse: Schlossalle 1 Liquidität: 50 TEUR Mahnungen: 10 Mtl. Ausgaben: 3 TEUR …
Kreditausfall nach 3 Jahren
Time Series Prediction Sample Passagierzahlen KW7 2018
Passagierzahlen KW1-6 2018
![Page 22: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/22.jpg)
Supervised Learning – Training and Validation: SampleSets
22
Samples Min ca. 8Tsd Avg ca. 80Tsd Large ca. 1Mio Very Large ca. 10Mio
Sample Set
Preprocessing
Data Augmentation
Training
TrainingSet
ValidationSet
Validation
![Page 23: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/23.jpg)
Machine Learning – Take Aways (1/2)
23
ML ist ein Grenzgebiet zwischen Mathematik und Informatik
Mathematik-Verständnis ist essenziell, ML-Werkzeuge sind mächtig aber eben nur Werkzeuge!
ML-Systeme sind stochastische Systeme (mit Wahrscheinlichkeiten behaftet)
ML-Systeme sind (Stand heute) „Black-Box“ Systeme
Maschinelles Lernen bedeutet: Iterative Optimierung einer Funktion (Reward, Loss)
ML-Systeme arbeiten fundamental anders als klassische Computerprogramme, lassen sich aber wie solche betreiben – und in klassische Systeme „einbauen“
ML-Systeme zu trainieren ist „teuer“ (Zeit, Rechenleistung), sie anzuwenden nicht
Die theoretische Leistungsfähigkeit von ML-Systemen ist nahezu unbegrenzt
Universal Approximation Theorem für 3-Layer MLP, LSTM‘s sind turing-mächtig
Notorische Probleme in der Praxis: Overfitting / Underfitting
Der „künstliche IQ“ hängt stark von der Verteilung der Trainingsdaten ab.
![Page 24: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/24.jpg)
Machine Learning – Take Aways (2/2)
24
Externes BigData ist nicht immer zwingende Voraussetzung (-> Reinforcement Learning)
Die gestiegene Rechenleistung ist „lediglich“ notwendige Voraussetzung für den explosionsartigen Fortschritt (-> weltweite ML-Community, Milliarden-Investitionen der Tech-Giganten => Fortschritt auf Ebene der Architekturen und Algorithmen
Fazit:
Der In den letzten 3-4 Jahren gab es z.T. erstaunliche Durchbrüche, dennoch stehen wir erst am „Fuß des AI-Berges“. Bis zum Gipfel (General AI) könnte es länger dauern (als viele meinen).
„Narrow-AI“ Systeme sind praxisreif.
![Page 25: Artificial Intelligence (AI) und Machine Learning (ML) © b+m … · 2019-02-07 · Artificial Intelligence (AI) und Machine Learning (ML) Einordnung Live Demo Funktionsweisen, Merkmale](https://reader034.vdocument.in/reader034/viewer/2022042219/5ec4d7c2194c8802bf667f77/html5/thumbnails/25.jpg)
Links
25
Boston Dynamics – Atlas https://www.youtube.com/watch?v=6vYA8L_r850
Boston Dynamics – Door Opening Dog https://www.youtube.com/watch?v=wXxrmussq4E
Google Deepmind – RL Runner https://www.youtube.com/watch?v=gn4nRCC9TwQ
Google Assistant – Haircut Appointment Call https://www.youtube.com/watch?v=YCWJ0z6_z34