photomath - data science meetup keynote
TRANSCRIPT
Image Recognition
Jurica Cerovec, 18. 5. 2016.
Teme
1. Image recognition - što sve obuhvaća
2. Komercijalne primjene
3. Photomath - način izvedbe
4. Budućnost - deep learning
Image recognition
Object Detection
Object Classification
Machine Learning
Image Processing
Computer Vision
Machine vision tehnologija za mobilne uređaje
Klijenti u 2015.
PhotoPay - plaćanje računa skeniranjem
PhotoPayStandard za plaćanje na 11 tržišta
Detekcija uplatnice
Skeniranje barkoda
Image processingom je potrebno odrediti koji pikseli slike su crni, a koji bijeli
Logistička regresija (dva razreda, A i B)
π - vjerojatnost da objekt pripada razredu B π > 0.5 kad je desna strana > 0
Učenje logističke regresije
- gradijentni spust - genetski algoritam - brojne druge metode
Proces obrade
Rezolucija 945x272
257.040 pixela
1. Predobrada slike (image processing)
2. Detekcija znakova (object detection)
3. Klasifikacija znakova (machine learning)
4. Ekstrakcija matematičkog izraza
5. Rješavanje matematičkih izraza (ekspertni sustav)
Ulazna slika
1. Predobrada slike
2. Detekcija znakova
4 x - 3 y + z = 2
3. Klasifikacija znakova
222 x
x
y
y
z
z
=
=
--
-
-
-++ 2 4 9
4. Ekstrakcija matematičkog izraza
system(equals(add(sub(mul(4,x),mul(3,y)),z),2),equals(sub(sub(mul(neg(2),x),y),mul(2,z)),2),equals(add(add(neg(1),x),mul(2,y)),mul(4,z)),neg(9)))
4 x - 3 y + z = 2
222 x
x
y
y
z
z
=
=
--
-
-
-++ 2 4 9
5. Rješavanje izraza
Problematični slučajevi ovakvog pristupa
← Klasični pristup image recognitionu
Budućnost - deep learning →
Inception model
State of the art model za generalni image recognition
Rethinking the Inception Architecture for Computer Vision (2015) Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna
Photomath Dataset
- 5 milijuna slika jednadžbi = 50 milijuna slika znakova
- Potencijal za skupljanje 500k slika dnevno
- Ručno labeliramo 100 tisuća slika znakova tjedno
- Potencijalno najveći dataset za OCR na svijetu.
Neoznačeni dataset iz Photomatha
Označeni dataset
Cilj:
- nova generacija OCR enginea
- za Photomath i sve druge proizvode MicroBlinka
Primjene image recognitiona
Augmented/Virtual reality
Poboljšanja UX-a u softwareu
Autonomna vozila
Poboljšanje poslovnih procesa
Robotika
Broj kolegija vezanih uz image recognition
PMF - 4FER - 9
Broj kolegija vezanih uz iOS/Android
PMF - 0 (1 izborni)
FER - 0 (2 vještine)
Koliko ima uspješnih tvrtki u RH koje se bave iOS/Android developmentom?
A koliko image recognitionom?
Postoji velik potencijal i znanje za bavljenje image recognitionom u Hrvatskoj!
Zaključak:
- image recognition otvara mnoge prilike
- naši ljudi imaju podlogu za baviti se tim područjem
- i tvrtke u RH se time bave!
