facial image processing and analysis (fipa)
TRANSCRIPT
KIT – University of the State of Baden-Württemberg and
National Large-scale Research Center of the Helmholtz Association
INSTITUT FÜR ANTHROPOMATIK, FAKULTÄT FÜR INFORMATIK
www.kit.edu
Facial Image Processing and Analysis (FIPA)http://face.cs.kit.edu/
Hazım Kemal Ekenel, [email protected]
Karlsruhe, 21/10/2010
Institut für Anthropomatik, Fakultät für Informatik2 21.10.2010
Facial Image Processing and Analysis (FIPA)
The task of automatically analyzing face images
to acquire information about the depicted
persons, e.g. age, expression, gender, gesture,
and identity.
A wide range of application domains: security,
smart environments, human-computer interfaces,
content-based image and video analysis …
High commercial exploitation potential: Current
market size of “face recognition for security
domain” is 350 million USD, projected to exceed
1 billion USD in 2014*
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
*Source: Biometrics Market and Industry Report 2009-2014, International Biometric Group, Oct. 2008
Age
Gender
Identity
ExpressionGesture
Institut für Anthropomatik, Fakultät für Informatik3 21.10.2010
FIPA members
PhD Students
Mika Fischer
Hua Gao
Tobias Gehrig
Visiting:
Luo Dan (Waseda Uni., Japan)
B.S./M.S. Students
Nikolas Hesse
Elena Astankow
Benjamin Hujer
Derick Beng Yuh
Chengchao Qu
Matthias Richter
Matthias Steiner
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik4 21.10.2010
Occlusion Robust
Face RecognitionIdentity
Robust Face
RecognitionIdentity
Current State of Research*
Illumination Robust
Face RecognitionIdentity
*A Robust Face Recognition Algorithm for Real-World Applications (H.K. Ekenel, Ph.D. thesis, University of Karlsruhe (TH), Feb. 2009, Supervisors: A. Waibel, J. Kittler)
Expression Robust
Face RecognitionIdentity
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Facial occlusion
Expression
Illumination
Misalignment
Uncontrolled capture conditions
A single, generic algorithm
Institut für Anthropomatik, Fakultät für Informatik5 21.10.2010
Outcomes and Achievements
Over 40 publications in peer reviewed international journals & conferences
EBF European Biometric Research Award 2008
Best performing systems in the CLEAR Evaluations 2006, 2007
Leading face recognition research in the CHIL, SFB 588 and Quaero projects
A wide range of real-world applications (Best Demo Award @ IEEE International Conference
on Automatic Face and Gesture Recognition 2008)
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Entrance Monitoring Face LabelerPerson Retrieval in Movies
Institut für Anthropomatik, Fakultät für Informatik6 21.10.2010
Face Identification Identity
Expression Recognition Expression
GenderGender Classification
Age Classification Age Interval
Objective
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Facial Image
Processing and Analysis
Age, Expression,
Gender, Gesture,
Identity
Robust face detection, facial feature localization and tracking across different poses
A single, shared face representation framework to derive information from the face image
To read the face as humans do.
Gesture Recognition Gesture
Institut für Anthropomatik, Fakultät für Informatik7 21.10.2010
Face Detection
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik8 21.10.2010
Face Modeling with Active Appearance Models
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
A generative model
Institut für Anthropomatik, Fakultät für Informatik9 21.10.2010
2D AAMs Example
110 sps 220 sps
330 sps
xAxA 110 xAxA 220 xAxA 330 )(0 xA
0s
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik10 21.10.2010
Model-based Face Registration
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Non-linear morphing with piece-wise affine warp
Institut für Anthropomatik, Fakultät für Informatik11 21.10.2010
Active Appearance Model Tracking in Video
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik12 21.10.2010
Face Verification
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Multi-resolution face models:
Face Recognition Grand Challenge,
Experiment 4: Controlled vs. Uncontrolled matching:
92.5% VR @ 0.1 FAR Best published result!
Institut für Anthropomatik, Fakultät für Informatik13 21.10.2010
Pair Matching / Face Recognition in Wild
Given
Two face images
Not given
Training data of the same persons
Facial feature locations
Task
Classify whether it’s the same
person
Quite difficult problem!
Same person?
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik14 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik15 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik16 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik17 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik18 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik19 21.10.2010
Web Image Search: Example
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik20 21.10.2010
Facial Action Coding System (FACS)
Recognizing facial action units (AU)
Emotion Classification (Happy, sad, angry, etc …)
Facial Expression Analysis
Institut für Anthropomatik, Fakultät für Informatik23 21.10.2010
Real-World Applications*
Access Control: 100%, 25 subjects
Smart Environments:Best system in the CLEAR evals (96.4%, 28 subjects)
*Winner of the Best Demo Award in IEEE Intl. Conf. on Automatic Face and Gesture Recognition (FG 2008)
Surveillance: 92.5%, 41 subjects
ICCV’07ACM MM’08
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik24 21.10.2010
Real World Applications*
Person retrieval in TV series: Recall: 91.3%, Precision: 98.8%
Humanoid Robots:
*Winner of the Best Demo Award inIEEE Intl. Conf. on Automatic Face andGesture Recognition (FG 2008)FG’08
IEEE Trans. on Robotics’07
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik25 21.10.2010
Organization of the Seminar
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Institut für Anthropomatik, Fakultät für Informatik26 21.10.2010
Ablauf
Aufgabe: Präsentation eines Themas basierend auf 1-2
wissenschaftlichen Papers
Pro Termin ein Vortrag mit anschließender Diskussion
Regelmäßige Anwesenheit erforderlich
Bitte die Papers zu den jeweiligen Vorträgen vorher
lesen (Download über die Webseite)
Ausarbeitung erforderlich
Institut für Anthropomatik, Fakultät für Informatik27 21.10.2010
Der Vortrag
Mindestens 2 Treffen mit dem Betreuer:
Besprechen der vergebenen Papers
Besprechen der Folien
30min Vortrag + 10min Diskussion
Sprache für Vortrag und Folien: Englisch
Vortrag vorher üben!
Die zentralen Vokabeln kennen, ggf. Aussprache
nachschlagen
Ausreichend laut, langsam und deutlich sprechen
Institut für Anthropomatik, Fakultät für Informatik28 21.10.2010
Folien
Richtwert: pro Folie knapp zwei Minuten einplanen
Vorher überlegen, welche Folien notfalls ausgelassen werden
können
Vollständige Referenzen auf die Papers, auf denen
der Vortrag basiert
Jeden auf den eigenen Folien vorkommenden Begriff
erklären können
Nach Bildern/Videos zum Paper suchen
Institut für Anthropomatik, Fakultät für Informatik29 21.10.2010
Gliederung
Einleitung
Problemdefinition / Ziel (einfach und für jeden verständlich halten!)
Einordnung, verwandte Arbeiten
Verfahren
Vor dem “Wie” an das “Warum” erinnern
Wenn Formeln notwendig: alle Bestandteile erklären
Experimente
Komplizierte Tabellen ggf. aufbrechen
Zusammenfassung
Offene Probleme
Institut für Anthropomatik, Fakultät für Informatik30 21.10.2010
Foliengestaltung
Eigener Name, Datum, Foliennummern
Ausreichende Schriftgröße und Kontrast
Den Rändern nicht zu nahe kommen
Format für die Folienabgabe: pdf oder ppt
Bei Grafiken: Legende und Achsenbeschriftungen
nicht vergessen
Institut für Anthropomatik, Fakultät für Informatik31 21.10.2010
Possible Topics
Face detection
Facial feature localization
Face modeling
Face recognition
Face verification
Facial expression analysis
Emotion classification
Age estimation
Gender classification
Facial gesture recognition
Institut für Anthropomatik, Fakultät für Informatik32 21.10.2010
Thank you for your attention
Hazım Kemal Ekenel – Facial Image Processing and Analysis (FIPA)
Hazım Kemal Ekenel, [email protected]