an introduction to biometric verification of identity
DESCRIPTION
An Introduction to Biometric Verification of Identity. Gérard CHOLLET chollet @ tsi.enst.fr ENST/CNRS-LTCI 46 rue Barrault 75634 PARIS cedex 13 http://www.tsi.enst.fr/~chollet. Outline. Why should the identity of someone be verified ? Biometry : A definition of biometry - PowerPoint PPT PresentationTRANSCRIPT
An Introduction to Biometric Verification of Identity
Gérard CHOLLET [email protected]
ENST/CNRS-LTCI46 rue Barrault
75634 PARIS cedex 13
http://www.tsi.enst.fr/~chollet
Outline Why should the identity of someone be verified ? Biometry :
A definition of biometry Desirable properties of biometric characteristics Biometric modalities Classification of biometric authentication systems Architecture of biometric authentication systems Enrollment, registration, training, adaptation, testing applications Evaluating biometric authentication systems
fingerprint / face / retina / iris / signatures / handshape / handprint Speaker verification – NIST evaluations Fusion of modalities On-going biometric projects Conclusions and perspectives
Why should someone be identified ?
Security ? Protect individual property
Home, bank account, mobile phone, PC, data bases, medical records, messages Protect collective property
Computer network, nuclear plants, military zones, data bases Individualisation of automatic services Multimedia indexing Police investigations and Law enforcement
Quantify the similarities between a ‘piece à conviction’ and a suspect
How could the identity of someone be verified ?
Comment ? Identifiant connu par la personne :
Mot de passe, code PIN
Identifiant possédé par la personne Carte à puce, clé, badge
Identifiant propre à la personne La caractéristique biométrique
Bonne acceptabilité – Fortement répanduPeut être oublié – facilement usurpable
Classiquement utilisé – reconnu partoutFacilement volé et/ou falsifié
Peut accroître la complexité de l’accèsSupprime toutes clés ou mot de passe
Pourquoi et comment vérifier l’identité d’un individu ?
Bla-blaSECUREDSPACE
L’identification biométrique :Définition de la biométrie
Le Petit Robert : « La science qui étudie, à l'aide des mathématiques, les variations biologiques à l'intérieur d'un groupe déterminé. »
Etude des variations de certaines caractéristiques au sein d’un groupe
Détermination de techniques permettant de distinguer les individus entre eux parmi les caractéristiques jugées pertinentes
Variations biologiques : Variation d’une caractéristique physiologique Variation d’une caractéristique comportementale
La biométrie rassemble l’ensemble des procédés automatiques d’identification basés sur des caractéristiques physiologiques et/ou comportementales
L’identification biométrique :Propriétés souhaitées de la caractéristique biométrique
Robustesse Détermine sa stabilité au cours du temps et sa propriété d’être peu
sensible au contexte d’utilisation (variabilité intra-utilisateur)
Distinctibilité Caractérise la dépendance de sa mesure par rapport à chaque
utilisateur (variabilité inter-utilisateur)
Accessibilité Facilement et efficacement mesurable par un capteur
Acceptabilité Caractérise la manière dont elle est perçue par l’utilisateur
Disponibilité La caractéristique doit être facilement mesurable
L’identification biométrique :Modalités biométriques :
Caractéristiques physiques Caractéristiques comportementales
Empreintes digitales Géométrie de la main Rétine, Iris
+ Robuste, SAB induit précis+ Faible évolution avec le vieillissement de l’individu+ Bonne précision des systèmes biométriques induit- Mesure de la caractéristique généralement coûteuse - Mauvaise acceptabilité
Parole Ecriture, signature Rythme de frappe sur un clavier
+ Bonne acceptabilité et disponibilité- Sensible au vieillissement de l’individu- Moins bonne précision et robustesse
L’identification biométrique :Modalités biométriques :
L’identification biométrique :Modalités biométriques :
L’identification biométrique :Modalités biométriques :
Taille des références caractéristiques La main 9 bytes Empreintes digitales 250-1000 Parole 1500-3000 bytes.
L’identification biométrique :Classification des SAB [Waymann] :
1. Coopératif / non-coopératif
2. Manifeste / caché
3. Stable / instable
4. Supervisé / non-supervisé 5. Ouvert / fermé
Comportement de l’utilisateur cherchant à tromper le système•Coopère pour usurper une identité• S’oppose au système pour ne pas être reconnu
L’utilisateur sait-il qu’il est sujet à un test d’identification biométrique ?
Caractérise l’évolution des performances en fonction de la durée et de la fréquence d’utilisation du système
Si la référence caractéristique du client est publique ouvertSi la référence caractéristique du client est privée fermé
L’identification biométrique :Architecture d’un SAB
L’acquisition du signal biométrique qui servira à la construction de la référence caractéristique.
Pour certaines modalités (signature, mot de passe, parole,...), plusieurs répétitions sont souhaitables.
Un modèle de référence peut éventuellement être inféré.
Ce modèle peut être adapté pour prendre en compte les dérives temporelles.
L’identification biométrique :Phase d’apprentissage
Suis-je bien la personne que je prétends être ? Vérification d’identité
Qui suis-je ? Identification (ensemble fermé / ouvert)
Contraintes : Même condition d’acquisition du signal
biométrique que lors de la phase d’apprentissage
Temps nécessaire à la décision Ressources matérielles disponibles
L’identification biométrique :Phase opérationnelle
L’identification biométrique :Exemple d’application
Réseau internet
Serveur Distant
Carte à microprocesseur
Ordinateur personnel1. Acquisition du signal de parole2. Analyse acoustique
1. Calcul du score2. Normalisation, Décision
1. Normalisation, Décision
L’identification biométrique :Evaluation des SAB
Critère d’évaluation des systèmes biométriques Probabilité de fausse acceptation Probabilité de faux rejet Taux d’échec à l’apprentissage Taux d’échec lors de l’acquisition des données en
phase de test Critères plus subjectifs : acceptabilité du système….
Evaluation d’une technologie : Probabilité de fausse acceptation Probabilité de faux rejet
Deux types d’erreurs : faux rejet (un client légitime est rejeté) fausse acceptation (un imposteur est accepté)
Théorie de la décision : étant donné une observation O Hypothèse H0 : c’est un imposteur Hypothèse H1 : c’est notre client Choix de H1
)1()(
)(
)1(
HPCHoPC
HoOP
HOP
fr
fa
⋅⋅
>
L’identification biométrique :Evaluation des SAB
L’identification biométrique :Evaluation des SAB:distribution des scores
L’identification biométrique :Evaluation des SAB : la courbe DET
Detection Error Tradeoff (DET Curve)
Les empreintes digitales
Resolution
Qualité de l’image
Capteur optique
Capteur capacitif
Sweeping sensor
Anatomie des empreintes digitales
Orientation des crètes
Détection des minuties
Mise en correspondance
Activités carte à puceJ. Leroux les Jardins, ENST
Réalisation d’un algorithme de vérification d’empreintes digitales Stockage sur carte à puces des minuties Vérification d’identité associée (extraction de caractéristiques
sur le PC, mise en correspondance sur la carte)
Le visage
Quelques difficultés
Caméra infra-rouge
(a) (b) (c)
(d) (e) (f)
Normalisation du contraste
Initial ImagesInitial Images
After After NormalizationNormalization
Face recognitionBest-fit
ellipse imageRotation
Normalized imageErosion and sharpening
Simplified image
Gradient image
Adaptive Hough transform and
template matchingSnake energy:
exttotal EEE += int
Representation du visage
Principal Component Analysis
Base de données BANCA
Premiers résultats Validation (partielle) en reco. de visages, avec des
résultats significatifs sur la base Feret. 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes). Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)
Système d’acquisition 3DCharles Beumier, ENST
Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique
Prototype avec flash / diapositiveEn développement pour la couleur
(acquisition de la texture)
Illumination non uniformeCouleurs imparfaites de la
diapositive
La rétine
Localisation de l’iris
Iris
Comparaison des caractéristiques de l’iris
Signatures
Signatures dynamiquesS. Salicetti, INT
Tracé dynamique (x,y) Pression dynamique Orientation dynamique
Validation des données Implantation d’un système de
vérification à base de HMM
Acquisition des signatures
•Coordonnées : x(t),y(t)•Pression p(t)•Orientation (t), (t)
Modèle de Markov Caché (HMM)
state 1 state 2 state 3
O = (O1,..., Ot,...)
Modélisation Markovienne
Scanner : forme de la main
Scanner HP
Validation des données Extraction de points
caractéristiques dans les images de main (projet ENST)
La démarche
Vérification du locuteur
Classification des systèmes Dépendant du texte
Public password Private password Customized password Text prompted
Indépendant du texte Apprentissage incrémental Evaluation
Inter-speaker Variability
We wereaway
ayear ago.
Intra-speaker Variability
We wereaway
ayear ago.
Analyse de la parole
Mel Frequency Cepstral Coefficients
Dynamic Time Warping (DTW)
Dynamic Time Warping (DTW)
Best path
),()Y,X( 2jid yx∑=μ
“Bonjour” locuteur test Y
“Bon
jour
” loc
uteu
r X
“Bonjour” locuteur 1
“Bonjour” locuteur 2
“Bonjour” locuteur n
DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc.
Vector Quantization (VQ)
bestquant.
),()Y,X( X2
jiCd y∑=μ
Dictionnaire locuteur 1
Dictionnaire locuteur 2
Dictionnaire locuteur n
“Bonjour” locuteur test Y
Dic
tionn
aire
locu
teur
X
SOONG, ROSENBERG 1987
Hidden Markov Models (HMM)
Bestpath
)S(Plog)Y,X(iXjy∑−=μ
“Bonjour” locuteur 1
“Bonjour” locuteur 2
“Bonjour” locuteur n
“Bonjour” locuteur test Y
“Bon
jour
” loc
uteu
r X
ROSENBERG 1990, TSENG 1992
Ergodic HMM
Best path
)S(Plog)Y,X(iXjy∑−=μ
HMM locuteur 1
HMM locuteur 2
HMM locuteur n
“Bonjour” locuteur test Y
HM
M lo
cute
ur X
PORITZ 1982, SAVIC 1990
Gaussian Mixture Models (GMM)REYNOLDS 1995
HMM structure depends on the application
Signal detection theory
Speaker Verification (text independent)
The ELISA consortium ENST, LIA, IRISA, ... http://www.lia.univ-avignon.fr/equipes/RAL/elisa/
index_en.html NIST evaluations
http://www.nist.gov/speech/tests/spk/index.htm
Gaussian Mixture Model
Parametric representation of the probability distribution of observations:
Gaussian Mixture Models
8 Gaussians per mixture
National Institute of Standards & Technology (NIST)
Speaker Verification Evaluations
• Annual evaluation since 1995• Common paradigm for comparing technologies
GMM speaker modeling
Front-end GMMMODELING
WORLDGMM
MODEL
Front-end GMM model adaptation
TARGETGMM
MODEL
Baseline GMM method
HYPOTH.TARGET
GMM MOD.
Front-end
WORLDGMM
MODEL
Test Speech
xPxPLog ]
)/()/([
λλ
LLR SCORE
λ
λ
)/( λxP
)/( λxP
Λ =
Support Vector Machines and Speaker Verification
Hybrid GMM-SVM system is proposed
SVM scoring model trained on development data to classify true-target speakers access and impostors access,using new feature representation based on GMMs
Modeling
Scoring
GMM
SVM
SVM principles
X (X)
Input
spac
e
Feat
ure s
pace Separating hyperplans H ,
with the optimal hyperplan Ho
Ho
H
Class(X)
Results
Approche segmentale
Codage
Fusion ALISP et GMM
Fusion des GMMsglobaux et segmentaux
NIST Evaluations : 2003 Results
ENST 2003
SuperSID experiments
GMM with cepstral features
Selection of nasals in words in -ing
being everything getting anything
thing something things
going
Fusion
Fusion results
Audio-Visual Identity Verification
A person speaking in front of a camera offers 2 modalities for identity verification (speech and face).
The sequence of face images and the synchronisation of speech and lip movements could be exploited.
Imposture is much more difficult than with single modalities.
Many PCs, PDAs, mobile phones are equiped with a camera. Audio-Visual Identity Verification will offer non-intrusive security for e-commerce, e-banking,…
Examples of Speaking Faces
Sequence of digits (PIN code)
Free text
QuickTime™ et undécompresseur sont requis pour visionner cette image. QuickTime™ et undécompresseur sont requis pour visionner cette image.
Fusion of Speech and Face
(from thesis of Conrad Sanderson, aug. 2002)
1. Acquisition of biometric signals for each modality2. Scores are computed for each modality3. Fusion of scores and decision
InsecureNetwork
Distant server:1. Access to private data2. Secured transactions
An illustration
«MAJORDOME»
Unified Messaging System
Eureka Projet no 2340
EDFVecsys
D. Bahu-Leyser, G. Chollet, K. Hallouli , J. Kharroubi, L. Likforman, S-S. Lin, D. Mostefa, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon
KTH Euroseek UPC Airtel
Software602
Majordome’s Functionalities
• Speaker verification• Dialogue• Routing• Updating the agenda• Automatic summary
Voice
Fax
Voice technology in Majordome
Server side background tasks:continuous speech recognition applied to voice messages upon reception Detection of sender’s name and subject
User interaction: Speaker identification and verification Speech recognition (receiving user
commands through voice interaction) Text-to-speech synthesis (reading text
summaries, E-mails or faxes)
Multimodal Identity Verification
M2VTS (face and speech) front view and profile pseudo-3D with coherent light
BIOMET:(face, speech, fingerprint, signature, hand shape) data collection reuse of the M2VTS and DAVID data bases experiments on the fusion of modalities
BIOMET
An extension of the M2VTS and DAVID projects to include such modalities as signature, finger print, hand shape.
Initial support (two years) is provided by GET (Groupement des Ecoles de Télécommunications)Looking for partners to initiate a european project
Emphasis will be on fusion of scores obtained from two or more modalities.
Poste de travail (suite)
Perspectives
Développement du projet BIOMET. La fusion de modalités. Réseau d’excellence dans le cadre du
6ème PCRD. La carte à puce comme support des
informations biométriques.