An Introduction to Biometric Verification of Identity Gérard CHOLLET chollet@tsi.enst.fr ENST/CNRS-LTCI 46 rue Barrault 75634 PARIS cedex 13 http://www.tsi.enst.fr/~chollet

Outline Why should the identity of someone be verified ? Biometry : A definition of biometry Desirable properties of biometric characteristics Biometric modalities Classification of biometric authentication systems Architecture of biometric authentication systems Enrollment, registration, training, adaptation, testing applications Evaluating biometric authentication systems fingerprint / face / retina / iris / signatures / handshape / handprint Speaker verification – NIST evaluations Fusion of modalities On-going biometric projects Conclusions and perspectives

Why should someone be identified ? Security ? Protect individual property Home, bank account, mobile phone, PC, data bases, medical records, messages Protect collective property Computer network, nuclear plants, military zones, data bases Individualisation of automatic services Multimedia indexing Police investigations and Law enforcement Quantify the similarities between a ‘piece à conviction’ and a suspect

How could the identity of someone be verified ? Comment ? Identifiant connu par la personne : Mot de passe, code PIN Identifiant possédé par la personne Carte à puce, clé, badge Identifiant propre à la personne La caractéristique biométrique Bonne acceptabilité – Fortement répandu Peut être oublié – facilement usurpable Classiquement utilisé – reconnu partout Facilement volé et/ou falsifié Supprime toutes clés ou mot de passe Peut accroître la complexité de l’accès

Pourquoi et comment vérifier l’identité d’un individu ? SECURED SPACE Bla-bla

L’identification biométrique : Définition de la biométrie Le Petit Robert : « La science qui étudie, à l'aide des mathématiques, les variations biologiques à l'intérieur d'un groupe déterminé. » Etude des variations de certaines caractéristiques au sein d’un groupe Détermination de techniques permettant de distinguer les individus entre eux parmi les caractéristiques jugées pertinentes Variations biologiques : Variation d’une caractéristique physiologique Variation d’une caractéristique comportementale La biométrie rassemble l’ensemble des procédés automatiques d’identification basés sur des caractéristiques physiologiques et/ou comportementales

L’identification biométrique : Propriétés souhaitées de la caractéristique biométrique Robustesse Détermine sa stabilité au cours du temps et sa propriété d’être peu sensible au contexte d’utilisation (variabilité intra-utilisateur) Distinctibilité Caractérise la dépendance de sa mesure par rapport à chaque utilisateur (variabilité inter-utilisateur) Accessibilité Facilement et efficacement mesurable par un capteur Acceptabilité Caractérise la manière dont elle est perçue par l’utilisateur Disponibilité La caractéristique doit être facilement mesurable

L’identification biométrique : Modalités biométriques : Caractéristiques physiques Caractéristiques comportementales Empreintes digitales Géométrie de la main Rétine, Iris Robuste, SAB induit précis Faible évolution avec le vieillissement de l’individu Bonne précision des systèmes biométriques induit Mesure de la caractéristique généralement coûteuse Mauvaise acceptabilité Parole Ecriture, signature Rythme de frappe sur un clavier Bonne acceptabilité et disponibilité Sensible au vieillissement de l’individu Moins bonne précision et robustesse

L’identification biométrique : Modalités biométriques :

L’identification biométrique : Modalités biométriques :

L’identification biométrique : Modalités biométriques : Taille des références caractéristiques La main 9 bytes Empreintes digitales 250-1000 Parole 1500-3000 bytes.

L’identification biométrique : Classification des SAB [Waymann] : Coopératif / non-coopératif Manifeste / caché Stable / instable Supervisé / non-supervisé Ouvert / fermé Comportement de l’utilisateur cherchant à tromper le système Coopère pour usurper une identité S’oppose au système pour ne pas être reconnu L’utilisateur sait-il qu’il est sujet à un test d’identification biométrique ? Caractérise l’évolution des performances en fonction de la durée et de la fréquence d’utilisation du système Si la référence caractéristique du client est publique  ouvert Si la référence caractéristique du client est privée  fermé

L’identification biométrique : Architecture d’un SAB

L’identification biométrique : Phase d’apprentissage L’acquisition du signal biométrique qui servira à la construction de la référence caractéristique. Pour certaines modalités (signature, mot de passe, parole,...), plusieurs répétitions sont souhaitables. Un modèle de référence peut éventuellement être inféré. Ce modèle peut être adapté pour prendre en compte les dérives temporelles.

L’identification biométrique : Phase opérationnelle Suis-je bien la personne que je prétends être ? Vérification d’identité Qui suis-je ? Identification (ensemble fermé / ouvert) Contraintes : Même condition d’acquisition du signal biométrique que lors de la phase d’apprentissage Temps nécessaire à la décision Ressources matérielles disponibles

L’identification biométrique : Exemple d’application Réseau internet 1. Calcul du score 2. Normalisation, Décision Carte à microprocesseur 1. Normalisation, Décision Serveur Distant Ordinateur personnel 1. Acquisition du signal de parole 2. Analyse acoustique

L’identification biométrique : Evaluation des SAB Critère d’évaluation des systèmes biométriques Probabilité de fausse acceptation Probabilité de faux rejet Taux d’échec à l’apprentissage Taux d’échec lors de l’acquisition des données en phase de test Critères plus subjectifs : acceptabilité du système…. Evaluation d’une technologie :

L’identification biométrique : Evaluation des SAB Deux types d’erreurs : faux rejet (un client légitime est rejeté) fausse acceptation (un imposteur est accepté) Théorie de la décision : étant donné une observation O Hypothèse H0 : c’est un imposteur Hypothèse H1 : c’est notre client Choix de H1

L’identification biométrique : Evaluation des SAB:distribution des scores

L’identification biométrique : Evaluation des SAB : la courbe DET

Detection Error Tradeoff (DET Curve)

Les empreintes digitales

Resolution

Qualité de l’image

Capteur optique

Capteur capacitif

Sweeping sensor

Anatomie des empreintes digitales

Orientation des crètes

Détection des minuties

Mise en correspondance

Activités carte à puce J. Leroux les Jardins, ENST Réalisation d’un algorithme de vérification d’empreintes digitales Stockage sur carte à puces des minuties Vérification d’identité associée (extraction de caractéristiques sur le PC, mise en correspondance sur la carte)

Le visage                            

Quelques difficultés

Caméra infra-rouge                    

Normalisation du contraste Initial Images After Normalization

Face recognition Best-fit Simplified image ellipse image Rotation Normalized image Erosion and sharpening Simplified image Gradient image Adaptive Hough transform and template matching Snake energy:

Representation du visage

Principal Component Analysis

Base de données BANCA

Premiers résultats Validation (partielle) en reco. de visages, avec des résultats significatifs sur la base Feret. 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes). Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)

Système d’acquisition 3D Charles Beumier, ENST Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique Prototype avec flash / diapositive En développement pour la couleur (acquisition de la texture) Illumination non uniforme Couleurs imparfaites de la diapositive

La rétine

Localisation de l’iris

Iris

Comparaison des caractéristiques de l’iris

Signatures

Signatures dynamiques S. Salicetti, INT Tracé dynamique (x,y) Pression dynamique Orientation dynamique Validation des données Implantation d’un système de vérification à base de HMM

Acquisition des signatures Coordonnées : x(t),y(t) Pression p(t) Orientation q(t), y(t)

Modèle de Markov Caché (HMM) state 1 state 2 state 3 O = (O1,..., Ot,...)

Modélisation Markovienne

Scanner : forme de la main Scanner HP Validation des données Extraction de points caractéristiques dans les images de main (projet ENST)

La démarche

Vérification du locuteur Classification des systèmes Dépendant du texte Public password Private password Customized password Text prompted Indépendant du texte Apprentissage incrémental Evaluation

Inter-speaker Variability We were away a year ago.

Intra-speaker Variability We were away a year ago.

Analyse de la parole

Mel Frequency Cepstral Coefficients

Dynamic Time Warping (DTW)

Dynamic Time Warping (DTW) DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc. “Bonjour” locuteur 1 “Bonjour” locuteur 2 “Bonjour” locuteur n “Bonjour” locuteur test Y “Bonjour” locuteur X Best path

Vector Quantization (VQ) SOONG, ROSENBERG 1987 Dictionnaire locuteur 1 Dictionnaire locuteur 2 Dictionnaire locuteur n “Bonjour” locuteur test Y Dictionnaire locuteur X best quant.

Hidden Markov Models (HMM) ROSENBERG 1990, TSENG 1992 “Bonjour” locuteur test Y “Bonjour” locuteur X “Bonjour” locuteur 1 “Bonjour” locuteur 2 “Bonjour” locuteur n Best path

Ergodic HMM PORITZ 1982, SAVIC 1990 HMM locuteur 1 HMM locuteur n “Bonjour” locuteur test Y HMM locuteur X Best path

Gaussian Mixture Models (GMM) REYNOLDS 1995

HMM structure depends on the application

Signal detection theory

Speaker Verification (text independent) The ELISA consortium ENST, LIA, IRISA, ... http://www.lia.univ-avignon.fr/equipes/RAL/elisa/index_en.html NIST evaluations http://www.nist.gov/speech/tests/spk/index.htm

Gaussian Mixture Model Parametric representation of the probability distribution of observations:

Gaussian Mixture Models 8 Gaussians per mixture

National Institute of Standards & Technology (NIST) Speaker Verification Evaluations Annual evaluation since 1995 Common paradigm for comparing technologies

GMM speaker modeling WORLD GMM MODEL TARGET GMM MODEL GMM MODELING WORLD DATA TARGET SPEAKER Front-end GMM MODELING WORLD GMM MODEL GMM model adaptation TARGET GMM MODEL

Baseline GMM method l WORLD GMM MODEL HYPOTH. TARGET GMM MOD. = Front-end WORLD GMM MODEL Test Speech = LLR SCORE

Support Vector Machines and Speaker Verification Hybrid GMM-SVM system is proposed SVM scoring model trained on development data to classify true-target speakers access and impostors access, using new feature representation based on GMMs Modeling Scoring GMM SVM

SVM principles X y(X) Feature space Input space H Class(X) Ho Separating hyperplans H , with the optimal hyperplan Ho Ho H Class(X)

Results

Approche segmentale

Codage

Fusion ALISP et GMM

Fusion des GMMs globaux et segmentaux

NIST Evaluations : 2003 Results

SuperSID experiments

GMM with cepstral features

Selection of nasals in words in -ing being everything getting anything thing something things going

Fusion

Fusion results

Audio-Visual Identity Verification A person speaking in front of a camera offers 2 modalities for identity verification (speech and face). The sequence of face images and the synchronisation of speech and lip movements could be exploited. Imposture is much more difficult than with single modalities. Many PCs, PDAs, mobile phones are equiped with a camera. Audio-Visual Identity Verification will offer non-intrusive security for e-commerce, e-banking,…

Examples of Speaking Faces Sequence of digits (PIN code) Free text

Fusion of Speech and Face (from thesis of Conrad Sanderson, aug. 2002)

An illustration Insecure Network Distant server: Access to private data Secured transactions Acquisition of biometric signals for each modality Scores are computed for each modality Fusion of scores and decision

«MAJORDOME» Vecsys EDF Software602 KTH Euroseek UPC Airtel Unified Messaging System Eureka Projet no 2340 D. Bahu-Leyser, G. Chollet, K. Hallouli , J. Kharroubi, L. Likforman, S-S. Lin, D. Mostefa, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon

Majordome’s Functionalities Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax E-mail MAJORDOME (

Voice technology in Majordome Server side background tasks: continuous speech recognition applied to voice messages upon reception Detection of sender’s name and subject User interaction: Speaker identification and verification Speech recognition (receiving user commands through voice interaction) Text-to-speech synthesis (reading text summaries, E-mails or faxes)

Multimodal Identity Verification M2VTS (face and speech) front view and profile pseudo-3D with coherent light BIOMET: (face, speech, fingerprint, signature, hand shape) data collection reuse of the M2VTS and DAVID data bases experiments on the fusion of modalities

BIOMET An extension of the M2VTS and DAVID projects to include such modalities as signature, finger print, hand shape. Initial support (two years) is provided by GET (Groupement des Ecoles de Télécommunications) Looking for partners to initiate a european project Emphasis will be on fusion of scores obtained from two or more modalities.

Poste de travail (suite)

Perspectives Développement du projet BIOMET. La fusion de modalités. Réseau d’excellence dans le cadre du 6ème PCRD. La carte à puce comme support des informations biométriques.