An Introduction to Biometric Verification of Identity

Présentation au sujet: "An Introduction to Biometric Verification of Identity"— Transcription de la présentation:

1 An Introduction to Biometric Verification of Identity
Gérard CHOLLET ENST/CNRS-LTCI 46 rue Barrault PARIS cedex 13

2 Outline Why should the identity of someone be verified ? Biometry :
A definition of biometry Desirable properties of biometric characteristics Biometric modalities Classification of biometric authentication systems Architecture of biometric authentication systems Enrollment, registration, training, adaptation, testing applications Evaluating biometric authentication systems fingerprint / face / retina / iris / signatures / handshape / handprint Speaker verification – NIST evaluations Fusion of modalities On-going biometric projects Conclusions and perspectives

3 Why should someone be identified ?
Security ? Protect individual property Home, bank account, mobile phone, PC, data bases, medical records, messages Protect collective property Computer network, nuclear plants, military zones, data bases Individualisation of automatic services Multimedia indexing Police investigations and Law enforcement Quantify the similarities between a ‘piece à conviction’ and a suspect

4 How could the identity of someone be verified ?
Comment ? Identifiant connu par la personne : Mot de passe, code PIN Identifiant possédé par la personne Carte à puce, clé, badge Identifiant propre à la personne La caractéristique biométrique Bonne acceptabilité – Fortement répandu Peut être oublié – facilement usurpable Classiquement utilisé – reconnu partout Facilement volé et/ou falsifié Supprime toutes clés ou mot de passe Peut accroître la complexité de l’accès

5 Pourquoi et comment vérifier l’identité d’un individu ?
SECURED SPACE Bla-bla

6 L’identification biométrique : Définition de la biométrie
Le Petit Robert : « La science qui étudie, à l'aide des mathématiques, les variations biologiques à l'intérieur d'un groupe déterminé. » Etude des variations de certaines caractéristiques au sein d’un groupe Détermination de techniques permettant de distinguer les individus entre eux parmi les caractéristiques jugées pertinentes Variations biologiques : Variation d’une caractéristique physiologique Variation d’une caractéristique comportementale La biométrie rassemble l’ensemble des procédés automatiques d’identification basés sur des caractéristiques physiologiques et/ou comportementales

7 L’identification biométrique : Propriétés souhaitées de la caractéristique biométrique
Robustesse Détermine sa stabilité au cours du temps et sa propriété d’être peu sensible au contexte d’utilisation (variabilité intra-utilisateur) Distinctibilité Caractérise la dépendance de sa mesure par rapport à chaque utilisateur (variabilité inter-utilisateur) Accessibilité Facilement et efficacement mesurable par un capteur Acceptabilité Caractérise la manière dont elle est perçue par l’utilisateur Disponibilité La caractéristique doit être facilement mesurable

8 L’identification biométrique : Modalités biométriques :
Caractéristiques physiques Caractéristiques comportementales Empreintes digitales Géométrie de la main Rétine, Iris Robuste, SAB induit précis Faible évolution avec le vieillissement de l’individu Bonne précision des systèmes biométriques induit Mesure de la caractéristique généralement coûteuse Mauvaise acceptabilité Parole Ecriture, signature Rythme de frappe sur un clavier Bonne acceptabilité et disponibilité Sensible au vieillissement de l’individu Moins bonne précision et robustesse

9 L’identification biométrique : Modalités biométriques :

10 L’identification biométrique : Modalités biométriques :

11 L’identification biométrique : Modalités biométriques :
Taille des références caractéristiques La main 9 bytes Empreintes digitales Parole bytes.

12 L’identification biométrique : Classification des SAB [Waymann] :
Coopératif / non-coopératif Manifeste / caché Stable / instable Supervisé / non-supervisé Ouvert / fermé Comportement de l’utilisateur cherchant à tromper le système Coopère pour usurper une identité S’oppose au système pour ne pas être reconnu L’utilisateur sait-il qu’il est sujet à un test d’identification biométrique ? Caractérise l’évolution des performances en fonction de la durée et de la fréquence d’utilisation du système Si la référence caractéristique du client est publique  ouvert Si la référence caractéristique du client est privée  fermé

13 L’identification biométrique : Architecture d’un SAB

14 L’identification biométrique : Phase d’apprentissage
L’acquisition du signal biométrique qui servira à la construction de la référence caractéristique. Pour certaines modalités (signature, mot de passe, parole,...), plusieurs répétitions sont souhaitables. Un modèle de référence peut éventuellement être inféré. Ce modèle peut être adapté pour prendre en compte les dérives temporelles.

15 L’identification biométrique : Phase opérationnelle
Suis-je bien la personne que je prétends être ? Vérification d’identité Qui suis-je ? Identification (ensemble fermé / ouvert) Contraintes : Même condition d’acquisition du signal biométrique que lors de la phase d’apprentissage Temps nécessaire à la décision Ressources matérielles disponibles

16 L’identification biométrique : Exemple d’application
Réseau internet 1. Calcul du score 2. Normalisation, Décision Carte à microprocesseur 1. Normalisation, Décision Serveur Distant Ordinateur personnel 1. Acquisition du signal de parole 2. Analyse acoustique

17 L’identification biométrique : Evaluation des SAB
Critère d’évaluation des systèmes biométriques Probabilité de fausse acceptation Probabilité de faux rejet Taux d’échec à l’apprentissage Taux d’échec lors de l’acquisition des données en phase de test Critères plus subjectifs : acceptabilité du système…. Evaluation d’une technologie :

18 L’identification biométrique : Evaluation des SAB
Deux types d’erreurs : faux rejet (un client légitime est rejeté) fausse acceptation (un imposteur est accepté) Théorie de la décision : étant donné une observation O Hypothèse H0 : c’est un imposteur Hypothèse H1 : c’est notre client Choix de H1

19 L’identification biométrique : Evaluation des SAB:distribution des scores

20 L’identification biométrique : Evaluation des SAB : la courbe DET

21 Detection Error Tradeoff (DET Curve)

22 Les empreintes digitales

23 Resolution

24 Qualité de l’image

25 Capteur optique

26 Capteur capacitif

27 Sweeping sensor

28 Anatomie des empreintes digitales

29 Orientation des crètes

30 Détection des minuties

31 Mise en correspondance

32 Activités carte à puce J. Leroux les Jardins, ENST
Réalisation d’un algorithme de vérification d’empreintes digitales Stockage sur carte à puces des minuties Vérification d’identité associée (extraction de caractéristiques sur le PC, mise en correspondance sur la carte)

33 Le visage                            

34 Quelques difficultés

35 Caméra infra-rouge

36 Normalisation du contraste
Initial Images After Normalization

37 Face recognition Best-fit Simplified image ellipse image
Rotation Normalized image Erosion and sharpening Simplified image Gradient image Adaptive Hough transform and template matching Snake energy:

38 Representation du visage

39 Principal Component Analysis

40 Base de données BANCA

41 Premiers résultats Validation (partielle) en reco. de visages, avec des résultats significatifs sur la base Feret. 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes). Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)

42 Système d’acquisition 3D Charles Beumier, ENST
Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique Prototype avec flash / diapositive En développement pour la couleur (acquisition de la texture) Illumination non uniforme Couleurs imparfaites de la diapositive

43 La rétine

44 Localisation de l’iris

45 Iris

46 Comparaison des caractéristiques de l’iris

47 Signatures

48 Signatures dynamiques S. Salicetti, INT
Tracé dynamique (x,y) Pression dynamique Orientation dynamique Validation des données Implantation d’un système de vérification à base de HMM

49 Acquisition des signatures
Coordonnées : x(t),y(t) Pression p(t) Orientation q(t), y(t)

50 Modèle de Markov Caché (HMM)
state 1 state 2 state 3 O = (O1,..., Ot,...)

51 Modélisation Markovienne

52 Scanner : forme de la main
Scanner HP Validation des données Extraction de points caractéristiques dans les images de main (projet ENST)

53 La démarche

54 Vérification du locuteur
Classification des systèmes Dépendant du texte Public password Private password Customized password Text prompted Indépendant du texte Apprentissage incrémental Evaluation

55 Inter-speaker Variability
We were away a year ago.

56 Intra-speaker Variability
We were away a year ago.

57 Analyse de la parole

58 Mel Frequency Cepstral Coefficients

59 Dynamic Time Warping (DTW)

60 Dynamic Time Warping (DTW)
DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc. “Bonjour” locuteur 1 “Bonjour” locuteur 2 “Bonjour” locuteur n “Bonjour” locuteur test Y “Bonjour” locuteur X Best path

61 Vector Quantization (VQ)
SOONG, ROSENBERG 1987 Dictionnaire locuteur 1 Dictionnaire locuteur 2 Dictionnaire locuteur n “Bonjour” locuteur test Y Dictionnaire locuteur X best quant.

62 Hidden Markov Models (HMM)
ROSENBERG 1990, TSENG 1992 “Bonjour” locuteur test Y “Bonjour” locuteur X “Bonjour” locuteur 1 “Bonjour” locuteur 2 “Bonjour” locuteur n Best path

63 Ergodic HMM PORITZ 1982, SAVIC 1990 HMM locuteur 1
HMM locuteur n “Bonjour” locuteur test Y HMM locuteur X Best path

64 Gaussian Mixture Models (GMM)
REYNOLDS 1995

65 HMM structure depends on the application

66 Signal detection theory

67 Speaker Verification (text independent)
The ELISA consortium ENST, LIA, IRISA, ... NIST evaluations

68 Gaussian Mixture Model
Parametric representation of the probability distribution of observations:

69 Gaussian Mixture Models
8 Gaussians per mixture

70 National Institute of Standards & Technology (NIST) Speaker Verification Evaluations
Annual evaluation since 1995 Common paradigm for comparing technologies

71 GMM speaker modeling WORLD GMM MODEL TARGET GMM MODEL GMM MODELING
WORLD DATA TARGET SPEAKER Front-end GMM MODELING WORLD GMM MODEL GMM model adaptation TARGET GMM MODEL

72 Baseline GMM method l WORLD GMM MODEL HYPOTH. TARGET GMM MOD. =
Front-end WORLD GMM MODEL Test Speech = LLR SCORE

73 Support Vector Machines and Speaker Verification
Hybrid GMM-SVM system is proposed SVM scoring model trained on development data to classify true-target speakers access and impostors access, using new feature representation based on GMMs Modeling Scoring GMM SVM

74 SVM principles X y(X) Feature space Input space H Class(X) Ho
Separating hyperplans H , with the optimal hyperplan Ho Ho H Class(X)

75 Results

76 Approche segmentale

77 Codage

78 Fusion ALISP et GMM

79 Fusion des GMMs globaux et segmentaux

80 NIST Evaluations : 2003 Results

81 SuperSID experiments

82 GMM with cepstral features

83 Selection of nasals in words in -ing
being everything getting anything thing something things going

84 Fusion

85 Fusion results

86 Audio-Visual Identity Verification
A person speaking in front of a camera offers 2 modalities for identity verification (speech and face). The sequence of face images and the synchronisation of speech and lip movements could be exploited. Imposture is much more difficult than with single modalities. Many PCs, PDAs, mobile phones are equiped with a camera. Audio-Visual Identity Verification will offer non-intrusive security for e-commerce, e-banking,…

87 Examples of Speaking Faces
Sequence of digits (PIN code) Free text

88 Fusion of Speech and Face
(from thesis of Conrad Sanderson, aug. 2002)

89 An illustration Insecure Network Distant server:
Access to private data Secured transactions Acquisition of biometric signals for each modality Scores are computed for each modality Fusion of scores and decision

90 «MAJORDOME» Vecsys EDF Software602 KTH Euroseek UPC Airtel
Unified Messaging System Eureka Projet no 2340 D. Bahu-Leyser, G. Chollet, K. Hallouli , J. Kharroubi, L. Likforman, S-S. Lin, D. Mostefa, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon

91 Majordome’s Functionalities
Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax MAJORDOME (

92 Voice technology in Majordome
Server side background tasks: continuous speech recognition applied to voice messages upon reception Detection of sender’s name and subject User interaction: Speaker identification and verification Speech recognition (receiving user commands through voice interaction) Text-to-speech synthesis (reading text summaries, s or faxes)

93 Multimodal Identity Verification
M2VTS (face and speech) front view and profile pseudo-3D with coherent light BIOMET: (face, speech, fingerprint, signature, hand shape) data collection reuse of the M2VTS and DAVID data bases experiments on the fusion of modalities

94 BIOMET An extension of the M2VTS and DAVID projects to include such modalities as signature, finger print, hand shape. Initial support (two years) is provided by GET (Groupement des Ecoles de Télécommunications) Looking for partners to initiate a european project Emphasis will be on fusion of scores obtained from two or more modalities.

95 Poste de travail (suite)

96 Perspectives Développement du projet BIOMET. La fusion de modalités.
Réseau d’excellence dans le cadre du 6ème PCRD. La carte à puce comme support des informations biométriques.