Une introduction à la vérification biométrique de l'identité Gérard CHOLLET chollet@tsi.enst.fr ENST/CNRS-LTCI 46 rue Barrault 75634 PARIS cedex 13 http://www.tsi.enst.fr/~chollet

Plan Pourquoi et comment vérifier d’identité d’un individu ? Modalités biométriques, caractéristiques physiques et comportementales Evaluation Travaux en cours au LTCI : Speaker verification: The CAVE-PICASSO projects (text dependent) The ELISA consortium, NIST evaluations (text independent) The EUREKA !2340 MAJORDOME project Multimodal Identity Verification: The M2VTS and BIOMET projects Fusion de modalités Perspectives

Pourquoi reconnaître l’identité d’une personne ? Identification et Vérification Protection de la propriété individuelle (habitation, compte bancaire, données informatiques, PDA, messagerie, ...) Accès restreint (locaux sécurisés, base de données) Recherche dans une base de données audiovisuelles Qui prend la parole dans une réunion ? Le suspect est-t’il coupable ?

Comment vérifier l’identité d’une personne ? vérifier une connaissance (mot de passe, PIN,...) qui risque d’être oublié par son propriétaire ou usurpé par un imposteur contrôler une possession (passeport, clé, badge,...) qui risque d’être volé mesurer les caractéristiques physiques (visage, empreintes digitales, iris,...) ou comportementales (parole, signature,...) de l’individu une combinaison de ces moyens rend l’imposture plus difficile mais complique l’accès

Modalités en vérification d’identité Bla-bla SECURED SPACE PIN 111111111

Caractéristiques biométriques physiques Visage, Thermogramme facial Empreintes digitales Rétine, Iris Géométrie de la main Veines de la main Forme de l’oreille, des lèvres Code génétique ...

Caractéristiques biométriques comportementalles Parole Ecriture, signature Démarche Rythme de frappe sur un clavier

Propriétés souhaitables d’une caractéristique biométrique facilement mesurable (le code génétique caractérise l’individu mais n’est pas facilement mesurable) performante (en précision, rapidité et coût) unicité (2 personnes ne doivent pas posséder la même caractéristique) permanence (pas de variation temporelle) acceptation par les utilisateurs impossible à dupliquer par un imposteur

Architecture d’un système de reconnaissance biométrique

Apprentissage et Adaptation Pour chaque nouveau client, le système doit faire l’acquisition des caractéristiques biométriques qui serviront de référence. Pour certaines modalités (signature, mot de passe vocal,...), plusieurs répétitions sont souhaitables. Un modèle de référence peut éventuellement être inféré. Ce modèle peut être adapté pour prendre en compte les dérives temporelles.

Reconnaissance Suis-je bien la personne que je prétends être ? Vérification d’identité Qui suis-je ? Identification (dans un ensemble fermé) Imposture

Evaluation en vérification d’identité Deux types d’erreurs : faux rejet (un client légitime est rejeté) fausse acceptation (un imposteur est accepté) Théorie de la décision : étant donné une observation O hypothèse H0 : c’est un imposteur hypothèse H1 : c’est notre client Choix de H1 sssi P(H1|O) > P(H0|O) ce qui se transforme (par la loi de Bayes) en

Distribution des scores

Caractéristique Opérationnelle du Recepteur (COR)

Detection Error Tradeoff (DET) Curve

Empreintes digitales

Empreintes digitales

Minuties

Le visage                            

Caméra infra-rouge                    

Face recognition Best-fit Simplified image ellipse image Rotation Normalized image Erosion and sharpening Simplified image Gradient image Adaptive Hough transform and template matching Snake energy:

Normalisation du contraste Initial Images After Normalization

Rétine

Localisation de l’iris

Iris

Comparaison des caractéristiques de l’iris

Signatures

La démarche

Speaker Verification Typology of approaches (EAGLES Handbook) Text dependent Public password Private password Customized password Text prompted Text independent Incremental enrolment Evaluation

Inter-speaker Variability We were away a year ago.

Intra-speaker Variability We were away a year ago.

Dynamic Time Warping (DTW)

HMM structure depends on the application

Signal detection theory

CAVE – PICASSO http://www.picasso.ptt-telecom.nl/project/

Speaker Verification (text independent) The ELISA consortium ENST, LIA, IRISA, ... http://www.lia.univ-avignon.fr/equipes/RAL/elisa/index_en.html NIST evaluations http://www.nist.gov/speech/tests/spk/index.htm

Gaussian Mixture Model Parametric representation of the probability distribution of observations:

Gaussian Mixture Models 8 Gaussians per mixture

National Institute of Standards & Technology (NIST) Speaker Verification Evaluations Annual evaluation since 1995 Common paradigm for comparing technologies

GMM speaker modeling WORLD GMM MODEL TARGET GMM MODEL GMM MODELING WORLD DATA TARGET SPEAKER Front-end GMM MODELING WORLD GMM MODEL GMM model adaptation TARGET GMM MODEL

Baseline GMM method l WORLD GMM MODEL HYPOTH. TARGET GMM MOD. = Front-end WORLD GMM MODEL Test Speech = LLR SCORE

Support Vector Machines and Speaker Verification Hybrid GMM-SVM system is proposed SVM scoring model trained on development data to classify true-target speakers access and impostors access, using new feature representation based on GMMs Modeling Scoring GMM SVM

SVM principles X y(X) Feature space Input space H Class(X) Ho Separating hyperplans H , with the optimal hyperplan Ho Ho H Class(X)

Results

«MAJORDOME» Vecsys EDF Software602 KTH Euroseek UPC Airtel Unified Messaging System Eureka Projet no 2340 D. Bahu-Leyser, G. Chollet, K. Hallouli , J. Kharroubi, L. Likforman, S-S. Lin, D. Mostefa, D. Petrovska, M. Sigelle, P. Vaillant, F. Yvon

Majordome’s Functionalities Speaker verification Dialogue Routing Updating the agenda Automatic summary Voice Fax E-mail MAJORDOME (

Voice technology in Majordome Server side background tasks: continuous speech recognition applied to voice messages upon reception Detection of sender’s name and subject User interaction: Speaker identification and verification Speech recognition (receiving user commands through voice interaction) Text-to-speech synthesis (reading text summaries, E-mails or faxes)

Multimodal Identity Verification M2VTS (face and speech) front view and profile pseudo-3D with coherent light BIOMET: (face, speech, fingerprint, signature, hand shape) data collection reuse of the M2VTS and DAVID data bases experiments on the fusion of modalities

BIOMET An extension of the M2VTS and DAVID projects to include such modalities as signature, finger print, hand shape. Initial support (two years) is provided by GET (Groupement des Ecoles de Télécommunications) Looking for partners to initiate a european project Emphasis will be on fusion of scores obtained from two or more modalities.

Perspectives Développement du projet BIOMET. La fusion de modalités. Réseau d’excellence dans le cadre du 6ème PCRD. La carte à puce comme support des informations biométriques.