Le Projet BIOMET II Vérification biométrique multimodale de l’identité Bernadette DORIZZI , GET/INT Sonia SALICETTI, GET/INT

Plan Pourquoi la Biométrie ? BIOMET II dans la suite de BIOMET: objectifs Principales réalisations de BIOMET II Base de donnée multimodale Quelques résultats unimodaux Résultats de Fusion L’après BIOMET

Pourquoi la Biométrie ? Besoins accrus en terme de sécurité Les systèmes de vérification standards : cartes à codes, badges magnétiques présentent des inconvénients : perte, vol, falsification L’usage de la biométrie reste encore très limité: problème d ’acceptabilité, de performances, d’usages, de législation...

Pourquoi utiliser plusieurs modalités biométriques? Modalités intrusives (iris, empreintes digitales) plutôt fiables , versus modalités non intrusives (visage, voix, signatures dynamiques) moins performantes Utilisation conjointe : fiabiliser les performances Utilisation alternative : s’adapter aux situations d’usage

BIOMET II dans la suite de BIOMET Le projet BIOMET, coordonné par Marc SIGELLE, GET/ENST (projet incitatif 2001) Rappel des objectifs de BIOMET Créer une base de donnée multimodale : 5 modalités visage voix signature en-ligne empreintes digitales forme de la main Mettre au point des systèmes de vérification unimodaux Tester des stratégies de fusion

BIOMET: Participants ELDA : validation/distribution des données INT: vérification de signatures en-ligne reconnaissance de visages sur images issues d'une caméra infra-rouge Fusion de scores ENST: vérification du locuteur reconnaissance de visages sur images issues d'un système d'acquisition 3D implémentation d ’algorithmes biométriques sur carte à puce EURECOM: reconnaissance de visages sur images issues d'une caméra numérique empreintes digitales ELDA : validation/distribution des données

La Base BIOMET Définition de protocoles d’acquisition, d’enregistrement et de sauvegardes par modalités, réalisation d’un logiciel Biblos 3 campagnes d’acquisition échelonnées de 3 mois environ (prise en compte de la variabilité temporelle) environ 130 personnes enregistrées

Poste de travail et protocoles d’acquisition 5 modalités « réparties » sur 3 postes : Image de la main, signature dynamique et empreintes digitales Visage : caméra infrarouge + caméra 3D Visage + parole caméra vidéo numérique

Poste de travail (suite)

Scanner : forme de la main Scanner HP Validation des données Extraction de points caractéristiques dans les images de main (projet ENST)

Caméra numérique Modèle DCR-TR20-E Vidéo + parole Stockage numérique sur cassette DV sur Memory Stick : pleine résolution (1152 x 864) Validation des données (stage ENST)

Caméra infrarouge Indépendant de l’illumination visible Fiabilité d’acquisition Premiers résultats de vérification à confirmer (stage INT)

Système d’acquisition 3D Charles Beumier, ENST Lumière structurée Fiabilité d’acquisition Faible coût mémoire Rapidité algorithmique Prototype avec flash / diapositive En développement pour la couleur (acquisition de la texture) Illumination non uniforme Couleurs imparfaites de la diapositive

Capteurs d’empreintes digitales SAGEM Morpho Touch Scores d’identification GEMPLUS PC TOUCH 430

Signatures dynamiques S. Salicetti, INT Tracé dynamique (x,y) Pression dynamique Orientation dynamique Validation des données Implantation d’un système de vérification à base de HMM

Signatures dynamiques (suite) Acquisition d’une signature Acquisition d’une imitation

Activités carte à puce J. Leroux les Jardins, ENST Réalisation d’un algorithme de vérification d’empreintes digitales Stockage sur carte à puces des minuties Vérification d’identité associée (extraction de caractéristiques sur le PC, mise en correspondance sur la carte)

Vérification du locuteur Evaluations NIST pour la parole (ENST) ModèleS GMM et arbre de classification Adaptation des reconnaisseurs au locuteur basés sur l’usage de voix propres (Eurecom) Voix propres et clustering de locuteurs Prise en compte des accents et des variations lexicales des locuteurs

Reconnaissance de visages en images fixes (Eurecom) modélisation de la transformation à effectuer pour apparier diverses variations d’un visage d’une personne plutôt que sur la modélisation directe des variations du visage; Approche composée d’une mosaïque d’appariements locaux et flexibles sous la contrainte d’une cohérence globale supervisée par une chaîne de Markov cachée bidimensionnelle (HMM 2-D)

Premiers résultats Validation (partielle) en reco. de visages, avec des résultats significatifs sur la base Feret. 500 personnes pour l’apprentissage et 500 pour les tests (2 images / personnes). Taux dídentification de lórdre de 96 à 97% (ref. Fisherfaces ~93%)

Fusion bimodale parole-signature ENST-INT Base de chimères: 38 signataires de la base de PHILIPS 38 locuteurs de la base POLYVAR Modèle HMM de vérification de signatures (INT) Modèle HMM de vérification de locuteurs (ENST) Fusion par un modèle à base d’apprentissage de type SVM (Support Vector Machine)

Fusion bimodale (suite) Résultats 1.75% 3.00% 2.63% SVM 4.56% 5.11% 4.94% Cov. Inverse 5.61% 9.31% 8.20% Moy. Arith. 7.72% 11.56% 10.41% Parole 17.89% 4.35% 8.41% Signatures FR FA TE Modèle

Conclusion : multimodalité biométrique Une simple fusion de scores permet de fiabiliser les performances des systèmes unimodaux : ceci a déjà été vérifié dans le contexte parole-visage (projets IST : M2VTS, BANCA) Des questions : Quel algorithme de fusion? Combien de modalités fusionner? De quelles qualités? Est-ce que la fusion améliore toujours les performances? Compromis complexité (implantation) / performance etc…

BIOMET : rayonnement Publications : 21 publications (ICASSP, AVBPA, ICSLP, ICPR etc…) A noter une publication commune à AVBPA 03 (base BIOMET) Liens avec le COST 275 (Biometrics on Internet), présentation à FT R&D, Sagem, Thalès ID etc… Co-organisation du Workshop Multimodal User Authentication, Santa Barbara, Dec 11-12, 03 Etc…

Prolongements ultérieurs Enregistrement d’une base de donnée complémentaire à l’Université de Fribourg (Suisse) Renforcement du partenariat industriel : Thalès, Gemplus, Sagem, BougueTélecom Rédaction d’un livre en français coordination Eurecom Développer des statégies de fusion plus complexes: rejet, hiérarchie de modalités, alternatives etc… Développer la relation usages-modalités-interfaces (projet incitatif GET, BIOLAB en cours)

Projets en cours de montage : TRUST-eS (projet MEDEA +) , le GET coordonne le WP biométrie BIOSECURE : le GET coordonne la proposition pour un NoE du FP6 Proposition d’une AS biométrie dans le RTP 13, sécurité Proposition d’une ACI Sécurité informatique : « Biométrie et multimodalités » (LIA, Eurecom, INT, CLIPS Participation à des montages de projets IP et STREPS dans le cadre FP6