Bao LY VAN Doctorant – INT Bao.Ly_Van@int-evry.fr secure contracts signed by mobile phone IST-2002-506883 Bao LY VAN Doctorant – INT Bao.Ly_Van@int-evry.fr France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Plan de Présentation Introduction au projet SecurePhone Modalités utilisées Signature, voix, visage et visage parlant Fusion Base de données: Scénario d’Imposture PKI et Carte à Puce Mise en œuvre sur une plateforme choisie Quelques problèmes à résoudre France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 SecurePhone Projet européen de 30 mois, démaré en janvier 2004 Coût total: plus de 3M euros 8 partenaires européens Objectifs: Signer un document à distance en utilisant l’infra-structure PKI sur un SmartPhone La biométrie est utilisée pour débloquer la carte SIM d’où vient la clé privée Utiliser des modalités non-intrusives: signature, voix, visage et visage parlant Fusion de plusieurs modalités pour avoir un système plus robuste Produire une application conviviale, facile à utiliser et efficace www.secure-phone.info France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Partenaires France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Les partenaires académiques: Algorithmes de vérification biométrique Les partenaires industriels: Mise en œuvre sur les plateformes SmartPhone: interface, PKI… Dissémination France Télécom R&D - Avril 2005

Modalités Biométriques Utilisées Signature manuscrite en-ligne Fusion d’informations de vraisemblance et de chemin de Viterbi données par HMM Voix GMM avec MFCC et ondelettes Dépendant du texte Visage PCA, ondelettes, Contour des lèvres, GMM… Visage Parlant => adaptater aux condition de SmartPhone France Télécom R&D - Avril 2005

Problématique de Fusion de Modalité France Télécom R&D - Avril 2005

Problématique de Fusion de Modalité: Techniques Fusion au niveau des paramètres Synchroniser les paramètres de deux modalités pour construire un seul modèle: ex. visage parlant Méthodes de fusion au niveau des scores: Support Vector Machine Réseaux de neurones Moyenne Arithmétique... Méthodes de fusion au niveau des décisions Règle ET, OU, vote France Télécom R&D - Avril 2005

Problématique de Fusion de Modalité: Stratégies Définir des stratégies de fusion en fonction de l’application, de l’utilisateur, de l’environnement et des modalités... Fusionner à quel niveau? Comment fusionner: en parallèle ou en série… AND, OR... Combien de modalités, quand...? Ne pas pouvoir utiliser la voix quand il y a beaucoup de bruit France Télécom R&D - Avril 2005

Exemple d’un Scénario de Fusion Signature rejetée: REJET Demander la signature Signature Acceptée: SUIVANT Voix rejetée: REJET Voix Acceptée: ACCEPTATION Demander la voix Règle AND: authentication forte France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Base de Données Adaptation des bases de données aux conditions de SmartPhone BANCA pour audio-visuel BIOMET, Philips, SVC2004 et MCYT pour la signature Acquisition d’une nouvelle base de SmartPhone: Vidéo Signature France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Scénario d’Imposture Voix: transformation de fréquence Visage parlant: synthèse des séquences de vidéo Signature: Imitation de l’image de la signature Imitation de la dynamique, du geste France Télécom R&D - Avril 2005

PKI et Carte à Puce Clé privée sauvegardée sur la carte Signature digitale créée sur la carte La biométrie est utilisée pour accéder à la clé privée Réalisé sur la carte à puce France Télécom R&D - Avril 2005

Mise en Œuvre de la Biométrie sur SmartPhone Plateforme choisie: QTEK 2020, système d’exploitation PocketPC Plusieurs fonctions ont été mises en œuvre: Ondelettes, FFT, HMM.. Acquisition de signatures et de séquences de vidéo Versions exécutables pour la signature manuscrite: GINAS (Graphic Identification aNd Authentication using Signature): login pour le SmartPhone SecureSign: démonstration académique France Télécom R&D - Avril 2005

France Télécom R&D - Avril 2005 Quelques Problèmes Problème de synchronisation entre la voix et l’image Carte à puce à puissance limitée: Le calcul de signature digitale sur la carte est-il possible? Complexité des algorithmes biométriques: la vérification biométrique sur la carte à puce est-elle faisable? Si la carte n’est utilisée que pour sauvegarder des modèles biométriques  la taille totale de tous les modèles doit être inférieure à 64 Ko Le SmartPhone a aussi une puissance limitée France Télécom R&D - Avril 2005

Merci de votre attention! secure contracts signed by mobile phone IST-2002-506883 Merci de votre attention! Pour plus d’information Bao.Ly_Van@int-evry.fr Bernadette.Dorizzi@int-evry.fr France Télécom R&D - Avril 2005

Online Handwritten Signature Verification France Télécom R&D - Avril 2005

Fusion of two Complementary Information of the HMM Test Signature HMM input Likelihood Score Viterbi Score output 1 output 2 Fusion Fusion Score Original approach: fusion of HMM likelihood and Viterbi path scores for on-line signature verification HMMs with parameter normalization techniques which improve the performance. Scores are normalized into [0, 1] before fusion Simple arithmetic mean for fusion (no extra training) France Télécom R&D - Avril 2005

Likelihood Score vs Viterbi Path Score Important overlap between clients (+) and impostors (●) when using only one score Viterbi and Likelihood scores complementary France Télécom R&D - Avril 2005

State-of-the-art Result Detection error trade-off curves for test on BIOMET database Fusion performs better Comparison with state-of-the-art: 2nd/12 teams and 6th/15 teams in two SVC2004 tests France Télécom R&D - Avril 2005