Caméras Infrarouge pour la reconnaissance du visage Hizem Walid Thésard - INT

Plan Caméra différentielle Caméra impulsionelle (Flashcam) Expérimentations Base de données multi-caméras, multi-sessions Conclusion FT R&D – Avril 2005

Motivations Problématique : la reconnaissance par le visage souffre de problèmes dus à l’éclairage Solutions algorithmiques : Égalisation d’histogramme, symétrie du visage, modélisation de les effets d’illumination par HMM. Solutions capteurs : caméra différentielle, caméra à illumination impulsionnelle Objectif : Atténuer les effets d’illumination sur le visage dans un environnement à éclairage variable. Applications : Mobilité ou en extérieur FT R&D – Avril 2005

Caméra différentielle Prototype fabriquée à l’INT, technologie CMOS Interface parallèle avec l’ordinateur (disponible en USB récemment) Résolution : 160*120 FT R&D – Avril 2005

Caméra différentielle : Principe Différence entre deux images successives Une image acquise en mode infra rouge et une image acquise en mode lumière visible LED on Image 1 Li Image 2 LED off LB1 Li Image 1 LB2 Li+1 Image 2 Li+1 Image 1 Image de sortie Opérateur différentiel FT R&D – Avril 2005

Caméra différentielle : Difficultés et solutions Le temps d’acquisition entre les deux images (IR on, IR off) doit être très court. Minimiser le temps d’acquisition d’une image par diminution du temps d’exposition Les caméras différentielles classiques nécessitent un espace mémoire grand Appliquer la différence ligne par ligne au lieu de l’appliquer sur toute l’image au même temps FT R&D – Avril 2005

Caméra à illumination impulsionnelle Basée sur une Web-cam, modifiée à l’INT, technologie CCD Interface USB Alimentation indépendante (batterie) Résolutions : 640*480, 320*280, 160*120 FT R&D – Avril 2005

Caméra à illumination impulsionnelle : Principe Capturer majoritairement la lumière infrarouge Diminuer le temps de d’acquisition de l’image Synchroniser le flash IR avec le temps d’acquisition Lum. Amb Temps d’acquisition t Intensité lumineuse Flash IR Caméra en fonctionnement normal Caméra en fonctionnement IR FT R&D – Avril 2005

Caméra à illumination impulsionnelle vs caméra différentielle Avantages de la caméra impulsionnelle Meilleure résolution : 320*280 au lieu de 160*120 pour la caméra différentielle Facilité d’utilisation : Disponibilité des drivers Avantages de la caméra différentielle Meilleure suppression de la lumière ambiante Caméra différentielle Webcam Flashcam FT R&D – Avril 2005

Base multi caméra Acquisition sous quatre éclairages différents : lumière ambiante, sombre, éclairage profil, éclairage face Acquisition avec différentes caméras : Web-cam classique, caméra différentielle et caméra impulsionnelle Éclairage face Sombre Éclairage profil Lumière ambiante FT R&D – Avril 2005

Base de données 25 personnes 4 sessions par personne 10 images par session Acquisition de face, peu de variabilité Distance variable entre les personnes et l’objectif Détection des yeux manuelles Normalisations : taille, orientation, égalisation d’histogramme FT R&D – Avril 2005

Protocoles de test Les images de référence et de test proviennent de la même session et de la même caméra Les images de référence et de test proviennent de deux sessions différentes mais de la même caméra FT R&D – Avril 2005

Résultats EER Base 1 Base 2 Base 3 Base 4 Camera 1 16% 17,4% 11,4% Protocole 1 : images de test et de référence proviennent de la même caméra et de la même session. EER Base 1 Base 2 Base 3 Base 4 Camera 1 16% 17,4% 11,4% 10,67% Camera 2 6,67% 13,33% 5,33% Camera 3 10,67 % 4% 6,67 % 5,5 % FT R&D – Avril 2005

Résultats (Protocole 2) Protocole 2 : images de test et de référence proviennent de la même caméra mais de sessions différentes EER Base 1vs3 Base 1vs4 Base 2vs3 Caméra1 43,9% 49,33% 55,71% Caméra2 17,33% 24% 19,7% Caméra3 25,33% 28,6% 14,67% FT R&D – Avril 2005

Courbe ROC : Scénario Ec. Ambiant vs Ec. De face FT R&D – Avril 2005

Conclusion Nous avons testé 3 modes d’acquisitions : CCD infrarouge (caméra impulsionelle), CCD lumière visible et CMOS infrarouge (caméra différentielle). Nous avons bâti une base de données d’images de visage avec les trois type de caméra sous différentes conditions d’éclairage (éclairage ambiant, sombre, de face et de profil) Les tests prouvent que l’utilisation de caméras à suppression de lumière ambiante améliore les performances d’un système de reconnaissance basé sur la corrélation. FT R&D – Avril 2005