Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires Equipe : VAISSET Antoine, MATHEOSSIAN Dimitri Encadrant : E. GUILLOU, M. BARNACHON Janvier 2011
Plan Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Reconnaissance de la langue des signes - Détails Reconnaître les lettres d’une langue des signes Restrictions : Alphabet Français Temps réelle Une seule caméra (qualité grand public) Pas de capteur
Reconnaissance de la langue des signes - Différents langages LDS Française LDS Américaine
Reconnaissance de la langue des signes - Les étapes Pour reconnaître un signe il faut : Au préalable avoir une BDD de signes : Et pendant l’acquisition d’image : Détecter la main Récupérer des informations Les comparer
Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Détections de la main Détection de la couleur de peau Sélection d’une plage de couleurs Soustraction de fond
Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Méthodes testées Défauts de convexité [En: convexity defects] Figure 1 Figure 2
Méthodes testées Défauts de convexité [En: convexity defects] Figure 1 Figure 2 Figure 3
Méthodes testées Moments de Hu [En: Hu moments] Même méthode que les défauts de convexités, mais : Nombre de valeurs à comparer fixés à 7 Calculs différents Valeurs invariantes après mise à l’échelle et/ou rotation Simple à mettre en place Moins performants que les descripteurs de Fourrier (15 à 17% de reconnaissance en plus)
Méthodes testées Recherche de modèles [En: template matching]
Méthodes testées Recherche de modèles
Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Améliorations à apporter Détection de la main (variation de luminosité) Recherche de critères discriminants Recherche et implémentation d’un classificateur
Reconnaissance de la langue des signes Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion
Conclusion