Equipe : VAISSET Antoine, MATHEOSSIAN Dimitri

Présentation au sujet: "Equipe : VAISSET Antoine, MATHEOSSIAN Dimitri"— Transcription de la présentation:

1 Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires
Equipe : VAISSET Antoine, MATHEOSSIAN Dimitri Encadrant : E. GUILLOU, M. BARNACHON Janvier 2011

2 Plan Reconnaissance de la langue des signes Détections de la main
Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

3 Reconnaissance de la langue des signes
Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

4 Reconnaissance de la langue des signes - Détails
Reconnaître les lettres d’une langue des signes Restrictions : Alphabet Français Temps réelle Une seule caméra (qualité grand public) Pas de capteur

5 Reconnaissance de la langue des signes - Différents langages
LDS Française LDS Américaine

6 Reconnaissance de la langue des signes - Les étapes
Pour reconnaître un signe il faut : Au préalable avoir une BDD de signes : Et pendant l’acquisition d’image : Détecter la main Récupérer des informations Les comparer

7 Reconnaissance de la langue des signes
Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

8 Détections de la main Détection de la couleur de peau
Sélection d’une plage de couleurs Soustraction de fond

9 Reconnaissance de la langue des signes
Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

10 Méthodes testées Défauts de convexité
[En: convexity defects] Figure 1 Figure 2

11 Méthodes testées Défauts de convexité
[En: convexity defects] Figure 1 Figure 2 Figure 3

12 Méthodes testées Moments de Hu
[En: Hu moments] Même méthode que les défauts de convexités, mais : Nombre de valeurs à comparer fixés à 7 Calculs différents Valeurs invariantes après mise à l’échelle et/ou rotation Simple à mettre en place Moins performants que les descripteurs de Fourrier (15 à 17% de reconnaissance en plus)

13 Méthodes testées Recherche de modèles
[En: template matching]

14 Méthodes testées Recherche de modèles

15 Reconnaissance de la langue des signes
Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

16 Améliorations à apporter
Détection de la main (variation de luminosité) Recherche de critères discriminants Recherche et implémentation d’un classificateur

17 Reconnaissance de la langue des signes
Détections de la main Récupérer et comparer les données Défauts de convexité (convexity defects) Moments de Hu (Hu moments) Recherche de modèles (template matching) Améliorations à apporter Conclusion

18 Conclusion