La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

David Antonio Gómez Jáuregui

Présentations similaires


Présentation au sujet: "David Antonio Gómez Jáuregui"— Transcription de la présentation:

1 David Antonio Gómez Jáuregui
Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis (ED S&I - UEVE) Acquisition 3D des gestes par vision artificielle et restitution virtuelle David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE Examinateurs: Rachid DERICHE André GAGALOWICZ Directrice: Bernadette DORIZZI Encadrant: Patrick HORAIN

2 Application: Environnements Virtuels Collaboratifs (EVCs)
Animation des avatars prédéfinie. Menus difficiles à gérer. La perception des gestes est amoindrie. David Gomez

3 Capteurs pour l’acquisition 3D des gestes
Difficiles à Étalonner !! Optique Magnétique Mécanique Encombrants !! Très chers !! Centrales inertielles David Gomez

4 Acquisition 3D des gestes par vision monoscopique en temps-réel
(Marques Soares et al., 2004) Temps-réel Sans marqueurs Utilisation d’une webcam PC grand public avec puissance variable David Gomez

5 Difficultés Manque d’information de profondeur
Grand nombre de degrés de liberté Occlusions des parties du corps Plusieurs vêtements Proportions du corps différentes Des mouvements imprédictibles Environnements complexes David Gomez

6 Contribution de la thèse
Améliorer la robustesse et la précision de l’acquisition 3D des gestes par vision monoculaire en temps réel. Des analyses expérimentales sont effectuées afin de démontrer l’amélioration des résultats en temps réel. Adaptation à la plateforme. David Gomez

7 Notre approche pour l’acquisition 3D des gestes.
Plan de l’exposé Travaux antérieurs. Notre approche pour l’acquisition 3D des gestes. Recalage sur les régions et les contours. Filtrage particulaire en temps réel avec heuristiques. Démonstration du système. Conclusions et perspectives David Gomez

8 état de l’art de l’acquisition 3D des gestes par vision artificielle
Travaux antérieurs: état de l’art de l’acquisition 3D des gestes par vision artificielle

9 Caractéristiques d’image
La couleur (Broekhuijsen et al., 2006), (Fontmarty et al., 2006), (Bernier et al, 2009) Les silhouettes (Deutscher et al., 2005), (Agarwal et al., 2006), Les contours (Noriega et al., 2007), (Ramanan et al., 2003) Le mouvement (Sminchisescu et al., 2001), (Bregler et al., 2004) (Howe, 2006) (Sminchisescu et al, 2001) David Gomez

10 Estimation de la pose 3D Deux approches (Poppe, 2007) :
Génératives: recalent un modèle 3D du corps en minimisant un coût d’association. Estimation Top-down (Delamarre et al., 2001) , (Sminchisescu et al., 2002) Estimation Bottom-up (Hua et al., 2007), (Noriega et al., 2007) Discriminatives: classer la pose 3D directement à partir des images. Apprentissage d’un mapping (Agarwal and Triggs, 2006) A partir des exemples. (Toyama et al., 2002), (Stenger et al., 2003) David Gomez

11 Modélisation probabiliste du mouvement humain
Haute dimensionnalité Clustering des poses (Caillete et al. 2005) Faible dimensionnalité PCA (Rius et al., 2009) Processus gaussiens (GPLVM, GPDM) (Urtasun et al., 2006) (Urtasun et al., 2006) David Gomez

12 Limitations des travaux antérieurs pour l’acquisition 3D des gestes
 La plupart des approches restent éloignées du temps réel.  Besoin de plusieurs caméras (approches multi-vues).  Peu d’évaluations quantitatives.  Parfois limités à quelques activités spécifiques (marcher, courir, swing pour le golf). David Gomez

13 Notre approche pour l’acquisition 3D
des gestes par vision monoculaire en temps réel

14 Notre approche pour l’acquisition des gestes
Recaler un modèle 3D articulé de la moitié supérieure du corps humain sur des séquences vidéo Vecteur de paramètres de la pose du modèle : 6 paramètres globaux (position & orientation) 17 angles d’articulations David Gomez

15 Approche : recalage 3D / 2D
primitives Evaluation du recalage primitives Contraintes biomécaniques Optimisation du recalage David Gomez

16 Implémentation: étape d’initialisation
David Gomez

17 Recalage sur les régions et recalage sur les contours pour l’acquisition 3D des gestes en temps réel par vision monoscopique

18 Évaluation du recalage : taux de non recouvrement (Ouhaddi, 1999)
? où : m = nombre de classes de couleur Ac = pixels classe c (vidéo segmentée) Bc = pixels classe c (modèle projeté) q = paramètres articulatoires David Gomez

19 Recalage sur les régions : Avantages et inconvénients
 Robustesse à l’initialisation Un recouvrement partiel suffit  Précision limitée Pixels des contours peu nombreux par rapport aux pixels intérieurs David Gomez

20 Recalage sur les contours: Distance résiduelle entre contours
? où : DRC = distance résiduelle entre contours Icd = carte de distance aux contours pi = point de contour occultant N = nombre des points de contours occultants David Gomez

21 Précision du recalage sur les contours
☺ Contours → Recalage plus précis Modèle recalé sur régions Modèle recalé sur contours David Gomez

22 Contrainte du temps-réel
 temps de calcul limité (< 100 ms par image)  nombre d’itérations limité →  précision  Objectif: compromis entre les deux caractéristiques (région colorées et contours) en fonction du nombre d’itérations disponibles. Evaluation du résultat: La robustesse: nombre de décrochages: erreur résiduelle > seuil La précision de la pose 3D proximité à la vérité terrain David Gomez

23 Analyse expérimentale
Expérimentation sur plusieurs séquences vidéo avec divers gestes GRETA Pelachaud et al. David Gomez

24 Taux de non recouvrement (Décrochages)
~200 David Gomez

25 Analyse expérimentale de la robustesse
Recalage sur les régions converge plus vite plus robuste (après 200 itérations) Recalage sur les contours plus précis  Combien d’itérations faut-il allouer à chaque étape afin d’avoir la meilleure précision en temps réel? David Gomez

26 Evaluation de la précision de la pose estimée
D(x,x̃) = erreur résiduelle de la pose 3D xm = coordonnée 3D (vérité terrain) xm = coordonnée 3D (pose estimée) M = nombre d‘articulations David Gomez

27 Modélisation de l’erreur résiduelle 2D
David Gomez

28 Compromis en temps réel
Répartition optimale du nombre d’itérations  Adaptation automatique à la puissance de calcul disponible David Gomez

29 Filtrage particulaire en temps réel avec heuristiques pour l’acquisition 3D des gestes par vision monoscopique

30 Ambigüités des images monoculaires
Plusieurs poses 3D peuvent coïncider avec la même observation 2D David Gomez

31 Suivi avec plusieurs hypothèses
Filtrage particulaire: Approches de Monte-Carlo séquentielles  Flexibles, parallélisables, faciles à implémenter et à modifier David Gomez

32 Filtrage particulaire
Représentation de la f.d.p. par un ensemble de N particules avec des poids associés: particule représentant un état du système poids associé à chaque particule en fonction des mesures. Fonction de vraisemblance: David Gomez

33 Algorithme de filtrage particulaire (Isard and Blake, 1998)
 Limitation: très couteux dans des espaces de haut dimensionnalité David Gomez

34 Mise en œuvre du filtrage particulaire
David Gomez

35 Filtrage particulaire classique (Isard and Blake, 1998)
 Particules mal guidées (200 particules) David Gomez

36 Filtrage particulaire pour l’acquisition 3D des gestes: travaux antérieures
Plusieurs stratégies et améliorations: Filtrage particulaire partitionné (MacCormick et al., 2000) Filtre particulaire avec recuit simulé (Deutscher et al., 2000) Echantillonnage avec l’optimisation locale (Cham et al., 1999), (Sminchisescu and Triggs, 2001) Inférence analytique (Lee et al., 2002) Echantillonnage déterministe (Saboune et Charpillet, 2005) David Gomez

37 Limitations des approches antérieures:
Notre approche du filtrage particulaire pour l’acquisition 3D des gestes Limitations des approches antérieures:  Eloignées du temps réel.  Deux ou plusieurs caméras. Notre approche: nouvelles heuristiques à la méthode de CONDENSATION pour guider les particules dans un espace de grande dimension : Dimension 20 : nombre d’angles articulatoires  En temps-réel → 100 à 500 particules  En traitant les ambigüités 3D / 2D David Gomez

38 Limitation du rééchantillonnage probabiliste
Utilisation des poids comme probabilités d’occurrence des particules (Gordon, 1993). Propagation de particules avec des poids faibles  Temps de calcul limité → pas assez de particules Solution : rééchantillonnage déterministe pour propager uniquement les particules avec des poids importants. Resampling Prediction Measurement David Gomez

39 Rééchantillonnage déterministe par poids
Particules avec poids faibles → pas d’enfant Particules avec poids forts → famille de particules David Gomez

40 Rééchantillonnage déterministe: contribution à la précision 3D et robustesse
Précision réduite par rapport au nombre d’itérations Réduction du nombre de décrochages. David Gomez

41 Limitation de la prédiction
Échantillonnage aléatoire de tous les paramètres à chaque instant.  Les particules n'explorent pas l'espace d‘état de manière efficace. Solution: appliquer la diffusion aléatoire uniquement aux parties du corps qui ont bougé d’une trame à l’autre. Resampling Prediction Measurement David Gomez

42 Échantillonnage partitionné basée mouvement
Détection de mouvement Echantillonnage partitionné David Gomez

43 Échantillonnage partitionné basée mouvement: contribution à la précision 3D et robustesse
Amélioration de la précision pour les gestes avec du mouvement fronto parallèle Amélioration de la robustesse: meilleure performance sur les gestes avec du mouvement fronto parallèle David Gomez

44 Limitation de la prédiction
Échantillonnage aléatoire:  Grand nombre de particules pour explorer l’espace d’état. Solution: optimisation locale pour guider de façon déterministe les groupes de particules vers les minimums. Resampling Prediction Measurement David Gomez

45 Prédiction avec l’optimisation locale et échantillonnage aléatoire
Grands groupes → descente du simplex Petits groupes → échantillonnage aléatoire David Gomez

46 Prédiction avec l’optimisation locale: contribution à la précision 3D et robustesse
Pas d’amélioration de la précision: l’optimisation locale ne peut pas gérer les ambigüités 3D / 2D  Amélioration du recalage 2D  Pas d’amélioration de la précision 3D David Gomez

47 Limitation de la prédiction dans les images monoculaires
Plusieurs poses 3D peuvent générer la même projection 2D (Ambigüités).  La sélection de la mauvaise pose 3D conduit aux décrochages. Solution: générer analytiquement plusieurs hypothèses qui donnent la même projection (Sminchisescu and Triggs 2003). Resampling Prediction Measurement David Gomez

48 Echantillonnage par sauts-cinématiques
David Gomez

49 Echantillonnage par sauts-cinématiques: contribution à la précision 3D et robustesse
 Pas d’amélioration significative  Amélioration de la robustesse: meilleure performance sur les gestes avec du mouvement vers la profondeur David Gomez

50 Limitation du suivi de la pose 3D dans des image monoculaires
 Les angles articulatoires ne permettent pas de modéliser l’incertitude de la profondeur. Solution: un paramétrage qui permet de séparer l’incertitude de la profondeur et l’incertitude dans le plan image. Resampling Prediction Measurement David Gomez

51 Changement de paramétrage (suivi avec le bout de la chaine cinématique)
David Gomez

52 Changement de paramétrage: contribution à la précision 3D
Amélioration de la précision pour les gestes avec des mouvements vers la profondeur Amélioration de la robustesse: meilleure performance sur les mouvements vers la profondeur David Gomez

53 Accélération par GPU Number of particles CPU (Native C++) GPU (OpenCL)
100 27 ms 1.4 ms 300 40 ms 2.5 ms 500 76 ms 6.5 ms 700 110 ms 17 ms Resampling Prediction Measurement David Gomez

54 Algorithme de filtrage particulaire en temps réel avec heuristiques
Particules parents Rééchantillonnage Particules enfants Prédiction Echant. Partitionné + End-effector Sauts Cinématiques Mesurer Buffer (GPU) David Gomez

55 Résultat du filtrage particulaire avec heuristiques: précision 3D
 Amélioration significative de la précision 3D pour toutes les séquences vidéo (80 – 120 mm). David Gomez

56 Résultat du filtrage particulaire avec heuristiques: robustesse
 Amélioration significative de la robustesse pour toutes les séquences vidéo. David Gomez

57 Filtrage particulaire en temps réel avec heuristiques: Résultats qualitatifs
 Acquisition 3D des gestes plus précise et robuste avec un faible nombre de particules (200). David Gomez

58 Filtrage particulaire en temps réel avec heuristiques: résultats qualitatifs
Résultats antérieurs (Marques Soares et al., 2004) Résultats actuels David Gomez

59 Démonstration

60 Conclusions et perspectives

61 Contributions principales de la thèse
Implémentation de méthodes d’initialisation pour l’acquisition 3D des gestes par vision monoculaire en temps réel. Un compromis entre régions et contours est proposé en fonction de la puissance de calcul disponible. Un filtrage particulaire hybride qui combine plusieurs heuristiques afin de gérer les ambigüités 3D/2D avec un nombre faible de particules. David Gomez

62 Perspectives: travaux futurs
Utilisation de flot optique pour améliorer l’acquisition des rotations du corps. Détection de parties du corps. Suivi de la pose 3D dans un espace de faible dimension (e.g. GPDMs). Incorporation de l’information de profondeur (TOF, Kinect). Applications potentielles: interaction homme-machine ou robot, surveillance automatique. David Gomez

63 Je vous remercie de votre attention.
David Gomez

64 Publications David Antonio Gomez Jauregui, Patrick Horain, Manoj Kumar Rajagopal, Senanayak Sesh Kumar Karri. “Real-Time Particle Filtering with Heuristics for 3D Motion Capture by Monocular Vision”, IEEE International Workshop on Multimedia Signal Processing 2010 (MMSP'10), Saint-Malo, France, October 4-6, 2010 David Antonio Gomez Jauregui, Patrick Horain, « Acquisition 3D des gestes par vision artificielle et restitution virtuelle ». A3DM '10 : Journée scientifique du colloque "Analyse 3d du mouvement", juin 2010, Poitiers, France, 2010 Patrick Horain, José Marques Soares, Dianle Zhou, Zhenbo Li, David Antonio Gomez Jauregui, Yannick Allusse, “Perceiving and rendering users in a 3D interaction”, Proceedings of the Second IEEE International Conference on Intelligent Human Computer Interaction (IHCI 2010), January 16-18, 2010, Allahabad, India, Springer (ISBN ), pp Zhenbo Li, Jun Yue, David Antonio Gómez Jáuregui, "A new virtual reality environment used for e-Learning", IEEE International Symposium on IT in Medicine & Education, August 2009 (ITIME '09 external), Vol. 1, p David Gomez

65 Publications David Antonio Gómez Jáuregui, Patrick Horain, « Recalage sur les contours et recalage sur les régions pour l'acquisition 3D des gestes en temps réel par vision monoscopique », Actes en ligne d'ORASIS'09 - Congrès des jeunes chercheurs en vision par ordinateur, Trégastel, France, 8 au 12 juin 2009. David Antonio Gómez Jáuregui, Patrick Horain, "Region-based vs. edge-based registration for 3D motion capture by real time monoscopic vision", Proceedings of MIRAGE 2009, 4-6 May, 2009, INRIA Rocquencourt, France, A. Gagalowicz and W. Philips (Eds.), LNCS 5496, Springer-Verlag, 2009, pp. 344–355. David Antonio Gómez Jáuregui, Patrick Horain & Fawaz Baroud, « Acquisition 3D des gestes par vision monoscopique en temps réel », Actes de MajecSTIC 2008, Marseille, 29 au 31 octobre 2008. David Gomez


Télécharger ppt "David Antonio Gómez Jáuregui"

Présentations similaires


Annonces Google