La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis (ED S&I - UEVE) Acquisition 3D des gestes par vision artificielle et restitution.

Présentations similaires


Présentation au sujet: "Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis (ED S&I - UEVE) Acquisition 3D des gestes par vision artificielle et restitution."— Transcription de la présentation:

1 Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis (ED S&I - UEVE) Acquisition 3D des gestes par vision artificielle et restitution virtuelle David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE Examinateurs: Rachid DERICHE André GAGALOWICZ Directrice: Bernadette DORIZZI Encadrant: Patrick HORAIN

2 Application: Environnements Virtuels Collaboratifs (EVCs) David Gomez2 Animation des avatars prédéfinie. Menus difficiles à gérer. La perception des gestes est amoindrie.

3 Capteurs pour lacquisition 3D des gestes Optique David Gomez3 Centrales inertielles MagnétiqueMécanique Très chers !! Encombrants !! Difficiles à Étalonner !!

4 Acquisition 3D des gestes par vision monoscopique en temps-réel Temps-réel Sans marqueurs Utilisation dune webcam PC grand public avec puissance variable David Gomez4 (Marques Soares et al., 2004)

5 Difficultés Manque dinformation de profondeur Grand nombre de degrés de liberté Occlusions des parties du corps Plusieurs vêtements Proportions du corps différentes Des mouvements imprédictibles Environnements complexes 5David Gomez

6 Contribution de la thèse Améliorer la robustesse et la précision de lacquisition 3D des gestes par vision monoculaire en temps réel. Des analyses expérimentales sont effectuées afin de démontrer lamélioration des résultats en temps réel. Adaptation à la plateforme. David Gomez6

7 Plan de lexposé I. Travaux antérieurs. II. Notre approche pour lacquisition 3D des gestes. III. Recalage sur les régions et les contours. IV. Filtrage particulaire en temps réel avec heuristiques. V. Démonstration du système. VI. Conclusions et perspectives David Gomez7

8 Travaux antérieurs: état de lart de lacquisition 3D des gestes par vision artificielle

9 Caractéristiques dimage La couleur (Broekhuijsen et al., 2006), (Fontmarty et al., 2006), (Bernier et al, 2009) Les silhouettes (Deutscher et al., 2005), (Agarwal et al., 2006), Les contours (Noriega et al., 2007), (Ramanan et al., 2003) Le mouvement (Sminchisescu et al., 2001), (Bregler et al., 2004) David Gomez9 (Sminchisescu et al, 2001) (Howe, 2006)

10 Estimation de la pose 3D Deux approches (Poppe, 2007) : Génératives: recalent un modèle 3D du corps en minimisant un coût dassociation. 1.Estimation Top-down (Delamarre et al., 2001), (Sminchisescu et al., 2002) 2.Estimation Bottom-up (Hua et al., 2007), (Noriega et al., 2007) Discriminatives: classer la pose 3D directement à partir des images. 1.Apprentissage dun mapping (Agarwal and Triggs, 2006) 2.A partir des exemples. (Toyama et al., 2002), (Stenger et al., 2003) David Gomez10

11 Modélisation probabiliste du mouvement humain Haute dimensionnalité Clustering des poses (Caillete et al. 2005) Faible dimensionnalité PCA (Rius et al., 2009) Processus gaussiens (GPLVM, GPDM) (Urtasun et al., 2006) David Gomez11 (Urtasun et al., 2006)

12 Limitations des travaux antérieurs pour lacquisition 3D des gestes La plupart des approches restent éloignées du temps réel. Besoin de plusieurs caméras (approches multi- vues). Peu dévaluations quantitatives. Parfois limités à quelques activités spécifiques (marcher, courir, swing pour le golf). David Gomezpage 12

13 Notre approche pour lacquisition 3D des gestes par vision monoculaire en temps réel

14 David Gomez14 Notre approche pour lacquisition des gestes Recaler un modèle 3D articulé de la moitié supérieure du corps humain sur des séquences vidéo Vecteur de paramètres de la pose du modèle : 6 paramètres globaux (position & orientation) 17 angles darticulations

15 Approche : recalage 3D / 2D David Gomez15 primitives Evaluation du recalage Optimisation du recalage Contraintes biomécaniques

16 Implémentation: étape dinitialisation David Gomez16

17 Recalage sur les régions et recalage sur les contours pour lacquisition 3D des gestes en temps réel par vision monoscopique

18 David Gomez18 Évaluation du recalage : taux de non recouvrement (Ouhaddi, 1999) ? où : m = nombre de classes de couleur A c = pixels classe c (vidéo segmentée) B c = pixels classe c (modèle projeté) q = paramètres articulatoires

19 Recalage sur les régions : Avantages et inconvénients Robustesse à linitialisation Un recouvrement partiel suffit Précision limitée Pixels des contours peu nombreux par rapport aux pixels intérieurs David Gomez19

20 ? Recalage sur les contours: Distance résiduelle entre contours où : D RC = distance résiduelle entre contours I cd = carte de distance aux contours p i = point de contour occultant N = nombre des points de contours occultants David Gomez20

21 David Gomez21 Précision du recalage sur les contours Contours Recalage plus précis Modèle recalé sur régions Modèle recalé sur contours

22 Contrainte du temps-réel Temps réel temps de calcul limité (< 100 ms par image) nombre ditérations limité précision Objectif: compromis entre les deux caractéristiques (région colorées et contours) en fonction du nombre ditérations disponibles. Evaluation du résultat: La robustesse: -nombre de décrochages: erreur résiduelle > seuil La précision de la pose 3D -proximité à la vérité terrain David Gomez22

23 Analyse expérimentale David Gomez23 Expérimentation sur plusieurs séquences vidéo avec divers gestes GRETA Pelachaud et al.

24 Taux de non recouvrement (Décrochages) David Gomez24 ~200

25 Analyse expérimentale de la robustesse Recalage sur les régions converge plus vite plus robuste (après 200 itérations) Recalage sur les contours plus précis Combien ditérations faut-il allouer à chaque étape afin davoir la meilleure précision en temps réel? David Gomez25

26 Evaluation de la précision de la pose estimée David Gomezpage 26 où : D(x,x̃) = erreur résiduelle de la pose 3D x m = coordonnée 3D (vérité terrain) x m = coordonnée 3D (pose estimée) M = nombre darticulations

27 Modélisation de lerreur résiduelle 2D David Gomezpage 27

28 Compromis en temps réel David Gomezpage 28 Répartition optimale du nombre ditérations Adaptation automatique à la puissance de calcul disponible

29 Filtrage particulaire en temps réel avec heuristiques pour lacquisition 3D des gestes par vision monoscopique

30 Ambigüités des images monoculaires David Gomezpage 30 Plusieurs poses 3D peuvent coïncider avec la même observation 2D

31 Suivi avec plusieurs hypothèses Filtrage particulaire: Approches de Monte-Carlo séquentielles Flexibles, parallélisables, faciles à implémenter et à modifier David Gomezpage 31

32 Filtrage particulaire David Gomezpage 32 Représentation de la f.d.p. par un ensemble de N particules avec des poids associés: particule représentant un état du système poids associé à chaque particule en fonction des mesures. Fonction de vraisemblance:

33 Algorithme de filtrage particulaire (Isard and Blake, 1998) David Gomezpage 33 Limitation: très couteux dans des espaces de haut dimensionnalité

34 Mise en œuvre du filtrage particulaire David Gomezpage 34

35 Filtrage particulaire classique ( Isard and Blake, 1998) David Gomezpage 35 Particules mal guidées (200 particules)

36 Filtrage particulaire pour lacquisition 3D des gestes: travaux antérieures Plusieurs stratégies et améliorations: Filtrage particulaire partitionné -(MacCormick et al., 2000) Filtre particulaire avec recuit simulé -(Deutscher et al., 2000) Echantillonnage avec loptimisation locale -(Cham et al., 1999), (Sminchisescu and Triggs, 2001) Inférence analytique -(Lee et al., 2002) Echantillonnage déterministe -(Saboune et Charpillet, 2005) David Gomezpage 36

37 Notre approche du filtrage particulaire pour lacquisition 3D des gestes Limitations des approches antérieures: Eloignées du temps réel. Deux ou plusieurs caméras. Notre approche: nouvelles heuristiques à la méthode de CONDENSATION pour guider les particules dans un espace de grande dimension : Dimension 20 : nombre dangles articulatoires En temps-réel 100 à 500 particules En traitant les ambigüités 3D / 2D David Gomezpage 37

38 Limitation du rééchantillonnage probabiliste Utilisation des poids comme probabilités doccurrence des particules (Gordon, 1993). Propagation de particules avec des poids faibles Temps de calcul limité pas assez de particules Solution : rééchantillonnage déterministe pour propager uniquement les particules avec des poids importants. David Gomezpage 38 Resampling PredictionMeasurement

39 Rééchantillonnage déterministe par poids Particules avec poids faibles pas denfant Particules avec poids forts famille de particules David Gomezpage 39

40 Rééchantillonnage déterministe: contribution à la précision 3D et robustesse David Gomezpage 40 Précision réduite par rapport au nombre ditérations Réduction du nombre de décrochages.

41 Limitation de la prédiction Échantillonnage aléatoire de tous les paramètres à chaque instant. Les particules n'explorent pas l'espace détat de manière efficace. Solution: appliquer la diffusion aléatoire uniquement aux parties du corps qui ont bougé dune trame à lautre. David Gomezpage 41 Resampling PredictionMeasurement

42 Échantillonnage partitionné basée mouvement David Gomezpage 42 Détection de mouvementEchantillonnage partitionné

43 Échantillonnage partitionné basée mouvement: contribution à la précision 3D et robustesse David Gomezpage 43 Amélioration de la précision pour les gestes avec du mouvement fronto parallèle Amélioration de la robustesse: meilleure performance sur les gestes avec du mouvement fronto parallèle

44 Limitation de la prédiction Échantillonnage aléatoire: Grand nombre de particules pour explorer lespace détat. Solution: optimisation locale pour guider de façon déterministe les groupes de particules vers les minimums. David Gomezpage 44 Resampling PredictionMeasurement

45 Prédiction avec loptimisation locale et échantillonnage aléatoire David Gomezpage 45 Grands groupes descente du simplex Petits groupes échantillonnage aléatoire

46 Prédiction avec loptimisation locale: contribution à la précision 3D et robustesse David Gomezpage 46 Pas damélioration de la précision: loptimisation locale ne peut pas gérer les ambigüités 3D / 2D Amélioration du recalage 2D Pas damélioration de la précision 3D

47 Limitation de la prédiction dans les images monoculaires Plusieurs poses 3D peuvent générer la même projection 2D (Ambigüités). La sélection de la mauvaise pose 3D conduit aux décrochages. Solution: générer analytiquement plusieurs hypothèses qui donnent la même projection (Sminchisescu and Triggs 2003). David Gomezpage 47 Resampling PredictionMeasurement

48 Echantillonnage par sauts-cinématiques David Gomezpage 48

49 Echantillonnage par sauts-cinématiques: contribution à la précision 3D et robustesse David Gomezpage 49 Pas damélioration significative Amélioration de la robustesse: meilleure performance sur les gestes avec du mouvement vers la profondeur

50 Limitation du suivi de la pose 3D dans des image monoculaires Les angles articulatoires ne permettent pas de modéliser lincertitude de la profondeur. Solution: un paramétrage qui permet de séparer lincertitude de la profondeur et lincertitude dans le plan image. David Gomezpage 50 Resampling PredictionMeasurement

51 Changement de paramétrage (suivi avec le bout de la chaine cinématique) David Gomezpage 51

52 Changement de paramétrage: contribution à la précision 3D David Gomezpage 52 Amélioration de la précision pour les gestes avec des mouvements vers la profondeur Amélioration de la robustesse: meilleure performance sur les mouvements vers la profondeur

53 Accélération par GPU David Gomezpage 53 Number of particles CPU (Native C++) GPU (OpenCL) ms1.4 ms ms2.5 ms ms6.5 ms ms17 ms Resampling PredictionMeasurement

54 Algorithme de filtrage particulaire en temps réel avec heuristiques David Gomezpage 54 Particules parents Particules enfants Sauts Cinématiques Echant. Partitionné + End-effector Buffer (GPU) Rééchantillonnage Prédiction Mesurer

55 Résultat du filtrage particulaire avec heuristiques: précision 3D David Gomezpage 55 Amélioration significative de la précision 3D pour toutes les séquences vidéo (80 – 120 mm).

56 Résultat du filtrage particulaire avec heuristiques: robustesse David Gomezpage 56 Amélioration significative de la robustesse pour toutes les séquences vidéo.

57 Filtrage particulaire en temps réel avec heuristiques: Résultats qualitatifs David Gomezpage 57 Acquisition 3D des gestes plus précise et robuste avec un faible nombre de particules (200).

58 Filtrage particulaire en temps réel avec heuristiques: résultats qualitatifs David Gomezpage 58 Résultats antérieurs (Marques Soares et al., 2004) Résultats actuels

59 Démonstration

60 Conclusions et perspectives

61 Contributions principales de la thèse 1) Implémentation de méthodes dinitialisation pour lacquisition 3D des gestes par vision monoculaire en temps réel. 2) Un compromis entre régions et contours est proposé en fonction de la puissance de calcul disponible. 3) Un filtrage particulaire hybride qui combine plusieurs heuristiques afin de gérer les ambigüités 3D/2D avec un nombre faible de particules. David Gomezpage 61

62 Perspectives: travaux futurs Utilisation de flot optique pour améliorer lacquisition des rotations du corps. Détection de parties du corps. Suivi de la pose 3D dans un espace de faible dimension (e.g. GPDMs). Incorporation de linformation de profondeur (TOF, Kinect). Applications potentielles: interaction homme-machine ou robot, surveillance automatique. David Gomezpage 62

63 Je vous remercie de votre attention. David Gomez63

64 Publications 1) David Antonio Gomez Jauregui, Patrick Horain, Manoj Kumar Rajagopal, Senanayak Sesh Kumar Karri. Real-Time Particle Filtering with Heuristics for 3D Motion Capture by Monocular Vision, IEEE International Workshop on Multimedia Signal Processing 2010 (MMSP'10), Saint-Malo, France, October 4-6, ) David Antonio Gomez Jauregui, Patrick Horain, « Acquisition 3D des gestes par vision artificielle et restitution virtuelle ». A3DM '10 : Journée scientifique du colloque "Analyse 3d du mouvement", juin 2010, Poitiers, France, ) Patrick Horain, José Marques Soares, Dianle Zhou, Zhenbo Li, David Antonio Gomez Jauregui, Yannick Allusse, Perceiving and rendering users in a 3D interaction, Proceedings of the Second IEEE International Conference on Intelligent Human Computer Interaction (IHCI 2010), January 16-18, 2010, Allahabad, India, Springer (ISBN ), pp ) Zhenbo Li, Jun Yue, David Antonio Gómez Jáuregui, "A new virtual reality environment used for e-Learning", IEEE International Symposium on IT in Medicine & Education, August 2009 (ITIME '09 external), Vol. 1, p David Gomezpage 64

65 Publications 5) David Antonio Gómez Jáuregui, Patrick Horain, « Recalage sur les contours et recalage sur les régions pour l'acquisition 3D des gestes en temps réel par vision monoscopique », Actes en ligne d'ORASIS'09 - Congrès des jeunes chercheurs en vision par ordinateur, Trégastel, France, 8 au 12 juin ) David Antonio Gómez Jáuregui, Patrick Horain, "Region-based vs. edge-based registration for 3D motion capture by real time monoscopic vision", Proceedings of MIRAGE 2009, 4-6 May, 2009, INRIA Rocquencourt, France, A. Gagalowicz and W. Philips (Eds.), LNCS 5496, Springer-Verlag, 2009, pp. 344–355. 7) David Antonio Gómez Jáuregui, Patrick Horain & Fawaz Baroud, « Acquisition 3D des gestes par vision monoscopique en temps réel », Actes de MajecSTIC 2008, Marseille, 29 au 31 octobre David Gomezpage 65


Télécharger ppt "Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis (ED S&I - UEVE) Acquisition 3D des gestes par vision artificielle et restitution."

Présentations similaires


Annonces Google