UMR 5205 - Virtual arm for the Phantom Limb Pain Therapy Eynard L. and Meyer A. and Bouakaz S. June 2005.

Présentation au sujet: "UMR 5205 - Virtual arm for the Phantom Limb Pain Therapy Eynard L. and Meyer A. and Bouakaz S. June 2005."— Transcription de la présentation:

1 UMR 5205 - Virtual arm for the Phantom Limb Pain Therapy Eynard L. and Meyer A. and Bouakaz S. June 2005

2 2 Presentation summary Introduction and Previous Works Real-Time Posture Rendering The miror effect : Virtual arm Results Conclusion

3 3 Plan Introduction and Previous Works  The Phantom Pain  New Therapies  Following the Movements Real-Time Posture Rendering Miror Effect : Virtual arm Results Conclusion

4 4 The Phantom Pain A phantom pain appears where an amputed limb used to be Why? Physical Amputation ≠ Psychic amputation MIsmatching between brain and reality → Pain Characteristics Strong pain, sometimes debilitating Hard to treat Existing therapies Medicamentous, massage, relaxation, psychotherapies Hopefull new therapies …

5 5 News methods for therapy [Ramachadran96] ISC Lyon [Sirugu03]

6 6 Our idea Following the ISC Lyon idea  filmed person  Moving analysis  Miror  screen  Augmented picture of missing limb  Means:  Move Tracking (vision)  Augmented reality : virtual limb

7 7 Suivi de mouvement (vision) Multi-cameras  Voxelic reconstruction [Mikic03,…]  3D-model : recognition of the skeleton a 3d-grid Monocular (1 camera)  Optical flow  Bayesian methods [Agarwal04,…]  Real-Time [Stenger03,…]  Contraigned moves  Constraigned resolution

8 8 Pour notre système Ours constraints  Temps réel (intéractif)  Monoculaire (système portable)  Contraintes techniques  Contraintes dans le mouvement

9 9 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

10 10 Soustraction de fond Algorithme basé sur un apprentissage  Changement de repère de couleur HSV [Park03]  N images → extremums canaux RVB pour chaque pixels  Recherche de connexité → élimine les bruits

11 11 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

12 12 Mesure anthropométriques Calculer les grandeurs anthropométriques  acquisition des mouvements A partir de 2 poses Extraction de silhouette

13 13 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image

14 14 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image  Descente tant que Nb i (pixelblanc)> Nb i-1 (pixelblanc)

15 15 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image  Descente tant que Nb i (pixelblanc) > Nb i-1 (pixelblanc) → largeur  Descente jusqu'à Nb(pixelblanc) < seuil* largeur → ligne épaule

16 16 Mesure de la tête et du buste Mesure du buste :  Ligne de centre de gravité → largeur du buste  Descente jusqu'à séparation → ligne de fin de buste → hauteur du buste largeur hauteur

17 17 Mesure des bras Pose 1:  Degré et côté de l’amputation  longueur de chaque bras points les plus à droite et à gauche

18 18 Mesure des bras (2) Pose 2

19 19 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

20 20 Contraintes imposées Restrictions des mouvements  Mouvements parallèles au plan de la caméra (« fronto-paralléle »)  Angle du coude identique pour un meilleur effet visuelle  Suivi des déplacements latéraux de la silhouette

21 21 Détection de la tête et du tronc Tête et Tronc  Algorithme de recherche de connexité contraint par les données anthropométriques

22 22 Recherche des articulations Recherche de l’épaule, coude et main Mesures anthropométriques → estimation des positions

23 23 Création du membre manquant Si amputation avant le coude  Repère équivalent du cote amputé et valide  Reprojection des pixels coté valide → côté amputé

24 24 Création du bras virtuel Si amputation après le coude  Repère équivalent du cote amputé et valide  Reprojection des pixels coté valide → côté amputé

25 25 Résultats Travail sur des images 640*480 Utilisation d’une webcam Image traitée entre 160 et 180 ms  Calcul silhouette : 50 à 60 ms  Analyse du mouvement : 50 à 60 ms  Effet miroir : instantané  Filtre Gaussien : 10ms Moyenne de 8 à 10 images par seconde

26 26 Résultats VIDEO

27 27 Conclusion et perspectives Premier dispositif  Reconstruction de mouvement  Robuste sur des mouvements simples  Création du bras virtuel Expérimentation prévu  Collaboration avec l’Institut des sciences cognitives Perspectives  Modèle 3D réaliste  Réactions des amputés Publications  accepté à l ’IEEE ACIDCA-ICMI’05  Soumis à la conférence francophone RFIA 2005

28 28 Merci pour votre attention …

29 29 Ajout du membre → réalité augmentée (RA) Problème générique en RA Cohérence entre réel et virtuel  Texture, aspect  Élément de synthèse construit à partir d’image réelle (cf notre système)  Illumination, Ombre

30 30 Creation du membre manquant amputation humérale  centre de gravité du moignon  obtention d'un axe grâce a al même méthode que pour le bras valide  amputation cubitale  Même méthode que pour le bras valide  Obtention de l'axe du moignon grâce au centre de gravité de la partie après le coude