UMR Virtual arm for the Phantom Limb Pain Therapy Eynard L. and Meyer A. and Bouakaz S. June 2005

2 Presentation summary Introduction and Previous Works Real-Time Posture Rendering The miror effect : Virtual arm Results Conclusion

3 Plan Introduction and Previous Works  The Phantom Pain  New Therapies  Following the Movements Real-Time Posture Rendering Miror Effect : Virtual arm Results Conclusion

4 The Phantom Pain A phantom pain appears where an amputed limb used to be Why? Physical Amputation ≠ Psychic amputation MIsmatching between brain and reality → Pain Characteristics Strong pain, sometimes debilitating Hard to treat Existing therapies Medicamentous, massage, relaxation, psychotherapies Hopefull new therapies …

5 News methods for therapy [Ramachadran96] ISC Lyon [Sirugu03]

6 Our idea Following the ISC Lyon idea  filmed person  Moving analysis  Miror  screen  Augmented picture of missing limb  Means:  Move Tracking (vision)  Augmented reality : virtual limb

7 Suivi de mouvement (vision) Multi-cameras  Voxelic reconstruction [Mikic03,…]  3D-model : recognition of the skeleton a 3d-grid Monocular (1 camera)  Optical flow  Bayesian methods [Agarwal04,…]  Real-Time [Stenger03,…]  Contraigned moves  Constraigned resolution

8 Pour notre système Ours constraints  Temps réel (intéractif)  Monoculaire (système portable)  Contraintes techniques  Contraintes dans le mouvement

9 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

10 Soustraction de fond Algorithme basé sur un apprentissage  Changement de repère de couleur HSV [Park03]  N images → extremums canaux RVB pour chaque pixels  Recherche de connexité → élimine les bruits

11 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

12 Mesure anthropométriques Calculer les grandeurs anthropométriques  acquisition des mouvements A partir de 2 poses Extraction de silhouette

13 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image

14 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image  Descente tant que Nb i (pixelblanc)> Nb i-1 (pixelblanc)

15 Mesure de la tête et du torse Pose 1 : mesure de la tête  Point le plus haut dans l'image  Descente tant que Nb i (pixelblanc) > Nb i-1 (pixelblanc) → largeur  Descente jusqu'à Nb(pixelblanc) < seuil* largeur → ligne épaule

16 Mesure de la tête et du buste Mesure du buste :  Ligne de centre de gravité → largeur du buste  Descente jusqu'à séparation → ligne de fin de buste → hauteur du buste largeur hauteur

17 Mesure des bras Pose 1:  Degré et côté de l’amputation  longueur de chaque bras points les plus à droite et à gauche

18 Mesure des bras (2) Pose 2

19 Plan Introduction et travaux précédents Reconstruction temps réel de la posture  Apprentissage du fond  Mesures anthropométriques  Suivi des mouvements Effet miroir : ajout du bras virtuel Résultats Conclusion

20 Contraintes imposées Restrictions des mouvements  Mouvements parallèles au plan de la caméra (« fronto-paralléle »)  Angle du coude identique pour un meilleur effet visuelle  Suivi des déplacements latéraux de la silhouette

21 Détection de la tête et du tronc Tête et Tronc  Algorithme de recherche de connexité contraint par les données anthropométriques

22 Recherche des articulations Recherche de l’épaule, coude et main Mesures anthropométriques → estimation des positions

23 Création du membre manquant Si amputation avant le coude  Repère équivalent du cote amputé et valide  Reprojection des pixels coté valide → côté amputé

24 Création du bras virtuel Si amputation après le coude  Repère équivalent du cote amputé et valide  Reprojection des pixels coté valide → côté amputé

25 Résultats Travail sur des images 640*480 Utilisation d’une webcam Image traitée entre 160 et 180 ms  Calcul silhouette : 50 à 60 ms  Analyse du mouvement : 50 à 60 ms  Effet miroir : instantané  Filtre Gaussien : 10ms Moyenne de 8 à 10 images par seconde

26 Résultats VIDEO

27 Conclusion et perspectives Premier dispositif  Reconstruction de mouvement  Robuste sur des mouvements simples  Création du bras virtuel Expérimentation prévu  Collaboration avec l’Institut des sciences cognitives Perspectives  Modèle 3D réaliste  Réactions des amputés Publications  accepté à l ’IEEE ACIDCA-ICMI’05  Soumis à la conférence francophone RFIA 2005

28 Merci pour votre attention …

29 Ajout du membre → réalité augmentée (RA) Problème générique en RA Cohérence entre réel et virtuel  Texture, aspect  Élément de synthèse construit à partir d’image réelle (cf notre système)  Illumination, Ombre

30 Creation du membre manquant amputation humérale  centre de gravité du moignon  obtention d'un axe grâce a al même méthode que pour le bras valide  amputation cubitale  Même méthode que pour le bras valide  Obtention de l'axe du moignon grâce au centre de gravité de la partie après le coude