Université de La Rochelle Laboratoire Informatique Image Interaction Laboratoire L3i Université de La Rochelle Avenue Michel Crépeau La Rochelle Cedex 1 Société XD Productions 49 bd Général Valin Paris Conception de Système Interactif à Exécution Adaptative Capture de Mouvements Contextualisée Francois Picard XD Productions, R&D Department Paris, France +33(0) Pascal Estraillier Image, Informatics and Interaction Laboratory (L3i), Department of Informatics, University of La Rochelle, France Website: +33(0) Journée de laction ADAPT 08/09/2009, Toulouse

Motivations Développement dapplications scénarisées Entertainment & Edutainment Expérience de lutilisateur originale, enrichissante & divertissante -Applications de type Jeu Vidéo -Interface non invasive et non limitative -Interaction directe, pilotée par les gestes du corps de lutilisateur -Adaptation des réactions du système en fonction du comportement de lutilisateur -Immersion dans un environnement virtuel 2/13

Projection Internal and external parameters N projected silhouettes Motion Capture 2D dynamic forces application Delamarre Q. « Suivi du mouvement dobjets articulés dans des séquences dimages vidéo » Body positions and rotations N cameras Segmentation N extracted silhouettes Le Cyberdôme Société XD Productions Principe du processus de capture de mouvements 3/13

4/13 Motion Capture Data Interpreter Scenario Scenario & Scene Manager USERUSER COMPUTERCOMPUTER Computers Response Users Action Acquisition Device Restitution Device Scene Visual Restitution User Mouvements INTERFACESSYSTEM CORE Immersion Mocap Data Normalized Representation 3D Description 3D Events Scene Description Scene Events Behavior Interpretation Behavior Characterization Scene Description & Events Observed Behavior Scenario & Scene State Evaluation Scenario Support COGNITIONCOGNITION

5/13 Problèmes & Solutions Représentation du scénario ? Apport du scénario au niveau de linterprétation ? Résolution des ambigüités de sens pour un comportement donné ? Complexité du système interactif ? Modélisation et gestion du contexte au sein du système Nouvelle perception dune situation donnée Cadre détude plus adaptée pour une situation donnée Réduit le nombre dambigüités de sens => Interprétation plus fiable des données

Représentation du scénario Situation dInteraction Elémentaire 6/13

Représentation du scénario Contextualisation 7/13 (t+1) (t+2) (t) Contextualized Situation User Computer Contextualized Situation User Computer Contextualized Situation User Computer (t) (t+1) (t+2) Context Point of View

Support du scénario pour linterprétation Le contexte dune situation implique un comportement précis de la part de lutilisateur => Comparaison du mouvement observé et du mouvement attendu Mesure de la différence entre deux mouvements 8/13 Behavior Semantic Description Movement Rules Ontology – based interpretation Behavior Ontology Characterization Process Scene Knowledge - Model Focus - 3D Poses - Model – World Connections

Réduction des ambigüités de sens Réactions adaptées du système Réinjection des résultats de linterprétation dans le système => Orientation des traitements en fonction de linterprétation du comportement de lutilisateur Orientation de la capture de mouvements -> Vision parallèle de la scène capturée Orientation de la gestion de lenvironnement 3D -> Activation / Désactivation découtes dévénements 3D Orientation (non imposée !) du joueur -> Utilisation de limmersion 9/13

Optimisation du système Boucles vertueuses Réinjection des résultats de linterprétation dans le système => Fermeture du système en boucles contrôlées 3 boucles vertueuses -> au niveau du système de capture -> au niveau du système dimmersion -> au niveau du joueur Traitements adaptés au comportement attendu -> Nest traité que ce qui est nécessaire systématiquement Anticipation des ressources software & hardware -> Résultats plus précis et plus fiables -> Diminution du nombre derreurs et dincertitudes possibles 10/13

USERUSER COMPUTERCOMPUTER Scene Visual Restitution User Mouvements Cognition Processes Scenario Management Processes Immersion Processes Motion Capture Processes Mocap Data Normalized Representation Virtual Scene Description Virtual Scene Events Virtual Scene Features Behavior Interpretation Expected Behavior Rules & Behavior Acceptance Conditions Current Context Object User Orientation via Immersion Focus On Scene Events Context Manager Focus On Model 11/13 Management du contexte au sein du système interactif

Interprétation du comportement 1)Règles caractérisant le mouvement de lutilisateur 2)Connections Model-World 3)Evénements 3D Identifications des informations contextuelles 1)Comportement attendu 2)Conditions dacception du comportement observé 3)Mesures immersives pour orienter le joueur 4)Model Focus 5)3D Event Focus 12/13 Informations contextuelles

USERUSER Scene Visual Restitution User Mouvements Motion Capture Device Interpreter Mocap Data Movement Characterization Model-World Connection Immersion Device Normalized Representation Context Manager Model + 3D Basis Mapping World Description Observed Mvt Observed Connections Scenario Model Scene Description Scenario Manager Scene Manager Interpreter Behavior Interpretation Observed Events Scene State Evaluation 3D Scene Description 3D EventsScene Events Scene Description Characterization Comparison Connection Comparison 3D events Comparison Distance Interpretation Expected Mvt Expected Connections Expected Events Distances Conditions on Distances for Behavior Acceptance Current Context Object User Orientation via Immersion Events Focus Interpreter 3D Events Focus Model Focus Mocap Orientation Opt: Model + 3D Basis Mapping 13/13

Merci pour votre attention Design de Système Interactif à Exécution Adaptative Capture de Mouvements Contextualisée