J’ai dansé avec machine Repenser les rapports entre l’homme et son environnement Guillaume HUTZLER Bernard GORTAIS Jean-Daniel ZUCKER LaMI Université d’Evry hutzler@lami.univ-evry.fr LIP6 Université Paris 6 {bernard.gortais, jean-daniel.zucker}@lip6.fr Yann ORLAREY Philippe JOLY Grame orlarey@rd.grame.fr IRIT Université Toulouse 3 joly@irit.fr Soutiens : Programme Robea (Robotique et entités artificielles) France Telecom R&D

Contexte Développement des concepts de : wearable computing ubiquitous computing amorphous computing disappearing computers informatique diffuse Multiplication et diffusion des objets communicants capacités (limitées) de traitement communication perception et/ou action ex : téléphones et ordinateurs portables, PDA, capteurs divers, écrans, robots, etc.

Problématiques Recherche orientée sur la technologie réseaux radio mise en communication d’objets exportation d’interface annuaires de services Nouvelles problématiques d’organisation Nouvelles problématiques d’interaction interaction 1-1 : phicon interaction 1-n : commande contrôle conception

Démarche adoptée Transposer le problème dans le cadre d’une performance chorégraphique mettant en scène un danseur et un ensemble d’objets communicants mise en place d’un dialogue multimodal temps-réel entre le danseur et son environnement multimodalité dans l’expression du danseur multimodalité dans l’expression du système création d’une scénographie dans le cadre d’un spectacle interactif complet Utiliser le champ créatif comme catalyseur de recherches en informatique champ d’expérimentation grandeur nature

Schéma général d’interaction Système Informatique Perception Expression Danseur Humain Metteur en scène

Représentation d’une performance Description de la performance à différents niveaux d’abstraction (B. Gortais) ontologie de qualités Analyse C A P T E U R S Données brutes Niveau 1 Niveau 2 Niveau 3 Représentation de la séquence comportementale Emotions : gai/triste, tonique/fatigué etc. Qualités : lent/rapide, ouvert/fermé etc. Primitives : vitesse, direction, intensité etc. Utilisation de notations musicales pour représenter et manipuler des séquences temporelles (Y. Orlarey)

Capture des mouvements Analyse en temps réel des mouvements d’une personne dans un environnement quotidien à l’aide des informations d’une caméra unique sans appareillage de la personne Deux sous-objectifs : définir un modèle du corps humain et l’algorithme d'appariement qui permettra d'évaluer les paramètres du modèle sur une image vidéo 2D (P. Joly) mettre au point des techniques permettant l’apprentissage, à partir d’exemples, de l’ontologie définie (J.-D. Zucker) ex : associer une mesure de vitesse à une qualité subjective de lenteur ou de rapidité

Fusion multi-capteurs temps-réel Contraintes : le système doit fonctionner en temps-réel les différents capteurs peuvent avoir des rythmes d’acquisition des données sensiblement différents fréquences d’échantillonnage différentes analyse de certaines données sur une fenêtre temporelle les différentes données sont de natures très diverses le système doit continuer à fonctionner si l’on ajoute ou si l’on enlève dynamiquement certains capteurs Objectifs (G. Hutzler) : mettre en place une plate-forme de gestion et d’exécution d’agents d’analyse des données expérimenter  modes d’organisation pour la construction collective d’une représentation de la performance

Phase 2 du projet Choix d’une réponse par le système programmation par démonstration apprentissage par dialogue en langage naturel Synthèse visuelle et musicale apprendre à exprimer l’ontologie de qualités dans une modalité d’expression donnée apprendre à mélanger différentes modalités d’expression Apprentissage d’une mise en scène donner les moyens de décrire de manière simple une trame générale pour une mise en scène