Modèle d’interaction pour les systèmes mixtes Céline Coutrix Ma thèse s’inscrit dans le domaine de l’interaction homme machine, et plus précisement je travaille sur les systèmes interactifs qualifiés de mixtes -> Laurence Nigay, Directrice de thèse

Motivation fusion des mondes physique et numérique beaucoup d’applications Les systèmes mixtes vise la fusion des mondes physiques et numériques. Des systèmes ont été développés dans de nombreux domaines d’applications, comme… -> Engouement pour les systèmes mixtes, MAIS

Motivation analyse évaluation conception développement Nous ne maîtrisons pas encore suffisement le cycle de conception des systèmes mixtes. Notamment pour les étapes de conception et de développement/prototypage. ET peu de résultats sont capitalisés au sein d’un unique cadre de conception ->d’où les objectifs développement

Objectifs Aide à la conception Aide au développement Description Exploration Classification Aide au développement Mon travail de thèse à pour objectif d’aider la conception Pour aider la conception, j’ai cherché un modèle d’interaction qui decrive les systemes mixtes dans leur ensemble, decloisant des paradigmes d'interaction comme la RA ou les interfaces tangibles Qui permette d’explorer de façon systèmatique l’espace de conception Qui puisse les classer Le second objectif est l’aide au développement/prototypage : il s’agit de pouvoir prototyper rapidement un système conçu avec le modèle d’interaction. -> Pour atteindre ces objectifs, ma démarche scientifique est la suivante :

Démarche scientifique Étude de l’existant Travaux conceptuels + Systèmes mixtes Outils logiciels Modèle d’interaction mixte Descriptif Génératif Comparatif Outil logiciel Pour atteindre ces objectifs, ma démarche scientifique est la suivante : Ici on voit l’aide à la conception et l’aide au développement. À chaque itération, pour le modèle d’interaction mixte: Une étude des travaux conceptuels existants permet d’identifier les travaux validés par la communauté scientifique qu’il convient de capitaliser La 1ère version du modèle d’interaction est construite à partir de ces travaux. Un premier entrainement du modèle est fait grâce à l’étude de systèmes mixtes existants, et grâce à la conception de systèmes mixtes Ce qui permet d’avoir des éléments pour améliorer le modèle d’interaction, et ainsi de suite… À chaque itération, pour le développement d’un outil logiciel lié au modèle Une étude des outils logiciels existants permet bien positionner mon outil vis-a-vis des autres outils et plateformes existants pour en cerner la portee, la complementarite avec d'autres outils et donc son apport De capitaliser dans le nouvel outil certaines caractéristiques des outils logiciels validés par la communauté scientifique Le prototypage des sytèmes mixtes conçus permet le développement de l’outil logiciel et son entrainement sur des cas pratiques. Je vais illustrer le résultat de cette démarche sur un des systèmes conçus et développés : ORBIS. -> Conception de systèmes mixtes Développement de systèmes mixtes RAZZLE, ORBIS, Snap2Play

Exemple d’ORBIS Profiter de ses données personnelles (ex.: photos) Ancrer dans le monde physique ORBIS va permettre d’illustrer l’aide à la conception apportée par le modèle d’interaction mixte, Grâce à ses pouvoirs génératifs et comparatifs. ORBIS a été motivé par la collaboration avec un designer qui voulait créer un système pour manipuler des donnés personnelles (comme les photos) en étant ancré dans le monde physique. !!!! A JUSTIFIER L’objet de la tâche du système est donc une liste de photos, comme des photos de vacances. On décide donc de faire une liste de photos mixte. -> Le modèle d’interaction mixte définit l’objet mixte.

Modèle d’Interaction Mixte objet physique propriétés physiques objet mixte propriétés physiques numériques ? objet numérique propriétés numériques Modalités d’Interaction m = (d, l) parole = (microphone, langage pseudo-naturel)

Modèle d’Interaction Mixte Modalités de liaison propriétés physiques propriétés numériques dispositif d’entrée langage d’entrée dispositif de sortie langage de sortie

Exploration de l’espace de conception Liste de photos Dans l’exemple d’ORBIS, ce modèle de l’objet mixte nous permet d’explorer l’espace de conception. L’objet est originellement numérique, et on veut l’augmenter. Nous avons identifié ses propriétés numériques : La liste des fichiers de photos numériques.

Classification des options de conception acquises non perceptibles non acquises non perceptibles acquises perceptibles Le pouvoir comparatif du modèle d’interaction mixte permet de choisir en phase de conception entre différentes options: Ici, on a le choix entre 4 classes de propriétés numériques: Une propriété numérique est acquise et/ou perceptible. -> Dans le cas de notre liste de photos numériques, nous choisissons… non acquises perceptibles

Classification des options de conception -> Dans le cas de notre liste de photos numériques, nous choisissons évidemment de les rendre perceptibles. Elles ne seront pas acquises, car chargées au préalable dans le systèmes. Liste de photos

Exploration de l’espace de conception Liste de photos Pour concevoir la modalité de liaison en sortie, le modèle d’interaction mixte fournit un cadre pour la conception : Nous choisisons un modalité visuelle pour rendre les photos. Plusieurs dispositifs de liaison sont possibles : … Plusieurs langage de liaison associé sont aussi possibles : …

Classification des options de conception taille résolution dynamique statique global Pour choisir entre ces différentes options de conception, le modèle capitalise des caractéristiques issues de travaux existants: Par exemple ici, on peut choisir ainsi un dispositif petit et avec suffisement de résolution : un mini-écran. Puis un langage adapté local (qui ne rend pas perceptible l’ensemble de l’information) et dynamique : un diaporama. local

Exploration de l’espace de conception Liste de photos La modalité de liaison conçue crée la première propriété physique de notre objet augmenté : l’image. On conçoit aussi la matière et la forme de l’objet en collaboration avec le designer. -> Finalement, on remarque que l’orientation de l’image n’est pas conservée. Image Matière Forme

Exploration de l’espace de conception Lorsqu’on tourne l’objet mixte, l’image tourne aussi. -> au contraire, on aimerait pouvoir …

Exploration de l’espace de conception -> On aimerait pouvoir tourner l’objet sans que l’orientation de l’image soit affectée Comme on le voit ici.

Exploration de l’espace de conception Liste de photos Image Matière Forme Orientation1 Orientation2 -> dans l’exemple d’ORBIS, on veut considérer l’orientation.

Classification des options de conception captées non générées non captées non générées captées générées Le modèle d’interaction mixte permet de classer les propriétés physiques. Les propriétés physiques peuvent être … -> dans l’exemple d’ORBIS, … non captées générées

Classification des options de conception Orientation1 Matière Forme -> Dans l’exemple d’ORBIS, L’image est générée mais pas captée, la matière et la forme de l’objet n’est ni générée ni captée Et maintenant nous considérons l’orientation, pour la capter et la générer avec l’image, -> on choisit donc ue modalité de liaison en entrée. Image Orientation2

Exploration de l’espace de conception (caméra, vision) (acceleromètres, transformation1) (magnétomètre, transformation2) Liste de photos Haut Image Matière Forme Orientation On choisit donc une modalité de liaison en entrée pour capter l’orientation. De la même façon que pour la liaison en sortie, on a le choix entre … En l’état, le modèle d’interaction mixte ne permet pas de choisir. Parfois, il est nécessaire de prototyper et évaluer pour pouvoir choisir entre les options. -> On a donc besoin d’un outil logiciel pour prototyper rapidement les différentes options de conception et faire un choix.

Objectifs Aide à la conception Aide au développement Description Classification Exploration Aide au développement WRAP UP … On a besoin d’un outil logiciel pour prototyper rapidement les différentes options de conception et faire un choix. -> Pour ce faire, notre démarche scientifique a été d’étudier au préalable les outils logiciels existants, et de prototyper le système ORBIS en utilisant mon outil logiciel en cours de développement.

Aide au developpement L’idée de l’outil logiciel, c’est de fournir des composants logiciels correspondants aux niveaux d’abstraction de l’objet mixte que je viens de présenter Pour prototyper rapidement un objet mixte.

Aide au développement On voit ici que l’interface graphique fournit au développeur pour contrôler et évaluer l’objet mixte au niveau logiciel, avant l’évaluation ergonomique. Elle suit le cadre du modèle d’interaction mixte.

Travail en cours Étude de l’existant Modèle d’interaction mixte Travaux conceptuels + Systèmes mixtes Outils logiciels Modèle d’interaction mixte Descriptif Comparatif Génératif Outil logiciel Le travail en cours pour cette dernière année de thèse s’articulera principalement autour de l’outil logiciel en en cours de realisation. Je souhaiterai aussi experimenter avec des concepteurs/créateurs le modele mixte et son outil et étudier en particulier la collaboration entre le concepteur et l'informaticen qui utilise l'outil. J'envisage de conduire cette experimentation avec des collegues de l’école nationale des arts décoratifs à paris. Conception de systèmes mixtes Développement de systèmes mixtes RAZZLE, ORBIS, Snap2Play

QUESTIONS? Questions?