SYSTEMES MIXTES MOBILES ET COLLABORATIFS Jullien.Bouchet@imag.fr Philippe.Renevier@imag.fr Laurence.Nigay@imag.fr Laboratoire CLIPS-IMAG, équipe IIHM Grenoble En partenariat avec France Télécom – Laurence Pasqualetti et l’IRIT, équipe GRIC – Pascal Salembier

Vers une fusion harmonieuse ?

Plan Système mixte Plate-forme MAGIC TROC Conclusion

Système mixte Deux "mondes" Des tâches mélangeant les deux mondes Les données physiques Les données informatiques Des tâches mélangeant les deux mondes Une augmentation : une interaction (ajout d’information, manipulation) utilisant les entités des deux mondes Un système mixte : une ou plusieurs augmentations

Système mixte mobile L’augmentation dépend de la localisation des utilisateurs (où ils sont et ce qui les entoure) A touring Machine [Feiner 97]

Système mixte collaboratif L’augmentation que perçoit un utilisateur dépend des actions de l’ensemble des utilisateurs. A Collaborative AR System [Kraut 96]

Système mixte mobile et collaboratif L’augmentation dépend de la localisation des utilisateurs et de leurs actions. Deux exemples : MAGIC TROC

Démarche Objectif méthodologique : Objectif technologique : Espace de conception de systèmes mixtes mobiles et collaboratifs Objectif technologique : Une plate-forme matérielle et logicielle générique pour des activités mobiles et collaboratives

Plate-forme Casque + Ecouteurs Réseau sans fils Capteur d’orientation Stylos Tablette + Extenseur de port Réseau sans fils Capteur d’orientation Camera + Micro

Plate-forme Orientation de la caméra / de l’utilisateur Angle de vue à travers le casque Position de la caméra / de l’utilisateur Un objet vu ou capturé Un objet non vu

Plate-forme

MAGIC : Travail sur le terrain de fouille Explorer le site (Mobilité) Travailler en groupe sur le site (Collecticiel) S’informer auprès d’experts distants (Collecticiel) Comparer des objets physiques avec des objets d’une base de données (Augmentation) Accéder aux objets enlevés du site (Augmentation)

MAGIC : vue d’ensemble Sur la tablette : A travers le casque: Communication (forum, mail, etc.) Coordination (carte) Production (outils d’édition) A travers le casque: Combinaison du physique avec l’informatique grâce à la passerelle

Passerelle

Réalité cliquable Manipulation d’une lentille magique Interaction sur la tablette Capture la zone ainsi définie

Terrain augmenté Un archéologue travaille Il trouve un objet La découverte est retirée du site L’objet est sauvegardé dans une base de données Un archéologue approche de où était l’objet La découverte est virtuellement disponible

TROC But du jeu : réunir des objets numériques Le terrain Une liste de quatre objets Quatre cubes physiques Des formules magiques

TROC But du jeu : réunir des objets numériques Le terrain Une liste de quatre objets Quatre cubes physiques Des formules magiques

TROC But du jeu : réunir des objets numériques Le terrain Une liste de quatre objets Quatre cubes physiques Des formules magiques cochon rouge mouche verte vache jaune vache bleue

TROC But du jeu : réunir des objets numériques Le terrain Une liste de quatre objets Quatre cubes physiques Des formules magiques

TROC But du jeu : réunir des objets numériques Le terrain Une liste de quatre objets Quatre cubes physiques Des formules magiques cochon scorpion

Interface de la tablette tactile Menu Formules Liste Gestion des cubes Gestion du piège Historique Carte

Interface dans le casque Temps de jeu Autre objet visible Objet ciblé Niveau d’énergie magique Description de l’objet ciblé Formules actives Messages Œil magique

Terrain augmenté

Manipulation d’objet numérique : vider un cube

Architecture d’implémentation

Magicien d’Oz Simulation du positionnement et de la reconnaissance vocale Interface :

Conclusion Expérimentation Utilisateur Espace de conception