Environnement de Réalité Augmentée Collaboratif : Manipulation d’Objets Réels et Virtuels Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG Hi, We present some works on augmented reality. We will describe method for calibration and interactive scene editing. iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF

Motivations Réalité Augmentée (RA) Intégration R+V Réalité (R) Métaphores naturelles de communications (verbales, gestuelles expressions) interaction 3D intuitive Réalité Virtuelle (RV) Simulation, Animation Calculs Complexes Informations évolutives Malheureusement systeme peu satisfaisant difficultés d’interactions 3D, coupure totale monde complexifie la collaboration. Reunion espace action perception. La RA consiste a integrer des objets virtuels dans notre environnement réel ce qui nous permet d’interagir avec les objets des 2 mondes.

Motivations Applications Visualisation scientifique Architecture, urbanisme Ingénierie Jeu Éducation ..Etc.. Techniques interactions inspirer réel ou magique (pas correspondants reels). Mise en œuvre rapide d’ une sessio,n

Motivations But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur. Difficultés: Calibrage et Alignement des deux mondes. Erreur de mesures + latence (délai mesure-vision). Techniques d’interaction intuitive. Intégration visuelle des deux mondes (occultations, éclairage). Gestion multi-utilisateurs. But : environnement de réalité augmentée manipuler objet réel et virtuel pour plusieurs utilisateurs. Techniques interactions inspirer réel ou magique (pas correspondants reels). Mise en œuvre rapide d’ une session. Approche : (simplicité, rapidité) / (fiabilité, robustesse)

Etat de l ’Art Approche Réalité Virtuelle [Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96] Approche Interface Homme-Machine [Well1ner91], [Krueger91], [Rekimoto94], [Berrard99] Projet KARMA : Première démonstration de faisabilité (guide de Maintenance) Projet KARMA premiere demonstration de faisabilité (guide de maintenance)

Etat de l ’Art Système collaboratif en RA [Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01] [Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99] Studierstube application multi-utilisateurs. Repose sur palette PIP. EMMIE propose integrer espace virtuel.

Plan Motivations et Etat de l’Art Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques d’interactions Gestion multi-utilisateurs Conclusion et Futurs Travaux

Architecture Logicielle But : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés. Approche : Architecture modulaire + Configuration par fichier XML. Application Gestion Objets ( chargement, droit, initialisation..) Gestion Interactions ( Navigation, Manipulations, Outils) Gestion matériel (capteur, graphique, vidéo, son..) Gestion Utilisateurs (configuration, initialisation ) OpenGL Performer, AL, VL, Qt Unix, X

Gestion matériel But : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système. Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plug’n calib’ n play » ([Studierstube]). Complexité masqué par fichier configuration XML ([RS01]). Application Calibrage + Configuration p->GetData() Fichier XML Environnement

Configuration : Petit Groupe Configuration centralisé : utilisateur autour d’une table : collaboration face à face. Aire partagée et Aire privée. Aire partagée Our multi-user environment is a around-table configuration. With this choice we can have a face to face collaboration, and maintain easy gesture and verbal communication. A table is a perfect Furthermore, a sitting position is more realistic for long period of use like a work session.We divide the area in two parts with private zone where private information are displays to user like virtual menu or to have real object and shared zone where real and virtual object are placed for itneraction. People communicate through this shared zone. Aire personnelle (menu virtuel, donnée privée)

Configuration : Environnement Informatique Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids. Interaction: stylo facilement utilisable. Tracking: capteur magnétique rapide, pas de ligne de visibilité. For the hardware configuration we are based on a optical see-through HMD for the visualiwation. This choice is justify by conservation of direct view between user, personnal display for user specific information and easy installation of this kind of HMD. Moreover contrray to video-see through HMD we have no video latency. We use a stylus for interaciton with virtual and real element. This device is very easy to use (known by the user), and we can do complex movements with low computation. For the tracking we actually use a flock of birds system with two receptor. It ’s a fast tracking system with some noise but with no line of sight constraint.

Plan Motivations et Etat de l’Art Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques d’interactions Gestion multi-utilisateurs Conclusion et Futurs Travaux

Calibrage But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]). Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide. HMD Calibration World CS Image CS Transmitter CS Receptor CS Emitter CS Eye CS Head CS Tip CS Pen Calibration World Calibration

Calibrage : Méthode Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel. Calibrage du stylo ([Fuhrmann99], [Tuceryan95]) : orienter le stylo dans 4 directions très représentatives. Calibrage du monde ([Fuhrmann99], [Tuceryan95]): sélection de 4 points du plateau. Point fixe P1 P4 P3 P2

Calibrage : Résultats 2 cm Erreur largement acceptable pour un grand nombre d’applications. Erreur Dynamique : Filtrage de Kalman ([Azuma94]).

Plan Motivations et Etat de l’Art Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques d’interactions Gestion multi-utilisateurs Conclusion et Futurs Travaux

Manipulations d ’objets But : manipulation intuitive des objets. Approche : « retour haptique » favorise interaction. => contact avec la table. => respect de la gravité. Métaphore naturelle / Métaphore virtuelle ([Kato00]). Outils dans la zone personnelle de l’utilisateur (déplacer, tourner, détruire, ajout d’objets).

Manipulations d ’objets : Déplacement objets Approche : adapté des méthodes réels (pas de « clic »). Saisir, Soulever, Déplacer Toucher, Pousser

Déplacement d’objets Méthode « Lever-Déplacer » Stylo Objet virtuel Plan de travail

Déplacement d’objets Méthode « Glisser » Animation du déplacement Stylo Objet virtuel Plan de travail

Ajout d ’objets But : ajouter objets réels et virtuels de façon dynamique ([Szalavari97], [Kato00]). Approche : -Ajouter des objet virtuels : menu virtuels. -Ajouter des objets réels : digitaliser ces objets. Pourquoi ? Décor (statique), TUI (dynamiques). Quel Type ? Modèle connu/inconnu. On ajoute des objets réels pour retour haptique, tui, gravité. Besoins: occultations (« black render »). Respects des lois de phy. (ex gravité). Manipulation « awareness ».

Ajout d ’objets : modèle connu But: obtenir la transformation entre le repère de l’objet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle. Object CS Objet réel Objet virtuel

Ajout d ’objets : modèle connu pion réel

Ajout d ’objets : modèle inconnu But:obtenir la position et la géométrie de l’objet générique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 5 DOF P1

Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 2 DOF P1 P2

Ajout d ’objets : modèle inconnu But:obtenir la position et la géometrie de l’objet génerique (cube, cylindre, cone, ..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. 0 DOF P1 P2

Ajout d ’objets : modèle inconnu Poser dessus + occulter

Tangible User Interface (TUI) But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]). Contraintes: un capteur et plusieurs objets réels à manipuler. Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés. On attache si on souhaite bp manipulation, plus facile que stylo. Soit on attache un capteur a l’objet de facon statique : magnetique, tracking optique..Etc.. Soit on attache temporairement. Objets réel

Passage RA/RV But : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion) ([Kiyokawa99], [Kato00]). Approche : « plonger dans la scène ». ( WIM [Stoakley95]). t1 t1 Exocentric(RA) egocentric (RV) montrer que changer de vue très important. t2 Arbres t2 Personnage Plan de travail

Multi-utilisateurs But : Informations suivant le rôle d’un utilisateur. Approche : vue personnelle ( [Smith96], [Agrawala97], [Szalavari98], [Butz99]). Matrice creuse pour chaque objet. Utilisateur Visibilité Déplacement Annotation Défaut Architecte Maurice Clients Joe Robert

Multi-Utilisateurs : résultats Vue Maître de Jeu Vue Joueur 1 Vue Joueur 2

Vidéos

Conclusions et Futurs Travaux Environnement de RA basé sur une architecture souple. Support # utilisateurs, # périphériques, # données. Techniques de manipulation d’objets réels et virtuels dans un même espace (stylo « mixte » + TUI). Simulation dans l’espace de travail. Réalisme de l’intégration : éclairage, ombres. Occultations mains, doigt, bras. Déplacement d’objets sans capteurs (TUI + « Real Reality »). Évaluation. Nouveau capteurs optique + casque vidéo . Parle pas de : annotation 3D, annotation sonore/visuel. Teleconference. Peindre directement sur objet réel. Changer texture avec texture réel. Architecture modèle contruction avec stylo. Suivre main au lieu stylo. Pas coder plusieurs users.

Travaux précédents Interactions avec des objets réels Whitaker[1995] Shared Space[1999] Build-IT[1997]

Reconaissance de geste Problème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu Extension à une trajectoire complexe : successions de segments Ex : “CFC “

Premier prototype

Le stylo mixte

Interaction 3D

Plan Motivations et Etat de l’Art Configuration : Petit Groupe et Environnement Informatique Architecture Logiciel Gestion Souple du Materiel Configuration de Test Nouvelles Techniques d ’interactions Manipulation d ’Objets Ajout d ’objets Passage RA<->RV: exocentric egocentric Gestion multi-utilisateurs Conclusion et Futurs Travaux