La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

IMAGIS-GRAVIR / IMAG Environnement de Réalité Augmentée Collaboratif : Manipulation dObjets Réels et Virtuels Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG.

Présentations similaires


Présentation au sujet: "IMAGIS-GRAVIR / IMAG Environnement de Réalité Augmentée Collaboratif : Manipulation dObjets Réels et Virtuels Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG."— Transcription de la présentation:

1 iMAGIS-GRAVIR / IMAG Environnement de Réalité Augmentée Collaboratif : Manipulation dObjets Réels et Virtuels Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG iMAGIS est un projet joint entre CNRS,INRIA,INPG and UJF

2 iMAGIS-GRAVIR / IMAG Motivations Réalité Augmentée (RA) Intégration R+V Réalité (R) Métaphores naturelles de communications (verbales, gestuelles expressions) interaction 3D intuitive Réalité Virtuelle (RV) Simulation, Animation Calculs Complexes Informations évolutives

3 iMAGIS-GRAVIR / IMAG Motivations Applications –Visualisation scientifique –Architecture, urbanisme –Ingénierie –Jeu –Éducation..Etc..

4 iMAGIS-GRAVIR / IMAG Motivations Difficultés: –Calibrage et Alignement des deux mondes. –Erreur de mesures + latence (délai mesure-vision). –Techniques dinteraction intuitive. –Intégration visuelle des deux mondes (occultations, éclairage). –Gestion multi-utilisateurs. But : proposer un environnement de réalité augmentée collaboratif multi-utilisateur. Approche : (simplicité, rapidité) / (fiabilité, robustesse)

5 iMAGIS-GRAVIR / IMAG Etat de l Art Approche Réalité Virtuelle [Feiner92], [Bajura92], [Sims94], [Azuma94], [Tuceryan94], [State96] Approche Interface Homme-Machine [Well1ner91], [Krueger91], [Rekimoto94], [Berrard99]

6 iMAGIS-GRAVIR / IMAG Système collaboratif en RA [Ahlers95], [Schmalstieg96], [Agrawala97], [Butz99], [Broll00], [Tiles01] [Ullmer97], [Rauterberg98], [Raskar98], [Streitz99], [Rekimoto99] Etat de l Art

7 iMAGIS-GRAVIR / IMAG Plan Motivations et Etat de lArt Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques dinteractions Gestion multi-utilisateurs Conclusion et Futurs Travaux

8 iMAGIS-GRAVIR / IMAG Unix, X OpenGL Performer, AL, VL, Qt Architecture Logicielle But : configuration session (rapide, optimisé) et supporter différents utilisateurs, périphériques, objets manipulés. Approche : Architecture modulaire + Configuration par fichier XML. Gestion Objets ( chargement, droit, initialisation..) Gestion Interactions ( Navigation, Manipulations, Outils) Gestion matériel (capteur, graphique, vidéo, son..) Gestion Utilisateurs (configuration, initialisation ) Application

9 iMAGIS-GRAVIR / IMAG Gestion matériel But : support périphériques personnels (jeu) + environnement fixe (industrie). Calibrage et incorporation des périphériques au système. Approche : technique de calibrage simple et intuitive réalisé par utilisateur. « plugn calib n play » ([Studierstube]). Complexité masqué par fichier configuration XML ([RS01]). Fichier XML Calibrage + Configuration Environnement Application p->GetData()

10 iMAGIS-GRAVIR / IMAG Configuration : Petit Groupe Configuration centralisé : –utilisateur autour dune table : collaboration face à face. –Aire partagée et Aire privée. Aire partagée Aire personnelle (menu virtuel, donnée privée)

11 iMAGIS-GRAVIR / IMAG Configuration : Environnement Informatique Visualisation: Casque semi-transparent optique vue directe, information privée, faible poids. Interaction: stylo facilement utilisable. Tracking: capteur magnétique rapide, pas de ligne de visibilité.

12 iMAGIS-GRAVIR / IMAG Plan Motivations et Etat de lArt Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques dinteractions Gestion multi-utilisateurs Conclusion et Futurs Travaux

13 iMAGIS-GRAVIR / IMAG Calibrage World CS Image CS Transmitter CS Receptor CS Emitter CS Eye CS Head CS Tip CS But : Erreur statique : mauvais alignement entre réel et virtuel ([Azuma94]). Approche : méthode de calibrage interactive avec effort minimum. Suffisamment précis et rapide. HMD Calibration Pen Calibration World Calibration

14 iMAGIS-GRAVIR / IMAG Calibrage du casque ([Azuma94], [Tuceryan95], [Tuceryan00] ) : figer la vue et aligner un objet réel avec un objet virtuel. Calibrage du stylo ([Fuhrmann99], [Tuceryan95]) : orienter le stylo dans 4 directions très représentatives. Calibrage du monde ([Fuhrmann99], [Tuceryan95]) : sélection de 4 points du plateau. Calibrage : Méthode Point fixe P2 P3 P1 P4

15 iMAGIS-GRAVIR / IMAG Calibrage : Résultats Erreur largement acceptable pour un grand nombre dapplications. Erreur Dynamique : Filtrage de Kalman ( [Azuma94] ). 2 cm

16 iMAGIS-GRAVIR / IMAG Plan Motivations et Etat de lArt Configuration : Petit Groupe et Environnement Informatique Calibrage : Rapide et Intuitive Nouvelles Techniques dinteractions Gestion multi-utilisateurs Conclusion et Futurs Travaux

17 iMAGIS-GRAVIR / IMAG Manipulations d objets But : manipulation intuitive des objets. Approche : « retour haptique » favorise interaction. => contact avec la table. => respect de la gravité. Métaphore naturelle / Métaphore virtuelle ([Kato00]). Outils dans la zone personnelle de lutilisateur (déplacer, tourner, détruire, ajout dobjets).

18 iMAGIS-GRAVIR / IMAG Manipulations d objets : Déplacement objets Approche : adapté des méthodes réels (pas de « clic »). Saisir, Soulever, DéplacerToucher, Pousser

19 iMAGIS-GRAVIR / IMAG Déplacement dobjets Méthode « Lever-Déplacer » Stylo Plan de travail Objet virtuel

20 iMAGIS-GRAVIR / IMAG Déplacement dobjets Méthode « Glisser » Animation du déplacement Plan de travail Objet virtuel Stylo

21 iMAGIS-GRAVIR / IMAG Ajout d objets But : ajouter objets réels et virtuels de façon dynamique ([Szalavari97], [Kato00]). Approche : -Ajouter des objet virtuels : menu virtuels. -Ajouter des objets réels : digitaliser ces objets. Pourquoi ? Décor (statique), TUI (dynamiques). Quel Type ? Modèle connu/inconnu.

22 iMAGIS-GRAVIR / IMAG Ajout d objets : modèle connu But: obtenir la transformation entre le repère de lobjet et le repère du monde (géométrie+apparence connue). Contrainte: Objet posé sur un support plan (3DOF). Methode: superposer représentation virtuel avec la representation réel du modèle. Objet réelObjet virtuel Object CS

23 iMAGIS-GRAVIR / IMAG Ajout d objets : modèle connu pion réel

24 iMAGIS-GRAVIR / IMAG Ajout d objets : modèle inconnu P1 5 DOF But:obtenir la position et la géométrie de lobjet générique (cube, cylindre, cone,..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle.

25 iMAGIS-GRAVIR / IMAG P1 5 DOF But:obtenir la position et la géometrie de lobjet génerique (cube, cylindre, cone,..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. Ajout d objets : modèle inconnu

26 iMAGIS-GRAVIR / IMAG P1 2 DOF P2 But:obtenir la position et la géometrie de lobjet génerique (cube, cylindre, cone,..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. Ajout d objets : modèle inconnu

27 iMAGIS-GRAVIR / IMAG P1 0 DOF P2 But:obtenir la position et la géometrie de lobjet génerique (cube, cylindre, cone,..etc..). Notre approche: Description de la forme avec quelques points. exemple: ajout rectangle. Ajout d objets : modèle inconnu

28 iMAGIS-GRAVIR / IMAG Ajout d objets : modèle inconnu

29 iMAGIS-GRAVIR / IMAG Tangible User Interface (TUI) But : utiliser un objet réel pour manipuler des objets virtuels ( [Fitzmaurice95], [Ishii97], [Fjeld97], [Poupyrev01]). Contraintes: un capteur et plusieurs objets réels à manipuler. Approche : temporairement attacher un capteur magnétique aux objets précédemment ajoutés. Objets réel

30 iMAGIS-GRAVIR / IMAG Passage RA/RV But : Visualisation de la scène sous différents points de vue. Passage RA (face à face) à RV (immersion) ([Kiyokawa99], [Kato00]). Approche : « plonger dans la scène ». ( WIM [Stoakley95] ). t1 t2 t1 t2 Arbres Personnage Plan de travail

31 iMAGIS-GRAVIR / IMAG Multi-utilisateurs But : Informations suivant le rôle dun utilisateur. Approche : vue personnelle ( [Smith96], [Agrawala97], [Szalavari98], [Butz99]). Matrice creuse pour chaque objet. Utilisateur Visibilité Déplacement Annotation Défaut Architecte Maurice Clients Joe Robert

32 iMAGIS-GRAVIR / IMAG Multi-Utilisateurs : résultats Vue Joueur 1Vue Joueur 2 Vue Maître de Jeu

33 iMAGIS-GRAVIR / IMAG Vidéos

34 iMAGIS-GRAVIR / IMAG Conclusions et Futurs Travaux Environnement de RA basé sur une architecture souple. Support # utilisateurs, # périphériques, # données. Techniques de manipulation dobjets réels et virtuels dans un même espace (stylo « mixte » + TUI). Simulation dans lespace de travail. Réalisme de lintégration : éclairage, ombres. Occultations mains, doigt, bras. Déplacement dobjets sans capteurs (TUI + « Real Reality »). Évaluation.

35 iMAGIS-GRAVIR / IMAG Travaux précédents Interactions avec des objets réels Whitaker[1995] Shared Space[1999] Build-IT[1997]

36 iMAGIS-GRAVIR / IMAG Reconaissance de geste Problème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu Extension à une trajectoire complexe : successions de segments Ex : CFC

37 iMAGIS-GRAVIR / IMAG Premier prototype

38 iMAGIS-GRAVIR / IMAG Le stylo mixte

39 iMAGIS-GRAVIR / IMAG Interaction 3D

40 iMAGIS-GRAVIR / IMAG Plan Motivations et Etat de lArt Configuration : Petit Groupe et Environnement Informatique –Architecture Logiciel –Gestion Souple du Materiel –Configuration de Test Nouvelles Techniques d interactions –Manipulation d Objets –Ajout d objets –Passage RA RV: exocentric egocentric Gestion multi-utilisateurs Conclusion et Futurs Travaux


Télécharger ppt "IMAGIS-GRAVIR / IMAG Environnement de Réalité Augmentée Collaboratif : Manipulation dObjets Réels et Virtuels Raphaël Grasset Jean-Dominique Gascuel iMAGIS-GRAVIR/IMAG."

Présentations similaires


Annonces Google