Environnement de réalité augmentée : vers les jeux vidéos

Présentation au sujet: "Environnement de réalité augmentée : vers les jeux vidéos"— Transcription de la présentation:

1 Environnement de réalité augmentée : vers les jeux vidéos
Raphaël Grasset Projet de DEA IVR Responsable : JD Gascuel iMAGIS/GRAVIR projet CNRS/INRIA/UJF/INPG

2 Introduction : Motivations
Contexte : proposer un environnement de jeu utilisant un système informatique. Conservation des avantages d'un jeu réel Communication, interaction ..etc.. pour de petits groupes Conservation des avantages d'un jeu virtuel animations (personnages, effets spéciaux) calculs complexes informations évolutives

3 Réalité Augmentée: Historique Rapide (1/2)
Définition : superposition d'informations virtuelles à l'environnement réel Projet KARMA : Première démonstration de faisabilité (guide de Maintenance) [Feiner,1992]

4 Réalité Augmentée: Historique Rapide (2/2)
Mettent en avant un certain nombre de “points durs” : Alignement Réel/Virtuel (Calibration) Erreur de mesures Latence (délai mesure-vision) Occultations (devant et derrière) [Bajura,1992] [Sims, 1994]

5 PLAN Introduction Matériel Acquisition de « Qualité » Interaction 3D
Conclusion

6 Le capteur SAGEIS Principe filtre infrarouge Poutre de support
Caméra linéaire à optique cylindrique Caméra Point D'intersection Intersection entre le plan gauche et le plan de droite

7 Manipulations avec le capteur SAGEIS
Expérimentation (15 jours) Calcul et simulation hors-ligne LED infrarouge LED infrarouge

8 Le capteur "Flock of Birds"
Moins précis, mais disponible Principe Repère Camera Repère Capteur Repère Emetteur Repère Capteur Repère Pointeur Repère du Monde

9 Manipulation avec le capteur "Flock of Birds"
émetteur caméra pour la soutenance capteurs

10 PLAN Introduction Matériel Acquisition de « Qualité » Interaction 3D
Filtrage (Kalman) Calibrage du stylet Reconnaissance de geste Interaction 3D Conclusion

11 Utilisation d'un filtre de Kalman (1/2)
Initialisation de X et P Etat X, Covariance P Etape de mise à jour de la prédiction (Predicteur) Etape de mise à jour de la mesure (Correcteur) Extrapolation basé sur X position prédite Entrée Capteur Principe [Kalman,1961] [Liang,1991] Utilisation filtrage du bruit de mesure prédiction : solution à la latence

12 Utilisation d'un filtre de Kalman (2/2)

13 Calibration du stylet (1/2)
Problème : Où est la pointe du stylet par rapport au capteur ? Recherche du point fixe par minimisation [Tuceryan,1995] R3,T3 R2,T2 R1,T1 Pw Pt

14 Callibration du stylet (2/2)
Optimisation de la procédure 4 mesures "approximativement pyramidale" Désalignement

15 Reconaissance de geste
Problème : passage de commandes rapidement [Starner,1995] Geste simple : déplacement horizontal sur le plateau de jeu Extension à une trajectoire complexe : successions de segments sur le plateau de jeu Ex : “CFC “

16 PLAN Introduction Matériel Acquisition de « Qualité » Interaction 3D
Boutons et Menus Ajout d’objets Déplacement de pions Conclusion monde horizontale

17 Boutons et Menus (1/2) PIP [Szalavari,1997] Sensation de contact
Déplacement vertical pour la sélection d’un élement Validation

18 Boutons et Menus (1/2) barre de menus sélection du deuxième item
du première item

19 Ajout d’objets Pourquoi ajouter des objets Réels ?
interaction (pion virtuel placé dessus) occultation (pion virtuel placé derrière) Pourquoi ajouter des objets Virtuels ? 2 cas : pour des objets dont le modèle 3D est inconnu pour des objets dont le modèle 3D est connu

20 Exemple : digitalisation d’un parallélogramme (1/2)

21 Exemple : digitalisation d’un parallélogramme (1/2)
premier point fixé point libre point libre plan créé cube virtuel superposé

22 Placement d ’un objet connu par une arête
Géométrie connue Méthode d’ajout par arête commune Contrainte d’horizontalité 2 clics suffisent Boîte englobante Objet virtuel Arête de réference Base Faire tourner l’objet pour Finir l’alignement Repère du monde Repère du monde Objet réel Objet réel superposé Au virtuel Objet virtuel On a la position et l’orientation de l’objet

23 Placement par rotation Z d ’un objet
Pas d’arête “simple” Méthode d’ajout par centrage Contrainte d’horizontalité 1 clic-glissé suffit Boîte englobante Objet virtuel Base Repère du monde Repère du monde Objet réel aligné avec le virtuel Faire coincider l’objet par rotation autour du centre On connait la position et l’orientation de l’objet

24 Placement sur un objet réel
pion réel

25 Déplacement de pion virtuel (1/3)
Pourquoi : action principale dans un jeu ! Méthode “Lever-Déplacer”

26 Déplacement de pion virtuel (2/3)
Méthode “Glisser” animation du déplacement

27 Déplacement de pion virtuel (3/3)
trajectoire pion virtuel

28 Contributions Procédure de calibrage de la tête et du stylet
Ajout dynamique d’objets Déplacement de pions Reconnaissance de geste Extensions futurs illumination ombres modèle réaliste navigation dans un espace virtuel

29 Creation de la scène utilitaires de créations

30 Calibration de la camera (1/4)
Repère camera Repère capteur

31 Calibration de la camera (2/4)
cube réel + cube virtuel Vue fixe Repère capteur Repère camera

32 Calibration de la camera (3/4)

33 Calibration de la camera (4/4)

34 Vidéo

35

36