La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval.

Présentations similaires


Présentation au sujet: "1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval."— Transcription de la présentation:

1 1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2 A. Branzan-Albu & D. Laurendeau GIF Aujourdhui : Techniques de sélection et de manipulation

3 A. Branzan-Albu & D. Laurendeau GIF Manipulation des objets virtuels en 3D Manipulation spatiale des objets rigides Inclut des tâches complexes de manipulation (ex. sculpture virtuelle) Chaque tâche complexe peut être décomposée en tâches canoniques Tâches canoniques de manipulation 3D s é lection, positionnement et rotation La s é lection peut exister ind é pendamment du contexte de manipulation ex : s é lectionner pour effacer

4 A. Branzan-Albu & D. Laurendeau GIF Manipulation des objets virtuels en 3D Variables qui affectent le processus de manipulation distance à lobject taille de lobjet, densit é de l objet angle de rotation requis par la tâche niveau de précision requis Le design des techniques de manipulation dépend des tâches spécifiques dintéraction et des variables du processus.

5 A. Branzan-Albu & D. Laurendeau GIF Techniques de sélection - Implantation Comment signaler lévènement de sélection? à laide dune liste dobjets : menu 2D Automatique : détection de lintersection des objets Rétroaction vers lutilisateur Graphique Auditive Tactile Avatar de la main virtuelle Liste des objets sélectables

6 A. Branzan-Albu & D. Laurendeau GIF Techniques usuelles de sélection Simple virtual hand Ray-casting Sticky finger (occultation) Go-go (extension du bras)

7 A. Branzan-Albu & D. Laurendeau GIF Simple virtual hand Correspondance entre la main physique et la main virtuelle Lobject peut être sélectionné en le touchant or par intersection entre la main virtuelle et lobjet Avantage : métaphore naturelle Désavantage : région limitée de manipulation

8 A. Branzan-Albu & D. Laurendeau GIF Technique de ray-casting (Bolt, 1980) pointeur laser attaché à la main virtuelle Le premier objet intersecté peut être sélectionné Lutilisateur a besoin de contrôler seulement 2 DOF Technique simple, qui fonctionne généralement bien.

9 A. Branzan-Albu & D. Laurendeau GIF Implantation du Ray-casting Naïve: intersecter le rayon avec chaque polygone Équations paramétriques du rayon : Orientation dans le SC de la main: [0,0,-1] Trouver léquivalent dans le SC du monde virtuel (x 0, y 0, z 0 ) x(t) = x h + x d t y(t) = y h + y d t z(t) = z h + z d t Intersection calculée seulement pour t>o

10 A. Branzan-Albu & D. Laurendeau GIF Implantation du Ray-casting Alternative: transformer les sommets de lobjet virtuel dans la SC de la main Plus efficace : une seule main, mais plusieurs polygones Trouver la nouvelle coordonnée en z pour chaque sommet. Projection dun polygone 3D dans un plan 2D. Le rayon intersecte cette projection si (0,0) se trouve à lintérieur de la projection. Compter le nombre dintersections entre les arêtes et laxe OX. Si nombre pair, alors lorigine se trouve à lintérieur.

11 A. Branzan-Albu & D. Laurendeau GIF Ray-casting : Avantages et désavantages Avantages Désavantages - En théorie, les objets peuvent être sélectionnés à une distance quelconque. - Technique naturelle dintéraction - Inefficace pour la sélection des objets de petite taille ou éloignés -Inefficace pour le positionnement des objets et pour la rotation. -Rotation permise seulement autour de laxe propre du rayon

12 A. Branzan-Albu & D. Laurendeau GIF Améliorations pour le ray-casting Flashlight (Liang, 1994) : volume conique de sélection Sélection plus facile des objets de petite taille à nimporte quelle distance Avantages -Plusieurs objets sont éclairés en même temps : ambiguïté - Positionnement/rotation inefficaces Désavantages

13 A. Branzan-Albu & D. Laurendeau GIF Améliorations pour le ray-casting Aperture (Forsberg, 1996) : volume conique de sélection+contrôle intéractif du volume de sélection -Positionnement/rotation inefficaces -deux systèmes de tracking sont nécessaires: -laxe principal du cône est défini par la position de la tête et le contrôle de laire de la section transversale se fait avec la main

14 A. Branzan-Albu & D. Laurendeau GIF Technique de sélection par occlusion sticky finger technique 2D : travaille dans le plan de limage Occulter/couvrir lobjet ciblé avec un objet sélecteur (ex. doigt virtuel) Lobjet proximal le long de la droite définie par loeil et le doigt sera sélectionné Manipulation des objets éloignés impossible

15 A. Branzan-Albu & D. Laurendeau GIF Implantation de la sélection par occultation Cas particulier du «ray-casting» Il faut considérer la position des yeux Peut utiliser la 2 ème implantation du ray-casting: demande un objet supplémentaire pour définir le SC du rayon ß ß Exemple 2D : langle β peut être déterminé en utilisant les positions de loeil et de la main, et quelques notions de base de trigonométrie.

16 A. Branzan-Albu & D. Laurendeau GIF Technique Go-Go (Poupyrev et al., 1996) Extension du bras Les objets doivent être touchés pour être sélectionnés Mapping non-linéaire entre la position de la main réelle et la position de la main virtuelle Manipulation locale et à distance

17 A. Branzan-Albu & D. Laurendeau GIF Go-Go : implantation Données dentrée : position du torse (trackée ou calculée) Pour chaque trame: lire la position de la main physique h dans le SC du monde virtuel calculer la distance entre le torse et la main d p = dist(h, t) calculer la position de la main virtuelle d v = gogo(d p ) Normaliser le vecteur torse-main Position de la main virtuelle v = t + d v *th (dans le SC du monde virtuel)

18 A. Branzan-Albu & D. Laurendeau GIF Go-Go : Performances et limites Permet la sélection et la manipulation des objets proches et à distance. La distance maximale de manipulation reste quand même limitée. Quand la distance augmente, les mouvements de faible amplitude de la main physique se traduisent en mouvements de grande amplitude de la main virtuelle. La manipulation précise à grande distance devient compliquée.

19 A. Branzan-Albu & D. Laurendeau GIF Implantation des techniques de manipulation Intégration avec les techniques de sélection (processus préliminaire obligatoire). ex de techniques de sélection et manipulation intégrées : virtual hand, ray-casting, go-go, etc. Pendant la manipulation, ne pas permettre le processus de sélection (respecter la cohérence séquentielle des actions de lutilisateur) Quest-ce qui se passe après le relâchement? (lobjet virtuel doit obéir aux lois de lEV, ex : gravité)

20 A. Branzan-Albu & D. Laurendeau GIF Techniques usuelles de manipulation Simple virtual hand HOMER Scaled-world grab World-in-miniature Voodoo dolls

21 A. Branzan-Albu & D. Laurendeau GIF Manipulation par la technique Simple virtual hand Implantation basée sur un arbre de rendu (scene-graph) : - attacher lobjet sélectionné à la main virtuelle (changement de larbre de rendu). Les mouvements de la main virtuelle (translation, rotation) seront hérités par lobjet. - après le relâchement, lobjet est rattaché au monde virtuel. - Lobjet virtuel ne doit pas bouger au début et à la fin de la manipulation (transformation de coordonnées entre le SC du monde et la SC de la main) - Implantation similaire pour les autres techniques qui attachent lobjet au sélecteur (GO-GO, ray-casting) Root headhandbuilding Root headhand building

22 22 HOMER Hand-Centered Object Manipulation Extending Ray-Casting Sélection : ray-casting La main virtuelle est déplacée vers lobjet pour une manipulation centrée sur la main Mapping linéaire des distances : la distance initiale torse-main physique est proportionnelle à la distance initiale torse-objet. Déplacer la main physique deux fois plus loin implique le déplacement de lobjet virtuel deux fois plus loin Time 1.0 m 0.3 m 2.0 m 0.6 m torso physical hand torso physical hand

23 A. Branzan-Albu & D. Laurendeau GIF HOMER: Implantation (1) calculer la position du torse t : la main virtuelle se trouve sur la droite définie par le torse et la main réelle. pour la selection, détacher la main virtuelle du tracker, déplacer la main v. vers la position de lobjet dans la SC du monde, et attacher lobjet à la main v. Pour le mapping linéaire, obtenir la position de la main physique h et la distance d h = dist(h, t) Obtenir la position de lobjet o et la distance d o = dist(o, t) Le facteur déchelle : d o /d h

24 A. Branzan-Albu & D. Laurendeau GIF HOMER: Implantation (2) À chaque trame, établir la position et lorientation de la main virtuelle. Lobjet v. est attaché à la main v., donc il aura la même position et orientation. Orientation : la main physique et la main virtuelle ont la même orientation matrice de suivi de la main physique = matrice de la main virtuelle Positionnement Calculer la distance torse - main physique d h-curr = dist(h curr, t) Calculer la distance torse - main virtuelle normaliser le vecteur torse – main physique Calculer la position de la main virtuelle vh = t + d vh *(th curr )

25 A. Branzan-Albu & D. Laurendeau GIF Scaled-world grab Technique de manipulation combinée souvent avec la technique de sélection par occlusion Après la sélection, augmenter léchelle de lutilisateur (ou diminuer léchelle du monde virtuel) en sorte que la main virtuelle touche lobjet sélectionné.

26 A. Branzan-Albu & D. Laurendeau GIF Scaled-world grab: Implantation Après la sélection: calculer dans le SC du monde la distance yeux - main physique d eh Calculer dans le Sc du monde la distance yeux - objet d eo Cadrage de lutilisateur (le sous-arbre correspondant à lutilisateur) avec d eo / d eh Vérifier la conservation du point de vue attacher lobjet sélectionné à la main virtuelle Au relâchement: Re-attacher lobjet au monde virtuel Cadrage uniforme de lutilisateur avec d eh / d eo Vérifier la conservation du point de vue

27 A. Branzan-Albu & D. Laurendeau GIF World-in-miniature (WIM) technique maison de poupées à une échelle comparable à la main de lutilisateur Les objets en miniature peuvent être manipulés directement. Le déplacement des objets en miniature affecte leurs correspondants dans le monde virtuel. Cette représentation de lEV peut être aussi utilisée pour la navigation : lutilisateur déplace son avatar dans lEV.

28 A. Branzan-Albu & D. Laurendeau GIF WIM : Implantation (1) Root headhandroom table Root headhandroom tableWIM room (scaled) table copy La table ne doit pas subir un cadrage individuel, à cause de lhéritage.

29 A. Branzan-Albu & D. Laurendeau GIF WIM: Implantation (2) Après la sélection: Déterminer quel objet à pleine échelle correspond à lobjet en miniature qui vient dêtre sélectionné. Attacher lobjet en miniature à la main virtuelle Pour chaque trame: Copier la matrice de position/orientation locale de lobjet en miniature pour lobjet à pleine échelle correspondant.

30 A. Branzan-Albu & D. Laurendeau GIF WIM : Performances et limites Le cadrage dun EV de complexité moyenne ou élevée a comme résultat des miniatures de taille trop petite. La manipulation de ces miniatures ne peut pas être très précise. Amélioration possible : cadrage partiel de lEV (choix préalable de la partie de lEV à être représentée par WIM).

31 A. Branzan-Albu & D. Laurendeau GIF Voodoo Dolls (1) Technique dinteraction utilisant deux mains (pinch gloves) pour la manipulation des objets à distance dans un EV immersif. Quelques principes de base… Pour commencer la manipulation dobjets lutilisateur crée dynamiquement des poupées (copies temporaires et miniaturisées des objets virtuels). De façon similaire à WIM, lutilisateur interagit avec les objets virtuels en manipulant leurs copies.

32 A. Branzan-Albu & D. Laurendeau GIF Voodoo Dolls (2) La sélection est effectuée généralement avec une technique doccultation. Lutilisateur peut spécifier explicitement la trame de référence pour la manipulation: la poupée tenue dans la main non dominante représente la trame stationnaire de référence, et lobjet correspondant virtuel est immobile. La spécification explicite dune trame de référence : changement déchelle ajustable, donc plus avantageux que WIM.

33 A. Branzan-Albu & D. Laurendeau GIF Voodoo Dolls : Performances et limites Technique de manipulation sophistiquée, permettant la manipulation des objets articulés en mouvement libre dans lenvironnement. Manipulation complexe, moins naturelle que virtual hand, demande deux niveaux dabstraction supplémentaires, donc plus difficile à apprendre.

34 A. Branzan-Albu & D. Laurendeau GIF Techniques de manipulation avancées (1) Rotation 3D non-isomorphe Représente une alternative plus convenable au techniques de rotation 3D imposant une correspondance biunivoque entre le déplacement des objets virtuels et le dispositif dentrée (6DOF) Approche isomorphe : la rotation dun objet à 360° est impossible en un seul mouvement (le bras à une amplitude de rotation limitée autour du coude). Alternative non-isomorphe : correpondance entre lespace limité de mouvement de lutilisateur et lespace virtuel de rotation (3DOF, 360°).

35 A. Branzan-Albu & D. Laurendeau GIF Techniques de manipulation avancées (2) La rotation dans un espace 3D ne vérifie pas les lois de la géométrie euclidienne. Par rotation itérative dun objet dans le même sens, on obtient à un moment donné la pose initiale de lobjet. Lespace des rotations nest pas un espace vectoriel, mais un espace fermé et courbé (sphère 4D). Description mathématique basée sur les quaternions.

36 36 Classification des techniques de manipulation par métaphore

37 37 Classification des techniques de manipulation par composante

38 A. Branzan-Albu & D. Laurendeau GIF Tâches universelles dinteraction dans un EV Navigation : - déplacement (travel) – composante motrice, mouvement - orientation spatiale (wayfinding) – composante cognitive, prise de décision Sélection des objets virtuels Manipulation - spécification des propriétés de lobjet (position, orientation, forme etc.) Contrôle du système - changement de létat du système ou du mode dinteraction

39 A. Branzan-Albu & D. Laurendeau GIF Techniques de contrôle Définition : Le contrôle du système est laction par laquelle une commande est appliquée pour changer le mode dintéraction ou létat du système. implique toujours la sélection dun élément parmi une liste doptions est supporté par un certain style dinteraction.

40 A. Branzan-Albu & D. Laurendeau GIF Categorisation Technique de contrôle - classification

41 41 Menus graphiques Léquivalent 3D des menus 2D Placement –Par rapport au monde virtuel –Par rapport à un certain objet (centré sur lobjet virtuel) –centré sur le point de vue de lutilisateur (trame égocentrique) –Centré sur le dispositif dinteraction (trame de référence physique) Ex : le placement des menus sur un responsive workbench est toujours périphérique

42 42 Exemple : contrôle des objets

43 A. Branzan-Albu & D. Laurendeau GIF Menus graphiques (2) Exemples : Menus orientés vers linteraction manuelle Liang et Green : the ring menu Technique conçue spécifiquement pour un dispositif de contrôle 3D tenu en main. Les items disponibles pour sélection sont placés sur un anneau circulaire semi-transparent. 1DOF

44 A. Branzan-Albu & D. Laurendeau GIF Intéraction à deux mains : linformation additionnelle est affichée comme texte

45 A. Branzan-Albu & D. Laurendeau GIF Menus graphiques (3) Conversion des menus 2D – fonctionnement similaire à un environnement desktop; Plusieurs DOF sont disponibles pour la sélection Exemples classiques : menus pop-up, pull-down, barres doutils, curseurs etc.

46 A. Branzan-Albu & D. Laurendeau GIF Exemple : TULIP – Three Up Labels in Palm Menu 3D utilisant les Pinch gloves La main non dominante contient les différentes options La main dominante contient des choix correspondant à loption sélectionnée. Métaphore égocentrique

47 A. Branzan-Albu & D. Laurendeau GIF Menus graphiques Widgets 3D = combinaison de géométrie et de comportement La fonctionnalité de contrôle est déplacée dans le monde virtuel Généralement, contenue dans un seul objet virtuel.

48 A. Branzan-Albu & D. Laurendeau GIF Techniques de contrôle basées sur des commandes vocales Interaction hands-off utilisant le langage naturel Initialisation, sélection et commande intégrées Performances des algorithmes de reconnaissance de la parole variables, dépendant de la méthode implantée (dépendante ou indépendante du sujet) Implantation souvent difficile Also see: Joseph J. LaViola Input and output for 3D interaction

49 A. Branzan-Albu & D. Laurendeau GIF Commandes vocales – performances Technique naturelle dinteraction, facile à combiner avec dautres techniques Pas doccultation avec le champ dattention visuelle Apprentissage facile des commandes vocales

50 A. Branzan-Albu & D. Laurendeau GIF Commandes vocales - limites Le système de reconnaissance de la voix peut reconnaître une quantité limitée de mots; problèmes syntactiques et sémantiques Le contrôle continu de la voix est une source de fatigue Contrôle en ligne de la voix très difficile à réaliser Artefacts : bruit de larrière-plan

51 A. Branzan-Albu & D. Laurendeau GIF Gestural interaction Gestures and postures Hand-as-a-tool metaphor: using hand-gesture for mode change One should make a division between postures (static movement) or gestures (posture with change of position and/or orientation hand, or moving fingers) Glove-based and computer-vision based interaction Requires thorough feedback to reduce user's cognitive load Robust glove-based interaction is expensive Also see: Joseph J. LaViola Input and output for 3D interaction


Télécharger ppt "1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval."

Présentations similaires


Annonces Google