La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval.

Présentations similaires


Présentation au sujet: "1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval."— Transcription de la présentation:

1 1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2 A. Branzan-Albu & D. Laurendeau GIF Plan Limpératif technologique et lenvironnement virtuel intégré Design des EV – Caractéristiques particulières Design de linteraction entre lutilisateur et lEV. Tâches universelles dinteraction dans un EV. Objectifs pour le design des interactions. Navigation: - techniques de déplacement virtuel (travelling) - techniques dorientation spatiale (wayfinding)

3 3 Diagramme dun environnement virtuel simple

4 4 Limpératif technologique Un environnement virtuel ne peut pas être conçu comme lensemble de ses sous-systèmes orientés vers des taches très spécifiques. One might think that all one needs in a virtual environment is an assortment of special interface devices hooked up to a computer. Once the hardware is obtained and hooked up, the rest of the implementation follows directly. This is a common misconception, which I call the technological imperative – Steve Bryson, NASA AMES 1992.

5 5 Exemple Design des interfaces de RV pour un système utilisant le BOOM: Laffichage visuel doit être tenu à la main, ce qui limite les possibilités de manipulation des objets virtuels.

6 6 Lenvironnement virtuel intégré Quels sont les défis majeurs pour le design des environnements interactifs et immersifs? - Compromis optimal entre la vitesse de traitement de données (lecture des interfaces, rendu graphique, rétroaction etc.) et lexactitude des calculs. - dépend de lapplication (niveau de réalisme requis, fréquences des interactions etc.) - Confrontation avec les limites actuelles de la technologie. Les options de design évoluent en fonction du progrès technologique.

7 7 Design des environnements virtuels – caractéristiques particulières Design des EV versus design des systèmes (génie logiciel) Présence : - design de linteraction utilisateur – EV. - design des interfaces utilisateur. Interface = outil hardware/software qui assure linteraction et la communication entre lutilisateur et lEV. Périphérique dentrée: composante hardware pour la communication utilisateur-EV ex : stylus, gant, etc. Technique dinteraction: méthode qui permet à lutilisateur daccomplir une tâche dans lEV (composante software). Plusieurs techniques dinteraction sont possibles avec le même périphérique dentrée. La même technique dinteraction peut être compatible avec plusieurs périphériques dentrée.

8 8 Design de linteraction entre lutilisateur et lenvironnement virtuel Perspective utilisateur : difficulté de compréhension et dinteraction avec les systèmes 3D multimodaux. Le monde réel quotidien contient plus dindices permettant de bien réussir une action quune simulation virtuelle très réaliste. Intégration de linformation multisensorielle communiquée par lEV : courbe dapprentissage non négligeable.

9 9 Design de linteraction entre lutilisateur et lenvironnement virtuel Dépend de la nature de lapplication (modèle des exigences) Fréquence versus complexité de linteraction Exemple: contemplation dun monde virtuel à partir dun point de vue stationnaire Interaction : changement de lorientation de la vue Très fréquente; Très simple, basée sur le tracking des mouvements de la tête.

10 A. Branzan-Albu & D. Laurendeau GIF

11 11 Tâches universelles dinteraction dans un EV Navigation : - déplacement (travel) – composante motrice, mouvement - orientation spatiale (wayfinding) – composante cognitive, prise de décision Sélection des objets virtuels Manipulation - spécification des propriétés de lobjet (position, orientation, forme etc.) Contrôle du système - changement de létat du système ou du mode dinteraction

12 12 Objectifs pour le design des interactions Performance - efficacité - exactitude Utilisation - Facile à utiliser - Facile à apprendre - Confortable pour lutilisateur (ergonomique) Utilité - Est-ce linteraction aide à accomplir les tâches du système? - transparence relative, afin de permettre aux utilisateurs de se concentrer sur leur tâches. Les trois objectifs doivent être vérifiés simultanément !

13 A. Branzan-Albu & D. Laurendeau GIF Navigation: techniques de déplacement dans un EV Le déplacement (travel) est défini comme : La composante motrice de la navigation mouvement entre 2 locations, en précisant la position (et lorientation) du point de vue de lutilisateur Une technique fondamentale dinteraction avec lEV, utilisée dans la plupart des applications de RV. Il est utile pour : Lexploration de lEV (lutilisateur ne poursuit pas de cible spécifique. Son déplacement lui permet de connaître lEV). La recherche des cibles spécifiques dans lEV (la composante motrice est une condition préliminaire pour la composante cognitive wayfinding) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

14 14 Techniques de déplacement dans un EV – Aspects dimplantation (1) Contrôle de la velocité/accelération. Est-ce que la rotation du monde virtuel est nécessaire? Simplifications : rajouter des contraintes au mouvement Hauteur constante Suivi du terrain (ex. vol virtuel) Conditions initiales / finales (début et fin du mouvement) : click to start/stop; press to start; release to stop; stop automatically at target location etc.

15 A. Branzan-Albu & D. Laurendeau GIF Techniques de déplacement dans un EV – Aspects dimplantation (2) Les techniques de déplacement doivent être compatibles avec les périphériques dentrée (input devices). Tracking : Nombre de dégrés de liberté (DOF). Classification des données dentrées -signaux discrets; continus; hybrides; reconnaissance de la voix etc. exemple …

16 A. Branzan-Albu & D. Laurendeau GIF Metaphores naturelles de déplacement Utilisent le mouvement physique et une métaphore réaliste ou presque réaliste de déplacement. Techniques de marche Simulation de la marche naturelle : rétroaction vestibulaire et kinesthésique. Tracking à grande échelle : caméras vidéo (UNC, Office of the Future) Walking-in-place (GAITER) : analyse des mouvements de lutilisateur pendant quil marche sur place pour déterminer sa direction, sa vitesse etc. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

17 17 Templemans Gaiter system, NRL

18 18 Metaphores naturelles de déplacement Tapis roulant Sarcos : The omni- directional treadmill

19 A. Branzan-Albu & D. Laurendeau GIF Métaphores usuelles pour la navigation dans un EV (1) Métaphore de conduite (steering) : - Implique le contrôle continu de la direction du mouvement - basée sur le regard (gaze-directed steering) - pointage - dispositif physique (volant, pédale daccélération et de frein etc.) Métaphore de poursuite dune cible (target-based travelling) : - Lutilisateur cible le point final de son déplacement - Le système effectue le mouvement entre les deux points - pointage vers un objet ciblé - utilisation dune palette de sélection - Spécification des coordonnées du point final. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

20 A. Branzan-Albu & D. Laurendeau GIF Mathématiques de base pour le design de la navigation – Transformations de coordonnées Soient : Les sommets dun object en SC 2 Une matrice M qui transforme SC 1 en SC 2 Quelles sont les coordonnées du même objet en SC 1 ? Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

21 A. Branzan-Albu & D. Laurendeau GIF Transformations de coordonnées (exemple #1) Le point P a les coordonnées (2,2) dans le SC transformé (SC 2 ). Quelles sont ses coordonnées dans SC 1 ? Réponse: (6,6) Note: (6,6) = T 4,4 P En général, si SC 1 est transformé par une matrice M en SC 2, un point P en SC 1 correspond au point Q=MP en SC 2. Translate(4,4) P Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

22 A. Branzan-Albu & D. Laurendeau GIF Transformations de coordonnées (exemple #2) Translation de (4,4) suivie dun changement déchelle (0.5, 0.5) Coordonnées de P en SC 3 (2,2) Coordonnées de P en SC 2 S 0.5,0.5 (2,2) = (1,1) Coordonnées de P en SC 1 T 4,4 (1,1) = (5,5) Pour transformer directement SC 3 en SC 1 on peut calculer T 4,4 S 0.5,0.5 (2,2) = (5,5) P Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

23 A. Branzan-Albu & D. Laurendeau GIF Transformation de coordonnées: cas général Si SC1 est transformé par la séquence M 1, M 2, …, M n en SCn+1, alors un point P en SCn+1 est représenté par M 1 -1 M 2 -1 … M n -1 P en SC1. Pour former la transformation composée entre deux systèmes de coordonnées, on utilise le produit des transformations matricielles élémentaires (translation, rotation, changement déchelle). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

24 A. Branzan-Albu & D. Laurendeau GIF Déplacement basé sur le regard (gaze-based steering) Le point de vue est déplacé selon la direction du regard Tracking de la tête et non tracking des yeux Avantage : technique simple à implanter et à utiliser Désavantage : lutilisateur ne peut pas regarder autour de lui pendant son déplacement (les possibilités dexploration de lEV sont limités). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

25 A. Branzan-Albu & D. Laurendeau GIF Implantation : fonction de callback exécutée avant le rendu graphique de chaque trame. données dentrée : information sur le suivi de la tête (matrice M de transformation entre le système de coordonnées de la tête et le système de coordonnées du monde virtuel). Transformer le vecteur [0,0,-1] exprimé dans le SC de la tête en v=[x, y, z] exprimé dans le SC du monde virtuel Normaliser v. Le vecteur unitaire v n =[x n, y n, z n ] caractérise la direction du mouvement choisie par lutilisateur. Translater le point de vue par v n. (vitesse courante). Note. La vitesse courante est exprimée en nombre dunités/trame et elle représente un paramètre du déplacement. Choix daugmentation/diminution de la vitesse courante. Déplacement basé sur le regard (gaze-based steering) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

26 A. Branzan-Albu & D. Laurendeau GIF Déplacement basé sur le pointage (pointing) Le pointage représente aussi une technique de conduite (steering) Tracking de la main: lorientation de la main est utilisée pour déterminer la direction du mouvement. Avantage: - facile à implanter - plus flexible que le gaze-based steering: permet de dissocier le déplacement et le regard. Désavantage: niveau cognitif de complexité plus élevé (courbe dapprentissage) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

27 A. Branzan-Albu & D. Laurendeau GIF Déplacement basé sur le pointage (pointing) Implantation similaire à la technique de gaze- based steering. On utilise le SC de la main au lieu du SC de la tête. Le rendu graphique doit aussi tenir compte du mouvement relatif (lutilisateur peut regarder autour de lui). Mise à jour du point de vue (hand tracking); mise à jour de lorientation (head tracking) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

28 A. Branzan-Albu & D. Laurendeau GIF Déplacement basé sur une carte de lenvironnement (map-based travel technique) Technique de déplacement basée sur la poursuite dune cible a priori connue. Lutilisateur est représenté comme une icône sur une carte 2D. La nouvelle position est spécifiée sur la carte par la méthode drag-and-drop, à laide dun stylus. Après la spécification de la nouvelle position, animation « lisse » de lutilisateur entre la position de départ et la position darrivée. Avantages : déplacement rapide dans un EV à grande échelle. Désavantages : cette technique est difficile à apprendre pour les utilisateurs non familiers avec lEV; appariement cognitif entre la carte 2D de lEV et le monde virtuel 3D. - implantation assez complexe : le « vol » virtuel de lutilisateur doit être assez lisse pour maintenir lillusion de limmersion. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

29 29 Déplacement basé sur une carte de lenvironnement (map-based travel technique) Tiré de Bowman et al, « Designing animal habitats within an immersive VE » Exemple :

30 A. Branzan-Albu & D. Laurendeau GIF Implantation du déplacement basé sur une carte 2D Données nécessaires : Correspondance entre la carte 2D et lEV 3D : - Échelle de la carte : s - Quel point de la carte représente lorigine du SC de lEV? o=(x o, y o, z o ) - On suppose que le SC de la carte est aligné avec le SC de lEV. - Si la sélection de licône est activée (drag): - si le stylus a intersecté licône, trouver la position du stylus dans le SC de la carte (x,y,z) (transformation de coordonnées nécessaire) - déplacer licône dans la position (x,0,z). Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

31 A. Branzan-Albu & D. Laurendeau GIF Implantation du déplacement basé sur une carte 2D Si la sélection de licône a été désactivée (drop) Trouver la position du stylus dans le SC de la carte :(x, y, z) Déplacer licône à (x, 0, z) dans le SC de la carte. Spécifier le point de vue désiré: p v = (x v, y v, z v ), où x v = (x – x o )/s z v = (z – z o )/s y v = hauteur désirée à (x v,y v ) Animation : (en supposant une trajectoire linéaire entre le point de départ et le point darrivée) Calculer le vecteur de déplacement entre deux trames succésives m = (x v -x curr, y v -y curr, z v -z curr ) * (vitesse/distance) For i=1:(distance/vitesse) : translater le point de vue par m. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

32 32 Grabbing the air (1) Technique de déplacement omnidirectionnel accessible partout dans lenvironnement virtuel Métaphore : escalade (descente) en corde; la corde virtuelle peut avoir nimporte quelle orientation On peut utiliser une ou deux mains Implémentation possible avec PinchGloves TM

33 33 Grabbing the air (2) Implantation pour une seule main : Lors de la pince des doigts: Obtenir la position initiale de la main dans le SC du monde : (x h, y h, z h ) À chaque trame jusquà ce quon lâche prise: Obtenir la position courante de la main dans le système de coordonnées du monde : (x h, y h, z h ) Calcul du vecteur du mouvement associé à la main: m = ((x h, y h, z h ) - (x h, y h, z h )) Translater le monde par m (ou le point de vue par –m) (x h, y h, z h ) = (x h, y h, z h )

34 34 Classification des techniques de déplacement (navigation virtuelle) Tiré de D. Bowman, Travel Techniques, Lecture Notes at SIGGRAPH 2000.

35 35 Une autre classification des techniques de déplacement (navigation virtuelle) Tiré de D. Bowman, Travel Techniques, Lecture Notes at SIGGRAPH 2000.

36 A. Branzan-Albu & D. Laurendeau GIF Évaluation des techniques de déplacement (navigation virtuelle) Les techniques de type steering ont des performances similaires sur une tâche impliquant seulement le mouvement absolu. (ex. : entrer à lintérieur dune sphère virtuelle). Mouvement relatif par rapport à un objet virtuel: les techniques de steering qui ne sont pas basées sur le tracking de la tête ont des meilleures performances. Le téléportage (déplacement à une vitesse infinie) peut entraîner une désorientation de lutilisateur. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

37 37 Évaluation des techniques de déplacement (navigation virtuelle) La complexité de lenvironnement affecte les performances cognitives de lutilisateur(spatial awareness) Exploration de lenvironnement avant de passer à dautres interactions (ex : recherche des objets virtuels) Expérience cognitive : quantifier la quantité de linformation mémorisée pendant une expérience de RV. Vue extérieure dun tunnel virtuel en 3D. Tiré de Bowman et al : A Methodology for the Evaluation of Travel Techniques in Immersive Virtual Environments.

38 A. Branzan-Albu & D. Laurendeau GIF Tiré de Bowman et al : A Methodology for the Evaluation of Travel Techniques in Immersive Virtual Environments. Vue intérieure du tunnel 3D Résultat de lexpérience virtuelle

39 39 Techniques dorientation environnementale : wayfinding Wayfinding – le processus cognitif qui permet de planifier la trajectoire de lutilisateur dans lenvironnement virtuel afin daccomplir une tâche spécifique Ce processus permet aussi dacquérir un ensemble cohérent dinformations spatiales qui serviront à la familiarisation de lutilisateur avec le monde virtuel. Orientation dans un monde réel versus orientation dans un monde virtuel.

40 40 Wayfinding : processus de prise de décision

41 A. Branzan-Albu & D. Laurendeau GIF Modèle de navigation intégrant travelling et wayfinding. Tiré de Jul and Furnas (1997)

42 A. Branzan-Albu & D. Laurendeau GIF Wayfinding : classification des tâches Selon la méthode de recherche utilisée, il existe quatre types de tâches : Recherche générale, exploratoire Recherche naïve Recherche ciblée (primed search) Spécification de la trajectoire de mouvement. Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

43 A. Branzan-Albu & D. Laurendeau GIF Wayfinding : carte cognitive (1) Pendant son voyage virtuel, lutilisateur construit la carte cognitive de lEV en intégrant deux types dinformation : Apparence et emplacement des objets virtuels Apparence : attributs visuels, auditifs, tactiles etc. Emplacement : information contextuelle, structure hiérarchique. Information procédurale : comment peut-on arriver à un certain endroit de lenvironnement : séquences dactions ( ex. Mapquest : driving directions) Traduit et adapté de SIGGRAPH 2000, 2001 Course on 3D User Interface Design, disponible sur

44 44 Wayfinding : carte cognitive (2) Dans le processus de construction de la carte cognitive, plusieurs erreurs de perception peuvent apparaître : Ex : lutilisation des HMD (champ de vue limité) entraîne la sous-estimation des dimensions spatiales des objets. Perception de lorientation relative des objets : biasée surtout dans les EV non-immersifs (utilisateur exo- centrique). EV complexes : structure hiérarchique dapparence incomplète (information mémorisée hors de son contexte)

45 45 Wayfinding : leffet des techniques de déplacement Les techniques de conduite (contrôle continu du déplacement) associées a une bonne stratégie (prise de décision) sont bénéfiques pour lorientation spatiale. Une technique efficace de déplacement contient des éléments facilitant lorientation spatiale. Le téléportage entre différents points conduit à une désorientation spatiale au moins temporaire de lutilisateur.

46 46 Wayfinding: leffet de la référence (1) Référence égocentrique (ex. HMD) Pendant le voyage virtuel, lutilisateur perçoit son mouvement comme un égo- mouvement (élément constitutif de la proprioception). Il faut effectuer une correspondance correcte entre la perspective égocentrique et la carte cognitive de lenvironnement Position, orientation et mouvement des objets dans le SC de la tête (mains, torse etc.).

47 47 Wayfinding: leffet de la référence (2) EV non-immersifs (ex : Fishtank, ImmersaDesk etc.) : référence exocentrique. La position, lorientation et le mouvement des objets virtuels sont définis dans le SC de lenvironnement.

48 48 Conception des techniques dorientation spatiale (1) Perspective utilisateur : faciliter la construction dune carte cognitive correcte et complète de lenvironnement (spatial knowledge) ; fournir des informations suffisantes pour que lutilisateur perçoive correctement sa projection dans lEV. (spatial awareness) - permettre un champ large de vue (vision périphérique, flux optique, perception de légo- mouvement) - augmenter le niveau de présence de lutilisateur ( stimulation multisensorielle, scénario etc.)

49 49 Conception des techniques dorientation spatiale (2) Perspective de lEV : Lorganisation de lenvironnement virtuel doit être simple et si possible cohérente avec : - les principes dorganisation de environnements naturels et/ou - les principes de design architectural : « Buildings are located in and on space and create new spaces. These spaces can encourage movement and social interaction or restrict it…Spaces can attract people or put them off; include them or exclude them. It depends on how the space is planned and designed, and whether the plans and designs put people first.» Tiré de www. spacesyntax.com - Les lois de navigation dans un EV doivent être spécifiées clairement.

50 50 Wayfinding – étude des cas (1) Darken et Peterson (2001). Spatial Orientation, Wayfinding, and Representation. Hanbook of Virtual environment technology. Contexte Environnement virtuel de type espace ouvert – océan. Affichage visuel : HMD ou Fakespace PUSH TM Tâche principale : localisation des objets dans lEV Recherche naïve ou ciblée

51 A. Branzan-Albu & D. Laurendeau GIF Wayfinding – étude des cas (2) Utilisation des cartes virtuelles. Tiré de Darken et Peterson (2001)

52 52 Wayfinding –étude des cas (3) Utilisation des cartes virtuelles - discussion. La configuration forward-up est optimale pour des tâches de navigation égocentriques (recherche des objets) La configuration north-up est optimale pour des tâches exo- centriques (ou géocentriques) – recherche générale, exploratoire, afin de construire une carte cognitive : spatial knowledge. Évaluation des performances : les habilités dorientation spatiale (psychophysique) des sujets humains ont un rôle déterminant. Évaluation subjective de lexpérience virtuelle : la majorité des participants ont préféré le north-up, même si leurs performances nétaient pas corrélées avec leur préférence.

53 53 Wayfinding – étude des cas (4) Utilisation des marqueurs virtuels (landmarks) Dans la recherche des objets virtuels, les participants ont eu la possibilité de placer au maximum dix marqueurs des différentes couleurs dans lEV. Les marqueurs sont visibles à une distance beaucoup plus grande que les objets recherchés. Résultats (post-EV) : les marqueurs avaient été placés entre les cibles recherchées pour former une sorte de chaîne cognitive : dès quun marqueur disparaissait du champ de vue, un autre devrait apparaître à lhorizon.

54 54 Wayfinding – étude des cas (5) Utilisation des empreintes virtuelles (footprints) pour marquer les chemins déjà empruntés dans lEV (trails). Technique très efficace pour les tâches de recherche exhaustive des EV (recherche naïve). Une recherche exhaustive optimale ne visite jamais deux fois le même endroit, en supposant que les cibles sont immobiles. Problème : pendant lévolution du processus de navigation, lEV devient encombré dempreintes virtuelles. Ainsi, linformation contenue par les empreintes est difficile à décoder pour lutilisateur. Solution : marquer les chemins parcourus directement sur une carte virtuelle.

55 A. Branzan-Albu & D. Laurendeau GIF Tiré de Darken et Peterson (2001)

56 A. Branzan-Albu & D. Laurendeau GIF Tiré de Darken et Peterson (2001)

57 57 Wayfinding – étude des cas (8) Outils virtuels pour lorientation directionnelle : boussole et soleil. Évaluation post-EV : La boussole virtuelle a été préférée au soleil puisquelle demeurait toujours visible, sans demander une rotation supplémentaire du champ de vue. Performances cognitives très limitées : muni de ces outils virtuels, lutilisateur ne peut pas déduire sa position et orientation dans lenvironnement (niveau très faible de spatial awareness).

58 A. Branzan-Albu & D. Laurendeau GIF Tiré de Darken et Peterson (2001)

59 A. Branzan-Albu & D. Laurendeau GIF Tiré de Darken et Peterson (2001)

60 60 Conclusion Principes pour le design des EV navigables Rehaussement de la performance avec des outils virtuels : Cartes virtuelles : - montrer toujours la position et lorientation de lutilisateur sur la carte ; mise à jour automatique - ne fonctionne pas bien pour des utilisateurs avec des faibles habiletés dorientation spatiale Be aware of who your users are! Marqueurs virtuels : - outils personnalisés, les utilisateurs choisissent lemplacement des marqueurs dans lEV. - très utiles pour la navigation dans un EV non-structuré (océan virtuel) - attention à lencombrement de lEV! Design structuré des EV (application des principes de design urbain)

61 61 Cours prochain : Sélection et manipulation des objets virtuels. Contrôle du système.


Télécharger ppt "1 Design des environnements virtuels A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval."

Présentations similaires


Annonces Google