Environnements collaboratifs 3D

Présentation au sujet: "Environnements collaboratifs 3D"— Transcription de la présentation:

1 Environnements collaboratifs 3D
Concevoir des Environnements Virtuels Collaboratifs, des questions et quelques réponses sur la plate-forme SPIN3D Par C Chaillou, S Degrande, P Plénacoste

2 Plan du cours Introduction Définition et vocabulaire La plate-forme SPIN L’interaction La représentation des acteurs La communication entre acteur

3 Introduction Environnement Immersif Utilisation d ’un CAVE, UCL

4 Introduction Le bureau du futur, une vue de l ’UNC

5 Vocabulaire et définitions
Définition d ’un EVC C ’est un outil permettant à plusieurs personnes distantes d ’évoluer dans un même environnement virtuel Chaque participant est représenté par un avatar Les personnes peuvent interagir entre elles et avec les objets de l ’environnement.

6 Vocabulaire et définitions
L ’environnement virtuel collaboratif est défini par Des objets Une représentation des participants Des mécanismes d ’interaction UCL

7 Vocabulaire et définitions
Environnement immersif ou non immersif

8 Vocabulaire et définitions
Environnement immersif Forte instrumentation de l ’utilisateur casques ou salles spécialisées suivi de la tête et des mains Des difficultés importantes navigation dans l ’environnement virtuel interaction avec les objets virtuels

9 Vocabulaire et définitions
Environnement non-immersif L ’utilisateur est devant son terminal Il dispose de périphériques Représentation à distance par un avatar Des difficultés importantes Pas de possibilité de se déplacer Reconstruction d ’un présentation globale cohérente Comment piloter l ’avatar

10 Dans les environnements immersifs
Modèle d ’interaction Dans les environnements immersifs Le corps sert à interagir Nécessite une capture précise des mouvements Incohérence entre action physique et conséquence sur l ’environnement (effet magique) Dans les environnements non immersifs Création d ’outils d’interaction adaptés à la tache Les taches 3D sont difficiles à réaliser Si on spécialise, conception de très nombreux périphériques Fakespace Cubic Mouse

11 Modèle d ’interaction à deux mains
Interface naturelle pour Du positionnement d ’une coupe, métaphore de la maquette L’utilisation d ’un crayon dans un environnement 3D Cooperative Bimanual Action, Hinckley et al., CHI 1997 Personal Interaction Panel, Vienna University of Technology

12 Les primitives d ’interaction
Modèle d ’interaction Les primitives d ’interaction La navigation, les déplacements dans l ’environnement Le pointage, sélection d ’objets avec les mouvements de la main (capture) via des périphériques La manipulation 6DDL Le contrôle d ’application Les taches symboliques

13 Vocabulaire et définitions : Le GroupWare
Evolution de l'organisation de la chaîne industrielle Sous-traitance et filiales, collaboration inter-entreprises Réduction des temps de conception  besoins d'outils de collaboration "distante" Outils disponibles Gestion de projet collaboratif Visioconférence Partage d'applications (à la NetMeeting) Objets actuels conçus numériquement Comment collaborer autour de ces objets ?  Utilisation d'environnements de partage d'objets 3D

14 Vocabulaire et définitions : Le GroupWare

15 Vocabulaire et définitions : La coopération
Co-Opérer = réaliser à plusieurs une tâche nécessitant de manipuler des objets "manipuler des objets" interface d'interaction avec les objets "à plusieurs" représentation des autres et de leurs actions "réaliser … une tâche" permettre à l'utilisateur de se focaliser sur son objectif : l'interface doit être naturelle et transparente

16 Environnement virtuel collaboratif
Dive

17 La plate-forme Spin3D Les principes La plate-forme L’interaction avec les objets La communication

18 Entre bureautique et réalité virtuelle
La plate-forme Spin3D Entre bureautique et réalité virtuelle Cible visée : les services combinant dans un même environnement la manipulation d’information et la communication en petit groupe Une interface unique (un seul lieu, environnement virtuel) en réseau Internet (public, privé, entreprise) pour travailler (documents, objets actifs) et communiquer (clones, avatars animés) ensemble (savoir toujours qui fait quoi ?) en temps réel (tous les événements synchrones)

19 Concepts sur lesquels reposent Spin3D
La plate-forme Spin3D Concepts sur lesquels reposent Spin3D Contact visuel Conscience du regard Continuité : même espace Qualité sonore Perception directe de l’environnement et des interactions Le tout visible Animation temps réel Centre d’intérêt

20 La plate-forme Spin3D Environnement de travail bureautique Une métaphore de conception: une table de réunion Interaction bimanuelle Navigation restreinte à l’interaction dans un espace clos Tous les documents, objets et Avatars visibles Temps réel pour la communication et l’interaction

21 Collaboration centrée sur l’activité (domaines d’activités)
La plate-forme Spin3D Collaboration centrée sur l’activité (domaines d’activités) Réaliste mais pas réel Une table sur laquelle se déroule l’activité principale d’un utilisateur (espace d’interaction) Un bandeau pour présenter les interacteurs et autres documents de l’activité Organisation de l’interface propre à chaque utilisateu Choix de l'objet à manipuler Choix de l'orientation de l'objet (point de vue sur l'objet) Adapté à chaque type d'activité Contenu (objets 3D ou 2D) partagé ou non

22 Espace de travail propre à chaque utilisateur
La plate-forme Spin3D Espace de travail propre à chaque utilisateur Seuls certains objets contenus dans l’interface sont partagés, l’interface en elle-même n’est pas partagée Intégration des utilisateurs distants dans l’interface sous la forme d’avatars 3D

23 La plate-forme Spin3D : Technologie
Besoin d’interactivité d’un système de TCAO: Base de données 3D dupliquée Topologie pour le maintien de la cohérence complètement distribuée Rester adaptable du point de vue du contexte réseau Utiliser deux canaux de communication: Canal à cohérence forte (implémenté au dessus d’un mécanisme d’ invocation de méthode à distance) avec Corba Canal à cohérence faible (implémenté au dessus d’un mécanisme de flots multimédia) avec MIOP

24 La plate-forme Spin3D : Technologie
Services pour gérer l’EVC 3D et le bon déroulement de la session de travail coopératif Mise en œuvre d’un service: Contexte d’exécution décentralisée Fonctionnement au dessus du canal à cohérence forte Schéma de conception basé sur la notion de groupe d’objets Chaque terminal exécute une instance de l’objet représentant le service Objets (instance du même service) connectés au bus CORBA = groupe Communication au sein du groupe via IIOP ou RMIOP pour assurer le service

25 La plate-forme Spin3D : Technologie
Service de gestion du flux: Adaptation du fonctionnement classique à un schéma non centralisé Permettre le contrôle les flux Service de gestion de groupe: Gestion des entrées/sorties des utilisateurs Utilisé à haut niveau par l’interface et à bas niveau pour la fiabilisation du protocole multipoint Service de gestion des accès concurrents: Assurer qu’une seule action est en cours d’exécution sur une donnée partagée Utilisé par le mécanisme d’interaction

26 La plate-forme Spin3D : Technologie
De nombreux navigateurs VRML97: SGI, Sony, Blaxxun, Cortona Conception de communautés virtuelles 3D sur Internet (Cyber Town): Grand nombre d’utilisateurs Interaction limitée utilisateur/utilisateurs, utilisateur/objets Graphe de scène unique correspondant au monde géométrique 3D Navigation dans le monde 3D

27 La plate-forme Spin3D : Technologie
Les besoins du navigateur/afficheur 3D Graphe de scène propre à chaque utilisateur (pas de graphe de scène géométrique) Graphe de scène construit par l’assemblage de documents (dont l’état peut être partagé) IHM spécifique (ombres, boites englobantes) Conception d ’un navigateur VRML97 spécifique (Spin-3D = Terminal VRML97 étendu)

28 La plate-forme Spin3D : Technologie
Création d’applications Extension VRML97 pour la description d’objets partagés Extension de l’EAI pour la connexion d’applications externes

29 La plate-forme Spin3D : Technologie

30 L’interaction Utilisation de périphériques Les activités élémentaires
Pointage et sélection dans l ’espace 3D Manipulation Déplacement des objets suivant 6DDL Les points de vues

31 L’interaction Transformer les usages de conception de l’interaction (ex: conception architecturale) Métaphores d’action : objectif guider l’action (validées par expérimentations) Ombres dynamiques pour guider le geste Ombres statiques pour localiser les objets La forme de l’ombre n’est pas importante Boites englobantes pour guider l’action sur les objets Périphériques qui respectent «l’écologie du geste»

32 L’interaction Métaphores d’interaction ou de collaboration : Objectif rendre compréhensible l’action Respectant la manipulation directe Liées aux types de périphériques Outils pour agir directement sur les objets Outils pour permettre l’activité et la collaboration (exemple: point de vue) Gestion des différents espaces d’activités

33 L ’interaction : manipulation
Manipulation 3D basée sur une interaction bi-manuelle Une phase de sélection de l'objet (pointeur 3D) Une phase de manipulation Utilisation de 2 périphériques dédiés

34 L ’interaction : manipulation
Dans la main dominante un pointeur 3D Dans l ’autre main un outil de manipulation 6D

35 L ’interaction : représentation à distance
Toute action sur un objet partagé a une représentation à distance Télépointeur distant reprenant la position du pointeur local Feedback de sélection par un code de couleur

36 L’interaction : les points de vues
Chaque participant peut manipuler son exemplaire Confusion entre manipulation et changement de oint de vue Handicap pour la collaboration Support d'objets permettant De changer de point de vue De connaitre les points de vue des inter-actants

37 L’interaction : montage-démontage
Conception d ’un ensemble de mécanismes permettant de faire des assemblages

38 La représentation des acteurs
Par des avatars Représentation d’un utilisateur dans un EVC Avatar 2D [Vertegaal 99]

39 La représentation des acteurs
[Bowers 96] Par des avatars Avatar 3D Avatar 3D anthropo-morphique Le clone Fort potentiel d’animation comportementale  vecteur de communication intéressant Learning studio

40 Communication entre les participants
Canal audio Facile à reproduire dans les EVC Les expressions faciales et le regard Importance du contact visuel Les gestes Actions via les périphériques Conversation capture du mouvement

41 Communication via le visage
Les expressions faciales Le contact visuel comme en visioconférence Réalisme des clones par placage de texture 3D Bernard Boxton

42 Communication via le visage
Utilisation de clones réalistes Personne réelle Clone temps réel Analyse traitement Synthèse déformation du modèle 3D

43 Communication via le visage
Le contact visuel comme avec Magic Pilotage des yeux en fonction du centre d ’intérêt

44 Communication gestuelle
Différentes technologies de pilotage des avatars Le clone «mimétique» Représentation isomorphique du comportement de l’utilisateur Le clone «marionnette» L’utilisateur « pilote » son clone

45 Communication gestuelle
Différentes technologies de pilotage des avatars Le clone «symbolique» Animation au moyen d’une bibliothèque de comportement L’analyse des actions de l’utilisateur par le système permet de donner des comportements

46 Communication gestuelle
Solution dans les environnements non immersifs Clone «symbolique» pour les gestes d ’actions Clone «mimétique» pour les gestes de conversation Ne pas utiliser le mode «marionnette» De nouveaux problèmes Articulation entre les deux modes Problème particulier des gestes mimétiques adressés

47 Communication gestuelle : gestes adressés
Incohérence dans la représentation distante Introduire une correction en fonction de la vue locale

48 Communication gestuelle et visuelle : articulation
Changement de mode par l’utilisateur Problème : nouvelle tâche parasite à l’activité Implicite Sur l ’activité via les périphériques insuffisant pour les gestes adressés et le regard Détection automatique des gestes par le système Difficulté : arriver au niveau sémantique de reconnaissance du geste Système hybride Apprentissage de gestes différentiables « Interface de commande par détection d’intention »

49 Exemples d ’utilisation
Service après-vente Travaux pratiques Télé-diagnostique Argonaute 3D © France Télécom, IRCAD

50 La conception de spin3D est toujours en cours
Conclusion La conception de spin3D est toujours en cours Proposer un environnement intégralement 3D est un tache vraiment ardu Quand utiliser des métaphores ? Lesquelles ? Quand reproduire les gestes naturels ? Deux prochaines étapes Trouver pour le 3D l ’équivalent de l ’ensemble souris-pointeur-fenêtres-menus des actuelles interfaces Avoir des outils matériels et logiciels d ’interaction dans les environnements immersifs