Environnements collaboratifs 3D Concevoir des Environnements Virtuels Collaboratifs, des questions et quelques réponses sur la plate-forme SPIN3D Par C Chaillou, S Degrande, P Plénacoste

Plan du cours Introduction Définition et vocabulaire La plate-forme SPIN L’interaction La représentation des acteurs La communication entre acteur

Introduction Environnement Immersif Utilisation d ’un CAVE, UCL

Introduction Le bureau du futur, une vue de l ’UNC

Vocabulaire et définitions Définition d ’un EVC C ’est un outil permettant à plusieurs personnes distantes d ’évoluer dans un même environnement virtuel Chaque participant est représenté par un avatar Les personnes peuvent interagir entre elles et avec les objets de l ’environnement.

Vocabulaire et définitions L ’environnement virtuel collaboratif est défini par Des objets Une représentation des participants Des mécanismes d ’interaction UCL

Vocabulaire et définitions Environnement immersif ou non immersif

Vocabulaire et définitions Environnement immersif Forte instrumentation de l ’utilisateur casques ou salles spécialisées suivi de la tête et des mains Des difficultés importantes navigation dans l ’environnement virtuel interaction avec les objets virtuels

Vocabulaire et définitions Environnement non-immersif L ’utilisateur est devant son terminal Il dispose de périphériques Représentation à distance par un avatar Des difficultés importantes Pas de possibilité de se déplacer Reconstruction d ’un présentation globale cohérente Comment piloter l ’avatar

Dans les environnements immersifs Modèle d ’interaction Dans les environnements immersifs Le corps sert à interagir Nécessite une capture précise des mouvements Incohérence entre action physique et conséquence sur l ’environnement (effet magique) Dans les environnements non immersifs Création d ’outils d’interaction adaptés à la tache Les taches 3D sont difficiles à réaliser Si on spécialise, conception de très nombreux périphériques Fakespace Cubic Mouse

Modèle d ’interaction à deux mains Interface naturelle pour Du positionnement d ’une coupe, métaphore de la maquette L’utilisation d ’un crayon dans un environnement 3D Cooperative Bimanual Action, Hinckley et al., CHI 1997 Personal Interaction Panel, Vienna University of Technology

Les primitives d ’interaction Modèle d ’interaction Les primitives d ’interaction La navigation, les déplacements dans l ’environnement Le pointage, sélection d ’objets avec les mouvements de la main (capture) via des périphériques La manipulation 6DDL Le contrôle d ’application Les taches symboliques

Vocabulaire et définitions : Le GroupWare Evolution de l'organisation de la chaîne industrielle Sous-traitance et filiales, collaboration inter-entreprises Réduction des temps de conception  besoins d'outils de collaboration "distante" Outils disponibles Gestion de projet collaboratif Visioconférence Partage d'applications (à la NetMeeting) Objets actuels conçus numériquement Comment collaborer autour de ces objets ?  Utilisation d'environnements de partage d'objets 3D

Vocabulaire et définitions : Le GroupWare

Vocabulaire et définitions : La coopération Co-Opérer = réaliser à plusieurs une tâche nécessitant de manipuler des objets "manipuler des objets" interface d'interaction avec les objets "à plusieurs" représentation des autres et de leurs actions "réaliser … une tâche" permettre à l'utilisateur de se focaliser sur son objectif : l'interface doit être naturelle et transparente

Environnement virtuel collaboratif Dive

La plate-forme Spin3D Les principes La plate-forme L’interaction avec les objets La communication

Entre bureautique et réalité virtuelle La plate-forme Spin3D Entre bureautique et réalité virtuelle Cible visée : les services combinant dans un même environnement la manipulation d’information et la communication en petit groupe Une interface unique (un seul lieu, environnement virtuel) en réseau Internet (public, privé, entreprise) pour travailler (documents, objets actifs) et communiquer (clones, avatars animés) ensemble (savoir toujours qui fait quoi ?) en temps réel (tous les événements synchrones)

Concepts sur lesquels reposent Spin3D La plate-forme Spin3D Concepts sur lesquels reposent Spin3D Contact visuel Conscience du regard Continuité : même espace Qualité sonore Perception directe de l’environnement et des interactions Le tout visible Animation temps réel Centre d’intérêt

La plate-forme Spin3D Environnement de travail bureautique Une métaphore de conception: une table de réunion Interaction bimanuelle Navigation restreinte à l’interaction dans un espace clos Tous les documents, objets et Avatars visibles Temps réel pour la communication et l’interaction

Collaboration centrée sur l’activité (domaines d’activités) La plate-forme Spin3D Collaboration centrée sur l’activité (domaines d’activités) Réaliste mais pas réel Une table sur laquelle se déroule l’activité principale d’un utilisateur (espace d’interaction) Un bandeau pour présenter les interacteurs et autres documents de l’activité Organisation de l’interface propre à chaque utilisateu Choix de l'objet à manipuler Choix de l'orientation de l'objet (point de vue sur l'objet) Adapté à chaque type d'activité Contenu (objets 3D ou 2D) partagé ou non

Espace de travail propre à chaque utilisateur La plate-forme Spin3D Espace de travail propre à chaque utilisateur Seuls certains objets contenus dans l’interface sont partagés, l’interface en elle-même n’est pas partagée Intégration des utilisateurs distants dans l’interface sous la forme d’avatars 3D

La plate-forme Spin3D : Technologie Besoin d’interactivité d’un système de TCAO: Base de données 3D dupliquée Topologie pour le maintien de la cohérence complètement distribuée Rester adaptable du point de vue du contexte réseau Utiliser deux canaux de communication: Canal à cohérence forte (implémenté au dessus d’un mécanisme d’ invocation de méthode à distance) avec Corba Canal à cohérence faible (implémenté au dessus d’un mécanisme de flots multimédia) avec MIOP

La plate-forme Spin3D : Technologie Services pour gérer l’EVC 3D et le bon déroulement de la session de travail coopératif Mise en œuvre d’un service: Contexte d’exécution décentralisée Fonctionnement au dessus du canal à cohérence forte Schéma de conception basé sur la notion de groupe d’objets Chaque terminal exécute une instance de l’objet représentant le service Objets (instance du même service) connectés au bus CORBA = groupe Communication au sein du groupe via IIOP ou RMIOP pour assurer le service

La plate-forme Spin3D : Technologie Service de gestion du flux: Adaptation du fonctionnement classique à un schéma non centralisé Permettre le contrôle les flux Service de gestion de groupe: Gestion des entrées/sorties des utilisateurs Utilisé à haut niveau par l’interface et à bas niveau pour la fiabilisation du protocole multipoint Service de gestion des accès concurrents: Assurer qu’une seule action est en cours d’exécution sur une donnée partagée Utilisé par le mécanisme d’interaction

La plate-forme Spin3D : Technologie De nombreux navigateurs VRML97: SGI, Sony, Blaxxun, Cortona Conception de communautés virtuelles 3D sur Internet (Cyber Town): Grand nombre d’utilisateurs Interaction limitée utilisateur/utilisateurs, utilisateur/objets Graphe de scène unique correspondant au monde géométrique 3D Navigation dans le monde 3D

La plate-forme Spin3D : Technologie Les besoins du navigateur/afficheur 3D Graphe de scène propre à chaque utilisateur (pas de graphe de scène géométrique) Graphe de scène construit par l’assemblage de documents (dont l’état peut être partagé) IHM spécifique (ombres, boites englobantes) Conception d ’un navigateur VRML97 spécifique (Spin-3D = Terminal VRML97 étendu)

La plate-forme Spin3D : Technologie Création d’applications Extension VRML97 pour la description d’objets partagés Extension de l’EAI pour la connexion d’applications externes

La plate-forme Spin3D : Technologie

L’interaction Utilisation de périphériques Les activités élémentaires Pointage et sélection dans l ’espace 3D Manipulation Déplacement des objets suivant 6DDL Les points de vues

L’interaction Transformer les usages de conception de l’interaction (ex: conception architecturale) Métaphores d’action : objectif guider l’action (validées par expérimentations) Ombres dynamiques pour guider le geste Ombres statiques pour localiser les objets La forme de l’ombre n’est pas importante Boites englobantes pour guider l’action sur les objets Périphériques qui respectent «l’écologie du geste»

L’interaction Métaphores d’interaction ou de collaboration : Objectif rendre compréhensible l’action Respectant la manipulation directe Liées aux types de périphériques Outils pour agir directement sur les objets Outils pour permettre l’activité et la collaboration (exemple: point de vue) Gestion des différents espaces d’activités

L ’interaction : manipulation Manipulation 3D basée sur une interaction bi-manuelle Une phase de sélection de l'objet (pointeur 3D) Une phase de manipulation Utilisation de 2 périphériques dédiés

L ’interaction : manipulation Dans la main dominante un pointeur 3D Dans l ’autre main un outil de manipulation 6D

L ’interaction : représentation à distance Toute action sur un objet partagé a une représentation à distance Télépointeur distant reprenant la position du pointeur local Feedback de sélection par un code de couleur

L’interaction : les points de vues Chaque participant peut manipuler son exemplaire Confusion entre manipulation et changement de oint de vue Handicap pour la collaboration Support d'objets permettant De changer de point de vue De connaitre les points de vue des inter-actants

L’interaction : montage-démontage Conception d ’un ensemble de mécanismes permettant de faire des assemblages

La représentation des acteurs Par des avatars Représentation d’un utilisateur dans un EVC Avatar 2D [Vertegaal 99]

La représentation des acteurs [Bowers 96] Par des avatars Avatar 3D Avatar 3D anthropo-morphique Le clone Fort potentiel d’animation comportementale  vecteur de communication intéressant Learning studio

Communication entre les participants Canal audio Facile à reproduire dans les EVC Les expressions faciales et le regard Importance du contact visuel Les gestes Actions via les périphériques Conversation capture du mouvement

Communication via le visage Les expressions faciales Le contact visuel comme en visioconférence Réalisme des clones par placage de texture 3D Bernard Boxton

Communication via le visage Utilisation de clones réalistes Personne réelle Clone temps réel Analyse traitement Synthèse déformation du modèle 3D

Communication via le visage Le contact visuel comme avec Magic Pilotage des yeux en fonction du centre d ’intérêt

Communication gestuelle Différentes technologies de pilotage des avatars Le clone «mimétique» Représentation isomorphique du comportement de l’utilisateur Le clone «marionnette» L’utilisateur « pilote » son clone

Communication gestuelle Différentes technologies de pilotage des avatars Le clone «symbolique» Animation au moyen d’une bibliothèque de comportement L’analyse des actions de l’utilisateur par le système permet de donner des comportements

Communication gestuelle Solution dans les environnements non immersifs Clone «symbolique» pour les gestes d ’actions Clone «mimétique» pour les gestes de conversation Ne pas utiliser le mode «marionnette» De nouveaux problèmes Articulation entre les deux modes Problème particulier des gestes mimétiques adressés

Communication gestuelle : gestes adressés Incohérence dans la représentation distante Introduire une correction en fonction de la vue locale

Communication gestuelle et visuelle : articulation Changement de mode par l’utilisateur Problème : nouvelle tâche parasite à l’activité Implicite Sur l ’activité via les périphériques insuffisant pour les gestes adressés et le regard Détection automatique des gestes par le système Difficulté : arriver au niveau sémantique de reconnaissance du geste Système hybride Apprentissage de gestes différentiables « Interface de commande par détection d’intention »

Exemples d ’utilisation Service après-vente Travaux pratiques Télé-diagnostique Argonaute 3D © France Télécom, IRCAD

La conception de spin3D est toujours en cours Conclusion La conception de spin3D est toujours en cours Proposer un environnement intégralement 3D est un tache vraiment ardu Quand utiliser des métaphores ? Lesquelles ? Quand reproduire les gestes naturels ? Deux prochaines étapes Trouver pour le 3D l ’équivalent de l ’ensemble souris-pointeur-fenêtres-menus des actuelles interfaces Avoir des outils matériels et logiciels d ’interaction dans les environnements immersifs