VECPAR'98 Programme MDMSA 2005 Revue de projets 13 novembre 2008

Présentation au sujet: "VECPAR'98 Programme MDMSA 2005 Revue de projets 13 novembre 2008"— Transcription de la présentation:

1 VECPAR'98 Programme MDMSA 2005 Revue de projets 13 novembre 2008
June 22, 1998 Combinaisons de Rendus Sensori-moteurs pour l’Analyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008 IRISA/Inria Rennes

2 Sommaire de l’exposé Introduction Problématique en « Bioinformatique »
VECPAR'98 Sommaire de l’exposé June 22, 1998 Introduction Patrick BOURDOT (LIMSI), Jean-Marie BURKHARDT (ECI-Université Paris V) Problématique en « Bioinformatique » Catherine ETCHEBEST et Ludovic AUTIN (EBGM) Problématique en « Mécanique des Fluides » Jean-Marc VEZIEN, François LUSSEYRAN (LIMSI) Avancées en Interaction Haptique Mehdi AMMI (LIMSI), Jérôme PERRET (HAPTION SA) Avancées en Audio 3D Olivier WARUSFEL (IRCAM), Brian KATZ (LIMSI), Lorenzo PICINALI (IRCAM) Supervision Multimodale Patrick BOURDOT (LIMSI), Guillaume BOUYER (IBISC) Scénarios d’usage et Evaluation Jean-Marie BURKHARDT (ECI-Université Paris V) Conclusion Patrick BOURDOT (LIMSI) et al. IRISA/Inria Rennes

3 Introduction Générale
VECPAR'98 Introduction Générale June 22, 1998 Motivations Multimodalité : multimédia « intelligent » RV : immersion, réalisme, interaction multi-sensorimotrice Finalité : traitement des canaux sensorimoteurs (et de leurs modalités) pour rendre plus intuitives et au final plus efficaces les interactions en RV Objectifs dans CoRSAIRe Aider les utilisateurs dans l'analyse de phénomènes 3d aux données massives et complexes Donner à percevoir ces phénomènes en combinant les modalités immersives disponibles sur les canaux visuel, haptique et audio des systèmes de RV Evaluer de façon formelle ces solutions sur des scénarios d’usage propres aux deux applications visées Partenaires : LIMSI-CNRS, IRCAM-CNRS, EBGM-INSERM, Université Paris Descartes, HAPTION S.A. IRISA/Inria Rennes

4 Intro : Analyse des Besoins
VECPAR'98 Intro : Analyse des Besoins June 22, 1998 Objectifs Cerner l’activité « actuelle » Utilisateurs = Chercheurs (objectifs, procédures,…) Exploration finalisée des données Outils et procédures Déterminer Images Mentales et Activité Cognitive des sujets Composants, Evolution… Anticiper l’activité « future » Nourrir scénarios d’usage pour l’évaluation Méthodes ACD : Analyse Cognitivo-Discursive (Ghiglione et al.1998) Méthode d’analyse du discours des « utilisateurs » : appliquée sur les données d’entretien et les traces de l’activité Permet d’identifier les formes et relations entre noyaux sémantiques mobilisés dans leur discours : fréquences d’apparition des univers sémantiques, proximité des références, connecteurs logiques Observations et verbalisation en situations : Enrichissement du corpus de données sur l’activité Approche participative impliquant les « utilisateurs » : Analyse (ACD) Validation du modèle d’activité Conception et construction ses Scénarios d’usage ACD : méthode d’analyse du discours qui permet d’extraire les composants centraux de la rep. Mentale de l’utilisateur / tâche Evaluation des solutions proposées vs. Analyse des besoins (pas assez présente selon reviewers)… revoir rapport audit Outre la formalisation de l’activité actuelle, ce travail d’analyse est ensuite exploité également dans le projet afin: - de contribuer à anticiper et formaliser l’activité future dans laquelle prend place l’assistance offerte par CoRSAIRe; - de nourrir les scénarios d’usage utilisés ultérieurement dans la phase d’évaluation du projet 3 axes méthodologiques transversaux aux deux domaines d’application ont servi de base à l’analyse de l’activité réalisée: analyse cognitivo-discursive, laquelle repose sur l’analyse des formes et relations entre noyaux sémantiques mobilisés dans le discours du chercheur; cette méthode est en particulier appliquée sur les données d’entretien et les traces de l’activité observation de l’activité et la technique de la verbalisation simultanée afin d’enrichir le corpus de données sur l’activité Une participation des utilisateurs- chercheurs tant à la phase d’analyse que pour ce qui est de la validation du modèle d’activité qui en résulte, ainsi que les choix de conception et la construction du scenario d’usage propre à chacun des deux domaines d’application IRISA/Inria Rennes

5 Intro : Analyse des Besoins
VECPAR'98 Intro : Analyse des Besoins June 22, 1998 Résultats Modèles hiérarchiques des tâches (Annet & Stanton, 2003) Description formelle du découpage du travail en tâche et sous-tâches Met en exergue, sur la tâche « actuelle » : Objectifs / Mode de travail / Besoins propres à chaque niveau de décomposition Représentation facile à comprendre, à exploiter, à remanier et à évaluer par les utilisateurs et les concepteurs  excellent outil pour créer de nouvelles interfaces Exemple (extrait) sur le Docking moléculaire Scénarios d’usage Les résultats sont d’abord une description formelle de la tâche actuelle sous la forme d’un arbre hiérarchique des tâches. Ce type de formalisme a l’intérêt de mettre en exergue : les objectifs, les modes de travail, les besoins propres à chaque niveau d’une décomposition systématique de la tâche en sous-tâches. => représentation du découpage du travail rigoureuse et facile à interpréter, de telle sorte que les concepteurs et utilisateurs puissent facilement la comprendre, l’exploiter, la remanier et évaluer sa pertinence. repérer les aspects du travail pour lesquels le paradigme d'interaction novateur proposé pour CORSAIRE serait susceptible de présenter un particulier par rapport aux IHM existantes. Cette valeur ajoutée pourra ensuite faire l'objet d'une évaluation sur le terrain L’exemple présenté ici à titre illustratif concerne la tâche d’amarrage moléculaire (Docking) en bio-informatique. Il souligne que cette activité se décompose en 3 grandes tâches qui se succèdent de façon itérative en fonction de l’examen des résultats: 1 generer des modeles de complexes 2 Réduire le nombre de solutions 3 classer les conformations produites. La nature itérative et les liens entre ces tâches sont indiqués dans le plan à droite Le schema présenté ici n’est qu’un extrait de l’arbre complet, chaucune de ces trois tâches étant elles-mêmes redecomposés et décrites plus en détail pour fournir une première base À la reflexion pour la conception d’une assistance adaptée aux besoins des utilisateurs chercheurs. Enfin, la tâche « future » avec l’assistance de l’outil CORSAIRe a été spécifiée à partir de ce modèle initial et formalisées également sous la forme du « scenario d’usage » correspondant, selon une approche également participative impliquant à la fois les chercheurs « futurs » utilisateurs et les autres participants prenant en charge le développement des briques technologiques. IRISA/Inria Rennes

6 Application : Bioinformatique
VECPAR'98 Application : Bioinformatique June 22, 1998 Aspect biologique Fonction protéique  Interactions avec des partenaires (ADN, protéine (IPP),membrane etc..) Dérégulation  Pathologie, désordres métaboliques  Les médicaments développés actuellement ciblent des IPP Difficulté d’obtention expérimentale des structures 3D des complexes protéiques: prédiction par la bioinformatique Notions de bases sur les IPP Bonne complémentarité topologique (forme) Notion d’énergie ou évaluation de « score » par la mécanique moléculaire : Energie de Van der Waals et d'électrostatique IRISA/Inria Rennes

7 Bioinfo 2/4 : Processus de Docking pour la prédiction des IPP
VECPAR'98 June 22, 1998 Selection et classement selon le score   Affinement  Recherche conformationnelle (corps rigide) Rotation Translation Représentation  Dédoublement du transparent : 1 trans (à faire) Introduire de la problématique interaction protéine-protéine les aspects Physico-chimiques des ces interaction : dont Van der Waals…. 2 trans : la méthode de docking (intro du scoring) IRISA/Inria Rennes

8 Bioinfo 3/4 : Analyse des Besoins
VECPAR'98 Bioinfo 3/4 : Analyse des Besoins June 22, 1998 Méthode 4 entretiens semi-dirigés avec des chercheurs 4 séances d’observation de l’activité sur les outils existants + recueil des protocoles verbaux + recueil d’observables Analyse de traces écrites (articles, manuels de formation) + recueil des caractéristiques des graphiques Besoins informationnels Physico-chimie des protéines : Topologie des protéines : Complémentarité géométrique Sites de liaison ou « hot-spot » Contraintes en RV Assister le processus de docking mis en évidence Interaction Temps Réel Perception multi-sensorimotrice Projection Information  modalité Scores La méthode d’analyse des besoins appliquées à reposé sur la méthodologie suivante: 4 entretiens semi-dirigés avec des chercheurs 4 séances d’observation de l’activité sur les outils existants au cours de laquelle on a également recueil li les verbalisations simultanées à la tâche, l’analyse de traces écrites (articles, manuels de formation, graphiques etc. Cette analyse a mis en évidence la tâche telle que décrite auparavant, pour laquelle il est important des souligner qu’elle ne préexistait pas au démarrage du projet. En d’autres termes, c’est le travail d’analyse de l’activité en collaboration avec les chercheur qui a permis de formaliser le processus poursuivi. Cette analyse a mis également en évidence les besoins informationnels du chercheur au cours de son activité, qui sont: Physico-chimie des protéines : Énergie électrostatique Énergie de van der Waals Hydrophobie/Solvatation Liaison hydrogène Pont salins Topologie des protéines :Complémentarité géométrique Sites de liaison ou « hot-spot » Ces résultats ont permis de formuler les contraintes prioritaires sur la conception du démonstrateur et futur outil CORSAIRe: une assistance exactement adaptée au besoins de chaque sous-tâches du processus La nécessité d’une interaction temps réel ( par opposition aux délais dans la tâche actuelle) Une exploitation judicieuse de la perception et de la motricité dans les interactions Une reflexion sur les régles d’adéquation entre information à fournir et projections sur les modalités multiples possible de CORSAIRe IRISA/Inria Rennes

9 Bioinfo 4/4 : Approche retenue
VECPAR'98 Bioinfo 4/4 : Approche retenue June 22, 1998 Cas test : Barnase-Barstar IRISA/Inria Rennes

10 Application : Mécanique des Fluides
VECPAR'98 VECPAR'98 Application : Mécanique des Fluides June 22, 1998 June 22, 1998 Ecoulement de cavité : écoulement à grande vitesse cisaillé (instable) + fluide intra-cavitaire piégé (recirculation) Intérêt de ce type d’étude : interaction fluide / discontinuités structurelles (train d’atterrissage, toit ouvrant) instabilité due au cisaillement → tourbillon et traînée BRUIT TRAINEE VIBRATIONS POLLUTION CONTROLE 10 IRISA/Inria Rennes IRISA/Inria Rennes 10

11 MécaFlu 2/4 : objectifs de l’activité
VECPAR'98 VECPAR'98 MécaFlu 2/4 : objectifs de l’activité June 22, 1998 June 22, 1998 Problématique générale: caractériser des écoulements de fluides à partir des objets mathématiques qui permettent de les analyser Caractérisation objective de la construction d’une représentation mentale propre au chercheur : Caractérisation subjective par analyse active de l’objectif « situé » du chercheur et de ses connaissances a priori (script, littérature scientifique…) 11 IRISA/Inria Rennes IRISA/Inria Rennes 11

12 MécaFlu 3/4 : Analyse des Besoins
VECPAR'98 MécaFlu 3/4 : Analyse des Besoins June 22, 1998 Méthode 4 entretiens semi-dirigés avec des chercheurs 4 séances d’observation de l’activité sur les outils existants + recueil des protocoles verbaux + recueil d’observables 6 simulations d’exploration accompagnée sur 2 problèmes réels + recueil des protocoles verbaux + recueil d’observables Résultats : modèle hiérarchique des tâches (extrait), spécificité de l’activité Modèle initial statique Dynamique Suivi dans le temps Configuration d’intérêts Altern. navigation/analyse Comparaison d’états La méthodologie d’analyse a comporté 3 approches: 4 entretiens semi-dirigés avec des chercheurs 4 séances d’observation de l’activité sur les outils existants au cours de laquelle on a également recueili les verbalisations simultanées à la tâche 6 simulations d’exploration accompagnée sur 2 problèmes réels, au cours desquels on a également recueili les verbalisations simultanées à la tâche ansi que les « traces » de l’exploration (brouillons, annotations, images …) Cette analyse a mis en évidence la tâche (extrait ci joint) en même temps qu’était soulignées un certains nombres d’exigences pour une assistance adequate: l’exploration n’est pas seulement statique, elles implique aussi un cheminement dynamique, lequel requiert des fonctionalités telles: l’assistance au suivi dans le temps d’une structure particulière d’intérêt la définition « online » d’une zone d’intérêt L’alternance de phase de navigation (passage d’une « vue à une autre) et d’exploration (analyse du contenue de la vue) La possibilité de stocker et comparer des états ou des vues de façon simple IRISA/Inria Rennes

13 MécaFlu 4/4 : Approche retenue
VECPAR'98 VECPAR'98 MécaFlu 4/4 : Approche retenue June 22, 1998 June 22, 1998 Exemple simplifié : spectre « piqué » (vitesse), essentiellement 2D dans la couche de cisaillement, mais structure intra-cavitaire 3d complexe Outils : mesures locales, imagerie (2D instantanées) Simulations numériques: 3D, à confronter aux mesures réelles Quoi : Vorticité, facteur Q, lignes de courant.. insuffisant (à t fixé) L’immersion apporte: La réactivité par une interaction temps-réel directe La mise en correspondance des données et des modalités: Evite la surcharge visuelle Sonification = analyse de type spectrale  Écoute = analyse rapide Haptique : caractéristiques locales, ponctuelle de l’écoulement Rendu d’une grandeur résultante (trainée). Vidéo MécaFlu sur premier item … 13 IRISA/Inria Rennes IRISA/Inria Rennes 13

14 Interaction Haptique Haptique : Caractéristiques Motricité (geste)
VECPAR'98 VECPAR'98 Interaction Haptique June 22, 1998 June 22, 1998 Haptique : Motricité (geste) Perception kinesthésique : Perception des mouvements propres de notre corps. Perception des efforts musculaires. Perception tactile : Fournit des informations cutanées concernant le contact de la peau avec l’environnement Caractéristiques Mode actif La perception est le résultat d’une action La boucle temporelle action-perception est d’une échelle inférieur à celle de la boucle visuelle ou auditive Analyse locale Mode Visuel : analyse spatiale Mode Auditif : analyse fréquentielle 14 IRISA/Inria Rennes IRISA/Inria Rennes 14

15 Interaction Haptique : Mise en place du démonstrateur de Docking
VECPAR'98 VECPAR'98 June 22, 1998 June 22, 1998 Interaction Haptique : Mise en place du démonstrateur de Docking Mode bimanuel Main dominée (WAND) : manipulation du contexte Main dominante (Bras Haptique) : Interaction entre le ligand et le récepteur Mise en place d’un module de détection de collision Libraire RAPID : contacts multipoints Retour d’effort en force et en torsion grâce au bras haptique Virtuose-6D Mise en place d’un module de calcul des interactions électrostatiques Calcul d’une grille de potentiels électrostatiques pour la protéine cible Immersion du ligand dans la grille du potentiel du récepteur 15 IRISA/Inria Rennes IRISA/Inria Rennes 15

16 Interaction Haptique : Mise en place du démonstrateur de Docking
VECPAR'98 VECPAR'98 June 22, 1998 June 22, 1998 Interaction Haptique : Mise en place du démonstrateur de Docking Module de calcul de complémentarité de surface : géométrie, VdW, etc. Calcul des distances minimales : « ESPIONS » Calcul d’un ensembles de distances sur la bases de critères évolutionnistes. Fluctuation du champ de vecteurs de distance minimum Calcul d’un score de complémentarité géométrique basés sur les plans de projections : Test des co-linéarités entre les normales des vertex de projections (produits scalaires). Site(s) de complémentarité géométriques approximés entre les deux protéines. Approche Itérative Calcul d’un score de complémentarité géométrique avec une recherche itérative par approche ICP (Iterative Closest Point) Validation de l’approche sous Matlab Portage sur la plateforme en cours (module C++) 16 IRISA/Inria Rennes IRISA/Inria Rennes 16

17 Interaction Haptique : Perception de Vortex d’un écoulement
VECPAR'98 VECPAR'98 Interaction Haptique : Perception de Vortex d’un écoulement June 22, 1998 June 22, 1998 Etude comparée de méthodes de perception haptique d’isosurfaces Exploitation d’approches existantes: Approche polygonale : (-) nécessite le calcul d’une représentation intermédiaire Approche volumique : (+) rendu lissé et gain de ressources (-) manque de robustesse vis-à-vis des fortes variations de gradient Rendu direct d’isosurfaces Couplage de l’approche volumique avec une technique de Proxy (+) Pas de représentation intermédiaire (+) Une boucle haptique de très haute fréquence quelque soit la région explorée (+) Convient aux régions présentant des données de hautes fréquences spatiales Plane A’ 17 IRISA/Inria Rennes IRISA/Inria Rennes 17

18 Interaction Haptique : Caractérisation d’un écoulement instationnaire
VECPAR'98 VECPAR'98 Interaction Haptique : Caractérisation d’un écoulement instationnaire June 22, 1998 June 22, 1998 Identification et caractérisation de points singuliers Couplage d’un rendu haptique et d’un traitement local des données pour repérer les points singuliers Caractérisation des points détectés Type : foyer répulsif, point-selle Caractéristiques : sens, amplitude… Amélioration de la compréhension de la structure spatiale des points singuliers des caractéristiques des points singuliers Analyse de toute la séquence d’écoulement Caractérisation de l’évolution du « squelette » (topologie) de écoulement dans le temps Couplage de l’approche développée avec des calculs de cohérence spatio-temporelle 18 IRISA/Inria Rennes IRISA/Inria Rennes 18

19 Rendu Audio 3D Sonification Rendu audio spatialisé
VECPAR'98 VECPAR'98 VECPAR'98 Rendu Audio 3D June 22, 1998 June 22, 1998 June 22, 1998 Sonification Audification: transcription directe de données abstraites vers un flux audible Model-based sonification: les données traduites par un scenario virtuel interactif (e.g. modèles physiques) Parameter-mapping sonification: données contrôlent différents paramètres d’un modèle de synthèse sonore. Rendu audio spatialisé  Audio3D: les sources ou flux sonores sont positionnés en direction et en distance autour de l’auditeur Relation privilégiée son / espace 3D Exploitation des méthodes de rendu audio 3D (ambisonique sur haut-parleurs, binaural sur casque). Je ne suis pas sure à quel niveau il faut parler de la rendu spatialisé. Peut-être on se limite juste à la partie « sonification ». 19 19 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 19 19

20 Audio 3D: Immersive data sonification
VECPAR'98 VECPAR'98 VECPAR'98 Audio 3D: Immersive data sonification June 22, 1998 June 22, 1998 June 22, 1998 Apport de la spatialisation du son dans une tâche d’exploration interactive. Abstraction d’une tâche d’exploration de données spatiales (MécaFlu & BioInfo) Comparaisons des performances d’exploration sonifiée avec et sans spatialisation. Métaphores pour la manipulation d’un objet géométrique Abstraction de l’application BioInfo Mise en correspondance de l’orientation de deux objets présentés visuellement (3D). Une tâche de manipulation mono-manuelle. Feed-back proprioceptif et auditif. Comparaisons des sonification (gestuelle, informative, prédictive) . Ici on présent deux exemples étudier. Il sont un peu lié au appli BioInfo, mais ils sont suffisamment générique que j’ai mis appart. [Rappel d’ancien texte EMMANUEL TEST] Concernant la modalité auditive, un test perceptif a été conçu et réalisé pour étudier l’apport de la spatialisation du son dans une tâche d’exploration interactive et immersive de données abstraites. La tâche du participant, dérivée de l’application Bioinfo, consistait à repérer au moyen d’un pointeur sonifié le maximum d’une fonction spatiale déployée sur la surface d’une sphère virtuelle entourant le participant. L’objectif était de comparer les performances (précision et rapidité) avec et sans spatialisation du pointeur. Ce travail a fait l’objet d’une publication dans le cadre de la conférence International Conference on Auditory Display en juin 2008 (Katz et al. 2008) 20 20 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 20 20

21 Audio 3D: Bioinfo Données (temps-réel) Sonification
VECPAR'98 VECPAR'98 VECPAR'98 Audio 3D: Bioinfo June 22, 1998 June 22, 1998 June 22, 1998 Données (temps-réel) Sonification Complémentarité Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthèse granulaire Gradient Complémentarité Topologique Intervalle ascendant : complémentarité améliorée Intervalle descendant : complémentarité dégradée Distance entre les deux protéines Rapport son direct / champ réverbéré (distance auditive) Collisions entre atomes Bruit spatialisé / instance Présence des « hotspots » dans l’interface Filtre passe-bas, spatialisé pour chaque protéine Contribution Electrostatique résultante Répétition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals résultante Ici, on présente des types de donnée fourni par l’appli BioInfo pour la sonification et quelques exemples de métaphores de sonification associé, ou mieux adapté au type de donnée. Je ne sais pas si la colonne central est nécessaire, ou si tu peut seulement le dire ces principes. 21 21 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 21 21

22 Audio 3D: Bioinfo (0:44) Exemple sonore Données (temps-réel)
VECPAR'98 VECPAR'98 VECPAR'98 Audio 3D: Bioinfo June 22, 1998 June 22, 1998 June 22, 1998 Données (temps-réel) Sonification Complémentarité Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthèse granulaire Gradient Complémentarité Topologique Intervalle ascendant : complémentarité améliorée Intervalle descendant : complémentarité dégradée Distance entre les deux protéines Rapport son direct / champ réverbéré (distance auditive) Collisions entre atomes Bruit spatialisé / instance Présence des « hotspots » dans l’interface Filtre passe-bas, spatialisé pour chaque protéine Contribution Electrostatique résultante Répétition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals résultante Ici, on présente des types de donnée fourni par l’appli BioInfo pour la sonification et quelques exemples de métaphores de sonification associé, ou mieux adapté au type de donnée. Je ne sais pas si la colonne central est nécessaire, ou si tu peut seulement le dire ces principes. Exemple sonore (0:44) 22 22 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 22 22

23 Audio 3D: MécaFlu Données (pré-calculées)
VECPAR'98 VECPAR'98 VECPAR'98 Audio 3D: MécaFlu June 22, 1998 June 22, 1998 June 22, 1998 Données (pré-calculées) Vitesse du fluide selon 3 directions (X, Y, Z) au cours d’une simulation d’écoulement de 20 secondes Données échantillonnées à deux niveaux de détail en espace et en temps. Interface de sonification (créée en Max/MSP): Environ 100 instances de sonification possibles simultanément Exploitation selon les 2 modes de résolution de données (400Hz et 30Hz) 4 méthodes de sonification disponibles pour chaque instance Possibilité de spatialiser chaque instance Exemples Données à 400 Hz sonification de 3 positions statiques simultanées (0:19) Données à 400 Hz sonification de 3 positions statiques simultanées (0:19) Données à 30 Hz sonification de l’exploration via 1 position mobile (0:17) Say something about the sonification module (max sonification patch) Two examples (400 Hz video Brian , 30Hz video Max) You should only have to click/or hit the space bar to launch each video. First (click) plays the left one [full screen], next (click) the right one. You shouldn’t have to worry about where the cursor is. 23 23 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 23 23

24 Supervision Multimodale
VECPAR'98 VECPAR'98 VECPAR'98 Supervision Multimodale June 22, 1998 June 22, 1998 June 22, 1998 Problématique Informations  différentes fonctionnalités de rendu (modalités) Conception de ces « mappings » a été faite au regard des tâches, mais de façon relativement statique Comment gérer l’activation dynamique de ces différentes modalités avec des préoccupations de : Simultanéité Redondance Complémentarité Substitution… Approche étudiée : Supervision multimodale Moteur de décision de l’allocation modale des informations : adaptée aux objectifs de l’utilisateur : la tâche qu’il a choisi d’effectuer à un instant donné modulée par l’état courant de l’ensemble du système (utilisateur, application, matériel) Critères de décision : Sémantique des tâches à réaliser Modalités disponibles Caractéristiques humaines Contexte d’interaction Nous avons vu que dans nos 2 applis, nous étions confrontés à différentes tâches à réaliser, différentes informations à percevoir, pour lesquelles nous avons conçu un certain nombre de modalités de rendu ou d'interactions Cependant, ces choix de rendus ou d'interactions ont été réalisés pour chaque tâche indépendamment des autres, et sans tenir compte de l'exécution concrète de l'application, donc de manière relativement statique Or nous devons considérer l'ensemble des interactions possibles et leur instanciation dynamique. En particulier, il faut gérer les éventuelles simultanéités des rendus, qu'ils soient indépendants, redondants ou complémentaire, et pouvoir permettre des substitutions sensori-motrices. Pour effectuer cette gestion des interactions multimodales, nous avons conçu un processus de supervision, dans lequel un moteur de décision est chargé de l'allocation des modalités pour chaque tâche demandée par l'utilisateur. Les critères de cette décision sont bien évidemment : La tâche à réaliser, en particulier sa sémantique les propriétés des modalités les caractéristiques de l'utilisateur le contexte d'interaction 24 24 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 24 24

25 Supervision Multimodale
VECPAR'98 VECPAR'98 VECPAR'98 Supervision Multimodale June 22, 1998 June 22, 1998 June 22, 1998 Résultat : Système de requête Base de connaissances statique: Règles de projection « idéales » Construites à partir des recommandations ergonomiques Base de contexte : Données statiques : statut de l’utilisateur, environnement matériel… Données dynamiques mises à jour par un « observateur de contexte » : état de la scène, de l’utilisateur dans celle-ci, tâche courante, état des périphériques et du rendu… Moteur de décision : règles logiques de modulation des projections « idéales » en fonction du contexte Modèle des interaction communication entre les différents composants Plus précisément, voilà comment s'organise le processus de supervision Il est fondé sur un système de requête entre l'application et le moteur de décision générique, qui communiquent entre eux par l'intermédiaire d'un interpréteur Le moteur de décision utilise Une base de connaissance, renfermant des règles de projections idéales entre tâches et modalités, construites à partir des recommandation ergonomiques, mais aussi par l'expertise des application et des techniques de rv une base de contexte contenant l'ensemble des éléments qui peuvent influencer les interactions, que ce soit des éléments statiques, i.e. fixés au démarrage de l'application, comme… mais surtout des éléments dynamiques, variant au cours de l'utilisation de l'application, comme la position de l'utilisateur, l'organisation des données… Cette base de contexte est mise à jour régulièrement par un observateur en communication avec l'application Le cœur du moteur de décision est un ensemble de règles logiques qui vont pondérer/modifier/moduler les connaissances en fonction du contexte Pour que tous ces composants puissent communiquer entre eux, nous avons conçu un modèle des interactions afin de représenter de manière sémantique les tâches possible et les rendus multimodaux réalisables en RV 25 25 IRISA/Inria Rennes IRISA/Inria Rennes IRISA/Inria Rennes 25 25

26 Scénarios d’usage & Evaluation 1/4
VECPAR'98 Scénarios d’usage & Evaluation 1/4 June 22, 1998 Objectifs Evaluer l’adéquation des fonctionnalités aux besoins Evaluer l’apport de la multimodalité et de l’immersion à l’activité Continuer le processus de conception Fonctionnalités Multimodalité Contraintes Maquettes ou versions opérationnelles/fonctionnelles du système Profils et nombre de « sujets » potentiels Approches Evaluation sans utilisateurs Adaptation méthode existante, e.g. critères (Bach, 2004), heuristics (Tromp & al.), Cognitive walkthrough (Sutcliffe et al.), etc. Evaluation avec des utilisateurs Scénarios d’usage (Utilité, utilisabilité ) Evaluation performance IRISA/Inria Rennes

27 Scénarios d’usage & Evaluation 2/4
VECPAR'98 Scénarios d’usage & Evaluation 2/4 June 22, 1998 Evaluation 1 - scénario « Docking Moléculaire » Objectif Evaluation d’ensemble du système Population Experts en docking / étudiants avancés (N=10-15) Tâche Scénario d’usage Amarrage complexe Barnase-Barstar Phase d’entraînement / familiarisation 10 essais  placement sur une position jugée probable / correcte Données recueillies Verbalisation simultanée Actions, position enregistrée, temps Questionnaire satisfaction / évaluation subjective IRISA/Inria Rennes

28 Scénarios d’usage & Evaluation 3/4
VECPAR'98 Scénarios d’usage & Evaluation 3/4 June 22, 1998 Evaluation 2 - scénario « MécaFlu » Objectif Evaluation d’ensemble du système Approche formative Anticipation Fonctionnalité Interaction multimodale Population Experts en mécanique des fluides (N=5 maxi) Tâche Scénario d’usage Phase de familiarisation / prise en main Utilisation pour l’exploration Données recueillies Verbalisation Questionnaire satisfaction / évaluation subjective IRISA/Inria Rennes

29 Scénarios d’usage & Evaluation 4/4
VECPAR'98 Scénarios d’usage & Evaluation 4/4 June 22, 1998 Evaluation 3 - Expérimentation rôle MM Objectif Evaluer l’apport des modalités à l’exploration et la prise de décision dans un environnement 3D Population Sujets sans expertise particulière (N=30) Plan expérimental Visuel vs. Visuel + Haptique actif vs. Visuel + Son Tâche Scénario simplifié (cavité) Phase de familiarisation / prise en main 2 phases Naviguer dans l’espace 3D pour trouver (localiser et identifier) une liste d’objets connus Naviguer pour « retrouver » les objets précédemment Données recueillies Performances (tps, path, actions etc.) Verbalisation spontanées Questionnaire satisfaction / évaluation subjective IRISA/Inria Rennes

30 Conclusion : Production & Retombées
VECPAR'98 Conclusion : Production & Retombées June 22, 1998 Production scientifique 13 papiers internationaux (dont ISon’07, EGVE’07&08, IEEE 3DUI’08, EuroHaptics’08...) 4 chapitres d’ouvrage 1 poster en colloque international 2 thèses achevées (1 soutenance en décembre 2008) + 1 thèse en cours 1 article de revue « accepté à la révision » et en cours de soumission finale Nombreux rapports internes et mémoires de Master Production logicielle 2 démonstrateurs opérationnels 2 bibliothèques de rendus audio et haptique déployables 1 moteur de supervision mutimodal Essaimage humain 1 doctorant  MdC (IBISC – ENSIE, Evry) 1 doctorant et postdoc  3 années postdoc dans FVnano (LBT, Paris) 1 postdoc  2 ans chez Scripps (Pr. A. Olson, Californie) 1 master recherche  doctorant à l’ENSAM (Paris) Essaimage scientifique Accepté : EVEILS (Espaces Virtuels pour l'Education et l'ILlustration Scientifique), Programme Blanc ANR 2008 Evalué positivement : MEDOCK (suite de CoRSAIRe/Bioinfo sur interaction collaborative avec modèle dynamique multi-échelle, appel COSINUS 2008 de l’ANR Revoir les critères d’évaluation Listes des publications du rapport d’audit en annexe IRISA/Inria Rennes

31 Conclusion : Bilan / Objectifs
VECPAR'98 Conclusion : Bilan / Objectifs June 22, 1998 Positionnement international et/ou national Aucun des systèmes existants (cf. pour Docking : Grope, ARC docking, STALK et variantes) ne correspond au processus réel d’exploration mis en œuvre par les chercheurs Aucun de ces systèmes n’ont été évalués, a fortiori avec des chercheurs Certains systèmes existants utilisent l’Haptique, mais aucun n’ont d’approche Audio et Multimodale Peu de systèmes de RV exploitent des canaux sensorimoteurs pour convoyer des informations abstraites Objectifs initiaux sont atteints : Conception de rendus haptique et audio sur des données massives abstraites Solution de supervision multimodale des rendus multi-sensorimoteurs Progrès dans les applications scientifiques de RV (MécaFlu, Bioinfo…) Résultats supplémentaires Formalisation du processus de docking Nouvel axe d’investigation ergonomique : les utilisateurs – chercheurs ! Achèvement dans les temps (14 Juin - 5 Nov. 2009) Finaliser les démonstrateurs (Janv. 2009) Effectuer les évaluations (Avril 2009) Compléter les travaux en Audio et Haptique (Janv. à Juil. 2009) Poursuivre la publication (Avril à Nov. 2009) Dissémination Enrichir page web : Oct. – Nov : projet de Workshop (EuroVR) + Démonstrations (inauguration) IRISA/Inria Rennes

32 Démo « CoRSAIRe/MécaFlu »
VECPAR'98 Démo « CoRSAIRe/MécaFlu » June 22, 1998 IRISA/Inria Rennes

33 VECPAR'98 Programme MDMSA 2005 Revue de projets 13 novembre 2008
June 22, 1998 Combinaisons de Rendus Sensori-moteurs pour l’Analyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008 IRISA/Inria Rennes

34 Planning détaillé de fin de projet (1/2)
VECPAR'98 Planning détaillé de fin de projet (1/2) June 22, 1998 Haptique Décembre 2008 : finalisation des travaux visant à caractériser les singularités sur toute la séquence d’écoulement de Mécanique des Fluides. L’objectif de cette recherche est de mettre en place un ensemble de stratégies, exploitant le canal haptique, pour caractériser et interpréter les données présentant une dimension temporelle. Janvier 2009 : finalisation du module de complémentarité géométrique en docking de protéines. Nous souhaitons également mettre en place les solutions de filtrage (par interpolation temporelle et spatiale) des scores électrostatiques. Janvier à mars 2009 : sur la base du démonstrateur précédent, nous souhaitons aborder une problématique portant sur le couplage audio-haptique. L’objectif de cette recherche est d’étudier la répartition du rendu des données de Mécanique des Fluides sur les canaux haptique et audio. Audio Décembre 2008 : Elaboration d’un protocole de communication OSC entre Pymol et MaxMSP pour l’application BioInfo. Décembre 2008 : Mise à jour et version finale de la plateforme de sonification pour l’application BioInfo Janvier 2009 : Elaboration de nouvelles métaphores de sonification pour l’application Mécanique des Fluides, et études de nouveaux liens avec la modalité Haptique Janvier 2009 : Mise à jour et version finale de la plateforme de sonification pour l’application Mécanique des Fluides Mars-Juillet 2009 : au cours du premier trimestre 2009, un nouveau test perceptif sera consacré à l’exploration de données sollicitant conjointement les modalités auditives et haptiques. Appli Bioinfo : Mi-novembre 2008 : Amélioration de l’interactivité du démonstrateur pour l’utilisateur : utilisation des commandes du bras haptique (boules et boutons) pour commander pymol Fin novembre 2008 : Evaluation en temps réelle des interactions de type liaisons hydrogène et ponts salins Mi-décembre 2008 : Développer un système de changement d’échelle des transformations géométriques des protéines afin de permettre des mouvements plus fin à l’approche d’une conformation d’intérêt pour l’utilisateur. Janvier 2009 : Amélioration de l’évaluation de la complémentarité de surface (cf haptique). IRISA/Inria Rennes

35 Planning détaillé de fin de projet (2/2)
VECPAR'98 Planning détaillé de fin de projet (2/2) June 22, 1998 Appli MécaFlu voir travaux hatique et audio (ci-dessus), et évaluation (ci-dessous). Evaluation : Appli Bioinfo : Fin novembre 2008 : finalisation du protocole expérimentale (consigne, version logiciel de passation, logfile, enregistrement) Janvier, février 2009 : recrutement et passation de l'étude avec 10 à 15 experts Mars analyse des données recueillies et rédaction du compte rendu Appli MécaFlu : Décembre 2008 : finalisation du protocole d'étude (enregistrement des verbalisation+ écran) Janvier 2009 : passation avec 4 à 5 experts de la Cavité explorée; Février, mars 2009 : analyse des données recueillies et rédaction du compte rendu Expérimentation de l'effet de la multi-modalité : Janvier, février, mars 2009 : recrutement et passation de l'étude (n= 30 sujets min) Avril 2009 : analyse des données recueillies et rédaction du compte rendu. Publications, dissémination et rapports finaux : Mai à Novembre 2009. IRISA/Inria Rennes