La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008.

Présentations similaires


Présentation au sujet: "CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008."— Transcription de la présentation:

1 CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008

2 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 2 Sommaire de lexposé n Introduction Patrick BOURDOT (LIMSI), Jean-Marie BURKHARDT (ECI-Université Paris V) n Problématique en « Bioinformatique » Catherine ETCHEBEST et Ludovic AUTIN (EBGM) n Problématique en « Mécanique des Fluides » Jean-Marc VEZIEN, François LUSSEYRAN (LIMSI) n Avancées en Interaction Haptique Mehdi AMMI (LIMSI), Jérôme PERRET (HAPTION SA) n Avancées en Audio 3D Olivier WARUSFEL (IRCAM), Brian KATZ (LIMSI), Lorenzo PICINALI (IRCAM) n Supervision Multimodale Patrick BOURDOT (LIMSI), Guillaume BOUYER (IBISC) n Scénarios dusage et Evaluation Jean-Marie BURKHARDT (ECI-Université Paris V) n Conclusion Patrick BOURDOT (LIMSI) et al.

3 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 3 Introduction Générale n Motivations l Multimodalité : multimédia « intelligent » l RV : immersion, réalisme, interaction multi-sensorimotrice l Finalité : traitement des canaux sensorimoteurs (et de leurs modalités) pour rendre plus intuitives et au final plus efficaces les interactions en RV n Objectifs dans CoRSAIRe l Aider les utilisateurs dans l'analyse de phénomènes 3d aux données massives et complexes l Donner à percevoir ces phénomènes en combinant les modalités immersives disponibles sur les canaux visuel, haptique et audio des systèmes de RV l Evaluer de façon formelle ces solutions sur des scénarios dusage propres aux deux applications visées n Partenaires : LIMSI-CNRS, IRCAM-CNRS, EBGM-INSERM, Université Paris Descartes, HAPTION S.A.

4 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 4 Intro : Analyse des Besoins n Objectifs l Cerner lactivité « actuelle » o Utilisateurs = Chercheurs (objectifs, procédures,…) o Exploration finalisée des données o Outils et procédures l Déterminer Images Mentales et Activité Cognitive des sujets o Composants, Evolution… l Anticiper lactivité « future » l Nourrir scénarios dusage pour lévaluation n Méthodes l ACD : Analyse Cognitivo-Discursive (Ghiglione et al.1998) o Méthode danalyse du discours des « utilisateurs » : appliquée sur les données dentretien et les traces de lactivité o Permet didentifier les formes et relations entre noyaux sémantiques mobilisés dans leur discours : fréquences dapparition des univers sémantiques, proximité des références, connecteurs logiques l Observations et verbalisation en situations : o Enrichissement du corpus de données sur lactivité l Approche participative impliquant les « utilisateurs » : o Analyse (ACD) o Validation du modèle dactivité o Conception et construction ses Scénarios dusage

5 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 5 Intro : Analyse des Besoins n Résultats l Modèles hiérarchiques des tâches (Annet & Stanton, 2003) o Description formelle du découpage du travail en tâche et sous-tâches o Met en exergue, sur la tâche « actuelle » : Objectifs / Mode de travail / Besoins propres à chaque niveau de décomposition o Représentation facile à comprendre, à exploiter, à remanier et à évaluer par les utilisateurs et les concepteurs excellent outil pour créer de nouvelles interfaces Exemple (extrait) sur le Docking moléculaire l Scénarios dusage

6 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 6 Application : Bioinformatique n Aspect biologique l Fonction protéique Interactions avec des partenaires (ADN, protéine (IPP),membrane etc..) l Dérégulation Pathologie, désordres métaboliques Les médicaments développés actuellement ciblent des IPP l Difficulté dobtention expérimentale des structures 3D des complexes protéiques: prédiction par la bioinformatique n Notions de bases sur les IPP l Bonne complémentarité topologique (forme) l Notion dénergie ou évaluation de « score » par la mécanique moléculaire : Energie de Van der Waals et d'électrostatique

7 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 7 Bioinfo 2/4 : Processus de Docking pour la prédiction des IPP Représentation Recherche conformationnelle (corps rigide) Rotation Translation Selection et classement selon le score Affinement

8 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 8 Bioinfo 3/4 : Analyse des Besoins n Méthode l 4 entretiens semi-dirigés avec des chercheurs l 4 séances dobservation de lactivité sur les outils existants + recueil des protocoles verbaux + recueil dobservables l Analyse de traces écrites (articles, manuels de formation) + recueil des caractéristiques des graphiques n Besoins informationnels l Physico-chimie des protéines : l Topologie des protéines : Complémentarité géométrique l Sites de liaison ou « hot-spot » n Contraintes en RV l Assister le processus de docking mis en évidence l Interaction Temps Réel l Perception multi-sensorimotrice l Projection Information modalité Scores

9 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 9 Bioinfo 4/4 : Approche retenue n Cas test : Barnase-Barstar

10 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 10 n Ecoulement de cavité : écoulement à grande vitesse cisaillé (instable) + fluide intra-cavitaire piégé (recirculation) n Intérêt de ce type détude : l interaction fluide / discontinuités structurelles (train datterrissage, toit ouvrant) l instabilité due au cisaillement tourbillon et traînée Application : Mécanique des Fluides POLLUTION CONTROLE BRUIT TRAINEE VIBRATIONS

11 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 11 MécaFlu 2/4 : objectifs de lactivité n Problématique générale: caractériser des écoulements de fluides à partir l des objets mathématiques qui permettent de les analyser Caractérisation objective l de la construction dune représentation mentale propre au chercheur : Caractérisation subjective par analyse active l de lobjectif « situé » du chercheur et de ses connaissances a priori (script, littérature scientifique…)

12 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 12 MécaFlu 3/4 : Analyse des Besoins n Méthode l 4 entretiens semi-dirigés avec des chercheurs l 4 séances dobservation de lactivité sur les outils existants + recueil des protocoles verbaux + recueil dobservables l 6 simulations dexploration accompagnée sur 2 problèmes réels + recueil des protocoles verbaux + recueil dobservables n Résultats : modèle hiérarchique des tâches (extrait), spécificité de lactivité l Modèle initial statique l Dynamique o Suivi dans le temps o Configuration dintérêts o Altern. navigation/analyse o Comparaison détats

13 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 13 n Exemple simplifié : spectre « piqué » (vitesse), essentiellement 2D dans la couche de cisaillement, mais structure intra-cavitaire 3d complexe l Outils : mesures locales, imagerie (2D instantanées) l Simulations numériques: 3D, à confronter aux mesures réelles n Quoi : Vorticité, facteur Q, lignes de courant.. insuffisant (à t fixé) n Limmersion apporte: l La réactivité par une interaction temps-réel directe l La mise en correspondance des données et des modalités: Evite la surcharge visuelle l Sonification = analyse de type spectrale Écoute = analyse rapide l Haptique : caractéristiques locales, ponctuelle de lécoulement Rendu dune grandeur résultante (trainée). MécaFlu 4/4 : Approche retenue

14 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 14 Interaction Haptique n Haptique : l Motricité (geste) l Perception kinesthésique : o Perception des mouvements propres de notre corps. o Perception des efforts musculaires. l Perception tactile : o Fournit des informations cutanées concernant le contact de la peau avec lenvironnement n Caractéristiques l Mode actif o La perception est le résultat dune action l La boucle temporelle action-perception est dune échelle inférieur à celle de la boucle visuelle ou auditive l Analyse locale o Mode Visuel : analyse spatiale o Mode Auditif : analyse fréquentielle

15 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 15 Interaction Haptique : Mise en place du démonstrateur de Docking n Mode bimanuel l Main dominée (WAND) : manipulation du contexte l Main dominante (Bras Haptique) : Interaction entre le ligand et le récepteur n Mise en place dun module de détection de collision l Libraire RAPID : contacts multipoints l Retour deffort en force et en torsion grâce au bras haptique Virtuose-6D n Mise en place dun module de calcul des interactions électrostatiques l Calcul dune grille de potentiels électrostatiques pour la protéine cible l Immersion du ligand dans la grille du potentiel du récepteur

16 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 16 Interaction Haptique : Mise en place du démonstrateur de Docking n Module de calcul de complémentarité de surface : géométrie, VdW, etc. l Calcul des distances minimales : « ESPIONS » o Calcul dun ensembles de distances sur la bases de critères évolutionnistes. o Fluctuation du champ de vecteurs de distance minimum l Calcul dun score de complémentarité géométrique basés sur les plans de projections : o Test des co-linéarités entre les normales des vertex de projections (produits scalaires). o Site(s) de complémentarité géométriques approximés entre les deux protéines. l Approche Itérative o Calcul dun score de complémentarité géométrique avec une recherche itérative par approche ICP (Iterative Closest Point) o Validation de lapproche sous Matlab o Portage sur la plateforme en cours (module C++)

17 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 17 Interaction Haptique : Perception de Vortex dun écoulement n Etude comparée de méthodes de perception haptique disosurfaces l Exploitation dapproches existantes: o Approche polygonale : (-) nécessite le calcul dune représentation intermédiaire o Approche volumique : (+) rendu lissé et gain de ressources (-) manque de robustesse vis-à-vis des fortes variations de gradient l Rendu direct disosurfaces o Couplage de lapproche volumique avec une technique de Proxy (+) Pas de représentation intermédiaire (+) Une boucle haptique de très haute fréquence quelque soit la région explorée (+) Convient aux régions présentant des données de hautes fréquences spatiales A Plane

18 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 18 Interaction Haptique : Caractérisation dun écoulement instationnaire n Identification et caractérisation de points singuliers l Couplage dun rendu haptique et dun traitement local des données pour repérer les points singuliers l Caractérisation des points détectés o Type : foyer répulsif, point-selle o Caractéristiques : sens, amplitude… Amélioration de la compréhension o de la structure spatiale des points singuliers o des caractéristiques des points singuliers n Analyse de toute la séquence découlement l Caractérisation de lévolution du « squelette » (topologie) de écoulement dans le temps l Couplage de lapproche développée avec des calculs de cohérence spatio-temporelle

19 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 19 Rendu Audio 3D n Sonification l Audification: transcription directe de données abstraites vers un flux audible l Model-based sonification: les données traduites par un scenario virtuel interactif (e.g. modèles physiques) l Parameter-mapping sonification: données contrôlent différents paramètres dun modèle de synthèse sonore. n Rendu audio spatialisé l Audio3D: les sources ou flux sonores sont positionnés en direction et en distance autour de lauditeur l Relation privilégiée son / espace 3D l Exploitation des méthodes de rendu audio 3D (ambisonique sur haut-parleurs, binaural sur casque).

20 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 20 Audio 3D: Immersive data sonification n Apport de la spatialisation du son dans une tâche dexploration interactive. o Abstraction dune tâche dexploration de données spatiales (MécaFlu & BioInfo) o Comparaisons des performances dexploration sonifiée avec et sans spatialisation. n Métaphores pour la manipulation dun objet géométrique o Abstraction de lapplication BioInfo o Mise en correspondance de lorientation de deux objets présentés visuellement (3D). o Une tâche de manipulation mono-manuelle. o Feed-back proprioceptif et auditif. o Comparaisons des sonification (gestuelle, informative, prédictive).

21 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 21 Audio 3D: Bioinfo Données (temps-réel)Sonification Complémentarité Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthèse granulaire Gradient Complémentarité Topologique Intervalle ascendant : complémentarité améliorée Intervalle descendant : complémentarité dégradée Distance entre les deux protéines Rapport son direct / champ réverbéré (distance auditive) Collisions entre atomesBruit spatialisé / instance Présence des « hotspots » dans linterface Filtre passe-bas, spatialisé pour chaque protéine Contribution Electrostatique résultante Répétition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals résultante

22 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 22 Audio 3D: Bioinfo Données (temps-réel)Sonification Complémentarité Topologique (distances et variance atome-atome) Randomisation hauteur et ordonnancement segments dans une synthèse granulaire Gradient Complémentarité Topologique Intervalle ascendant : complémentarité améliorée Intervalle descendant : complémentarité dégradée Distance entre les deux protéines Rapport son direct / champ réverbéré (distance auditive) Collisions entre atomesBruit spatialisé / instance Présence des « hotspots » dans linterface Filtre passe-bas, spatialisé pour chaque protéine Contribution Electrostatique résultante Répétition de 2 sons complexes hauteur (Electrostatique) intervalle temporel (Van der Waals) Energie de Van der Waals résultante n Exemple sonore (0:44)

23 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Données à 400 Hz sonification de 3 positions statiques simultanées (0:19) 2. Données à 30 Hz sonification de lexploration via 1 position mobile (0:17) n Données (pré-calculées) l Vitesse du fluide selon 3 directions (X, Y, Z) au cours dune simulation découlement de 20 secondes l Données échantillonnées à deux niveaux de détail en espace et en temps. n Interface de sonification (créée en Max/MSP): l Environ 100 instances de sonification possibles simultanément l Exploitation selon les 2 modes de résolution de données (400Hz et 30Hz) l 4 méthodes de sonification disponibles pour chaque instance l Possibilité de spatialiser chaque instance n Exemples 23 Audio 3D: MécaFlu

24 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 24 Supervision Multimodale n Problématique l Informations différentes fonctionnalités de rendu (modalités) l Conception de ces « mappings » a été faite au regard des tâches, mais de façon relativement statique l Comment gérer lactivation dynamique de ces différentes modalités avec des préoccupations de : o Simultanéité o Redondance o Complémentarité o Substitution… n Approche étudiée : Supervision multimodale l Moteur de décision de lallocation modale des informations : o adaptée aux objectifs de lutilisateur : la tâche quil a choisi deffectuer à un instant donné o modulée par létat courant de lensemble du système (utilisateur, application, matériel) l Critères de décision : o Sémantique des tâches à réaliser o Modalités disponibles o Caractéristiques humaines o Contexte dinteraction

25 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 25 Supervision Multimodale n Résultat : l Système de requête l Base de connaissances statique: o Règles de projection « idéales » o Construites à partir des recommandations ergonomiques l Base de contexte : o Données statiques : statut de lutilisateur, environnement matériel… o Données dynamiques mises à jour par un « observateur de contexte » : état de la scène, de lutilisateur dans celle-ci, tâche courante, état des périphériques et du rendu… l Moteur de décision : o règles logiques de modulation des projections « idéales » en fonction du contexte l Modèle des interaction o communication entre les différents composants

26 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 26 Scénarios dusage & Evaluation 1/4 n Objectifs l Evaluer ladéquation des fonctionnalités aux besoins l Evaluer lapport de la multimodalité et de limmersion à lactivité l Continuer le processus de conception o Fonctionnalités o Multimodalité n Contraintes l Maquettes ou versions opérationnelles/fonctionnelles du système l Profils et nombre de « sujets » potentiels n Approches l Evaluation sans utilisateurs o Adaptation méthode existante, e.g. critères (Bach, 2004), heuristics (Tromp & al.), Cognitive walkthrough (Sutcliffe et al.), etc. l Evaluation avec des utilisateurs o Scénarios dusage (Utilité, utilisabilité ) o Evaluation performance

27 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 27 Scénarios dusage & Evaluation 2/4 n Evaluation 1 - scénario « Docking Moléculaire » l Objectif o Evaluation densemble du système l Population o Experts en docking / étudiants avancés (N=10-15) l Tâche o Scénario dusage o Amarrage complexe Barnase-Barstar o Phase dentraînement / familiarisation o 10 essais placement sur une position jugée probable / correcte l Données recueillies o Verbalisation simultanée o Actions, position enregistrée, temps o Questionnaire satisfaction / évaluation subjective

28 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 28 Scénarios dusage & Evaluation 3/4 n Evaluation 2 - scénario « MécaFlu » l Objectif o Evaluation densemble du système o Approche formative o Anticipation – Fonctionnalité – Interaction multimodale l Population o Experts en mécanique des fluides (N=5 maxi) l Tâche o Scénario dusage o Phase de familiarisation / prise en main o Utilisation pour lexploration l Données recueillies o Verbalisation o Questionnaire satisfaction / évaluation subjective

29 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 29 Scénarios dusage & Evaluation 4/4 n Evaluation 3 - Expérimentation rôle MM l Objectif o Evaluer lapport des modalités à lexploration et la prise de décision dans un environnement 3D l Population o Sujets sans expertise particulière (N=30) l Plan expérimental o Visuel vs. Visuel + Haptique actif vs. Visuel + Son l Tâche o Scénario simplifié (cavité) o Phase de familiarisation / prise en main o 2 phases – Naviguer dans lespace 3D pour trouver (localiser et identifier) une liste dobjets connus – Naviguer pour « retrouver » les objets précédemment l Données recueillies o Performances (tps, path, actions etc.) o Verbalisation spontanées o Questionnaire satisfaction / évaluation subjective

30 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 30 Conclusion : Production & Retombées n Production scientifique l 13 papiers internationaux (dont ISon07, EGVE07&08, IEEE 3DUI08, EuroHaptics08...) l 4 chapitres douvrage l 1 poster en colloque international l 2 thèses achevées (1 soutenance en décembre 2008) + 1 thèse en cours l 1 article de revue « accepté à la révision » et en cours de soumission finale l Nombreux rapports internes et mémoires de Master n Production logicielle l 2 démonstrateurs opérationnels l 2 bibliothèques de rendus audio et haptique déployables l 1 moteur de supervision mutimodal n Essaimage humain l 1 doctorant MdC (IBISC – ENSIE, Evry) l 1 doctorant et postdoc 3 années postdoc dans FVnano (LBT, Paris) l 1 postdoc 2 ans chez Scripps (Pr. A. Olson, Californie) l 1 master recherche doctorant à lENSAM (Paris) n Essaimage scientifique l Accepté : EVEILS (Espaces Virtuels pour l'Education et l'ILlustration Scientifique), Programme Blanc ANR 2008 l Evalué positivement : MEDOCK (suite de CoRSAIRe/Bioinfo sur interaction collaborative avec modèle dynamique multi-échelle, appel COSINUS 2008 de lANR

31 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 31 Conclusion : Bilan / Objectifs n Positionnement international et/ou national l Aucun des systèmes existants (cf. pour Docking : Grope, ARC docking, STALK et variantes) ne correspond au processus réel dexploration mis en œuvre par les chercheurs l Aucun de ces systèmes nont été évalués, a fortiori avec des chercheurs l Certains systèmes existants utilisent lHaptique, mais aucun nont dapproche Audio et Multimodale l Peu de systèmes de RV exploitent des canaux sensorimoteurs pour convoyer des informations abstraites n Objectifs initiaux sont atteints : l Conception de rendus haptique et audio sur des données massives abstraites l Solution de supervision multimodale des rendus multi-sensorimoteurs l Progrès dans les applications scientifiques de RV (MécaFlu, Bioinfo…) n Résultats supplémentaires l Formalisation du processus de docking l Nouvel axe dinvestigation ergonomique : les utilisateurs – chercheurs ! n Achèvement dans les temps (14 Juin - 5 Nov. 2009) l Finaliser les démonstrateurs (Janv. 2009) l Effectuer les évaluations (Avril 2009) l Compléter les travaux en Audio et Haptique (Janv. à Juil. 2009) l Poursuivre la publication (Avril à Nov. 2009) l Dissémination o Enrichir page web : o Oct. – Nov : projet de Workshop (EuroVR) + Démonstrations (inauguration)

32 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 32 Démo « CoRSAIRe/MécaFlu »

33 CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008

34 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 34 Planning détaillé de fin de projet (1/2) n Haptique l Décembre 2008 : finalisation des travaux visant à caractériser les singularités sur toute la séquence découlement de Mécanique des Fluides. Lobjectif de cette recherche est de mettre en place un ensemble de stratégies, exploitant le canal haptique, pour caractériser et interpréter les données présentant une dimension temporelle. l Janvier 2009 : finalisation du module de complémentarité géométrique en docking de protéines. Nous souhaitons également mettre en place les solutions de filtrage (par interpolation temporelle et spatiale) des scores électrostatiques. l Janvier à mars 2009 : sur la base du démonstrateur précédent, nous souhaitons aborder une problématique portant sur le couplage audio-haptique. Lobjectif de cette recherche est détudier la répartition du rendu des données de Mécanique des Fluides sur les canaux haptique et audio. n Audio l Décembre 2008 : Elaboration dun protocole de communication OSC entre Pymol et MaxMSP pour lapplication BioInfo. l Décembre 2008 : Mise à jour et version finale de la plateforme de sonification pour lapplication BioInfo l Janvier 2009 : Elaboration de nouvelles métaphores de sonification pour lapplication Mécanique des Fluides, et études de nouveaux liens avec la modalité Haptique l Janvier 2009 : Mise à jour et version finale de la plateforme de sonification pour lapplication Mécanique des Fluides l Mars-Juillet 2009 : au cours du premier trimestre 2009, un nouveau test perceptif sera consacré à lexploration de données sollicitant conjointement les modalités auditives et haptiques. n Appli Bioinfo : l Mi-novembre 2008 : Amélioration de linteractivité du démonstrateur pour lutilisateur : utilisation des commandes du bras haptique (boules et boutons) pour commander pymol l Fin novembre 2008 : Evaluation en temps réelle des interactions de type liaisons hydrogène et ponts salins l Mi-décembre 2008 : Développer un système de changement déchelle des transformations géométriques des protéines afin de permettre des mouvements plus fin à lapproche dune conformation dintérêt pour lutilisateur. l Janvier 2009 : Amélioration de lévaluation de la complémentarité de surface (cf haptique).

35 CoRSAIRe Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats CoRSAIRe : Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats 35 Planning détaillé de fin de projet (2/2) n Appli MécaFlu l voir travaux hatique et audio (ci-dessus), et évaluation (ci-dessous). n Evaluation : l Appli Bioinfo : o Fin novembre 2008 : finalisation du protocole expérimentale (consigne, version logiciel de passation, logfile, enregistrement) o Janvier, février 2009 : recrutement et passation de l'étude avec 10 à 15 experts o Mars analyse des données recueillies et rédaction du compte rendu l Appli MécaFlu : o Décembre 2008 : finalisation du protocole d'étude (enregistrement des verbalisation+ écran) o Janvier 2009 : passation avec 4 à 5 experts de la Cavité explorée; o Février, mars 2009 : analyse des données recueillies et rédaction du compte rendu l Expérimentation de l'effet de la multi-modalité : o Fin novembre 2008 : finalisation du protocole expérimentale (consigne, version logiciel de passation, logfile, enregistrement) o Janvier, février, mars 2009 : recrutement et passation de l'étude (n= 30 sujets min) o Avril 2009 : analyse des données recueillies et rédaction du compte rendu. n Publications, dissémination et rapports finaux : l Mai à Novembre 2009.


Télécharger ppt "CoRSAIRe & Combinaisons de Rendus Sensori-moteurs pour lAnalyse Immersive de Résultats Programme MDMSA 2005 Revue de projets 13 novembre 2008."

Présentations similaires


Annonces Google