Plate-forme française de réalité virtuelle B. Arnaldi Octobre 2002 SITEF-Toulouse

2 Plan de lexposé n Introduction à la RV n Enjeux et objectifs de la RV n Structure de PERF-RV n État davancement de PERF-RV n Actions de diffusion n Perspectives à T0+36 n Conclusions

3 Réalité virtuelle n définition : réalité virtuelle : ensemble de techniques permettant de reproduire le plus fidèlement possible, par calcul temps réel, le comportement dentités 3D en interaction entre elles et avec le monde réel composé entre autre dun ou plusieurs utilisateurs exploitant de multiples canaux sensoriels

4 Réalité virtuelle Entrée : position, force, voix,... Sortie : visualisation, son, force,... Modèles 3D : géometrie dynamique comportement Gestion des modèles Monde réel

5 Réalité virtuelle n Principales difficultés : l la latence : délai dans la boucle o Interaction avec lutilisateur o calcul de la restitution sensorielle du système simulé l calcul temps réel l réalisme du comportement sensoriel

6 Enjeux et objectifs n La réalité virtuelle, contexte du BE du futur l Quels sont les apports potentiels de la réalité virtuelle pour lamélioration de la productivité industrielle ? l Quelles sont les nouveaux services atteignables par ces techniques ? l Quelles sont les perspectives de déploiement ? « Aujourdhui des questions, peu de réponses »

7 Enjeux et objectifs n Objectifs de PERF-RV l Factoriser lanalyse des besoins industriels sur un large spectre applicatif (automobile, aéronautique, énergie, défense, …) l Prototyper des solutions innovantes o A la frontière du logiciel et du matériel o Sur des problèmes concrets l Créer une communauté scientifique et technique o Capitaliser la connaissance o Diffuser la connaissance acquise

8 Structure de PERF-RV n Appel à propositions 2000 du RNTL l Début des travaux : fin février 2001 l Durée : 3 ans l Ministère de la Recherche (logique exploratoire !) n Pilotage l Inria, CEA, Adepa n Partenaires industriels l EADS CCR, IFP, Clarté, Dassault Aviation, EDF, Giat Industrie, PSA, Renault n Partenaires recherche l École des Mines de Paris, Ensam, Labri, LRP, Limsi

9 Structure de PERF-RV n Organisation en 4 sous-projets l Interfaces haptiques et visualisation immersive l Interface multimodale et coopérative l Simulation dassemblage et de montage l Formation au geste technique n Groupe de travail n Actions spécifiques

10 Analyse du besoin et état de lart n Réalisation du document l Les GT des sous-projets PERF-RV l Expression de lexistence de la communauté RV française n Portée du document l Actuellement en chantier o Mise à jour incrémentale o Phase de validation interne en cours l Vocation à une large diffusion (site PERF-RV) o Version libre téléchargeable (bientôt)

11 Bilan matériel et humain PerfRv à fin 2001 (industriel) 3 ingénieurs 2 ingénieurs 1 thésard Mur dimage (pas de stéréo) 2 ingénieurs Reality Center 2 ingénieurs SAS cube (4 faces) 2 ingénieurs Mur dimage 1 ingénieur 3 ingénieurs Cube 5 faces 2 ingénieurs Reality Center

12 Bilan matériel et humain PerfRv à fin 2001 (recherche) 4chargés de recherche 2 ingénieurs expert 2 thésards Reality Center workbench Interface haptique 6D 3 ingénieurs 1 thésard Holospace (2 faces) + Interface haptique 6D 2 ingénieurs de recherche Interface haptique 2 ingénieurs 1 thésard Cube ( 5 faces) 2 ingénieurs de recherche Reality Center 1 ingénieur de recherche 1 thésard 1 ingénieur de recherche 1 ingénieur détude 1 chargé de recherche Cube (2 faces)

13 PERF-RV : plate-forme technologique

14 Un large panel dinterfaces Homme-Machine

15 Sous-projets et actions de Perfrv Sous-projet 1 : Interfaces haptiques et visualisation immersive (CEA-List) Action A1 : Groupe de Travail SP1 Action A2 : Démonstrateur interface haptique et visualisation immersive Action A3 : couplage haptique-visuel Action A4 : Conception et revue de projet immersives dans un MOVE Action A5 : Retour deffort pour les études dergonomie Action A6 : Intégration des techniques de RV dans le processus de conception et de développement de produits Sous-projet 2 : Interface multi-modale et coopérative (INRIA-Rennes) Action A1 : Groupe de Travail SP2 Action A2 : Serveur distribué d'événements pour dispositifs de RV Action A3 : Interactions coopératives locales et distantes Sous-projet 3 : Simulation dassemblage et de montage (CEA-List) Action A1 : Groupe de Travail SP3 Action A2 : simulation dassemblage et montage Action A3 : Extraction déléments issus de simulation dassemblage et montage Action A4 : Simulation en réalité virtuelle dun assemblage aéronautique Action A5 : Revue d'application montage virtuel dans le domaine automobile Sous-projet 4 : Formation au geste technique (INRIA-Rennes) Action A1 : Groupe de Travail SP4 Action A2 : Forum des métiers

16 SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE n Objectif : Doter la plate forme dune salle immersive de type CAVE – Permettre de qualifier cette technologie dans son utilisation industrielle n Partenaires : PSA Peugeot Citroën - ENSAM n Durée : 3 ans n Avancement : l Choix du système MOVE de BARCO avec calculateurs SGI l Il est opérationnel dans les murs de PSA Peugeot Citroën à Carrières-sous- Poissy depuis début 2002 pour une durée de 1 an l Des expérimentations y sont conduites sur des projets industriels de nouveaux véhicules ou de nouveaux moyens de production avec différents métiers : stylistes, architectes véhicules, ergonomes, préparateurs process, … l Une chaîne de traitement des données appelée ASIMOV a été développée pour utiliser des données CAO CATIA, ICEMSURF et AUTOSTUDIO

17 n Démonstration : Visite virtuelle des monospaces C8 Citroën et 807 Peugeot l La configuration matérielle utilisée est le MOVE l La réalisation a consisté à récupérer les données de la Maquette Numérique des véhicules, appliquer la chaîne ASIMOV, définir des scènes de présentation des véhicules (ville, showroom), appliquer des événements (ouverture et fermeture des portes, réglage des sièges, …), ajouter des sons couplés aux événements l La démonstration permet : o aux équipes de PSA Peugeot Citroën de prendre connaissance des possibilités dutilisation dun tel équipement, rare dans lindustrie, et de le positionner dans le processus de développement véhicule et process o à lENSAM de présenter une application industrielle à diverses populations : industries, centres de recherche, … SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

18 n Démonstration (suite) : Visite virtuelle des monospaces C8 Citroën et 807 Peugeot l Le caractère innovant de la démonstration provient du fait que le MOVE est le seul CAVE en utilisation industrielle en France actuellement ; sa re configurabilité en fait un équipement unique au monde ; le niveau dimmersion dans cet environnement virtuel est élevé et la taille de léquipement permet le travail collaboratif dune équipe l Le potentiel industriel sous-jacent est en cours dévaluation chez PSA Peugeot Citroën sur des cas réels. En cas de retour définitivement positif, lintention pour le Groupe est déquiper ses équipes de développement et en premier les équipes du futur Centre de Design en cours de construction à Vélizy SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

19 n Démonstration : SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

20 n Démonstration : SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

21 n Démonstration : SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

22 n Démonstration : SP1 Interfaces haptiques et visualisation immersive A4: Conception et revue de projet immersive dans un MOVE

23 SP2 Interfaces multimodales et coopératives A3: Interaction coopératives locales et distantes n Objectif : Développement de nouvelles techniques dinteraction coopératives locales et distantes n Partenaires : INRIA Rennes et Rocquencourt, LIMSI, LABRI, Renault - durée: 3 ans n Avancement +12 : Interactions coopératives sur un modèle de Renault Scénic avec de nouveaux interacteurs Rennes Rocquencourt

24 SP2 Interaction multi-modale et coopérative A3 : Interactions coopératives locales et distantes en univers 3D n Objectif : interagir en univers virtuels 3D : l à plusieurs utilisateurs simultanés l en local ou entre sites distants l sur des données industrielles techniques (ex : automobiles) l sur plusieurs modes dinteraction n Partenaires : l INRIA Rennes et Rocquencourt, LIMSI - CNRS, LaBRI, Renault, CEA, EDF n Avancement : l intégration de nombreux périphériques dinteraction l partage de données 3D avec OpenMASK

25 n Démonstration : interactions multi-utilisateurs contraintes sur des éléments de véhicule l un ou plusieurs utilisateurs l données géométriques Renault et application OpenMASK l respect de contraintes cinématiques l partage possible des interactions l intéressant pour des revues de projets SP2 Interaction multi-modale et coopérative A3 : Interactions coopératives locales et distantes en univers 3D

26 n Démonstration : un utilisateur avec interactions contraintes SP2 Interaction multi-modale et coopérative A3 : Interactions coopératives locales et distantes en univers 3D

27 n Démonstration : 2 utilisateurs en coopération SP2 Interaction multi-modale et coopérative A3 : Interactions coopératives locales et distantes en univers 3D Rennes Rocquencourt

28 SP3 Simulation dassemblage et de montage A5: Revue dapplication montage virtuel dans le domaine automobile n Objectif : l Développement dun simulateur haptique dédié au montage virtuel pour lindustrie automobile (chaîne de montage) l Répondre à la suppression des prototypes physiques l Répondre à la diminution du délai détude l Augmenter la réactivité et diminuer les coûts l Prendre en compte le Montage/Démontage en amont des projets n Partenaires : Renault, INRIA, CEA/List n Avancement : l Définition des besoins et des attentes de Renault l Transmission de données numériques l Identification des liens avec dautres actions de PerfRV l Mise en place au CEA/LIST dune plate-forme dévaluation l INRIA Rennes va compléter son installation en équipement Haptique.

29 SP3 Simulation dassemblage et de montage A5 : Revue dapplication montage virtuel dans le domaine automobile n Démonstration : 3scénarios spécifiés par Renault sont en cours de réalisation - Colonne de direction de la Clio - Léve-vitre de la porte avant de la Mégane - Console centrale de la CLIO l La plate-forme PHARE comprend : 1 virtuose 6D-RV dHaption, un sytème de visualisation composé de 2plan (mur+sol)avec des rétro- projections stéréoscopiques. l Cette démontration répond aux objectifs attendus : - Possibilité de prendre en compte le montage/demontage en amont dun projet détude =>suppression de protos, augmentation importante de la réactivité => gain en coût et délai l Elle apporte en innovation : - Le travaille en contexte à léchelle 1 - Le bon ressenti des systèmes haptiques - Le temps réels dans le calcul des collisions en continu. l Potentiel industriel : - Gains importants en coût et délai - Gains en qualité de montage => qualité du produit

30 SP3 Simulation dassemblage et de montage A5 : Revue dapplication montage virtuel dans le domaine automobile n Environnement de démonstration :

31 n Exemple de résultat : SP3 Simulation dassemblage et de montage A5 : Revue dapplication montage virtuel dans le domaine automobile

32 SP 4 Formation au geste technique A2: Forum des métiers n Objectif : l Utiliser la réalité virtuelle et en particulier les systèmes à retour deffort et de sensation dans le cadre de simulateurs dédiés à la formation au geste technique. Application à un cas concret : « Le fraisage » n Partenaires : l CLARTE, AFPA,SIMTEAM (sous traitant) n Avancement : l État de lart dans le domaine de la RV et la formation l Identification dun contexte métier avec recherche dun partenaire spécialisé dans lingénierie pédagogique autour de la formation technique : AFPA l Caractérisation du simulateur permettant dinitier les stagiaires aux machines tournantes l Développement de la première version du simulateur, avec utilisation dun Phantom pour le retour deffort

33 n Démonstration : l Configuration o 1 PC biprocesseur avec carte graphique Wildcat 4210 o 1 Phantom o 1 ensemble en composite pour simuler le tablier de la fraiseuse l Réalisation o 1 environnement virtuel reproduisant un atelier et une fraiseuse o 1 manipulation de la tête de la fraiseuse via le Phantom avec retour de force proportionnel à leffort exercé par la fraiseuse sur la pièce l Innovation o Retour d effort appliqué à la RV augmentée – Métaphore de lappareil à main pour ressentir leffort o Implication de formateurs pour caractériser le simulateur l Potentiel industriel sous-jacent o Implantation de simulateurs dans les différents centres de formation SP 4 Formation au geste technique A2 : Forum des métiers

34 n Démonstration : SP 4 A :

35 Actions de diffusion n Dissémination de linformation l Présentation : Micad, inauguration RNTL, Colloque nouvelles mobilités et voiture de demain, Imagina 2002 l Articles : Pixel, O1 Informatique, … l Site web : n Europe l Extension Européenne de PERF-RV dans le cadre ITEA

36 Ouverture de la plate-forme n Attractivité nationale / règles douverture de la plate-forme aux nouveaux partenaires l EDF (projet RNTL labellisé) l ALSTOM Transport (projet RNTL labellisé) l AFPA (auditeur libre) l INRS (auditeur libre) l Haption (projet RNTL labellisé) l Université dOrléans (auditeur libre)

37 Ouverture de la plate-forme n Étendre Perf-RV aux éditeurs de logiciel l SALOME2 o Plate-forme RNTL 2002 o Outil de calcul multi-physique et post-traitement o PERF-RV – Lien CAO – RV (données géométriques et topologiques) – Post-traitement RV

38 Actions de diffusion n Diffusion OPEN MASK l Plate-forme logicielle de réalité virtuelle OPEN Source o Multi-plate-forme matérielle (IRIX / Linux) l Action spécifique de développement logiciel INRIA o Noyau et visuel (Station, Reality Center, Workbench) o Ressources humaines spécifiques INRIA l Action PERF-RV o SP1 et SP3 : collisions, simulateur dynamique, haptique o SP2 : module dinteraction multimodal, coopération locale et distante (déjà distribué) o SP4 : à venir l Disponibilité OpenMASK 3.0 (source + documentation + tutoriels) : février 2002 o

39 OPEN CASCADE, FranceÉlectricité de France R&D, France VTT, Finland ONDIM, FranceEADS-CCR, France VOLVO, Sweden Matra-Datavision, FranceDassaut Systems, France Virtools, France John DEERE, GermanyDassaut Aviation, France University of Valencia, Spain Italdesign-Giugiaro, ItalyCSSI, France University of Salford, UK INSIGHT Instruments, AustriaCRF, Italy University of Nottingham, UK INRS, FranceCollege de France LPPA, France University of Manchester, UK INRIA, FranceCOAT-Basel, Switzerland University of Evry, France IfADo, GermanyCNRS-Mouvement & Perception, France University of Aalborg, Denmark ICIDO, GermanyCNRS-LIMSI, France TGS, France ICC-FORTH, GreeceClarte, France TELESPAZIO, Italy IAO-FhG, GermanyCIRA, Italy Technotoys, Finland Helsiniki Univ. of Tech, FinlandCEA, France Technatom, Spain Hellenic Institute of Transport,Alstom Transport, France Tampere Virtual Reality Center, Haption, FranceAlenia Spazio, Italy SNECMA, France France-Telecom R&D, FranceAlenia Aeronautica, Italy SSNCF, France ESI-Group, FranceAFPA, France Renault, FranceENSMP, FranceADEPA, France QinetiQ, UKENSAM, FranceActiCM, France PSA Peugeot Citroen, FranceENIB, FranceICCS/NTUA, Greece Simteam, France NoE Intuition : Partenariat

40 EDUTAINMENTAUTOMOTIVE COLLABORATIVE WORKPLACES EVALUATION & TESTING CONSTRUCTIONSAEROSPACE STANDARDS/GUIDELINES DESIGN & ENGINEERING MEDICAL ENERGY TRAINING VR TECHNOLOGIES INTUITION A Network Structure NoE INTUITION : Groupes travails

41 Conclusion n Montée en puissance de la RV en France n Des actions fondamentales o Traiter les « bons » problèmes industriels o Recherche de solutions innovantes n Des actions appliquées o Factoriser les moyens et les développements o Démontrer la faisabilité opérationnelle o Favoriser le déploiement de la technologie n Diffuser (y compris vers les PME/startup) o La connaissance acquise o Des résultats logiciels n Vers le 6 ème PCRD

42 Conclusion n Une activité importante l De réflexion scientifique et technique l De réalisation l De diffusion n Atouts de PERF-RV l Une vraie communauté recherche/industrie l De réelles actions de transfert technologique l Montée en charge progressive