Aperçu des systèmes de RV actuels Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

Quelques statistiques En 1991: aucune application commerciale de la RV En 2000: environ 2700 utilisateurs dans le monde En 2002: quelques centaines de milliers d’utilisateurs. Ceci est très peu si l’on considère le nombre d’utilisateurs d’ordinateurs

? La VR n’est pas plus répandue pour plusieurs raisons: Manque d’applications vedettes (« killer apps ») Limitations des équipements Méfiance du marché

Domaines principaux Domaines principaux Domaines en émergence Médecine Éducation, arts, divertissement Domaine militaire Domaines en émergence Conception en génie et génie industriel Robotique (téléopération) Visualisation de données

Applications médicales Anatomie: Visible Human Project: corps humain entièrement numérisé [Lorensen 2001] Anatomic VisualizeR [USUHS]: dissection et exploration du Visible Human

Applications médicales (2) Diagnostic Cancer de la prostate (DRE) Examens endoscopiques (colonoscopies, bronchoscopie (Immersion Inc.) , angioplastie) Chirurgie CathSim [Immersion Medical Inc]: insertion de catheters

Applications médicales (3) Chirurgie minimalement invasive (CMI) MIST-VR [Virtual Presence - 1990] pour simuler la laparoscopie Selon des études de performance l’entraînement avec MIST serait très efficace

Applications médicales (4) SKALPEL-ICT [Schwartz - Harrison – Branzan- Laurendeau]: modélisation des tumeurs du foie pour le traitement par cryothérapie

Applications médicales (5) Réhabilitation Rutgers Ankle: Pilotage d’un avion avec le pied pour la rééducation de la cheville Psychologie et apprentissage cognitif Phobies (Georgia Int. of Tech.: peur de l’avion) Déficits cognitifs: USC Virtual teacher

Education et arts CyberMath (Royal Int. Of Tech. Suède): EV pour l’enseignement des mathématiques Virtual Physics Lab. (U. of Houston): Enseignement de la physique Newtonnienne

Education et arts (2) NICE (Narrative-based Immersive Constructionist/Collaborative Environments) : apprentissage des jeunes enfants (virtual garden) Virtual Heritage Digitalo Design Inc. Cathédrale Notre-Dame virtuelle

Education et arts (3) Jeux vidéos: Tomb Raider (Edios Interactive) StarCraft (Blizzard Entertainment) JumpZone! (Illusion Systems Inc. Maintenant disparue du marché): simulateur de saut en parachute...

Domaine militaire Simulateurs pour soldats inviduels: Virtuel Stinger Trainer (TNO Physics and Elect. Lab – Hollande 1999) Dôme de projection de 20m de diam. HMD et système de tracking magnétique Lance-roquette sol-air simulé Utilisé par plusieurs corps d’armée dans le monde

Domaine militaire (2) Simulateur de déminage (Département de la défense – France) Phantom avec retour d’effort lorsqu’une mine est trouvée lors de l’exploration de l’environnement HMD avec tracking de la tête Mine virtuelle

Domaine militaire (3) Simulateur pour entraînement de leadership pour commandant de pelotons (USC – Institute for Creative Technologies) Simulation d’un accident de la route survenant pendant une opération en milieu urbain lors d’une émeute

Domaine militaire (4) Simulateurs pour bataillons et compagnies SIMNET (DARPA) terrain d’opération de 50 x 75 km en Europe centrale et étendu au Koweit par la suite 200 simulateurs de tanks SIMNET remplacé par CCTT (Close Combat Tactical Trainer)

Domaine militaire (5) Applications dans la marine VESUB pour l’entraînement à la commande d’un sous-marin [US Naval Submarine School-2001] HMD avec possibilité de zoom pour simuler les jumelles et tracker pour la tête Son du vent et d’autres sources audio reproduites dans des écouteurs Affichage du modèle marin

Domaine militaire (6) Applications dans la marine Entraînement au tir naval [British Royal Navy – 2001] Permet aux artilleurs de s’exercer au tir d’artillerie de canon de 20 mm réels montés sur le pont d’un navire de guerre HMD – Kaiser Electro Optics, tracker pour la tête (Intersense IS-900) Pentium 1-GHz dual-processor avec accélérateur graphique NVIDIA GeForce 2

Domaine militaire (7) Applications dans l’aviation Unit Simulator [USAF Research Lab - 2002] Simulateur de A10 Cockpit réel avec affichages frontal et latéraux Possibilités de simulation réseau Poste pour l’entraîneur Mako Aircraft Simulator [2001]: Pilote avant en position similaire à celle dans le simulateur du A10 Pilote arrière immergé dans un cockpit virtuel

Domaine militaire (8) Applications dans l’aviation Distributed Mission Planning [USAF Research Lab 2002]: Environnement de simulation distribué Inclut des chasseurs, des AWACS et des avions ennemis Architecture LAN, WAN Maintenant étendu au projet Joint Simulation Systems (JSIMS) et utilise le C++ et est basé sur des stations PC-standard.

Domaine manufacturier Prototypage rapide et vérification FreeForm [SensAble Tech. - 2002]: Prototypage rapide et design d’objets complexes: Manipulation de pâte à modeler virtuelle avec une interface haptique Virtual Assembly Design Environment (VADE) [Jarayam - 1999] Vérification de l’assemblage de pièces manufacturées via une interface haptique

Domaine manufacturier (2) Conception d’instruments et ergonomie VirtualANTHROPOS at ERGONAUT [Fraunhofer Institute for Industrial Engineering - 2000] Etude de l’ergonomie des tracteurs et autres systèmes Task Analysis Toolkit [Electronic Data Systems - 2002] Plus sophistiqué que VirtualANTHROPOS car permet des calculs de charges sur le bas du dos, etc.

Domaine manufacturier (3) Conception et implantation d’usines VR based authoring environment [Fraunhofer Institute for Industrial Engineering - 1997] Édition d’environnements d’usines et simulation de flux de matériaux

Domaine manufacturier (4) Formation de personnel et fabrication Motorola Pager Assembly Line [Adams Consulting - 1996] Outil d’entraînement pour l’assemblage de pagettes. Low-tech (PC 66 MHz), mais efficace car l’efficacité des travailleurs était grandement améliorée (6 fois moins d’erreurs d’assemblage).

Domaine manufacturier (5) Marketing Virtual Showroom [Peugeot /Citröen – 1999] Salle de montre de voitures virtuelle en 3D Virtual Store [Facit – 1995]: Promenade dans un commerce virtuel avec visualisation des étagères Facit a mis au point Sense8, un environnement de conception d’environnements virtuels avec ses produits de développement cross-plate-forme WorldToolkit et WorldUp

Domaine manufacturier (6) Robotique Multimodal Teaching Advisor [NTT –1996] Aide à la manipulation et à la programmation d’un robot soudeur (seam welding) VR4 [Fraunhofer Institute for Manufacturing Engineering and Automation – 1996] Environnement de programmation d’un robot d’assemblage pour lequel le programmeur peut, via une interface, visualiser l’environnement de travail du robot afin de programmer les trajectoires et les gestes nécessaires à l’assemblage automatique

Domaine manufacturier (7) Téléopération Robot-pompier [Ministry of International Trade Industry (MITI-Japon) - 1993] Permet d’observer le lieu d’un incendie avec une caméra et de téléopérer un robot dans un environnement virtuel offrant un meilleur feedback visuel que le site réel (notamment à cause de la présence de fumée) La NASA a mis au point un système similaire mais plus performant parce que doté de plusieurs caméras.

Domaine manufacturier (8) Téléopération avec délais de transmission Systèmes robotisés de la NASA et JPL pour la téléopération des véhicules spatiaux (Pathfinder, etc.) Avantages : un robot virtuel permet de prédire le comportement du robot réel malgré les délais de transmission et, dans certains cas, permet aux systèmes avec retour d’effort de fournir une information plus stable

Domaine manufacturier (9) Commande supervisée Système de commande de robot réel avec couche de simulation intermédiaire [Institute for Robotics Research – Dortmund - 2002]: L’utilisateur commande un robot virtuel via un système de reconnaissance de gestes et la commande est transmise au robot réel sans que l’utilisateur sache que l’opération réelle s’effectue

Domaine manufacturier (10) Visualisation de données Seismitarium [Phillips Petroleum - 2000] Système de visualisation de donnée sismiques pour la prospection pétrolière Visualisation de données volumétriques Applications médicales [TeraRecon Inc. - 2002] Visualisation de données 3D médicales

Conclusion La réalité virtuelle prend graduellement sa place sur le marché Mis à part les jeux, qui ne sont pas réellement de la RV, les applications commerciales sont encore relativement modestes Les applications commerciales ne sont pas génériques, mais solutionnent des problèmes bien précis dans des domaines également très ciblés

Conclusion (2) La pénétration relativement modeste de la RV sur le marché s’explique par: Le coût élevé des solutions proposées Le limitations imposées par la technologie L’absence d’accès réseau haute vitesse à prix abordable pour le grand public Le manque d’outils génériques et le manque de base théorique stable pour le développement de produits faciles à améliorer et pour lesquels la maintenance est également aisée