Intégration de modes d’interaction dans GASP Thierry Duval 1, Alain Chauffaut 1, Jordi Régincós 2, Bruno Arnaldi 1 1 IRISA / Siames, Campus de Beaulieu, F Rennes Cedex {Thierry.Duval, Alain.Chauffaut, 2 IIA / GG, Campus Montivili, E Girona Jordi.Reginc ó
Cadre de travail ê Simulation et animation en environnements virtuels 3D ê Interactions immersives dans un Reality Center SGI ê Etude de dispositifs d’interaction peu intrusifs facilitant l’immersion ê 1 même point de vue pour tous
Le Reality Center SGI ê Onyx 2 6 processeurs R12000 3 pipes graphiques IR2 résolution 3200 x 1000 ê Grand écran cylindrique 3 vidéo-projecteurs barco 60, 96, 120 hz 135 degrés de champ de vision 2m50 x 9m
Le Reality Center SGI
Le SM3D 1000 SAGEIS ê 3 caméras linéaires sur mat carbone ê Etalonné en usine ê Jusqu’à 24 diodes suivies ê Fréquence d’acquisition : 60 Hz ê Dispositif (non ?) filaire ê Précision : 0.25 mm ê Volume suivi : environ 10 m 3
Le SM3D 1000 SAGEIS
Les expérimentations ê Un suivi de diodes simple 1 diode pour 1 objet de la scène déplacement de l’objet associé ê Une souris 3D à l’aide de 2 diodes sélection / désélection déplacement de l’objet sélectionné
Les expérimentations
Multimodalité !?! ê Plusieurs diodes en simultané pour parvenir à une interaction complexe ê Parallèle synergique ? ê Grâce à notre environnement GASP...
Le noyau de GASP ê Fournit l’environnement d’exécution ê Définit des classes de modules : objets de simulation calculs associés ê Offre des paradigmes de communication entre objets : flots de données (entrées / sorties) événements et messages
Le noyau de GASP ê Gère : les communications entre modules l’ensemble des modules la synchronisation et l’exécution des modules àchaque module possède sa propre fréquence d’activation
X Y = F (X, CP) Y Module ê Fonction de transfert ê Y = F (X, CP) X (les entrées) Y (les sorties) CP (les paramètres de contrôle)
Les branchements A C B set(data) connexion get( t 2 ) get( t 1 ) connexion
Un pas de simulation... ê Pour tous les objets actifs : traiter les événements et messages reçus au dernier pas de simulation calculer... – lire les entrées et paramètres – calculer un nouvel état interne – mettre à jour les sorties
Intégration du SM3D ê Un pilote sous forme d’un module ê Fonction de calcul = liaison série ê Pas d’entrées ê 4 sorties : des positions de diodes Calcul (RS 232) position1 position2 position3 position4 Pilote
Suivi simple Calcul (RS 232) position1 position2 position3 position4 Pilote CC2:CalculCoin position C2:Coin CC1:CalculCoin position C1:Coin CC3:CalculCoin position C3:Coin CC4:CalculCoin position C4:Coin
Suivi simple
Souris 3D Calcul (RS 232) position1 position2 position3 position4 Pilote CC1:CalculCoin position C1:Coin CC8:CalculCoin position C8:Coin CalculInteracteur positionD1 positionD2 positionC1 positionC2 Interacteur positionC3 positionC4 positionC6 positionC5 positionC8 positionC7 position CC2:CalculCoin position C2:Coin... message de demande de prise de contrôle
Souris 3D Calcul (RS 232) position1 position2 position3 position4 Pilote CC1:CalculCoin position C1:Coin CCC8:CalculCoinContrôlé position C8:Coin CalculInteracteur positionD1 positionD2 positionC1 positionC2 Interacteur positionC3 positionC4 positionC6 positionC5 positionC8 positionC7 position CC2:CalculCoin position C2:Coin...
Souris 3D
Futures interactions ê 4 diodes sur un utilisateur 1 sur chaque main + épaule 7 “clics” possibles... ê 12 diodes sur utilisateur + caddie 6 sur les mains, coudes, épaules 4 sur la tête 2 sur le caddie
GASP et Multimodalité ê Plusieurs périphériques : diodes poste de conduite de 106 joystick à retour d’effort clavier souris
GASP et Multimodalité ê Périphériques compatibles : joystick {clavier, souris} {joystick, volant} diodes ê Périphériques incompatibles : {diodes, volant} {clavier, souris} volant joystick àou alors à plusieurs utilisateurs...
Conclusion ê GASP : moteur de fusion ? ê Multimodalité dans GASP = coopération (de modes ?) ê Modalités supplémentaires nécessaires en entrée (parole) ê Plusieurs types de multimodalités possibles...