2M : un Espace de Conception pour l’Interaction Bi-Manuelle Gilles BAILLY, Laurence NIGAY, David AUBER

Introduction L’informatique ubiquitaire Fusion des mondes physique et numérique Définition d’un espace mixte L’interaction bi-manuelle au sein d’un environnement mixte

Introduction Domaine d’application : Biologie Environnement informationnel mixte pour les biologistes Manipulation bi-manuelle de grands graphes avec des jetons Graphe : Acide ribonucléique

Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ? Naturelle Performante Parallélisme Augmentation du Langage d’Interaction (pouvoir d’expression)

Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ? Naturelle Performante Parallélisme Augmentation du Langage d’Interaction (pouvoir d’expression) Manipulation d’un rectangle : rotation/ translation/ homothétie

Interaction bi-manuelle : attention ! Pas toujours pertinente selon la tâche Exemple Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Proceedings of CHI’94, 417-423.

Plan Objectifs Différentes approches Notre espace de conception Exemples Conclusion et perspectives

Objectifs Apporter les avantages du monde physique dans le monde numérique Etude de l’interaction bi-manuelle au sein d’une environnement mixte Espace de conception 2M

Constat : pourquoi un espace de conception Aujourd’hui : systèmes conçus et développés de façon ad hoc (faible capitalisation des expériences) Absence d’éléments de conception de développement d’évaluation Aujourd’hui, beaucoup de concepteurs ont vus les apports possibles de l’interaction bi-manuelle. Ils développent des systèmes bi-manuels de façon ad hoc (très peu de capitalisation des expériences). Très peu de comparaisons entre les différents systèmes. Cela est lié aux difficultés des éléments de comparaison et d’évaluation. Il y a aussi une absence de guide à la conception et au développement.

Objectifs : espace de conception Organisation des éléments de conception dans un canevas cohérent Pouvoir taxinomique des systèmes interactifs bi-manuels existants Pouvoir génératif de nouvelles techniques Pouvoir comparatif : guide à la conception Face à cela, notre objectif est d’élaborer un espace de conception afin d’organiser des éléments de conception dans un canevas cohérent. Pour cela, nous voulons un espace qui aurait la capacité de classer les systèmes bi-manuels existants. Une fois les systèmes classés, il est possible que certains points de l’espace soient inexploités. On pourra alors s’interroger sur cet absence et pourquoi pas concevoir de nouvelles techniques. Enfin à long terme, cet espace pourra montrer que certains points de l’espace sont meilleur que d’autres. Et alors il permettrait de donner des recommandations ergonomiques. Si vous devez concevoir de nouvelles techniques, plutot ici que la.

Plan Objectifs Différentes approches Notre espace de conception Exemples Conclusion et perspectives

Différentes approches Exploitation de plusieurs domaines et axes Psychologie [Guiard 87] IHM Interaction à deux mains [Buxton 05] Multimodalité L’originalité de notre travail est d’avoir marier différents domaines et axes de recherche. Il se dégage trois grands axes: la psychologie avec les travaux de guiard l’interaction bi-mauelle avec Buxton et la multimodalité

Psychologie : Modèle de la chaîne cinématique Coopération à deux mains La main non dominante fixe le contexte La main non dominante précède Macro versus Micro La main dominante est la main préférée Guiard a travaillé sur le modèle de la chaine cinématique qui explique comment les différents du bras travaillent ensemble. Il s’est apercu qu’il pouvait appliquer ce modèle de chaine cinématique à l’interaction bi-manuelle (à la relation entre chaque main). Et en tire quatre résultats importants. La main non dominante (generalement la main gauche fixe le contexte) pour l’exemple du scribe c’est la main non dominate qui deplace la feuille alros que ...

Différentes approches Exploitation de plusieurs domaines et axes Psychologie [guiard 87] IHM Interaction à deux mains [Buxton 05] Langage de l’action Relation temporelle Multimodalité

Langage de l’action Actions discrètes : les actions discrètes sont des actions qui impliquent le déclenchement discret des événements (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris) Actions continues : les actions continues sont des actions qui impliquent le contrôle continu de un ou plusieurs degrés de liberté (déplacer un élément graphique avec la souris) Actions composées : les actions composées sont des actions qui entrelacent des actions continues et des actions discrètes (déplacer le curseur sur un objet graphique puis le sélectionner avec la souris)

Langage de l’action discrète continue composée MD MND Saisie de texte Clavier Sélection Joystick Touches spéciales Sélection multiple Souris Étirer une ligne de chaque côté Jeton Défiler –naviguer page WEB Trackball Dessiner ( déplacer + colorier) Stylet Doigt

Relation temporelle 2 1 3 4

Différentes approches Exploitation de plusieurs domaines et axes Psychologie [Guiard 87] IHM Interaction à deux mains [Buxton 05] Multimodalité Définitions [Nigay 94] Typologie [Nigay 93] Extension [Vernier 01]

Multimodalité : Définitions [Nigay 94] Canal gestuel Main dominante ou Main non dominante Dispositif Langage Tâche Modalité Niveau d’abstraction

Multimodalité : Typologie [Nigay 93] Dépendance Alterné Synergie Exclusif Concurrent Combiné Lexicale Syntaxique Sémantique Indépendant séquentiel parallèle Temps

Multimodalité : Typologie [Vernier 01] Extension par affinement de l’axe temporel Dépendance Dépendant Concurrente Complémen-taire Complémentaire + redondante Partiellement redondante Totalement redondante Indé-pendant anachronique séquentielle Concomitante Coïncidente Parallèle Temps

Plan Objectifs Différentes approches Notre espace de conception Exemples Conclusion et perspectives

Combiner trois approches Mutimodalité Notre espace de conception Relation temporelle Langage d’action

Notre espace de conception : 2M Nature de l’action Trois axes Temps : usage séquentiel / parallèle Nature de l’action : (MND,MD) Fusion : lexicale, syntaxique, sémantique Temps Fusion

2M : Axe Temps Considérés par Buxton   Considérés par Buxton Regroupés sous le terme parallélisme

2M : Axe Temps Coïncidente Concomitante Parallèle

2M : Axe Temps Temps Séquentiel Coïncident Anachronique parallèle Concomitant Temps

2M : Axe Nature de l’action (Comp,Comp) Dis : discrète Cont : continue Comp : composée (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Temps Fusion

2M : Axe Fusion Fusion Lexicale Fusion Syntaxique Fusion Sémantique Fusion de bas niveau Shift -click Fusion des paramètres «mets ça la» Fusion des tâches Char Modalité Niveau d’abstraction

Notre espace de conception : 2M Nature de l’action (Comp,Comp) (Cont,Comp) Dis : discrète Cont : continue Comp : composée (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Plan Objectifs Différentes approches Notre espace de conception Exemples Conclusion et perspectives

Notre espace de conception : 2M Nature de l’action EXEMPLES (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Exemples Two-Handed Interaction on a Tablet Display University of California, Berkeley

Notre espace de conception : 2M Nature de l’action Déplacement puis dessin (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Notre espace de conception : 2M Nature de l’action Déplacement puis dessin Dessin et changement de couleur (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Exemples Démonstrateur NavGraphe CLIPS-IMAG et LABRI

Notre espace de conception : 2M Nature de l’action Rotation-Zoom (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Exemples Déformation de graphes / reconstruction de d’arêtes

Notre espace de conception : 2M Nature de l’action (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

Plan Objectifs Différentes approches Notre espace de conception Exemples Conclusion et perspectives

Conclusion Interaction bi-manuelle au sein d’un environnement mixte Espace de conception 2M Pouvoir taxinomique des systèmes interactifs bi-manuels existants 20 systèmes classés Pouvoir génératif de nouvelles techniques Pouvoir comparatif : guide à la conception Conception de notre environnement mixte pour les biologistes basée sur l’espace 2M Evaluation expérimentale à mener et à lier à l’espace

Questions ?