2M : un Espace de Conception pour l’Interaction Bi-Manuelle

Présentation au sujet: "2M : un Espace de Conception pour l’Interaction Bi-Manuelle"— Transcription de la présentation:

1 2M : un Espace de Conception pour l’Interaction Bi-Manuelle
Gilles BAILLY, Laurence NIGAY, David AUBER

2 Introduction L’informatique ubiquitaire
Fusion des mondes physique et numérique Définition d’un espace mixte L’interaction bi-manuelle au sein d’un environnement mixte

3 Introduction Domaine d’application : Biologie
Environnement informationnel mixte pour les biologistes Manipulation bi-manuelle de grands graphes avec des jetons Graphe : Acide ribonucléique

4 Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?
Naturelle Performante Parallélisme Augmentation du Langage d’Interaction (pouvoir d’expression)

5 Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?
Naturelle Performante Parallélisme Augmentation du Langage d’Interaction (pouvoir d’expression) Manipulation d’un rectangle : rotation/ translation/ homothétie

6 Interaction bi-manuelle : attention !
Pas toujours pertinente selon la tâche Exemple Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Proceedings of CHI’94,

7 Plan Objectifs Différentes approches Notre espace de conception
Exemples Conclusion et perspectives

8 Objectifs Apporter les avantages du monde physique dans le monde numérique Etude de l’interaction bi-manuelle au sein d’une environnement mixte Espace de conception 2M

9 Constat : pourquoi un espace de conception
Aujourd’hui : systèmes conçus et développés de façon ad hoc (faible capitalisation des expériences) Absence d’éléments de conception de développement d’évaluation Aujourd’hui, beaucoup de concepteurs ont vus les apports possibles de l’interaction bi-manuelle. Ils développent des systèmes bi-manuels de façon ad hoc (très peu de capitalisation des expériences). Très peu de comparaisons entre les différents systèmes. Cela est lié aux difficultés des éléments de comparaison et d’évaluation. Il y a aussi une absence de guide à la conception et au développement.

10 Objectifs : espace de conception
Organisation des éléments de conception dans un canevas cohérent Pouvoir taxinomique des systèmes interactifs bi-manuels existants Pouvoir génératif de nouvelles techniques Pouvoir comparatif : guide à la conception Face à cela, notre objectif est d’élaborer un espace de conception afin d’organiser des éléments de conception dans un canevas cohérent. Pour cela, nous voulons un espace qui aurait la capacité de classer les systèmes bi-manuels existants. Une fois les systèmes classés, il est possible que certains points de l’espace soient inexploités. On pourra alors s’interroger sur cet absence et pourquoi pas concevoir de nouvelles techniques. Enfin à long terme, cet espace pourra montrer que certains points de l’espace sont meilleur que d’autres. Et alors il permettrait de donner des recommandations ergonomiques. Si vous devez concevoir de nouvelles techniques, plutot ici que la.

11 Plan Objectifs Différentes approches Notre espace de conception
Exemples Conclusion et perspectives

12 Différentes approches
Exploitation de plusieurs domaines et axes Psychologie [Guiard 87] IHM Interaction à deux mains [Buxton 05] Multimodalité L’originalité de notre travail est d’avoir marier différents domaines et axes de recherche. Il se dégage trois grands axes: la psychologie avec les travaux de guiard l’interaction bi-mauelle avec Buxton et la multimodalité

13 Psychologie : Modèle de la chaîne cinématique
Coopération à deux mains La main non dominante fixe le contexte La main non dominante précède Macro versus Micro La main dominante est la main préférée Guiard a travaillé sur le modèle de la chaine cinématique qui explique comment les différents du bras travaillent ensemble. Il s’est apercu qu’il pouvait appliquer ce modèle de chaine cinématique à l’interaction bi-manuelle (à la relation entre chaque main). Et en tire quatre résultats importants. La main non dominante (generalement la main gauche fixe le contexte) pour l’exemple du scribe c’est la main non dominate qui deplace la feuille alros que ...

14 Différentes approches
Exploitation de plusieurs domaines et axes Psychologie [guiard 87] IHM Interaction à deux mains [Buxton 05] Langage de l’action Relation temporelle Multimodalité

15 Langage de l’action Actions discrètes : les actions discrètes sont des actions qui impliquent le déclenchement discret des événements (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris) Actions continues : les actions continues sont des actions qui impliquent le contrôle continu de un ou plusieurs degrés de liberté (déplacer un élément graphique avec la souris) Actions composées : les actions composées sont des actions qui entrelacent des actions continues et des actions discrètes (déplacer le curseur sur un objet graphique puis le sélectionner avec la souris)

16 Langage de l’action discrète continue composée MD MND Saisie de texte
Clavier Sélection Joystick Touches spéciales Sélection multiple Souris Étirer une ligne de chaque côté Jeton Défiler –naviguer page WEB Trackball Dessiner ( déplacer + colorier) Stylet Doigt

17 Relation temporelle 2 1 3 4

18 Différentes approches
Exploitation de plusieurs domaines et axes Psychologie [Guiard 87] IHM Interaction à deux mains [Buxton 05] Multimodalité Définitions [Nigay 94] Typologie [Nigay 93] Extension [Vernier 01]

19 Multimodalité : Définitions [Nigay 94]
Canal gestuel Main dominante ou Main non dominante Dispositif Langage Tâche Modalité Niveau d’abstraction

20 Multimodalité : Typologie [Nigay 93]
Dépendance Alterné Synergie Exclusif Concurrent Combiné Lexicale Syntaxique Sémantique Indépendant séquentiel parallèle Temps

21 Multimodalité : Typologie [Vernier 01]
Extension par affinement de l’axe temporel Dépendance Dépendant Concurrente Complémen-taire Complémentaire + redondante Partiellement redondante Totalement redondante Indé-pendant anachronique séquentielle Concomitante Coïncidente Parallèle Temps

22 Plan Objectifs Différentes approches Notre espace de conception
Exemples Conclusion et perspectives

23 Combiner trois approches
Mutimodalité Notre espace de conception Relation temporelle Langage d’action

24 Notre espace de conception : 2M
Nature de l’action Trois axes Temps : usage séquentiel / parallèle Nature de l’action : (MND,MD) Fusion : lexicale, syntaxique, sémantique Temps Fusion

25 2M : Axe Temps Considérés par Buxton
Considérés par Buxton Regroupés sous le terme parallélisme

26 2M : Axe Temps Coïncidente Concomitante Parallèle

27 2M : Axe Temps Temps Séquentiel Coïncident Anachronique parallèle
Concomitant Temps

28 2M : Axe Nature de l’action
(Comp,Comp) Dis : discrète Cont : continue Comp : composée (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Temps Fusion

29 2M : Axe Fusion Fusion Lexicale Fusion Syntaxique Fusion Sémantique
Fusion de bas niveau Shift -click Fusion des paramètres «mets ça la» Fusion des tâches Char Modalité Niveau d’abstraction

30 Notre espace de conception : 2M
Nature de l’action (Comp,Comp) (Cont,Comp) Dis : discrète Cont : continue Comp : composée (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

31 Plan Objectifs Différentes approches Notre espace de conception
Exemples Conclusion et perspectives

32 Notre espace de conception : 2M
Nature de l’action EXEMPLES (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

33 Exemples Two-Handed Interaction on a Tablet Display University of California, Berkeley

34 Notre espace de conception : 2M
Nature de l’action Déplacement puis dessin (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

35 Notre espace de conception : 2M
Nature de l’action Déplacement puis dessin Dessin et changement de couleur (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

36 Exemples Démonstrateur NavGraphe CLIPS-IMAG et LABRI

37 Notre espace de conception : 2M
Nature de l’action Rotation-Zoom (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

38 Exemples Déformation de graphes / reconstruction de d’arêtes

39 Notre espace de conception : 2M
Nature de l’action (Comp,Comp) (Cont,Comp) (Cont,Cont) (Dis,Comp) (Dis,Cont) (Dis,Dis) Séquentiel Coïncident Anachronique Concomitant parallèle Indépendant Temps Lexicale Syntaxique Sémantique Fusion

40 Plan Objectifs Différentes approches Notre espace de conception
Exemples Conclusion et perspectives

41 Conclusion Interaction bi-manuelle au sein d’un environnement mixte
Espace de conception 2M Pouvoir taxinomique des systèmes interactifs bi-manuels existants 20 systèmes classés Pouvoir génératif de nouvelles techniques Pouvoir comparatif : guide à la conception Conception de notre environnement mixte pour les biologistes basée sur l’espace 2M Evaluation expérimentale à mener et à lier à l’espace

42 Questions ?