1 Un espace de classification pour l’interaction sur dispositifs mobiles Anne Roudaut, Eric Lecolinet IHM’07-Paris

2 Dispositifs mobiles : Plusieurs formes - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts Contexte 2

3 Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts - Ville - Domicile - Transports … Contexte 2

4 Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts - Ville - Domicile - Transports … Contexte Espace de classification des techniques d’interaction  Comprendre et organiser l’existant  Soulever des tendances et des faiblesses  Première étape pour la réalisation de nouvelles techniques d’interaction 2

5 Contexte Espace de classification –Définition –Dimensions Conclusion et perspectives Plan 3

6 Dispositif physique Avec quoi ? Langage d’interaction Comment ? Basé sur plusieurs définitions de la « modalité » Visuelle, Auditive, Kinesthésique, Sonore … Une approche orientée psychologues Une approche orientée concepteurs (Nigay) D L ? Espace de classification 4

7 Modalités en entrée Modalités en sortie Espace de classification 5

8 Modalités en entrée Modalités en sortie Espace de classification 5

9 Modalités en entrée Modalités en sortie Espace de classification 5

10 Modalités en entrée Modalités en sortie Espace de classification 5

11 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) Mouvements Ecran tactile à 1 point de contact Ecran tactile multipoints Ecran capacitif (Stylet ou doigts) Ecran résistif (Doigts) → Répercutions sur le langage d’interaction Stylet Un doigtPouceDeux doigts Entrées : Mouvements 6

12 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) a.L= Manipulation de Widgets (Boutons, menu, icones …) LaunchTile (Karlson) Mouvements Word Mobile Entrées : Mouvements 7

13 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) a.L= Manipulation de Widgets (Boutons, menu, icones …) b.L= Langage gestuel Mouvements Entrées de texte EdgeWrite (Wobbrock) Navigation AppLens (Karlson) Entrées : Mouvements 8

14 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) a.L= Manipulation de Widgets (Boutons, menu, icones …) b.L= Langage gestuel c.L= Langage gestuel hybride Mouvements Mode NoviceMode Expert Marking Menus (Kurtenbach) QuickWriting (Perlin) Menu + Gestes : Apprentissage implicite Entrées : Mouvements 9

15 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) 2.D= Dispositifs discrets (Bouton matériel, clavier …) → L= Codage des informations - Clavier complet Azerty/Qwerty/Fitaly/Dvorak … - Clavier réduit T12 EdgeWrite (Wobbrock) Mouvements Entrées : Mouvements 10

16 Vocale Passive Visuelle Auditive Kinesthésique 1.D= Dispositifs continus (Ecrans tactiles) 2.D= Dispositifs discrets (Bouton matériel, clavier …) 3.D= Capteurs (de mouvements …) Interaction embarquée Mouvements MotionLens (Realeyes3D) Shake (Williamson) Entrées : Mouvements 11

17 Mouvements Visuelle Auditive Kinesthésique Vocale Passive Interaction contextuelle D= Capteurs (position, luminosité, sonore, RFID,GPS) → L = Langage d’interaction différé - Adaptation à l’environnement - Localisation - Identification - Cinématique Entrées : Passives 12

18 Mouvements Auditive Kinesthésique Vocale D= Surfaces d’affichage → L basés sur la métaphore du multiplexage 1 Passive Visuelle Ensemble des informations Surface d’affichage 1 Multiplexage = Faire passer plusieurs informations à travers un seul support de transmission Spatial Temporel En profondeur Type de multiplexage Sorties : Visuelles 13

19 Mouvements Auditive Kinesthésique Vocale D= Surfaces d’affichage a.L= Multiplexage spatial Passive Visuelle FishEyes DateLens (Bederson) Vue focus + context Sorties : Visuelles 14

20 Mouvements Auditive Kinesthésique Vocale D= Surfaces d’affichage a.L= Multiplexage spatial b.L= Multiplexage temporel Passive Visuelle Pan & Zoom ZenZui ( Filtrage de données Fathumb (Karlson) Sorties : Visuelles 15

21 Mouvements Auditive Kinesthésique Vocale D= Surfaces d’affichage a.L= Multiplexage spatial b.L= Multiplexage temporel c.L= Multiplexage en profondeur Passive Visuelle Halo (Baudish)Zomit (Lecolinet) Sorties : Visuelles 16

22 Mouvements Kinesthésique Vocale Passive Visuelle Auditive D= Haut-parleur, écouteurs L= Sons, Synthèse vocale - Alertes (sonnerie) - Indications vocales (GPS) → Problème de l’environnement mobile changeant Sorties : Auditives 17

23 Mouvements Kinesthésique Vocale Passive Visuelle Auditive D= Microphone L= Sons, Synthèse vocale - Alertes (sonnerie) - Indications vocales (GPS) → Problème de l’environnement mobile changeant - Aider à la navigation : stéréophonie (Hiipakka) - Améliorer la manipulation de Widgets (Brewster) Sorties : Auditives 17

24 Mouvements Auditive Kinesthésique Vocale Passive Visuelle D= Dispositifs vibro-tactile, dispositifs de retour d’effort … L= Retour d’effort, principalement retour tactile Améliorer le pointage (Brewster) Alléger les autres modalités Tactimod (Couture) (Vibreur à l’arrière du dispositif) Sorties : Kinesthésiques 18

25 Contexte Espace de classification –Définition –Dimensions Conclusion et perspectives Plan 19

26 Espace de classification Compréhension et organisation de l’existant Observation et comparaison des techniques → faire apparaitre des tendances ou des faiblesses Première étape à l’élaboration de nouvelles techniques Problème du pointage au pouce sur un écran tactile Occlusion Accès aux coins de l’écran Précision du pouce Conclusion et perspectives Conclusion Perspectives 20

27 Remerciements à Bruno Aidant et son équipe d’Alcatel-Lucent Merci de votre attention !