Un espace de classification pour l’interaction sur dispositifs mobiles Anne Roudaut, Eric Lecolinet IHM’07-Paris

Contexte Dispositifs mobiles : Plusieurs formes - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts 2

Contexte Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts Ville Domicile Transports … 2

Espace de classification des techniques d’interaction Contexte Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation Espace de classification des techniques d’interaction Comprendre et organiser l’existant Soulever des tendances et des faiblesses Première étape pour la réalisation de nouvelles techniques d’interaction - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts Ville Domicile Transports … 2

Plan Contexte Espace de classification Conclusion et perspectives Définition Dimensions Conclusion et perspectives 3

Espace de classification Basé sur plusieurs définitions de la « modalité » Une approche orientée psychologues Visuelle, Auditive, Kinesthésique, Sonore … D L ? Une approche orientée concepteurs (Nigay) Dispositif physique Avec quoi ? Langage d’interaction Comment ? 4

Espace de classification Modalités en entrée Modalités en sortie 5

Espace de classification Modalités en entrée Modalités en sortie 5

Espace de classification Modalités en entrée Modalités en sortie 5

Espace de classification Modalités en entrée Modalités en sortie 5

→ Répercutions sur le langage d’interaction Entrées : Mouvements Mouvements D= Dispositifs continus (Ecrans tactiles) Ecran tactile à 1 point de contact Ecran tactile multipoints Ecran capacitif (Stylet ou doigts) Ecran résistif (Doigts) Vocale Passive Stylet Visuelle Auditive Deux doigts Un doigt Pouce Kinesthésique → Répercutions sur le langage d’interaction 6

Entrées : Mouvements D= Dispositifs continus (Ecrans tactiles) L= Manipulation de Widgets (Boutons, menu, icones …) Vocale Passive Visuelle Auditive Word Mobile LaunchTile (Karlson) Kinesthésique 7

Entrées : Mouvements D= Dispositifs continus (Ecrans tactiles) L= Manipulation de Widgets (Boutons, menu, icones …) L= Langage gestuel Vocale Passive Visuelle Auditive Navigation AppLens (Karlson) Entrées de texte EdgeWrite (Wobbrock) Kinesthésique 8

Marking Menus (Kurtenbach) Entrées : Mouvements Mouvements D= Dispositifs continus (Ecrans tactiles) L= Manipulation de Widgets (Boutons, menu, icones …) L= Langage gestuel L= Langage gestuel hybride Vocale Passive Menu + Gestes : Apprentissage implicite Visuelle Auditive Mode Novice Mode Expert Marking Menus (Kurtenbach) Kinesthésique QuickWriting (Perlin) 9

Entrées : Mouvements D= Dispositifs continus (Ecrans tactiles) D= Dispositifs discrets (Bouton matériel, clavier …) → L= Codage des informations Vocale - Clavier complet Azerty/Qwerty/Fitaly/Dvorak … Passive Visuelle - Clavier réduit T12 EdgeWrite (Wobbrock) Auditive Kinesthésique 10

Entrées : Mouvements D= Dispositifs continus (Ecrans tactiles) D= Dispositifs discrets (Bouton matériel, clavier …) D= Capteurs (de mouvements …) Vocale Interaction embarquée Passive Visuelle Auditive Kinesthésique Shake (Williamson) MotionLens (Realeyes3D) 11

Interaction contextuelle Entrées : Passives Mouvements D= Capteurs (position, luminosité, sonore, RFID,GPS) → L = Langage d’interaction différé Vocale Interaction contextuelle - Adaptation à l’environnement - Localisation Identification Cinématique Passive Visuelle Auditive Kinesthésique 12

Ensemble des informations Sorties : Visuelles Mouvements D= Surfaces d’affichage → L basés sur la métaphore du multiplexage1 Vocale Spatial Temporel En profondeur Passive Visuelle Auditive Type de multiplexage Ensemble des informations Surface d’affichage Kinesthésique 13 1Multiplexage = Faire passer plusieurs informations à travers un seul support de transmission

Sorties : Visuelles D= Surfaces d’affichage L= Multiplexage spatial Mouvements D= Surfaces d’affichage L= Multiplexage spatial Vocale Vue focus + context Passive Visuelle Auditive Kinesthésique DateLens (Bederson) FishEyes 14

Sorties : Visuelles D= Surfaces d’affichage L= Multiplexage spatial Mouvements D= Surfaces d’affichage L= Multiplexage spatial L= Multiplexage temporel Vocale Passive Visuelle Auditive Kinesthésique Pan & Zoom ZenZui (www.zenzui.com) Filtrage de données Fathumb (Karlson) 15

Sorties : Visuelles D= Surfaces d’affichage L= Multiplexage spatial Mouvements D= Surfaces d’affichage L= Multiplexage spatial L= Multiplexage temporel L= Multiplexage en profondeur Vocale Passive Visuelle Auditive Kinesthésique Zomit (Lecolinet) Halo (Baudish) 16

Sorties : Auditives D= Haut-parleur, écouteurs Mouvements D= Haut-parleur, écouteurs L= Sons, Synthèse vocale Vocale Alertes (sonnerie) Indications vocales (GPS) → Problème de l’environnement mobile changeant Passive Visuelle Auditive Kinesthésique 17

Sorties : Auditives D= Microphone L= Sons, Synthèse vocale Mouvements D= Microphone L= Sons, Synthèse vocale Vocale Alertes (sonnerie) Indications vocales (GPS) → Problème de l’environnement mobile changeant Passive Aider à la navigation : stéréophonie (Hiipakka) Améliorer la manipulation de Widgets (Brewster) Visuelle Auditive Kinesthésique 17

Sorties : Kinesthésiques Mouvements D= Dispositifs vibro-tactile, dispositifs de retour d’effort … L= Retour d’effort, principalement retour tactile Vocale Améliorer le pointage (Brewster) Passive Visuelle (Vibreur à l’arrière du dispositif) Auditive Alléger les autres modalités Tactimod (Couture) Kinesthésique 18

Plan Contexte Espace de classification Conclusion et perspectives Définition Dimensions Conclusion et perspectives 19

Conclusion et perspectives Espace de classification Compréhension et organisation de l’existant Observation et comparaison des techniques → faire apparaitre des tendances ou des faiblesses Première étape à l’élaboration de nouvelles techniques Problème du pointage au pouce sur un écran tactile Occlusion Accès aux coins de l’écran Précision du pouce Perspectives 20

Merci de votre attention ! Remerciements à Bruno Aidant et son équipe d’Alcatel-Lucent