Bases neurales pour l’interaction homme machine

Sommaire Motivation Présentation Modèle prédictif Modèle descriptif Fondement scientifique et modèle de description Loi de Fitts Modèle Guiard du talent bimanuelle Etude de cas Prévisions des taux d'entrée de texte sur les téléphones mobiles Affordance que produit l'interface sur le contrôle bimanuel et sur le bureau Situation actuelles et autres documents Bases neurales pour l’IHM

Motivation MACHINE HUMAIN Périphérique d’entrée Techniques d'interaction Système informatique Limites de mouvements Capacité Potentiel Faire correspondre Présentation de modèles de mouvement humain pertinent à l’IHM : Issus de la recherche Issus des besoins spécifiques Bases neurales pour l’IHM

Présentation Modèle Simplification de la réalité Evaluer Concevoir Prédictif  Modèle de Fitt’s (mathématique) Descriptif  Modèle de Guiard (métaphorique) 2 modèle utilisés couramment en IHM Evaluer Concevoir Offrir une base pour comprendre le comportement d’un objet Bases neurales pour l’IHM

Modèle Prédictif : Hick-Hyman Modèle Prédictif modèles de l'ingénierie 1 Loi de Hick-Hyman : RT = a + b log2(n) 2 ReactionTime=MovementTime+ProcessingSpeed.log2(n) ProcessingSpeed :Temps pris pour prendre une décision n : Nombre de choix Utilisé dans les systèmes interactifs 3 : téléphone mobile pour prédire le temps de sélection des menus modèles de performance 1 Bases neurales pour l’IHM

Modèle Prédictif : Keystroke-Level Model Keystroke-Level Model 4: Texecute= tk+tp+th+td+tm+tr Prédit le temps d’accomplir une tâche K : appuie sur la touche P : pointage H : main vers souris et vice versa D : dessin avec souris M : opérateur mentale R : opérateur de système de réponse Servit à prédire les performances en entrée de texte pour les utilisateurs handicapés physiques utilisant les systèmes de prédictions5 Bases neurales pour l’IHM

Modèle Descriptif : Key-Action Model Il ne donne pas de mesure quantitative Permet de définir un cadre ou un contexte d’application afin de décrire une situation ou un problème KAM : clavier Touches de : symbole, modification, exécution Bases neurales pour l’IHM

Modèle Descriptif : 3-State Model 3-State Model Graphical Input 6 Simulation des états d’un périphérique par des primitives : une souris Base de modélisation pour un dispositif de pointage multi boutons, exemple : TouchPad Bases neurales pour l’IHM

Modèle Descriptif : TouchPad Apple : 1994 lance le TrackPoint TouchPad7 sur le PowerBook 500 Base de développement : 3-State Model qui a conduit au mouvement lift-and-tap similaire à : Cliquer, Double cliquer, Glisser (a) nécessite des transitions d'état supplémentaire par rapport à une souris Bases neurales pour l’IHM

Modèle Descriptif : TouchPad Problèmes : Certaines primitives sont difficile à réaliser Contiennes des erreurs lors de la réalisation Frustration des utilisateurs Exemple : Lors d’un double clic, le doigt doit se trouver à la même position spatiale que lors du premier clic, sinon le double clic n’est pas effectué Conséquence : Les 3 primitives ont été adaptées8 sur le TouchPad (a) nécessite des transitions d'état supplémentaire par rapport à une souris Bases neurales pour l’IHM

Modèle Descriptif : Cartographier des Degrés de Liberté à des Dimensions 1er degré : X, exemple : vers la droite 2ème degré : Y, exemple: vers le haut 3ème degré : θz, rotation autour d’un axe (a) nécessite des transitions d'état supplémentaire par rapport à une souris Bases neurales pour l’IHM

Modèle Descriptif : Cartographier des Degrés de Liberté à des Dimensions Souris traditionnelle  souris à 2D9 Problème : θz : non ressenti Souris à 2 boules permet de retrouver le degré de liberté manquant Plus besoin d’un « outil de rotation »10 Bases neurales pour l’IHM

Modèle Descriptif : Cartographier des Degrés de Liberté à des Dimensions Système 3D Isotrak II by Polhemus, Inc. (Colchester, VT) Rockin'Mouse11 Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts Modèle hautement adapté mouvement humain et sans doute le plus réussit12 Amplitude d’un mouvement Signal électronique Précision spatiale du mouvement Bruit électronique Système moteur humain : Canal de communication Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts Motivation : Evaluer la difficulté des tâches Savoir comment celles-ci ont été réalisée Les mouvements sont considérés comme la transmission de signaux Basé sur le Théorème de Shannon 1713 : C = B log2(S / N + 1) C : Capacité de l’information (bits/s) B : bande passante (Hetz) S : Puissance du signal N : Puissance du bruit Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts Fitts a présenté ses lois dans 2 Articles14 ID = log2 (2A / W) A : Amplitude ( Signal de Shannon S) W : Largeur ( Bruit N) Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts Amélioration de l’information analogique par MacKenzie , 1989 : ID = log2 (A / W + 1) Le temps de mouvement est : MT = a + b × ID A et b : constantes déterminées par tests Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts : exemple Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts : exemple Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts : exemple Une tâche : ID = 4,09 bits MT = 0,979 s ID/MT = 4,18 bits/s Pour Fitts : ID/MT = IP (Indice de Performance) En 1999 : ID/MT = TP15 (Throughput débit de terme) Figure 3.6 : Débit moyen Périphérique A : 2,4/0,644 = 3,73 bits/s Débit moyen Périphérique B : 2,4/01,555 = 1,57 bits/s Sur A, la performance est 2,4 fois plus élevée que B Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Loi de Fitts : exemple Mais, le calcul de débit n’est pas aussi simple en réalité Il est parfois comme l’inverse de la pente de la droite de régression16 Avec ce raisonnement : TP de A : 1/0,197 = 5,08 bits/s Alors que avec ID/MT = 3,73 bits/s  Difficile à calculer car il faut inclure la précision spatiale pour retrouver l’analogie avec le Th. De Shannon17 On aurait donc : We = 4,133 × SDX Sdx : écarte type des cordonnées sur un bloc de trials18 Bases neurales pour l’IHM

Rôle et Action des mains à préférer ou non Fondement scientifique et description du modèle : Modèle Guiard du talant bi-manuel Contrôle Bi-manuel ou Latéralité19 : domaine du comportement moteur Les mains sont asymétriques : rôle et tâches différentes pour chaque mains  fondement du travail de Guiard (1987) Modèle de Guiard : Définit un des caractéristique d’un espace de problème Rôle et Action des mains à préférer ou non Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Modèle Guiard du talant bi-manuel : exemple Patron main gauche (Nonpreferred hand leads) Le patron est manipulé au dessus du dessin (définit le cadre de référence) Stylo main droite (preferred hand follows) dans le patron ( à l’intérieur du cadre de référence fixé par la «  Nonpreferred hand leads ») Croquis : la main préférée fait des mouvements précis Bases neurales pour l’IHM

Fondement scientifique et description du modèle : Modèle Guiard du talant bi-manuel : conclusion Buxton and Myers (p. 321, 1986) : conclut que la tendance naturelle de sujets utilisant 2 mains étaient dû à  « l’efficacité de la main motrice » La recherche fondamentale s’est servit des résultats et a exploités les recherches de Guiard grâce aux effort de Paul Kabbash20 L'article de Kabbash, Buxton et Sellen (1994) fut le premier en HCI à citer le papier de Guiard de 1987 Bases neurales pour l’IHM

Etude de cas : Loi de Fitts & Téléphones mobiles Etude sur la prévision des taux d’entrée de texte sur les téléphones mobiles Motivation : Volume de SMS de l’ordre du Milliard par mois (www.gsmworld.com) 2 approches : Multitap Saisie prédictive : T9 Bases neurales pour l’IHM

Etude de cas : Loi de Fitts & Téléphones mobiles : Multitap 33 pressions  15 caractères Moyenne : 2,034 pressions pour 1 caractère, d’après MacKenzie, 2002. Problème : Segmentation : 2 lettres dans le mot le sont sur la touche 6délai supplémentaire 3 ou 4 lettres par touche Bases neurales pour l’IHM

Etude de cas : Loi de Fitts & Téléphones mobiles : T9 16 pressions  15 caractères Problème : Plusieurs mots ont la même séquence de touche  le mot par défaut est choisit Bases neurales pour l’IHM

Modèle non approprié car : Etude de cas : Loi de Fitts & Téléphones mobiles : calcul de la vitesse de frappe avec la loi de Fitts Modèle non approprié car : Tâche complexe Mouvement fait par 2 mains et 10 doigts Solution : Réduire la frappe à 1 doigt Des modèles ont été rapportés par Silfverberg, MacKenzie et Korhonen (2000) Bases neurales pour l’IHM

Pour une entrée avec l’index : Etude de cas : Loi de Fitts & Téléphones mobiles : calcul de la vitesse de frappe avec la loi de Fitts Nécessite : informations sur la position et la taille des touches l'affectation des lettres aux touches les probabilités relatives des diagrammes dans la langue cible Pour une entrée avec l’index : MT = 165 + 52 ID Pour une entrée avec le pouce : MT = 176 + 64 ID Tableaux de probabilité disponibles21 Bases neurales pour l’IHM

On limite à 26 caractères + Espace on a 27² = 729 Etude de cas : Loi de Fitts & Téléphones mobiles : calcul de la vitesse de frappe avec la loi de Fitts On limite à 26 caractères + Espace on a 27² = 729 MTL = ΣΣ (Pij × MTij) MTL : temps du mouvement pour une lettre j : prédiction de la lettre i MTij : temps pour entrer une lettre Pij : pondération de la probabilité d’avoir la lettre dans le diagramme WPM = MTL × (60 / 5) WPM : Mot par minute 5 : Moyenne d’un mot en anglais Bases neurales pour l’IHM

Etude de cas : Loi de Fitts & Téléphones mobiles : Prédiction des taux d’entrée Problème : Pression de 1 à 4 fois sur 1 touche  Mtrepeat Mtrepeat :Tâche de la loi de fitts avec « 0 amplitude de mouvement »A=0 L’indice de difficulté ID = log2(0/W + 1) = 0 bits Bases neurales pour l’IHM

Bibliographie 1 : Card, Moran, & Newell, 1983, p. 411; Marchionini & Sibert, 1992 2 : Hick, 1952; Hyman, 1953 3: Card et al. (1983, p. 74) 4 : Card et al. (1980; 1983, chap. 8) 5 : Koester & Levine, 1994 6: Buxton, 1990 7 : MacNeill & Blickenstorfer, 1996 8 : pour (ACM Computing Machinery) Special Group for Computer-Human Interaction (SIGCHI) (MacKenzie & Oniszczak, 1997; MacKenzie & Oniszczak, 1998). Bases neurales pour l’IHM

Bibliographie 9 : Zhai & Mac Kenzie, 1998 10 : Mac Kenzie, Soukoreff, et Pal (1997) 11 : The Rockin'Mouse: Integral 3D Manipulation on a Plane : http://portal.acm.org/citation.cfm?id=258778 12 : MacKenzie, 1991; MacKenzie, 1992; Meyer, Smith, Kornblum, Abrams, et Wright, 1990; Welford, 1968 13 : Shannon & Weaver, 1949, pp. 100-103 14 : 1er en 1954 (Fitts, 1954), le 2ème en 1964 (Fitts & Peterson, 1964) 15 : Douglas, Kirkpatrick, & MacKenzie, 1999; ISO, 1999 Bases neurales pour l’IHM

Bibliographie 16 : Card, anglais, & Burr, 1978; MacKenzie, Sellen, & Buxton, 1991 17 : Fitts & Peterson, 1964; Welford, 1968 18 : The coefficient 4.133 emerges from the term (2 × π × e)1/2 in Shannon’s original theorem. See MacKenzie (1992) for details 19 : Kelso, Southard, & Goodman, 1979; Peters, 1985; Porac & Coren, 1981; Wing, 1982 20 : Kabbash, Buxton, & Sellen, 1994; Kabbash, MacKenzie, & Buxton, 1993 Bases neurales pour l’IHM

Bibliographie 21 : Mayzner & Tresselt, 1965; Soukoreff & MacKenzie, 1995; Underwood & Schulz, 1960 Bases neurales pour l’IHM