Modèles psychophysiques d’atteintes de cibles pour les personnes souffrant de troubles neuromusculaires Par Frédéric Vella IRIT - Toulouse Equipe IHCS Directrices : Nadine Vigouroux et Régine André-Obrecht Encadrant : PhilippeTruillet Soutenance de thèse le 18 décembre 2008 à l'IRIT

Plan de la présentation Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Plan de la présentation Contexte et problématiques Partie 1 : Loi de Fitts et handicap Partie 2 : Projection théorique sur la conception de claviers virtuels Caractérisation de la fatigue Validation de la loi de Fitts Conclusions et perspectives Soutenance de thèse le 18 décembre 2008 à l'IRIT

Personnes handicapées en France Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Personnes handicapées en France 5 millions de personnes handicapées [Vilalta, 2006] 2 millions de personnes atteintes de déficiences motrices L’accès à l’information pour cette catégorie d’utilisateur est un enjeu sociétal majeur dans la mesure où d’une part, la plupart des dispositifs informatiques actuels sont inaccessibles et d’autre part, du fait que ces personnes sont atteintes de troubles de communication. Soutenance de thèse le 18 décembre 2008 à l'IRIT

Problématiques Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Problématiques Fatigue ? 1) Difficultés de l’interaction WIMP PC 2) Utilisation d’un périphérique Couplage fort humain/périphérique (du au problème de motricité) Lorsque la personne retourne sa main elle dit qu’elle se repose Soutenance de thèse le 18 décembre 2008 à l'IRIT

Une définition : Fatigue Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Une définition : Fatigue [Allain et al, 1999] « une baisse d'activité d'un système vivant ayant un fonctionnement excessif. Elle devient observable, soit par une plainte de l’utilisateur, soit par des signes observés. La fatigue est souvent due au vieillissement, à l’usure, à l'altération de la structure ou encore à l'épuisement (au sens biochimique du terme). Elle se présente sous plusieurs formes : musculaire, nerveuse, ou encore organique quand elle est d’origine pathologique ». L’objet de la thèse a pour but d’identifier des paramètres caractéristiques de la fatigue motrice lors de tâches d’interaction Soutenance de thèse le 18 décembre 2008 à l'IRIT 5

Objectifs de la thèse Validation d’une loi de psychomotricité Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Objectifs de la thèse Validation d’une loi de psychomotricité Utilisation pour la conception  Concevoir des interfaces utilisables pour les personnes handicapées motrices « Problème handicap: difficultés motrices Impact sur les performances » Axes de recherches Multi modalités ou autres modalités Design de dispositifs adaptés Techniques d’interactions 2 approches A posteriori : expérimentations A priori : Se base sur des modèles, permet d’assurer une certaine utilisabilité Un être humain va pour intéragir avec une machine, faire du traitement de l’information. Ce traitement de l’information est représenté par ce que nous appellons le modèle du processeur humain Le processeur humain comprend 3 sous-systèmes interdépendants : le système sensoriel ; le système moteur ;le système cognitif. Selon Card Soutenance de thèse le 18 décembre 2008 à l'IRIT

Goal, Operators, Methods, and Selection rules (GOMS) Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Goal, Operators, Methods, and Selection rules (GOMS) Temps d’exécution d’une tâche T = TH +TM + TD + TP Opérateurs : K (frappe), P (désignation), H (prise en main), D (déplacement), M (activité mentale), R (temps de réponse du système) [Card 1980] Soutenance de thèse le 18 décembre 2008 à l'IRIT

Fitts : prédiction du temps d’atteinte de cibles Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Loi de Fitts Fitts : prédiction du temps d’atteinte de cibles Indice de Difficulté (ID) MT = a + b × ID ID = log2(2A/W) [Fitts, 1954] Les études sur ID par Welford [Welford 1968] pour des tâches dites « faciles » (ID < 3 bits) ont ainsi suggéré des améliorations sur la formule Néanmoins, cette modélisation n’est pas suffisante du fait que l’indice de difficulté (ID) est négatif lorsque l’on prend plusieurs cibles de même taille disposées à une distance donnée, tel que le montre Gillan, Holden, Adam, Rudisill, et Magee [Gillan, 1990]. Mackenzie [Mackenzie, 1992] a aussi proposé une autre modification de la loi de Fitts basée sur la théorie de l’information de Shannon. Grâce à cette formulation, l’indice de difficulté reste positif selon les cibles de taille et de distance : Avec C= 0,5 [Welford, 1968] C= 1 [MacKenzie, 1992] Soutenance de thèse le 18 décembre 2008 à l'IRIT

Fitts : Personnes valides Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Fitts : Personnes valides Cohérente avec cette population Techniques basées sur Fitts Goal Crossing [Accot et Zhai, 1997] EdgeWrite [Wobbrock et Myers, 2006] GrooveWrite [Al Faraj et al, 2008]  Agilité et précision Pointage sémantique [Blanch, 2004] Cibles extensibles [McGuffin, 2002] Pointage sémantique Le pointage sémantique  utilise deux tailles indépendantes pour chaque cible potentielle présentées à l'utilisateur: l’espace moteur, avec une taille dans l'espace adapté à son importance pour la manipulation du dispositif, et l'espace visuel adapté à la quantité d'informations qu'il véhicule. Ce découplage entre visuel et moteur est obtenu en modifiant le ratio d'affichage du curseur en fonction de la distance à proximité des cibles. Soutenance de thèse le 18 décembre 2008 à l'IRIT

Fitts : Personnes handicapées Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Fitts : Personnes handicapées La loi de Fitts, est-elle valable dans le cadre du Handicap Moteur? Ecart important entre les résultats théoriques et expérimentaux [Hwang, 2005] et [Vigouroux, 2004] Ajout de paramètres supplémentaires  réduction déviation [Moulton, 1999] Angles de mouvements Soutenance de thèse le 18 décembre 2008 à l'IRIT

 Adapter la loi de Fitts Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Champs d’études Définir : Les paramètres pertinents dans le cadre du handicap moteur Des valeurs de ces paramètres pour différentes catégories de handicap moteur  Adapter la loi de Fitts Soutenance de thèse le 18 décembre 2008 à l'IRIT

Expérience de Fitts avec différentes catégories de populations Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Démarche Expérience de Fitts avec différentes catégories de populations Reprise de l’expérience 1D pour Même situation expérimentale Détermination des paramètres a et b dans les mêmes conditions que pour les personnes valides Nouvelle modélisation Soutenance de thèse le 18 décembre 2008 à l'IRIT

Objectifs Variables (en pixels) Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Expérimentation Objectifs Etude de l’effet de ID (taille et distance) sur les performances pour adaptation de a et b la hauteur de la cible H = 400 pixels. Variables (en pixels) W : 8, 16, 24, 32, 40 A : 80, 160, 240, 480 Soutenance de thèse le 18 décembre 2008 à l'IRIT

Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Hypothèses H 1 : Les distances parcourues pour aller d’une cible à l’autre par les sujets valides sont moins importantes que celles parcourues par les sujets handicapés H 2 : Les personnes handicapées réalisent plus d’erreurs d’atteintes de cibles que les personnes valides H 3 : L’indice de difficulté est moins important pour les personnes valides que pour les personnes handicapées pour un W et un A identiques H 4 : Le temps de parcours (MT) d’une cible à l’autre par les sujets valides est moins important que celui des sujets handicapés Soutenance de thèse le 18 décembre 2008 à l'IRIT

Populations Consignes Retours Valides (15V) Handicapées (9HM, 4HT) Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Expérimentation Populations Valides (15V) Handicapées (9HM, 4HT) Variabilité Consignes Atteindre rapidement les cibles Retours Avec erreur : cible fixe Sans erreur : déplacement de la cible + son Soutenance de thèse le 18 décembre 2008 à l'IRIT

H 1 : DT(V) < DT(HM) et DT(HT)  vérifiée pour HT Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Distance parcourue H 1 : DT(V) < DT(HM) et DT(HT)  vérifiée pour HT DT(HM) = - 2,4%. DT(HT) = + 13,24% Soutenance de thèse le 18 décembre 2008 à l'IRIT

Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Taux d’erreurs H 2 : Les HT et HM réalisent plus d’erreurs d’atteintes de cibles que les V  vérifiée pour HT HT ont réalisé 11,9 % (+/- 8 %) d’erreurs alors les V et HM sont moyennement proche, elles ont réalisé respectivement 6,8 % (+/- 6,1 %) et 5,4 % (+/- 2,5 %) Recommandations 17 Soutenance de thèse le 18 décembre 2008 à l'IRIT

Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Résultat : ID H 3 : L’indice de difficulté est moins importante pour les V que pour les H pour un W et un A identique pour les 2 populations  non vérifiée Soutenance de thèse le 18 décembre 2008 à l'IRIT

Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Résultat: MT H 4 : Le temps de parcours (MT) d’une cible à l’autre par les V < HT et HM  vérifiée Comme MT est différent pour les 3 populations et qui est formuler par Fitts nous allons traçer graphiquement le modèle de chacun pour voir si il suivent le même comportement - Soutenance de thèse le 18 décembre 2008 à l'IRIT

Modélisation par régression linéaire Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Modélisation par régression linéaire Valides Myopathes Tétraplégiques Soutenance de thèse le 18 décembre 2008 à l'IRIT

Modélisation par encadrement d’intégrale Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Modélisation par encadrement d’intégrale Soutenance de thèse le 18 décembre 2008 à l'IRIT

 Modèle théorique adapté Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Mise en pratique Claviers virtuels Aide à la communication Un clavier  un ensemble d’atteinte de cibles  Modèle théorique adapté Soutenance de thèse le 18 décembre 2008 à l'IRIT

Adaptation de Fitts: Agencement des touches Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Adaptation de Fitts: Agencement des touches Touche i Touche j Aij Wj IP = ? [Soukoreff, 1995] Soutenance de thèse le 18 décembre 2008 à l'IRIT

Initialement le clavier AZERTY Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Claviers virtuels Initialement le clavier AZERTY ralentir la frappe Clavier physique 10 doigts Constat : les claviers virtuels AZERTY non optimisés Clavier virtuel 1 doigt  Minimiser le déplacement du curseur : optimiser la vitesse de saisie et réduire la fatigue 2 voix d’études Listes de prédictions (lettres, mots) Agencement des touches Soutenance de thèse le 18 décembre 2008 à l'IRIT

Agencement des touches Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Agencement des touches Raisons du choix Besoins utilisateurs—ChatCom Uniquement la prise en compte de la motricité(conditions expertes) 2 procédés Réduction du nombre de touches Réagencement des touches x Soutenance de thèse le 18 décembre 2008 à l'IRIT

Réduction du nombre de touches Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Réduction du nombre de touches Clavier ambigu UKO (emprunté à [Harbusch et al, 2003]) [Vigouroux et al, 2004] Soutenance de thèse le 18 décembre 2008 à l'IRIT

Réagencements des touches Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Réagencements des touches Clavier Metropolis [Zhai et al, 2000] Clavier GAG (Généré par Algorithme Génétique) [Raynal et Vigouroux, 2005a] Clavier FITALY [MacKenzie et Zhang, 1999] Clavier OPTI [MacKenzie et Zhang, 1999]. La majorité des travaux sur l’agencement spatial des touches ont été réalisés dans les pays anglo-saxons. Ils visent à optimiser la position des caractères afin de rapprocher au mieux ceux qui ont le plus de chance d’être saisis consécutivement. Les claviers optimisés existants reposent, par conséquent, sur deux approches : des approches linguistique comme par exemple FITALY (Cf. Figure 49), OPTI (Cf. Figure 50), [MacKenzie et Zhang, 1999]. algorithmiques (algorithme glouton : [Getschow et Rosen, 1986], [Lewis, 1992] ; algorithme Metropolis (Cf. Figure 51) : [Zhai et al, 2000] ; algorithme génétique : [Raynal et Vigouroux, 2005]) Soutenance de thèse le 18 décembre 2008 à l'IRIT

Agencements des touches Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Agencements des touches Est-ce que ces agencements sont adaptés ? Vitesse Clavier ambigu < clavier AZERTY Vitesse clavier non ambigu qqconque < clavier AZERTY  Objectif: concevoir un clavier virtuel adapté aux problèmes de pointage Tenir compte de la difficulté de déplacer le curseur « directions préférentielles » Peu de déplacements mais beaucoup de validations [Vigouroux, 2004] Apprentissage trop long et fatigue motrice Ne tiennent pas compte des problèmes de motricités des personnes handicapées motrices Soutenance de thèse le 18 décembre 2008 à l'IRIT

SOftware KEYboard TOolkit SOKEYTO : Outil d’instrumentation Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives SOftware KEYboard TOolkit SOKEYTO : Outil d’instrumentation Sauvegarde du clavier logiciel Poser une touche (forme rectangulaire) Effacer la touche Affecter un caractère à une touche Créer une touches Ouvrir un clavier logiciel Placer la touche Couleur de la touche Touche du clavier logiciel Déplacer la touche ENVIRONNEMENT DE CONCEPTION POUR CLAVIER LOGICIEL www.fitaly.com Objectifs scientifiques Concevoir des claviers virtuels Conception centrée utilisateur Confronter de manière prédictive les différents agencements (tailles des touches, localisation, espacements)  Base d’évaluation de claviers virtuels Au vu des résultats nous avons besoin de concevoir une collection de clavier virtuel adapté pour les personnes handicapées. Bien qu’il existe de outils réalisant la conception de divers claviers il ne réponde pas au besoin des utilisateurs et des ergothérapeutes. Qui sont de pouvoir évaluer de manière théorique ces claviers à l’aide de modèle. L’avantage de notre plate-forme de conception et que celle-ci permet de savoir la difficulté d’utilisation le clavier. Soutenance de thèse le 18 décembre 2008 à l'IRIT 29

SOftware KEYboard TOolkit (SOKEYTO) : Outil d’instrumentation Contexte et problématique Loi de Fitts et handicap conception de claviers virtuels Conclusions et perspectives SOftware KEYboard TOolkit (SOKEYTO) : Outil d’instrumentation 30 Soutenance de thèse le 18 décembre 2008 à l'IRIT 30

Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Etude de cas Objectifs : Caractérisation de la fatigue motrice La vitesse (en WPM) n’est pas le seul paramètre qui la caractérise Nombre total de caractères saisis L’agencement des touches est il optimisé selon la motricité des sujets ? Soutenance de thèse le 18 décembre 2008 à l'IRIT

Sujets : 2 personnes handicapées (myopathes) Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Etude de cas Sujets : 2 personnes handicapées (myopathes) Annie : sujet 1, degré 3 Céline : sujet 2, degré 2 Claviers conçus avec la plateforme SOKEYTO [Vella 2005] Clavier Annie Clavier Céline Soutenance de thèse le 18 décembre 2008 à l'IRIT

Comparaison des résultats théoriques Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Comparaison des résultats théoriques WPM théorique du modèle de Soukoreff AZERTY 52,3 Céline 54,8 Annie 57,2 Soutenance de thèse le 18 décembre 2008 à l'IRIT

Exercice 1 : Exercice 2 : Consigne Déroulement Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Déroulement Exercice 1 : saisie de 1367 caractères 8 jours (2 fois par jour avec contre-balancement (AZERTY versus « sujet »)) Exercice 2 : Saisie sans phase de repos de 5555 caractères 2 jours (2 fois par jour avec contre-balancement (AZERTY versus « sujet »)) Consigne La saisie doit être effectuée aussi vite que possible Soutenance de thèse le 18 décembre 2008 à l'IRIT

H 1 : Distance AZERTY > claviers conçus Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Hypothèses H 1 : Distance AZERTY > claviers conçus H 2 : Vitesse claviers conçus par les sujets > vitesse clavier AZERTY H 3 : Nombre de caractères saisis claviers conçus par les sujets > nombre de caractères saisis par AZERTY Soutenance de thèse le 18 décembre 2008 à l'IRIT

Exercice 1 : Distance réelle Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Exercice 1 : Distance réelle H 1 : D (AZERTY) > D (claviers conçus)  vérifiée Soutenance de thèse le 18 décembre 2008 à l'IRIT

Exercice 1 : Apprentissage et vitesse Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Exercice 1 : Apprentissage et vitesse Annie AZERTY H 2 : V(conçus) > V (AZERTY)  non vérifiée! Céline AZERTY Soutenance de thèse le 18 décembre 2008 à l'IRIT

Validation des modèles Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Validation des modèles WPM Expérimental W.P M. théorique avec les nouveaux modèles Modèle myopathes AZERTY Sujet 1 11,25 Entre 23,6 et 23,9 Sujet 2 23,82 Céline 21,94 Entre 23,3 et 23,4 Annie 11,6 Entre 24,6 et 26,8 Soutenance de thèse le 18 décembre 2008 à l'IRIT

Nouveaux modèles adaptés au comportement moteur des populations Contexte et problématique Loi de Fitts et handicap Conception de claviers virtuels Conclusions et perspectives Conclusion Nouveaux modèles adaptés au comportement moteur des populations Première partie Temps Moyen Deuxième partie Effet d’apprentissage Première validation du modèle Personnes atteintes d’amyotrophie spinale Soutenance de thèse le 18 décembre 2008 à l'IRIT

Identification de nouveaux paramètres de la fatigue Contexte et problématique Loi de Fitts et handicap conception de claviers virtuels Conclusions et perspectives Perspectives Identification de nouveaux paramètres de la fatigue Mesure WPM pas représentative  d(WPM)/dt Règles rapport A/W pour la spécification d’IHM Adaptation (intra ou inter) des modèles Classification d’un sujet dans une classe de pathologie  Etude de la trajectoire et du mouvement Etude de Fitts 2D Soutenance de thèse le 18 décembre 2008 à l'IRIT

Merci, des questions ?

Exercice 2 : Nombre de caractères Contexte et problématique Loi de Fitts et handicap conception de claviers virtuels Conclusions et perspectives Exercice 2 : Nombre de caractères H 3 : Nbre de caractères saisis claviers désignés par les sujets > nbre de caractères saisis par AZERTY  vérifiée Soutenance de thèse le 18 décembre 2008 à l'IRIT

Variation du temps de saisie d’un caractère Contexte et problématique Loi de Fitts et handicap conception de claviers virtuels Conclusions et perspectives Variation du temps de saisie d’un caractère H 4 : Augmentation du temps pour aller d’une touche à une autre  vérifiée  MT pourrait être un indice montrant une fatigue motrice Soutenance de thèse le 18 décembre 2008 à l'IRIT

Pointage sémantique et cibles extensible Distance Vitesse Temps moyen d’accès à une touche Erreurs de saisie Score «Classique» - + 3 «BigKey» 2 «Sans Pointeur» 1

Logique floue Rigueur mathématique Résultats exactes =/= approximatifs