Évaluation des logiciels interactifs Cours 3 Méthodes d’Inspection É. Delozanne, Paris 5, 2005-06 Elisabeth.Delozanne@math-info.univ-paris5.fr http://www.math-info.univ-paris5.fr/~delozanne

Plan du cours Vos questions Cours Évaluer ? Critères ergonomiques ? Méthodes d’inspection ? Retour sur vos questions Le projet Évaluation de projets existants Préparations des entretiens et des interviews

Plan du poly Rappels Évaluer ? Qu’est-ce ? Quand ? Pourquoi ? Quoi ? Comment ? Critères d’évaluation heuristique Méthodes d’inspection Tests utilisateurs (cours 5) Quelles méthodes choisir ? (cours 5)

(Rappel) Cours 1 : IHM, complexité Tâche Conception Humains Technologie Organisation et environnement social Chacun des facteurs influence les autres Il s’agit d’une première sensibilisation à la conception centrée –utilisateur (User Centred Design UCD, Norman 1986, pour dire que c’est pas tout récent) et de s’approprier des techniques de conception fondées sur le prototypage et l’utilisation de scénario d’utilisation

(Rappel) Cours 1 : Facteurs de succès Cycle de conception Conception centrée usager L’analyse des tâches et les analyses en contexte de travail usuel Le prototypage rapide L’évaluation constante Conception itérative La qualité de la programmation

(Rappel) Cours 2 : les utilisateurs ? L’analyse des tâches et les analyses en contexte de travail usuel Travail prescrit/travail réel Techniques Entretiens, incidents critiques, observation, magicien d’oz, scénarios, jugements d’experts, revue de conception, maquette et prototype

(Rappel) Cours 1 : CCU Norme ISO 13407 : Conception Centrée Utilisateur Les 5 principes de la conception centrée utilisateur Une analyse des besoins des utilisateurs, de leurs tâches et de leur contexte de travail La participation active des utilisateurs à la conception Une répartition appropriée des fonctions entre les utilisateurs et la technologie Une démarche itérative de conception L’intervention d’une équipe de conception multidisciplinaire

Leçons du cours 4 (en avance) Talking to users is not a luxury (Gould) Time spent in the early phases pays most dividends (Landay) Deux problèmes de conception Conception centrée utilisateur Conception technique Conception centrée utilisateur en deux niveaux Niveau tâche/activité : interface conceptuelle, conception globale Niveau écran : conception détaillée

Évaluer ? Qu'est-ce que l'évaluation ? Définition : évaluer = juger Objectivité ??? Référence ? Plusieurs approches : Critères raisonnés, modéles Évaluer quand ? pourquoi ? Moments d'évaluation Objectifs Évaluer quoi ? Variables cibles Évaluer comment ? à quel coût ? Méthodes, techniques Temps, argent Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp. 37-48, 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122. •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p. 265-296 • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

Définitions (début) évaluation en Génie Logiciel système = solution logicielle et matérielle les plans qualité fournissent des métriques pour le respect des normes de programmation (portabilité, maintenance etc.) ne fournissent aucune méthode pour s'assurer de l'utilisabilité évaluation ergonomique système interactif = { utilisateur(s), artefact(s) } s'intéresse à l'efficacité des systèmes humains-machines à l'utilisabilité/utilité du système interactif en GL : évaluer c'est • vérifier un logiciel (s'assurer qu'il correspond aux spécifications issues de la définition des besoins) • valider le logiciel (s'assurer qu'il correspond aux besoins en respectant les contraintes du domaine) ; ici le GL rejoint l'ergonomie en ergonomie : évaluer c'est s'intéresser • à la santé physique, sociale et mentale des utilisateurs de systèmes interactifs • à l'efficacité du couple homme-machine et plus généralement des systèmes hommes-machines (Naël, p. 324) ; ici on rejoint le GL Évaluation très liée à la conception • en GL : documents, plans qualités, méthodes (Merise, OMT, Booch etc.) • en IHM : approche exploratoire (Cf. thèse de Balbo) ou approche ingénierie (prédire, construire, observer). Des tentatives pour définir des méthodes de conception tenant compte des exigences de l'ergonomie. Je ne mentionne pas les évaluations marketing, commerciales etc. qui sortent des préoccupations de ce cours mais peuvent avoir une importance considérable dans certains contextes Evaluer les coûts et bénéfices en termes économiques et sociaux : c’est très difficile de parler en général. Cela dépend de l’application, du contexte institutionnel voir politique. Cela nécessite souvent une étude sur la durée. Efficacité du système humains-machines ? souvent déclinée en utilité du logiciel et son utilisabilité (Senach)

Définitions (fin) Évaluation : processus pour étudier les rapports entre la conception et l'utilisation Évaluation a priori, formative (conception) pour identifier ou prévoir les besoins, les scénarios d’utilisation et les difficultés potentielles ou réelles des utilisateurs Évaluation a posteriori, sommative (usage) pour caractériser les points forts et les points faibles d'un système interactif

Moments & Objectifs d'évaluation en cours de conception analyse de besoins, compréhension des situations, étude de l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans l’activité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité Pourquoi ? Quand ? •  De nombreuses classifications des méthodes d'évaluation sont discutées dans la littérature - moments de l'évaluation - évaluation formative (en cours de conception) et sommative (en phase d'exploitation) - objectifs : détecter des erreurs, certifier, choisir entre des alternatives de conception, entre des produits - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Lire la présentation de C. Farenc (chapitre 1) qui montre des schémas qui résument cela très bien Dans ce cours nous nous intéressons surtout à l’évaluation comme support à l'équipe de conception, donc en cours de conception.

Utilité et utilisabilité (1) Senach Utilité permet à l’utilisateur d'atteindre ses buts de haut niveau fonctionnalités Utilisabilité la possibilité d’atteindre ses buts, le confort d'utilisation règles de dialogue, de navigation A Guide to usability santé, sécurité, efficacité, plaisir Schneiderman : temps d'apprentissage, vitesse d'exécution des tâches, taux d'erreurs, facilité de rétention dans le temps, satisfaction subjective De nombreuses méthodes d'évaluation prétendent ne s'intéresser qu'à l'utilisabilité et non à l'utilité. Senach : "l'utilité détermine si le produit satisfait des contraintes fonctionnelles et opérationnelles". (Senach) correspond aux capacités fonctionnelles, aux performances et à la qualité de l'assistance technique. "l'utilisabilité concerne la qualité de l'interaction homme-machine c'est-à-dire la facilité d'apprentissage et d'utilisation. (... ) L'utilisabilité sert à poser la frontière entre l'utilité potentielle et l'utilité réelle. » D’autres auteurs, par exemple [Bastien et Scapin 2001] estiment que «  la séparation de l’utilisabilité et de l’utilité pose, du point de vue de la conception, et devrions nous ajouter du point de vue de l’évaluation, des problèmes importants. L’utilisabilité se définit donc maintenant de manière beaucoup plus large qu’auparavant et désigne autant, chez certains auteurs du moins, les aspects facilité d’utilisation et d’apprentissage que les aspects utilité. Finalement, et ce afin d’éviter toute confusion il serait sans doute préférable de recourir à un terme comme celui de Qualité Ergonomique des Logiciels Interactifs pour bien montrer que l’on s’intéresse ici autant aux fonctionnalités du logiciel qu’à son interface. » « Les définitions de l’utilisabilité qui ont été proposées ont tenté, avec le temps, d’incorporer tout les aspects de ce que l’on pourrait appeler la Qualité Ergonomique des Systèmes d’Information, c’est-à-dire les aspects permettant de déterminer si un logiciel est adapté aux utilisateurs visés et aux tâches pour lesquelles il a été développé et nous pourrions ajouter s’il est conforme aux connaissances relatives à la conception des systèmes issues des études empiriques telles que l’on peut les trouver sous forme de recommandations »  Références : B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990

Utilisabilité (2) norme ISO 9241-11 (1998) : l’utilisabilité « est le degré selon lequel un produit peut-être utilisé par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d’utilisation spécifié ». Bastien Utilisabilité/utilité : qualité ergonomique de l'interface Efficacité : résultats/objectifs Efficience : résultats/moyens

Évaluation et cycle de conception Landay 2002

Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes - objet de l'évaluation : les caractéristiques du système (fiabilité, qualité technique), interaction, influence de l'interaction sur l'usager, les coûts et bénéfices En cours de conception, l'évaluation est souvent multidimensionnelle. On s'intéressera aussi bien - au niveau conceptuel à la cohérence des fonctions et de l'interaction avec les habitudes de l'utilisateur - au niveau physique : étude des gestes nécessaires pour réaliser une tâche donnée.

Variables cibles variables subjectives esthétique confort préférences plaisir variables mesurables taux d'erreurs durée d'exécution d'une tâche demandes d'aide durée d'apprentissage absentéisme détournements (catachrèses)

Observables Nature Traces, « log » Verbalisations Gestes, déplacements Productions Problèmes des mesures Validité de l'appareil de mesure (biais expérimentaux, méthodes intrusives) Fidélité (variabilité / expérimentateurs) Précision (sensibilité aux variations) Interprétation des observables Méthodes quantitatives Méthodes qualitatives

Évaluer comment ? Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles (de l'interface, de l'interaction, de l'opérateur) modèle implicites (méthode d’inspection, « low  cost ») modèles explicites (formels, approches automatiques) prédiction de comportement ou de performance Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs en situation réelle ou en laboratoire Évaluation automatique : Cf. Kolski, Farenc - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Nael 1996, p. 327 “Prendre l’avis des utilisateurs peut sembler la méthode la plus simple, la plus rapide et la moins coûteuse pour évaluer une interface homme-machine. Quelques difficultés en limitent néamoins la portée : Les avis sont marqués par la subjectivité et l’histoire personnelle ; cela n’enlève rien à leur intérêt ou à leur signification, mais il faut les prendre en tant que tels et relativement à la population d’ensemble des utilisateurs. Ils sont influencés par des facteurs extrinsèques aux caractéristiques ergonomiques, tels que la mode ou des motivations d’achats d’équipements stimulés par la publicité etc. (…) Ces avis ne sont réellement pertinents que s’ils sont exprimés à l’occasion d’une mise en situation d’utilisation d’une interface fiable et don’t l’interactivité est complète pour les fonctions à évaluer, ce qui implique que le système est en partie réalisé ou maquetté de façon très réaliste (High Fidelity Protypes).”

Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost » Culture de l’évaluation chez les informaticiens Évitent les gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

Plan Rappels Évaluer ? Critères d’évaluation heuristique Exemple : sites web Critères d’évaluation ergonomique Méthodes d’inspection Tests utilisateurs (cours 5) Choisir une méthode (cours 5)

Utilisabilité des sites web Vos 5 problèmes clé :

Ceux des experts 7 péchés capitaux des sites Web (Zdnet Anchor desk) navigation inconsistante, liens morts, sites dédiés à un seul navigateur, aucune personne à contacter, frames, sites qui ouvrent de nouvelles fenêtres, panneaux en construction 5 principales erreurs de conceptions (HP Ebusiness) les animations, présentation non fonctionnelle, liens pas clairs, recherche qui n ’aide en rien, design qui n’a rien à voir avec les préoccupations de l’utilisateur 6 erreurs fondamentales (Nielsen) considérer le web comme une brochure publicitaire, centrer le site sur les problèmes internes de l’entreprise, calquer sa structure sur celle de l’entreprise, ne pas tester avec des débits plus lents et du matériel moins performant, écrire des textes comme pour une lecture papier, considérer son site ou sa page comme le bout du monde http://www.zdnet.com/anchordesk/story/story_1985.html http://www.hp.com/Ebusiness/march98/webdesign.html http://www.useit.com/alertbox

Vos cinq critères de qualité

Ceux des experts auditweb rapidité du site, aisance de la navigation, pertinence du design, respects des standards, qualité du service internet World temps de chargement, facilité d ’utilisation, Design graphique, facilités commerciales, contenu, commentaires généraux Nielsen téléchargement rapide, régularité et fréquence des mises à jour, utilisation facile du site, contenu de qualité http://www.lergonome.org/ http://www.auditweb.net/conseils/ http://www.iw.com indiquez la taille des fichiers à télécharger près des liens

Critères de Nielsen 1. Visibilité de l’état du système 2. Cohérence entre le système et le monde réel 3. Contrôle à l’utilisateur et liberté d’action de l’utilisateur 4. Consistance et respect des standards 5. Prévention des erreurs 6. Reconnaître des objets plutôt que mémoriser des options 7. Flexibilité et efficacité d’utilisation 8. Combat pour esthétique et design sobre 9. Aide à la reconnaissance, le diagnostic et la récupération des erreurs 10. Aide et documentation http://www.useit.com/papers/heuristic/heuristic_list.html Remarques : valables pour tous les logiciels interactifs 1. Parler le langage de l ’utilisateur ; 2. Ordre logique (pour qui ?) 3. Prévoir des sorties d ’urgence, des défaire, refaire 4. Prévoir des accélérateurs pour les utilisateurs fréquents et avertis

Critères de l’INRIA (Bastien et Scapin) À l’origine de la norme Z67-133-1, Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et d’évaluation des interfaces utilisateurs. Structuration des activités et guidage Minimiser la charge de travail Contrôle entre les mains de l'utilisateur Adaptabilité Prévision et récupération des erreurs Compatibilité Signifiance des codes et dénomination Cohérence et homogénéité http://www.ergolab.net/articles/les-criteres-ergonomiques-partie1.html#4 Inscrire dans le plan qualité, dans les dossiers de conception les critères que l'on adopte pour la conception; servent à la conception et à l'évaluation en France sont très souvent utilisés - les 7 règles d'or (Joëlle Coutaz, 1990) - les critères de l'INRIA (Scapin, Bastien) et leur adaptation aux sites web (http://www.lergonome.org/ ) - les propriétés ergonomiques des interfaces (Coutaz 1998) - les 10 critères de l'OFTA (p 18) Références : Je choisis les critères de l'INRIA (Bastien et Scapin 1993] Voir aussi sur le web tout un tas de guides de style Par exemple : Le site d’IBM : http://www.ibm.com/IBM/HCI/guidelines Un autre celui du célèbre Nielsen : http://www.useit.com Yale C/AIM Web Style Guide Lynch & Horton) : http://info.med.yale.edu/caim/manual/contents.html Sun’s Guide to Web Style : http://www.sun.com/styleguide/ Un dernier en français et avec des exemples en plus : http://www.auditweb.net/conseils/fondamentaux.html Vous avez aussi des études rédigées sur le site http://www.lergonome.org/ Normes et standards : Norme ISO, Norme AFNOR

Utilisation des critères Pour l’évaluation Évaluation heuristique Pour la conception Inscrire les critères d’évaluation dans les dossiers de conception Guide pour l’équipe de conception

Structuration des activités et guidage objectif : faciliter l'apprentissage par l'action, l'orientation, les prises de décisions techniques des roulettes de sécurité (étayage, scaffolding), incitation (prompting, affordance) structure de contexte déterminée par les actions possibles granularité des commandes format d'écran organisation spatiale des données importantes groupement format de présentation (titre, courbe, couleur, encadrés, justification) structuration des menus (préférez la largeur) To afford : inciter, suciter Définition : c’est l’ensemble des moyens mis en œuvre pour conseiller, orienter, informer et conduire l’utilisateur lors de ses interactions avec l’ordinateur (messages, alarmes, labels, etc.) 4 sous-critères participent au guidage Incitation fournir le format adéquat et les valeurs acceptables afficher les unités de mesures fournir un label pour chaque champ de données Groupement/Distinction des items (organisation visuelle) grouper les options de menus en fonction des objets sur lesquels elles s'appliquent distinguer visuellement les aires ayant des fonctions différentes distinguer visuellement entre les labels et les champs d'entrée Feedback immédiat en cas d'interruption, fournir un message indiquant le retour à l'état précédent en cas de traitement long, informer que les traitements sont en cours Lisibilité centrer les titres Exemples et contre exemples

Guidage - incitation À faire Contre-exemple certains jeux d’aventures

Guidage - groupement/distinction entre items À faire À ne pas faire

Retours d'informations Objectif : informer pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) pour rassurer (temps de réponse long) pour réduire la charge cognitive indication du contexte de travail (fenêtre courante, états, curseurs actifs) représentation des déplacements présentation des options (menus fantômes, surgissant, pop-up) Toute action de l'utilisateur doit être suivie d'une modification perceptible de l'interface Élémentaire non ? Mais super important

Guidage – retour d’information À faire À ne pas faire

Guidage - lisibilité À faire Objectif : informer pour permettre à l'utilisateur d'évaluer son action pour rassurer (temps de réponse long) À ne pas faire Définition du guidage : c’est l’ensemble des moyens mis en œuvre pour conseiller, o, Objectif : informer pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) pour rassurer (temps de réponse long) pour réduire la charge cognitive indication du contexte de travail (fenêtre courante, états, curseurs actifs)

Charge de travail Définition : Le critère charge de travail concerne l’ensemble des éléments de l’interface qui ont un rôle dans la réduction de la charge perceptive ou mnésique (mnème = unité d’information) des utilisateurs et dans l’augmentation de l’efficacité du dialogue 2 sous-critères brièveté concision actions minimales densité informationnelle Brièveté utiliser des abréviations ou des codes mnémotechiques pour entrer des codes supérieurs à 4 ou 5 caractères minimiser le nombre d'étapes dans la sélection des menus afficher des valeurs par défaut ne jamais demander à l'utilisateur des données qui peuvent être déduites par l'ordinateur Densité informationnelle éviter à l'utilisateur d'avoir à se rappeler des données d'une page écran à l'autre afficher seulement les informations nécessaires utiliser le minimum de quantificateurs

Règle de concision objectif : limiter la charge de travail compromis entre le bref et l'expressif pas de gadgets inutiles, limiter les fonctionnalités éviter les surcharges d'informations (limiter la densité) réduire la charge mnésique et le nombre d'actions physiques abréviations (utilisateurs expérimentés) compréhensibles dérivables selon des règles précises (commande I ou P) macro-commandes flexibilité abstraction minimiser les entrées et plus génralement les actions: couper-coller valeurs par défaut (dynamiques ou préférences) défaire-repéter abréviations pour les entrées: - caractère spécial (pomme, commande, crtl, alt, escape) suivi de la première lettre de la commande - suppression des voyelles - troncature maximale, troncature deux lettres non ambiguës importance des valeurs par défaut qui sont très rarement modifiées par les utilisateurs minimiser les frappes de l'utilisateur Exemple dans les questionnaires : choix multiple, dans des listes etc. conte exemple : les logiciels d’enseignement ne peuvent se contenter de QCM important travail sur la visualisation d'informations

Charge de travail - brièveté À faire À ne pas faire

Charge de travail - actions minimales À ne pas faire

Charge de travail - densité informationnelle À faire À ne pas faire

Règle du contrôle à l'utilisateur objectif : l'interface doit apparaître comme étant sous le contrôle de l'utilisateur le système n'exécute des opérations qu'à la suite d'actions explicites de l'utilisateur Exemple : ne pas changer d'écran sans demande explicite prévenir si changement de contrôle prévoir pour les experts la possibilité d'anticiper, de sauter des étapes L'utilisateur contrôle l'interaction mais aussi le rythme de l'interaction et aussi l'activité -Attention aux analyses de tâche qui contraignent l'utilisateur dans une démarche : contre exemple : obliger les utilisateurs à saisir des données dans un certain ordre (des logiciels de saisie de notes) - attention aux actions automatiques (par exemple enregistrement automatique)

Contrôle explicite Définition : ce critère regroupe 2 aspects différents la prise en compte par le système des actions des utilisateurs le contrôle des utilisateurs sur le traitement de leurs actions 2 sous-critères actions explicites contrôle utilisateur Actions explicites requérir une action explicite de validation des données entrées par l'utilisateur aucun traitement ne doit être la conséquence d'une autre action prévoir une action de validation de la sélection d'un item par pointage Contrôle utilisateur autoriser les utilisateurs à contrôler le rythme de leurs entrées ne pas passer d'une page écran à une autre sans contrôle utilisateur autoriser l'utilisateur à interrompre un traitement à tout moment fournir la possibilité de revenir en arrière

Contrôle explicite - actions explicites À faire  À ne pas faire 

Contrôle explicite - contrôle utilisateur À faire À ne pas faire Impossibilité d’ annuler

Adaptabilité Définition : capacité du système à réagir selon le contexte, et selon les besoins et préférences des utilisateurs 2 sous-critères flexibilité prise en compte de l’expérience de l’utilisateur Flexibilité permettre à l'utilisateur de désactiver temporairement des affichages inutiles laisser l'utilisateur donner des noms aux champs de données qu'ils créent ne pas surcontraindre l'ordre d'entrées des données Prise en compte de l'expérience de l'utilisateur fournir des raccourcis claviers et la possibilité d'en créer autoriser des entrées pas à pas ou multiple fournir plusieurs niveaux de détails dans l'explication des erreurs

Flexibilité Objectif : prendre en compte la diversité des utilisateurs et des situations Distinguer : interface adaptative (intelligente) ou adaptable (par l'utilisateur) Exemples : préférences, tableaux de bord prendre en compte les niveaux différents d'expertise correction d’orthographe valeurs par défaut parmi une liste à sélectionner version novice/expérimenté représentation multiple des concepts associer plusieurs objets de présentation à un concept donné variations sur une forme de base unique possibilité de résoudre un problème de plusieurs manières respect du rythme de l'utilisateur éviter d'imposer un ordre pour les entrées d'informations Exemple de système adaptatif : le système détecte des séquences de tâches répétitives et propose à l'utilisateur de les prendre en charge (migration de tâches répétitives) Attention : les interfaces adaptatives sont quelques fois utiles mais souvent très mal perçues par les utilisateurs par ce que l'utilisateur ne peut plus : - ni prévoir le comportement du système - ni contrôler l'interaction Interface adaptative : planche savonneuse ; faire des tests d'utilisabilité Structuration de la tâche : les utilisateurs surtout expérimentés supportent très mal qu'on les contraignent à résoudre un problème d'une façon qui n'est pas la leur Représentation multiple : donner un exemple dans son contexte

Adaptabilité - flexibilité Plusieurs façons d ’effectuer la même action Exemple copie de fichiers vers une disquette dans l’explorateur glisser - lâcher copier - coller (menu, raccourcis clavier, boutons) menu, envoyer vers

Adaptabilité - expérience de l’utilisateur

Prévisions et récupérations des erreurs Objectif : l'utilisateur a le droit à l'essai erreur prévention message d'alerte (quitter sans sauver) protéger en écriture ce qui n'est pas accessible à l'utilisateur (label des formulaires...) détecter les erreurs dès la saisie lors des saisies minimiser la frappe messages d'erreurs immédiats informatifs récupération retour en arrière annulation d'une commande Modification partielle des données Attention à "l'approche défensive de la conception" - les concepteurs pensent que le système sait mieux que l'utilisateur ce qu'il faut faire et essaie de lui imposer ses solutions, de l'empêcher de faire des fautes - l'utilisateur n'est pas l'idiot du village Prévenir l'utilisateur au fur et à mesure que des problèmes sont détectés mais ni plus ni moins Laisser la possibilité à l'utilisateur de corriger, d'infléchir, d'adapter sa stratégie à l'état courant (évidemment on ne parle pas ici de procédure d'urgence dans des situations à haut risque)

Protection contre les erreurs Exemple

Gestion des erreurs - messages d’erreurs Mauvais exemples

Gestion des erreurs - correction des erreurs À faire la commande annuler À ne pas faire

Règle de cohérence et d'homogénéité objectif : rendre l'interface prédictible, même interface dans le même contexte choix d'une métaphore d'interaction : unité de cohérence générale monde réel (manipulation directe) conversation (langage de commandes et LN) pour une même tâche : suite d'actions identiques stabilité de l'écran : titres, messages, informations localisés au même endroit d'un écran à l'autre choix et prises de décisions se font de manière identique accès aux options des menus terminologie constante q, logout, ., quitter, fermer construction de phrases constantes Prédictibilité : l'utilisateur prévoit pour un état donné, l'effet d'une action ou d'une suite d'actions ; facilite la mémorisation, l'apprentissage, la planification car cela diminue la distance d'exécution et la distance d'évaluation (au niveau articulatoire) (modèle de Norman) Métaphore d'interaction Toutes les interfaces graphiques mélangent les deux métaphores. Une heuristique de choix : je sais faire : je fais (manipulation directe) je ne sais pas faire : je fais faire (langage de commande, menu) Le choix dépend donc du savoir-faire de l'utilisateur Charte graphique l'aspect général des fenêtres et de leur décoration est dessiné par un graphiste et les développeurs doivent utiliser uniquement ces widgets (exemple des cédéroms) Cohérence : interne : lexicale, syntaxique, sémantique externe : conformité aux normes, à l'expérience de l'utilisateur (ex. utilisation du rouge) Exemples et Contre-exemples de cohérence et d'homogéneité :

Homogéneité

Homogénéité/cohérence 2

Homogénéité/cohérence - entre logiciels

Signifiance des codes et dénominations codage : codes numériques unanimité contre eux, décomposables en unités significatives codes mnémoniques : plus faciles à retenir codes chromatiques à n'utiliser que pour renforcer un codage code iconique facile à mémoriser évocateur ? codes graphiques dénominations se conformer aux usages des opérateurs, de l'entreprise précision : afficher, voir, imprimer préférer les verbes aux noms verbaux pour les actions Cf. Kolski Utilisation des couleurs - codage : Cf. la feuille polycopiée jointe sur l'utilisation des couleurs - attention à l'"effet arbre de Noël" : les débutants ont tendance à mettre beaucoup trop de couleurs qui flashent Sur ce point faire appel à des graphistes : c'est aussi un métier, et on voit la différence

Signifiance des codes et dénominations À ne pas faire

Compatibilité avec les supports papier avec les habitudes des utilisateurs avec l'organisation de l'entreprise avec d'autres logiciels => se conformer aux normes et aux standards (ISO, AFNOR) Ou alors innover Mais radicalement

Compatibilité - expérience de l’utilisateur À ne pas faire

Conclusion sur les critères En évaluation Art délicat de l’évaluation heuristique Évaluateurs moyens : subtiles Permet d’établir des rapports évaluation sur l’aspect utilisabilité En conception : Très utile de les avoir en tête lors de la conception faire des compromis entre différentes recommandations contradictoires en fonction de la tâche, de l'activité ou du public cible mais ne pas introduire de gadget ni multiplier les fonctions étudier de nombreuses interfaces d'un regard critique et piquer les bonnes idées regarder de nombreux guides et critères (Cf. le web)

Plan Rappels Évaluer ? Critères d’évaluation heuristique Méthodes d’inspection Tests utilisateurs

Approches analytiques l'évaluation de l'IHM se fait a priori par comparaison avec un "modèle de référence" modèle qui n'est pas souvent formalisé ni explicité on distingue des approches informelles Méthodes d’inspection (présentées ici) Méthodes « low cost » des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales approches informelles : intégrées au cycle de vie du logiciel Très utilisées par les praticiens Méthodes d’inspection : étudier le logiciel à l’aide des guides de style, normes et heuristiques. Cf prix sourire pris citron en O2 et le cours 2 Cf aussi cours 5 sur les techniques de conceptions approches formelles recherche pour concevoir des systèmes d'évaluation automatique d'interfaces de conception automatique Surtout utilisées dans les centres de recherches

Les méthodes d’inspection Inventaire Les jugements d’experts Les grilles d’évaluation Les revues de conception (design walkthrough) S’appuient sur Des scénarios Des heuristiques ou des critères Avantages Pas cher Rapides (de l’ordre d’une journée) Faciles à utiliser (on apprend en 2 à 4 h)

Jugements d'experts technique de diagnostic a priori (ou a posteriori) on confie l'interface (ou le projet) à un ou des experts qui donnent leur avis sous la forme d'un rapport ou d'un formulaire on leur demande de repérer les points positifs et les points négatifs ou des solutions annoncer des difficultés d'utilisations potentielles rappeler des connaissances sur le fonctionnement humains non pris en compte par les concepteurs proposer des améliorations argumentées et pondérées modèle de l'interface non formalisé (ni même explicité) • Peut être utilisé aussi a posteriori (moins fréquent) • Notre expérience sur des projets sans gros moyens : les étudiants (ou les collègues) ont une approche cassez moi-ça très efficace pour détecter tous les petits problèmes qui ont échappé à la vigilance du concepteur solitaire qui n'a pas les moyens de se payer une équipe. Efficace et pas cher. Pensez y. Exercez-vous à devenir expert en évaluation d ’interface : d'où l'intérêt d'une séance collective évaluation - étude de logiciels et de leur utilisabilité - rédaction d ’un rapport d ’évaluation - présentation au groupe des conclusions

Jugement d’experts (Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) procédure 1: fondée sur des scénarios jouer un des scénarios Procédure 2 : fondée sur des critères ou des guides Bis :étude systématique de tous les critères sur chaque écran Procédure commune noter tous les problèmes rencontrés analyser les causes proposer des solutions rédiger un rapport Heuristic review avec deux experts on trouve 90 % des problèmes d ’utilisabilité (Poulain et Valot 1996)

Jugements d’experts : ++/-- Intérêt : connaissances de l'expert fondées sur ses formations, lectures et expériences : plusieurs experts nécessaires experts/novices : novices : difficultés matérielles et conceptuelles de bas niveau expert : vue plus générale, sources potentielles de dysfonctionnement biais de focalisation sur le fonctionnement particulier ( d'utilisateurs novices) sur le domaine d'expertise de l'expert (domaine, IHM, graphisme) sur les "marottes" de l'expert => recours à plusieurs experts et synthèse de leurs avis Biais pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception

Jugements d’experts : études % Problèmes détectés 100 100 100                                              90 90 90                   80 80 80       70 70 70                      60 60 60             50 50 50    % moyen des problèmes ergonomiques détectés en fonction du nombre d’évaluateurs et de leur qualification Étude menée par Nielsen 1993, citée par Nael 1996  D'après M. Naël dans l'OFTA (p. 329) pour détecter 80 % des problèmes il faut - au moins 3 experts qui donnent leur avis d'abord de façon indépendante, puis contradictoire ou coordonnée (si possible) - ergonomes qualifiés (qui comprend les novices du domaine) et experts du domaine d'application (au moins 3 années d'expérience ! étudiants s'abstenir) - disposant du système (ou d ’une maquette) ou de descriptions détaillées de scénarios d'utilisation du système    40 40 40    Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices    30 30 30 20 20 20    Nombre d ’évaluateurs 10 10 10 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 13 67 67 67

Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles et les problèmes difficiles Canny 04

ROI (Return on investment) problems found benefits / cost Canny 2004

Organiser des expertises Conseils : Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires Ergonomes qualifiés d’au moins trois ans d’expérience Leur donner des scénarios d’utilisation et une description de la population des futurs utilisateurs Résultats Points positifs et négatifs et leur pondération Prévision de difficultés d’utilisation probables Informations sur les fonctionnements humains insuffisamment pris en compte Propositions d’améliorations argumentées et pondérées Attention Ne remplacent pas les utilisateurs Notre expérience sur des projets sans gros moyens : les étudiants (ou les collègues) ont une approche cassez moi-ça très efficace pour détecter tous les petits problèmes qui ont échappé à la vigilance du concepteur solitaire qui n'a pas les moyens de se payer une équipe d’ergonome. Efficace et pas cher. Pensez y. Comme toutes les méthodes discount : cela a ses limites mais cela dépanne et évite un certains nombre de difficultés. Mieux vaut une méthodes discount que pas de méthodes du tout. En fonction des moyens dont on dispose et en l’absence d’ergonome patenté on peut se comprter en acteur ergonomique (Rabardel 1998) Exercez-vous à devenir expert en évaluation d ’interface, cette expérience vous sera utile dans votre carrière de concepteur ou de chercheur

Grilles d'évaluation principe : fournir à l'évaluateur une liste des propriétés d'une bonne interface l'évaluateur note de façon systématique chaque item sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie diversité des systèmes => grille spécifique à une application ? règle des 80/20 (ou 90/10) : hiérarchie d'importance des critères interprétation, sensibilité au niveau d'expertise de l'évaluateur cohérence des réponses notation hétérogénéité de ce qui est noté ne permet pas de comprendre la nature du problème rencontré de décrire les difficultés utile pour faire des comparaisons Gros problème: écrasement des choses importantes et non importantes Méthode sommaire (à mon avis) Permet cependant de détacher des points forts et des points faibles Ex : la méthode EMPI (Hu et al.) pour l’évaluation de logiciels éducatifs La grille d’évaluation RIP du ministère de l’éducation nationale De nombreuses grilles d’évaluation des sites web

Revue de conception Design Walkthrough : examen du produit par des pairs (entre 3 et 7) en cours de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 4 rôles : Présentateur:utilisateur : présente un scénario de conception au groupe scribe : note tous les commentaires modérateur : s'assure que la discussion reste centrée sur l'utilisation veille au respect de l'horaire observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation surtout un outil de conception (évaluation formative) vient du génie logiciel (Yourdon 79) important que les gens aient la même position hiérarchique Cf. le polycopié de Wendy MacKay à l'école d'été IHM 97 et cours 2 et 8

Sitographie (1) Critères : http://www.ergolab.net http://www.lergonome.org http://www.univ-pau.fr/~lompre/ http://www.useit.com/ http://www.usableweb.com/ http://www.auditweb.net/conseils/ http://www.iw.com Guides de style http://www.dsi.cnrs.fr/bureau_qualite/ergonomie/documentation/Guidergoweb2005.pdf

Références & Bibliographie (1) Ce cours s’inspire principalement : Du cours et des TP sur la conception participative de Wendy Mackay à la conférence IHM’2002, Poitiers, Novembre 2002 Du cours de John Canny (Berkeley) Des tutoriels « Design and Rapid Evaluation of usable Web sites » organisé par Gene Lynch et «Scenario Based Usability Engineering » organisé par John M. Caroll et Mary B. Rosson à la conférence CHI’2000 en avril 2000 à la Haye [Bastien et al. 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 [Drouin et al. 2001] Annie Drouin, Annette Valentin, Jean Vanderdonckt, Les apports de l’ergonomie à l’analyse et à la conception des systèmes d’information, in Christophe KOLSKI, (ed.), Analyse et conception de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 1, chapitre 2, Hermès, 2001, 250 p, ISBN 2-7462-0239-5, p. 51-83

Références & Bibliographie (2) [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in Elisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès [Nielsen 2000], Jakob Nielsen, Conception de sites Web, l'art de la simplicité, Campus Press France, 2000, 385 p., 249 F, ISBN 2-7440-0887-7 [Bastien 1993] J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122.

Orientation « professionnels » Design Patterns http://www.designofsites.com/pb/register.html http://www.welie.com/patterns/ Brangier E., Barcenilla J., Concevoir un produit facile à utiliser : Adapter les technologies à l’homme, Editions d’organisation, 2003. (chapitre 5)

Take home messages Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à l’activité, aux usages