Évaluation des logiciels interactifs (1) Cours 5 (partie 1) (Cf. cours 1 bis) Méthodes d’Inspection (évaluation sans utilisateur) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr

Plan du cours Cours 5 : Évaluation des logiciels interactifs (partie 1) Évaluer ? Votre projet IHM Évaluation heuristique (septembre) Mise en place d’une revue de conception (aujourd’hui) Évaluation coopérative (27 janv.) Méthodes d’inspection ? Revue de conception Évaluation heuristiques Cours 5 : évaluation des logiciels interactifs (partie 2) Méthodes des tests utilisateurs Quelles méthodes choisir ?

(Rappel) Cours 1 : Facteurs de succès Cycle de conception Conception centrée usager L’analyse des tâches et les analyses en contexte de travail usuel Le prototypage rapide L’évaluation constante Conception itérative La qualité de la programmation

Évaluation et conception itérative (cours de James Landay)

Évaluer ? Qu'est-ce que l'évaluation ? Définition : évaluer = juger Objectivité ??? Référence ? Plusieurs approches : Critères raisonnés, modéles Quand ? Pourquoi ? Moments d'évaluation Objectifs Quoi ? Variables cibles Comment ? À quel coût ? Méthodes, techniques Temps, argent Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp. 37-48, 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122. •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p. 265-296 • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

Projet1 : Évaluer la concurrence Quand ? Moments d'évaluation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidité de prise en main, temps de saisie des informations, résumé des saisies Comment ? Inspection heuristique (critères, scénarios) Évaluation coopérative À quel coût ? Rapide : quelques heures Bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp. 37-48, 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122. •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p. 265-296 • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

Projet2 : Évaluer un scénario de conception Quand ? Moments d'évaluation : en cours de conception (aujourd’hui) Pourquoi ? Objectifs : détecter des problèmes d’utilisabilité Quoi ? Un scénario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) Évaluation par des pairs À quel coût ? Rapide : une heure Bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp. 37-48, 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122. •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p. 265-296 • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

Projet3 : Évaluer un prototype Quand ? Moments d'évaluation : fin d’une itération (Fin Janvier) Pourquoi ? Objectifs : tester l’utilisabilité Quoi ? Variables cibles : temps de prise en main, nombre de tâches complétées/abandonnées, nombre d’erreurs/hésitation, satisfaction Comment ? Évaluation coopérative À quel coût ? Rapide : quelques heures Assez bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, 53-113 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN 2-906028-04-5, p. 323-340 [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp. 37-48, 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p 69-122. •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p. 265-296 • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

Évaluation : Définitions processus pour étudier les rapports entre la conception et l'utilisation a priori, formative (conception) pour identifier ou prévoir les besoins, les scénarios d’utilisation et les difficultés potentielles ou réelles des utilisateurs pour donner et évaluer des idées a posteriori, sommative (usage) pour caractériser les points forts et les points faibles d'un système interactif pour préparer les évolutions pour produire des connaissances

Moments & Objectifs d'évaluation en cours de conception analyse de besoins, compréhension des situations, étude de l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans l’activité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité Pourquoi ? Quand ? •  De nombreuses classifications des méthodes d'évaluation sont discutées dans la littérature - moments de l'évaluation - évaluation formative (en cours de conception) et sommative (en phase d'exploitation) - objectifs : détecter des erreurs, certifier, choisir entre des alternatives de conception, entre des produits - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Lire la présentation de C. Farenc (chapitre 1) qui montre des schémas qui résument cela très bien Dans ce cours nous nous intéressons surtout à l’évaluation comme support à l'équipe de conception, donc en cours de conception.

Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité, la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes - objet de l'évaluation : les caractéristiques du système (fiabilité, qualité technique), interaction, influence de l'interaction sur l'usager, les coûts et bénéfices En cours de conception, l'évaluation est souvent multidimensionnelle. On s'intéressera aussi bien - au niveau conceptuel à la cohérence des fonctions et de l'interaction avec les habitudes de l'utilisateur - au niveau physique : étude des gestes nécessaires pour réaliser une tâche donnée.

Évaluer comment ? Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles implicites (méthodes d’inspection) explicites (formels, approches automatiques) Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs (en situation réelle ou en laboratoire) Méthode d'évaluation coopérative (cours 5.2) Tests d'utilisabilité, expérimentation contrôlée (N. Mandrian, W. Mackay) Évaluation automatique : Cf. Kolski, Farenc - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Nael 1996, p. 327 “Prendre l’avis des utilisateurs peut sembler la méthode la plus simple, la plus rapide et la moins coûteuse pour évaluer une interface homme-machine. Quelques difficultés en limitent néamoins la portée : Les avis sont marqués par la subjectivité et l’histoire personnelle ; cela n’enlève rien à leur intérêt ou à leur signification, mais il faut les prendre en tant que tels et relativement à la population d’ensemble des utilisateurs. Ils sont influencés par des facteurs extrinsèques aux caractéristiques ergonomiques, tels que la mode ou des motivations d’achats d’équipements stimulés par la publicité etc. (…) Ces avis ne sont réellement pertinents que s’ils sont exprimés à l’occasion d’une mise en situation d’utilisation d’une interface fiable et don’t l’interactivité est complète pour les fonctions à évaluer, ce qui implique que le système est en partie réalisé ou maquetté de façon très réaliste (High Fidelity Protypes).”

Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost » Culture de l’évaluation chez les informaticiens Détection des gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

Plan Rappels Évaluer ? Méthodes d’inspection Tests utilisateurs (cours 5.2) Choisir une méthode (cours 5.2)

Approches analytiques l'évaluation de l'IHM se fait a priori par comparaison avec un "modèle de référence" modèle qui n'est pas souvent formalisé ni explicité on distingue des approches informelles Méthodes d’inspection (cours 1) Méthodes « low cost » des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales approches informelles : intégrées au cycle de vie du logiciel Très utilisées par les praticiens Méthodes d’inspection : étudier le logiciel à l’aide des guides de style, normes et heuristiques. Cf prix sourire pris citron en O2 et le cours 2 Cf aussi cours 5 sur les techniques de conceptions approches formelles recherche pour concevoir des systèmes d'évaluation automatique d'interfaces de conception automatique Surtout utilisées dans les centres de recherches

Les méthodes d’inspection Inventaire Les jugements d’experts Les grilles d’évaluation Les revues de conception (design walkthrough) S’appuient sur Des scénarios Des heuristiques, des recommandations ou des critères Avantages Pas cher et rapides (de l’ordre d’une journée) Faciles à utiliser (détecter les erreurs flagrantes en 2 à 4 h) Inconvénients Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

Jugements d'experts Diagnostic a priori ou a posteriori un ou des experts donnent leur avis sur l'interface (ou le projet) sous la forme d'un rapport ou d'un formulaire Fondements Modèle de l'interface non formalisé (ni même explicité) Heuristiques, recommandations ou critères ergonomiques Résultats Points positifs et négatifs et leur pondération Prévision de difficultés d’utilisation probables Informations sur les fonctionnements humains insuffisamment pris en compte Propositions d’améliorations argumentées et pondérées • Peut être utilisé aussi a posteriori (moins fréquent) • Notre expérience sur des projets sans gros moyens : les étudiants (ou les collègues) ont une approche cassez moi-ça très efficace pour détecter tous les petits problèmes qui ont échappé à la vigilance du concepteur solitaire qui n'a pas les moyens de se payer une équipe. Efficace et pas cher. Pensez y. Exercez-vous à devenir expert en évaluation d ’interface : d'où l'intérêt d'une séance collective évaluation - étude de logiciels et de leur utilisabilité - rédaction d ’un rapport d ’évaluation - présentation au groupe des conclusions

Jugement d’experts (Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) technique 1: fondée sur des scénarios jouer un des scénarios technique 2 : fondée sur des critères ou des guides étude systématique de tous les critères sur chaque écran Procédure commune noter tous les problèmes rencontrés analyser les causes proposer des solutions rédiger un rapport Heuristic review avec deux experts on trouve 90 % des problèmes d ’utilisabilité (Poulain et Valot 1996)

Jugements d’experts Biais : Experts : vue plus générale, sources potentielles de dysfonctionnement Novices : difficultés matérielles et conceptuelles de bas niveau Biais de focalisation fonctionnement particulier ( e.g. d'utilisateurs novices), sur les "marottes" de l'expert domaine d'expertise (domaine, IHM, graphisme) Intérêt Pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception Plusieurs experts

Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles et les problèmes difficiles Canny 04

Jugements d’experts [Nielsen 1993] % Problèmes détectés 100 100 100                                              90 90 90                   80 80 80       70 70 70                      60 60 60             50 50 50    % moyen des problèmes ergonomiques détectés en fonction du nombre d’évaluateurs et de leur qualification Étude menée par Nielsen 1993, citée par Nael 1996  D'après M. Naël dans l'OFTA (p. 329) pour détecter 80 % des problèmes il faut - au moins 3 experts qui donnent leur avis d'abord de façon indépendante, puis contradictoire ou coordonnée (si possible) - ergonomes qualifiés (qui comprend les novices du domaine) et experts du domaine d'application (au moins 3 années d'expérience ! étudiants s'abstenir) - disposant du système (ou d ’une maquette) ou de descriptions détaillées de scénarios d'utilisation du système    40 40 40    Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices    30 30 30 20 20 20    Nombre d ’évaluateurs 10 10 10 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 13 21 21 21

ROI (Return on investment) problems found benefits / cost Canny 2004 [Canny 2004]

Organiser des expertises Conseils : Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires Ergonomes qualifiés d’au moins trois ans d’expérience Leur donner une description de la population des futurs utilisateurs Scénarios, critères ou grille d’analyse Attention Ne remplacent pas les utilisateurs Notre expérience sur des projets sans gros moyens : les étudiants (ou les collègues) ont une approche cassez moi-ça très efficace pour détecter tous les petits problèmes qui ont échappé à la vigilance du concepteur solitaire qui n'a pas les moyens de se payer une équipe d’ergonome. Efficace et pas cher. Pensez y. Comme toutes les méthodes discount : cela a ses limites mais cela dépanne et évite un certains nombre de difficultés. Mieux vaut une méthodes discount que pas de méthodes du tout. En fonction des moyens dont on dispose et en l’absence d’ergonome patenté on peut se comprter en acteur ergonomique (Rabardel 1998) Exercez-vous à devenir expert en évaluation d ’interface, cette expérience vous sera utile dans votre carrière de concepteur ou de chercheur

Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 5 rôles : Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation surtout un outil de conception (évaluation formative) vient du génie logiciel (Yourdon 79) important que les gens aient la même position hiérarchique Très très utile en conception Cf. le polycopié de Wendy MacKay à l'école d'été IHM 97 et cours 2 et 8

Grilles d'évaluation principes Évaluation d'après une liste des propriétés d'une bonne interface Notation systématique sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ? interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses notation hétérogénéité de ce qui est noté : règle des 80/20 (ou 90/10) ne permet pas de comprendre la nature du problème rencontré de hiérarchiser les difficultés Avantages : utile pour faire des comparaisons Gros problème: écrasement des choses importantes et non importantes Méthode sommaire (à mon avis) Permet cependant de détacher des points forts et des points faibles Ex : la méthode EMPI (Hu et al.) pour l’évaluation de logiciels éducatifs La grille d’évaluation RIP du ministère de l’éducation nationale De nombreuses grilles d’évaluation des sites web

Critères de l’INRIA (Bastien et Scapin) Structuration des activités et guidage Minimiser la charge de travail Contrôle entre les mains de l'utilisateur Adaptabilité Prévision et récupération des erreurs Compatibilité Signifiance des codes et dénomination Cohérence et homogénéité À l’origine de la norme Z67-133-1, Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et d’évaluation des interfaces utilisateurs. http://www.ergolab.net/articles/les-criteres-ergonomiques-partie1.html#4 Inscrire dans le plan qualité, dans les dossiers de conception les critères que l'on adopte pour la conception; servent à la conception et à l'évaluation en France sont très souvent utilisés - les 7 règles d'or (Joëlle Coutaz, 1990) - les critères de l'INRIA (Scapin, Bastien) et leur adaptation aux sites web (http://www.lergonome.org/ ) - les propriétés ergonomiques des interfaces (Coutaz 1998) - les 10 critères de l'OFTA (p 18) Références : Je choisis les critères de l'INRIA (Bastien et Scapin 1993] Voir aussi sur le web tout un tas de guides de style Par exemple : Le site d’IBM : http://www.ibm.com/IBM/HCI/guidelines Un autre celui du célèbre Nielsen : http://www.useit.com Yale C/AIM Web Style Guide Lynch & Horton) : http://info.med.yale.edu/caim/manual/contents.html Sun’s Guide to Web Style : http://www.sun.com/styleguide/ Un dernier en français et avec des exemples en plus : http://www.auditweb.net/conseils/fondamentaux.html Vous avez aussi des études rédigées sur le site http://www.lergonome.org/ Normes et standards : Norme ISO, Norme AFNOR

Utilisation des critères Pour l’évaluation Évaluation heuristique Pour la conception Inscrire les critères d’évaluation dans les dossiers de conception Guide pour l’équipe de conception Foultitude de critères normes et recommandations Parfois contradictoires Pour éveiller votre attention

Conclusion sur les critères En évaluation Art délicat de l’évaluation heuristique Évaluateurs moyens : subtiles Permet d’établir des rapports évaluation sur l’aspect utilisabilité En conception : Très utile de les avoir en tête lors de la conception Compromis entre différentes recommandations contradictoires en fonction de la tâche, de l'activité ou du public cible Mais ne pas introduire de gadget ni multiplier les fonctions étudier de nombreuses interfaces d'un regard critique et piquer les bonnes idées regarder de nombreux guides et critères (Cf. le web)

Retenir Les différentes méthodes d’évaluation sans utilisateurs Jugement d’experts Inspection heuristique (critères) Revue de conception (scénarios) Au moins un jeu de critères ergonomiques Par exemple ceux de l’INRIA Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

Take home messages (partie 1) Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type « amateur » En projet Évaluation heuristique (inspection avec un jeu de critères) Revue de conception (scénarios) Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à l’activité, aux usages