Évaluation des logiciels interactifs

Présentation au sujet: "Évaluation des logiciels interactifs"— Transcription de la présentation:

1 Évaluation des logiciels interactifs
partie 1 (Cf. cours 1 bis) Méthodes d’Inspection (évaluation sans utilisateur) partie 2 Méthodes impliquant les utilisateurs M2-IFL/DU-TICE, UPMC

2 Méthodes d’évaluation
Méthodes d’inspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tâche

3 Plan du cours 5 Évaluation des logiciels interactifs partie 1 :
Évaluer ? Votre projet IHM Évaluation heuristique (septembre) Mise en place d’une revue de conception (aujourd’hui) Évaluation coopérative (atelier fin janv.) Méthodes d’inspection ? Revue de conception Évaluation heuristique partie 2 : Méthodes des tests utilisateurs Quelles méthodes choisir ?

4 Évaluation et conception itérative
(cours de James Landay)

5 Projet1 : Évaluer la concurrence
Quand ? Moments d'évaluation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidité de prise en main, temps de saisie des informations, résumé des saisies Comment ? Inspection heuristique (critères, scénarios) Évaluation coopérative À quel coût ? Rapide : quelques heures Bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN , p [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp , 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p  •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

6 Projet2 : Évaluer un scénario de conception
Quand ? Moments d'évaluation : en cours de conception (aujourd’hui) Pourquoi ? Objectifs : détecter des problèmes d’utilisabilité Quoi ? Un scénario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) Évaluation par des pairs À quel coût ? Rapide : une heure Bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN , p [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp , 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p  •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

7 Projet3 : Évaluer un prototype
Quand ? Moments d'évaluation : fin d’une itération (Fin Janvier) Pourquoi ? Objectifs : tester l’utilisabilité Quoi ? Variables cibles : temps de prise en main, nombre de tâches complétées/abandonnées, nombre d’erreurs/hésitation, satisfaction Comment ? Évaluation coopérative À quel coût ? Rapide : quelques heures Assez bon marché Documents préparatoires : E. Brangier, J. Barcenilla, Concevoir un produit facile à utiliser, Ed. organisation, 2003, ch. 5 Références : [Bastien et al 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes d’information et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme-machine pour les systèmes d'information Vol 2, Hermès, 2001, OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN , p [Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat , Une aide à l’évaluation des logiciels multimédias de formation, in élisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et l’apprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès Elisabeth Delozanne, Brigitte Grugeon, Pierre Jacoboni, " Analyses de l’activité et IHM pour l’éducation ", Actes IHM’2002. Références Cf. le cours précédent + • Christelle FARENC, ERGOVAL : une méthode de structuration des règles ergonomiques permettant l’évaluation automatique d’interfaces graphique, Thèse de l’université TOULOUSE 1, Janvier 1997, Chapitre 1, Les méthodes d'évaluation • J. M. Christian BASTIEN, Techniques d'évaluation des systèmes interactifs, cours à l'école d'été Interaction Homme-Machine du GDR-PRC Communication Homme-Machine du CNRS, Marseille-Luminy, juillet 1997 • J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction , rapport technique N°156 de l'INRIA, 81p., Juin 93 • T. Baudel, Limites de l'évaluation Ergonomique pour la Conception de Nouveaux paradigmes d'interface, Journées IHM 96. Texte provocateur. Sujet d'examen de 96. • Stéphanie JEAN, Élisabeth DELOZANNE, Pierre JACOBONI, Brigitte GRUGEON, Conception, réalisation et évaluation d'interfaces en EIAO : l'exemple de PÉPITE, in Environnement Interactifs d'Apprentissage avec Ordinateur, coordonné par M. Baron, P. Mendelsohn, J.-F. Nicaud, Hermès, pp , 1997 • B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p  •  les chapitres sur l'évaluation et Usability Engeneering dans Caroll, Schneiderman, Preece, Kolski, A Guide to usability Lire le chapitre sur sur GOMS dans Raskin • M. GRISLIN, C. KOLSKI, Évaluation des interfaces homme-machine lors du développement des systèmes interactifs, TSI, vol. 15 n°3/1996, p • H. Van Eylen, G. Hiraclides, GRAAL en quête d'une démarche de développement d'interface utilisateur, Édition Angkor, 1996, 468 p, 290 F • Thése de Sandrine Balbo 1994 (en particulier les chapitres 1, 2, 3 pour un état de l'art en français),

8 Évaluation : Définitions
étudier les rapports entre la conception et l'utilisation a priori, formative (conception) identifier ou prévoir les besoins, les scénarios d’utilisation, les difficultés potentielles ou réelles des utilisateurs donner et évaluer des idées a posteriori, sommative (usage) caractériser les points forts et les points faibles d'un système interactif préparer les évolutions produire des connaissances

9 Moments & Objectifs en cours de conception
analyse de besoins, compréhension des situations, étude de l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans l’activité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité Pourquoi ? Quand ? •  De nombreuses classifications des méthodes d'évaluation sont discutées dans la littérature - moments de l'évaluation - évaluation formative (en cours de conception) et sommative (en phase d'exploitation) - objectifs : détecter des erreurs, certifier, choisir entre des alternatives de conception, entre des produits - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Lire la présentation de C. Farenc (chapitre 1) qui montre des schémas qui résument cela très bien Dans ce cours nous nous intéressons surtout à l’évaluation comme support à l'équipe de conception, donc en cours de conception.

10 Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité, la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes - objet de l'évaluation : les caractéristiques du système (fiabilité, qualité technique), interaction, influence de l'interaction sur l'usager, les coûts et bénéfices En cours de conception, l'évaluation est souvent multidimensionnelle. On s'intéressera aussi bien - au niveau conceptuel à la cohérence des fonctions et de l'interaction avec les habitudes de l'utilisateur - au niveau physique : étude des gestes nécessaires pour réaliser une tâche donnée.

11 Évaluer comment ? Sans utilisateurs : approche analytique
a priori, ne nécessitant pas un système fondée sur des modèles implicites (méthodes d’inspection) explicites (formels, approches automatiques) Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs (en situation réelle ou en laboratoire) Méthode d'évaluation coopérative (cours 5.2) Tests d'utilisabilité, expérimentation contrôlée (N. Mandrian, W. Mackay) Évaluation automatique : Cf. Kolski, Farenc - discipline d'origine de la méthode (psychologie cognitive, psychologie sociale, ingénierie, marketing) - pays d'origine (Amérique du Nord, Europe, autres ???) - présence ou non d'un système (en conception ou déjà existant), - présence ou non d'utilisateurs, utilisation réelle (in the Nature, in the field) ou en laboratoire (in the zoo, in the lab) etc... Nael 1996, p. 327 “Prendre l’avis des utilisateurs peut sembler la méthode la plus simple, la plus rapide et la moins coûteuse pour évaluer une interface homme-machine. Quelques difficultés en limitent néamoins la portée : Les avis sont marqués par la subjectivité et l’histoire personnelle ; cela n’enlève rien à leur intérêt ou à leur signification, mais il faut les prendre en tant que tels et relativement à la population d’ensemble des utilisateurs. Ils sont influencés par des facteurs extrinsèques aux caractéristiques ergonomiques, tels que la mode ou des motivations d’achats d’équipements stimulés par la publicité etc. (…) Ces avis ne sont réellement pertinents que s’ils sont exprimés à l’occasion d’une mise en situation d’utilisation d’une interface fiable et don’t l’interactivité est complète pour les fonctions à évaluer, ce qui implique que le système est en partie réalisé ou maquetté de façon très réaliste (High Fidelity Protypes).”

12 Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost »
Culture de l’évaluation chez les informaticiens Détection des gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

13 Approches analytiques
Comparaison avec un "modèle de référence" (sans utilisateurs) Modèles implicites : approches informelles Méthodes d’inspection (cours 1) Méthodes « low cost » Modèles explicites : approches formelles (ou semi-formelles) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales approches informelles : intégrées au cycle de vie du logiciel Très utilisées par les praticiens Méthodes d’inspection : étudier le logiciel à l’aide des guides de style, normes et heuristiques. Cf prix sourire pris citron en O2 et le cours 2 Cf aussi cours 5 sur les techniques de conceptions approches formelles recherche pour concevoir des systèmes d'évaluation automatique d'interfaces de conception automatique Surtout utilisées dans les centres de recherches

14 Les méthodes d’inspection
Inventaire jugements d’experts grilles d’évaluation revues de conception (design walkthrough) Techniques scénarios heuristiques, des recommandations ou des critères Avantages Pas cher et rapides (~ une journée) Faciles à utiliser (détecter les erreurs flagrantes en 2 à 4 h) Inconvénients Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

15 Combien d’experts ? [Nielsen 1993]
% Problèmes détectés 100 100 100                                              90 90 90                   80 80 80       70 70 70                      60 60 60             50 50 50    % moyen des problèmes ergonomiques détectés en fonction du nombre d’évaluateurs et de leur qualification Étude menée par Nielsen 1993, citée par Nael 1996  D'après M. Naël dans l'OFTA (p. 329) pour détecter 80 % des problèmes il faut - au moins 3 experts qui donnent leur avis d'abord de façon indépendante, puis contradictoire ou coordonnée (si possible) - ergonomes qualifiés (qui comprend les novices du domaine) et experts du domaine d'application (au moins 3 années d'expérience ! étudiants s'abstenir) - disposant du système (ou d ’une maquette) ou de descriptions détaillées de scénarios d'utilisation du système    40 40 40    Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices Évaluateurs spécialistes du domaine  Évaluateurs généralistes  Évaluateurs novices    30 30 30 20 20 20    Nombre d ’évaluateurs 10 10 10 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 13 15 15 15

16 ROI (Return On Investment)
problems found benefits / cost Canny 2004 [Canny 2004]

17 Revue de conception (Design Walkthrough )
Examen du produit par des pairs (entre 3 et 7) en cours de conception Objectif : identifier des problèmes (pas les résoudre) Durée : limitée à 1 h (fatigue) 5 rôles : Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation surtout un outil de conception (évaluation formative) vient du génie logiciel (Yourdon 79) important que les gens aient la même position hiérarchique Très très utile en conception Cf. le polycopié de Wendy MacKay à l'école d'été IHM 97 et cours 2 et 8

18 Grilles d'évaluation principes
Évaluation d'après une liste des propriétés d'une bonne interface Notation systématique sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ? interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses notation hétérogénéité de ce qui est noté : règle des 80/20 (ou 90/10) ne permet pas de comprendre la nature du problème rencontré de hiérarchiser les difficultés Avantages : utile pour faire des comparaisons Gros problème: écrasement des choses importantes et non importantes Méthode sommaire (à mon avis) Permet cependant de détacher des points forts et des points faibles Ex : la méthode EMPI (Hu et al.) pour l’évaluation de logiciels éducatifs La grille d’évaluation RIP du ministère de l’éducation nationale De nombreuses grilles d’évaluation des sites web

19 Retenir Les différentes méthodes d’évaluation sans utilisateurs
Jugement d’experts Inspection heuristique (critères) Revue de conception (scénarios) Au moins un jeu de critères ergonomiques Par exemple ceux de l’INRIA Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

20 Take home messages (partie 1)
Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type « amateur » En projet Évaluation heuristique (inspection avec un jeu de critères) Revue de conception (scénarios) Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à l’activité, aux usages

21 Méthodes d’évaluation
Retenir Méthodes d’inspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tâche

22 Évaluation des logiciels interactifs (2)
Cours 5 (partie 2) Méthodes impliquant les utilisateurs M2-IFL/DU-TICE, UPMC

23 Évaluation Cours 5.1 : Évaluation sans utilisateurs Évaluer ?
Méthodes d’inspection Cours 5.2 : Évaluation avec utilisateurs Tests avec utilisateurs Les méthodes Recueil de données Quelles méthodes choisir ?

24 Tests d’utilisabilité
Qu’est-ce que c’est ? Expérimentations pour obtenir des informations sur un problème de conception Quand ? Tout au long du cycle de conception En savoir plus ? En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, B A la bibliothèque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5

25 Comment ? A l’origine méthodes de psychologie expérimentale
protocoles et des analyses statistiques rigoureuses Maintenant techniques plus « légères » pas de certitudes scientifiques informations qualitatives ou quantitatives indispensables à la conception Principe simple : Trouver des utilisateurs Étudier comment ils utilisent le produit et recueillir des données Analyser les données et en dégager des décisions

26 Les différentes méthodes
Expérimentations contrôlées Quasi-expérience Étude de cas Études de terrain (ergonomiques, ethnographiques) Évaluation coopérative (Giboin)

27 Évaluation coopérative (Giboin)
Méthode conçue par des ergonomes pour être mise en œuvre par des non ergonomes (informaticiens) Objectif : détecter des problèmes potentiels pour améliorer la conception informer la conception observer les utilisateurs agir, pas leur demander leur avis Étapes Recruter des utilisateurs Préparer l’évaluation Réaliser l’évaluation : interagir avec les utilisateurs Analyser les résultats de l’évaluation Tirer les conséquences de l’évaluation Rédiger le compte rendu de l’évaluation

28 Recruter des utilisateurs
Dimensions des utilisateurs Statut, niveau d’expérience, préférence Typologie des utilisateurs Occasionnel, intensif, répété Nombre d’utilisateurs Entre 1 et 5 à chaque itération Recrutement Annonces, financement, autorisations

29 Préparer l’évaluation
Définir les tâches : Représentatives des tâches réelles Permettre une exploration minutieuse de l’interface Rédiger une feuille de tâches à effectuer par l’utilisateur Donnée à l’utilisateur au début de la séance Tâches précises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master Tâches réalisables avec le prototype Préparer une grille d’observation avec les points que vous voulez observer

30 Exemples/contre-exemple de tâches
Armoire à pharmacie électronique Exemple : Vous revenez de chez le pharmacien avec les médicaments de l’ordonnance de votre bébé de 6 mois et du renouvellement de vos médicaments contre la tension et le cholestérol Voici les deux ordonnances et le sac de médicaments. Rentrez ces médicaments dans la pharmacie électronique Contre-exemple : Cliquez sur « saisir les données » ; choisir le nom du médicament dans la liste déroulante …

31 Conseils Énoncer clairement les tâches De préférence dans un scénario
Apporter des accessoires de la vie courante Évaluer le temps nécessaire Décider d'un temps maximum pour chaque tâche Préparer des questions Distinguer découverte et utilisation courante Double examen des tâches importantes Tester la prise en main puis tester une nouvelle fois en fin de séance Livrable 3.1 m’adresser la feuille de tâches que vous envisagez de communiquer aux utilisateurs

32 À Vérifier Les tâches choisies sont-elles réalisables à l'aide du prototype ? Les tâches amènent-elles l'utilisateur à se centrer sur les parties de l'interface qui intéressent ? Combien de temps est alloué pour chaque utilisateur ? À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? L'énoncé des tâches est-il suffisamment clair pour un utilisateur qui découvre ? L’énoncé est-il trop directif ?

33 Avant l’évaluation Vérifiez que tout est en place
Le prototype est-il prêt ? Avez-vous testé vous-même la feuille de tâches pour la vérifier ? L’environnement est-il tranquille ? Le matériel est-il prêt pour enregistrer ce que dit l’utilisateur ? Ce qu’il fait ? Vérifiez le fonctionnement Chronomètre ? Une feuille préformatée est-elle prête pour prendre des notes ? Liste des questions à poser ? Phrase pour accueillir l’utilisateur ?

34 Déroulement (1/2) Introduction (5 min)
Pourquoi évaluer, pourquoi vous, quelle suite Présentation du déroulement de l’évaluation (3 min) Donner la feuille de tâches, lui demander de commenter à voix haute ses actions Scénario de tâches pour l’exploration de l’activité (60 min maxi) Debriefing avec l’utilisateur Debriefing sans l’utilisateur Observations et prise de notes sur les commentaires, le comportement, les réactions, l’interaction chronométrer ou compter (erreurs, clics, mouvement de la souris, soupirs, sourires ) ou filmer

35 Déroulement (2/2) Debriefing (10 min)
Fonctionnalité non couvertes, points positifs et négatifs Conclusion (10 min) Points forts, points faibles, ce qu’il faut impérativement garder/changer Listes des difficultés et propositions de solutions Questions spécifiques Remercier Temps maxi : 1 h 30 utilisateur

36 Conduite de la séance Mode informel (discussion libre)
Pas de feuille de consignes Si possible 2 observateurs : Un conduit l’entretien L’autre prend des notes et s’occupe de la technique Statut des utilisateurs : évaluateurs et non sujets d’expérience Ce n’est pas le participant qui est évalué mais le système

37 À l’arrivée des utilisateurs
Mettez les participants en confiance Présentez vous et énoncez vos objectifs Regarder en quoi le système leur facilite ou leur complique la tâche, peut les induire en erreur Et non relever leurs erreurs Garantissez l’anonymat et la sécurité Décrivez les équipements et la façon dont vous allez étudier et utiliser les données recueillies Précisez au participant qu’il peut à tout moment arrêter l’observation ce qu’il doit faire (penser à haute voix, chercher de l’aide etc., la tâche ou le scénario) Demander s’il y a des questions préalables Démarrer l’enregistrement (autorisation)

38 Votre attitude Entretien de type apprenti/maître
L’utilisateur est l’expert qui vous explique ce qu’il fait Laisser parler les utilisateurs Être attentif à ce qui se passe Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système Demander aux utilisateurs de commenter en diirect ce qu'ils font Poser des questions Interdiction de Suggérer sauf sur demande expresse de l’utilisateur perdu Critiquer, juger Se défendre

39 Exemples de questions Comment vous faîtes ça ?
Pourquoi vous faites ça ? Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?

40 Contre-exemples Mais pourquoi tu fais-ça ? Tu ne vois pas que… ?
C’est pas du tout comme cela qu’il faut faire ! Non là faut que tu cliques… Laisse moi faire tu vas voir … Avec tout le travail que ça m’a demandé, ça ne te plaît pas Rappelez-vous Vous êtes là pour apprendre Pas pour défendre votre bébé

41 Points à observer Comportement inattendu
Ex: L'utilisateur tape une série imprévue de commandes Commentaires « C'est chouette de pouvoir faire ça sans avoir à retaper tout. » « Encore, faut que je retape tout... » Soupirs, sourires, impatience etc. Mesurer Le temps, les clics, les trajets de la souris, le nombre d’étapes, le nombre d’erreurs, le nombre de sourires/soupirs

42 Attention Objectif prioritaire
Obtenir des informations de l’utilisateur Moyen Créer un dialogue avec l'utilisateur Conséquences Arrêter la prise de notes si elle gêne le dialogue Ne pas défendre ses idées, ses scénarios

43 Debriefing avec l’utilisateur
Principe : discussion avec l’utilisateur (pas questionnaire) Sur le prototype Points forts, points faibles, points à améliorer impérativement Facilité d’exécution des tâches, de compréhension des libellés Suggestions Spécifiques au prototype : menus, valeurs par défaut etc. Sur l’évaluation coopérative L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?

44 Debriefing avec le co-évaluateur
Immédiatement après la séance Échanger Prendre des notes sur les impressions générales, les incidents etc. Très important on oublie très vite Revoir les utilisateurs une deuxième fois Pour vérifier les interprétations Étudier les changements possibles

45 Analyser les résultats
Classez les résultats Objets d’interface, navigation, conception générale Faites ressortir les points positifs et les points négatifs Tirez les conséquences des évaluations Modifications à apporter Module d’aide Rédiger un rapport Présenter l’état du système avant Présenter l’évaluation (les utilisateurs, les tâches, les données recueillies et leur analyse, les résultats ) Présenter les améliorations à apporter (et une nouvelle maquette)

46 Évaluations avec utilisateurs
Indispensables

47 Critères de choix d’une méthode
Temps, budget, moments, compétences Triangulez Méthodes légères Interviews Inspection heuristique, scénarios (+ expert du domaine) Évaluations coopératives Recommandées pour les non ergonomes Projet à risque : méthodes rigoureuses Faire appel à des spécialistes : ergonomes, sociologues, voir ethnologues

48 Quelle méthode choisir ?
Utiliser plusieurs méthodes pour croiser les résultats et les interprétations Dépend des objectifs de l’évaluation, du budget, du temps Analyse de l’existant Méthodes d’inspection Évaluation coopérative Enquêtes, études de terrain En cours de conception Expérimentations contrôlées (alternative de conception)

49 Atelier d’évaluation du projet
Pour début janvier : rendre un plan d’évaluation Vos objectifs et ce que vous voulez mesurer Déroulement Introduction Feuille de tâche, le(s) scénario(s) proposé(s) et Grille d’observation Pour l’atelier fin janvier: Disposer d’un prototype et mettre en œuvre le plan d’évaluation Présence obligatoire (à l’heure) Pour le 30/1 : dossier d’évaluation Qu’avez-vous appris des tests ?

50 En résumé Méthodes d’évaluation sans utilisateurs
Reposent sur des appréciations Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs Reposent sur la réalisation de tâches Indispensables pour les problèmes liés au domaine, à l’activité, aux usages Évaluation coopérative : méthode pour non ergonome

51 Évaluation et cycle de développement
un état d'esprit processus qui débute dès la spécification du logiciel dès le début se préoccuper des utilisateurs, de leurs activités construire des maquettes et des prototypes les critiquer les faire critiquer mener des tests exploratoires informels plus le cycle de développement avance plus les tests doivent être rigoureux Senach 90 "L'évaluation […] constitue un processus parallèle à la conception, […] ne peut être réduite à une simple étape ponctuelle" Kolski 1996 p. 271 "L' évaluation relève d'un état d'esprit qui doit se retrouver tout au long des étapes du cycle de vie du système interactif concerné et où les conditions d'évaluation peuvent varier d'une semaine à l'autre sous les contraintes industrielles". La conception d'interface est par essence pluridisciplinaire : ne pas se prendre pour un ergonome ou un graphiste ou un expert du domaine faire appel à des professionnels est un investissement rentable appliquer les règles de styles, normes et critères jouer son rôle d'informaticien dans la conception inventer des solutions, proposer des alternatives informer sur les contraintes techniques mais aussi sur l'état actuel ou proche de la technique réaliser des prototypes, réaliser le produit tester ses idées auprès de vrais utilisateurs dans un contexte réel le plus tôt possible dans la conception

52 Take Home Messages L’évaluation au cœur de la conception
Pensez aux critères d’évaluation du logiciel dès la phase de spécification Organisez très tôt des tests informels avec des utilisateurs finaux, même sur des petits projets Le temps perdu au début est regagné Mieux vaut des tests informels que pas de tests du tout Triangulez, croisez méthodes et résultats Évaluation Ne vous contentez pas des opinions Observez des gens qui accomplissent des actions Utilisez Les inspections (critères, scénarios) Les revues de conception (design walkthrough) L’évaluation coopérative