1 Évaluation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC TICE-09-Accueil.htm Méthodes impliquant les utilisateurs Cours 3 (partie 2)

2 Évaluation Cours 5.1 : Évaluer ? Méthodes d’inspection Critères d’évaluation heuristique, scénarios Cours 5.2  Tests avec utilisateurs  Les méthodes  Recueil de données  Quelles méthodes choisir ?

3 (Rappel) cours 5.1 : Méthodes d’évaluation sans utilisateurs  Indispensables en cours de conception évaluer les maquettes et prototypes  Rapides, pas chères et efficaces  Fondées sur des scénarios ou sur des heuristiques  Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs  Indispensables pour les problèmes liés au domaine, à l’activité, aux usages

4 Méthodes d’évaluation Retenir  Tests d’utilisabilité (Usability Testing)  Des utilisateurs accomplissent une tâche  Méthodes d’inspection  Des gens expriment une opinion

5 Tests d’utilisabilité  Qu’est-ce que c’est ?  Monter des expérimentations pour obtenir des informations sur un problème de conception  Quand en faire ?  Tout au long du cycle de conception  En savoir plus ? En ligne sur le site de mon cours :  Cours de N. Mandran (IHM2009)  Cours de W. Mackay et M. Beaudoin Lafon  Cours de A. Giboin  Van Duyne et al. 2006, annexe A, B A la bibliothèque  A. Boucher 2009, chapitres 9 et 11  E. Brangier et al. 2003, chapitre 5

Comment ?  A l’origine  méthodes de psychologie expérimentale  protocoles et des analyses statistiques rigoureuses  Maintenant  techniques plus « légères »  pas de certitudes scientifiques  informations qualitatives ou quantitatives indispensables à la conception  Principe simple :  Trouver des utilisateurs  Étudier comment ils utilisent le produit et recueillir des données  Analyser les données et en dégager des décisions 6

7 Les différentes méthodes  Expérimentations contrôlées  Quasi-expérience  Étude de cas  Études de terrain (ergonomiques, ethnographiques)  Évaluation coopérative (Giboin)

8 Expériences contrôlées  Discipline : psychologie expérimentale  But  tester une hypothèse ou étudier des corrélations  produire une connaissance scientifique  Étapes 1.Spécifier l'hypothèse : qu'est-ce qu'on étudie ? 2.Spécifier les variables indépendantes : qu'est-ce qui varie ? 3.Opérationnaliser le comportement comment étudier ces variations ? 4.Spécifier les variables dépendantes qu'est-ce qu'on mesure ? 5.Spécifier les procédures répartition des groupes, rôle de l'expérimentateur etc. 6.Identifier les tests statistiques appropriés y a-t-il une différence ?

9 Exemple (1)  Ref.  M. Bétrancourt, Effet de trois modalités d'intégration texte figure dans les systèmes multi-média, IHM'94, Lille, France, 8-9 Décembre 1994, p  Spécifier l'hypothèse  format de présentation des informations a une influence sur l'apprentissage  Spécifier les variables indépendantes  trois formats de présentation du matériel d'apprentissage texte et figure séparés présentation intégrée (texte et figure côte à côte) texte en escamot (pop-up), bulles d'informations  Opérationnaliser le comportement  une tâche de mémorisation et une tâche de résolution de problème

10 Exemple (2)  Spécifier les variables dépendantes  temps d'apprentissage et mémorisation (nombre de termes correctement replacés sur le graphique)  Spécifier les procédures  répartition des groupes expérimentaux/ de contrôle  rôle de l'expérimentateur etc.  ex(résumé). : Test individuel pour 24 étudiants répartis aléatoirement en 3 groupes ; consigne : étudier le graphique et le commentaire; tâche : on présente le graphique et il faut donner le commentaire)  Identifier les tests statistiques appropriés  ex. : la différence entre le groupe escamot et le groupe conventionnel est significative (f = 2, 94 et p =.028)

11 Quelques problèmes  Méthodologie  comparaison entre groupe expérimental et groupe témoin  exposer les sujets à toutes les valeurs de la variable indépendante  Problèmes de fiabilité  contrôle de l'affectation aléatoire dans les groupes, des conditions d'expérimentation  reproductibilité de l'expérience, différences individuelles ?  utiliser un nombre "raisonnable" de sujets  utiliser des statistiques appropriées et déterminer le degré de confiance p  Problèmes de validité  et en dehors du laboratoire ?  utilisateurs représentatifs ? cobayes professionnels ?  contexte social est-il indifférent ?  tâches typiques ?  environnement matériel indifférent ?

12 Expériences contrôlées  Manipuler : variables indépendantes  Observer les effets : les variables dépendantes  Tirer des conclusions à partir de tests statistiques significatifs  Réalisées en labo  permettent un plus grand contrôle des variables  ne peuvent pas être généralisées à des situations réelles  Utilisées  par des spécialistes (psychologues, ergonomes)  explorer une nouvelle technique d'interaction  choisir entre des alternatives de conception  évaluation d'un système  comparer deux systèmes  comparer des techniques d'évaluation !  Laboratoire d’utilisabilité  lourds  portables

13 Quasi-expériences  But : Cf. expérimentation contrôlée mais en situation réelle  Problème : on ne contrôle pas tous les facteurs  Solution :  Rendre explicites les menaces d'invalidité, identifier les sources potentielles d’interprétation erronée  Trianguler, trianguler, trianguler : faire varier le dispositif expérimental les méthodes -expériences -études de cas -interviews recouper les informations

14 Études de cas  pas du tout étude statistique  compréhension profonde d'un sujet, d’une activité  difficile à mener  généralement un expérimentateur pose des questions  enregistrement vidéo  plusieurs personnes étudient et discutent l'enregistrement  aide  à émettre des hypothèses  à expliciter des modèles  à comprendre des difficultés, des fonctionnements, une situation  à repérer des régularités, des invariants

15 Études de terrain  Les observations de terrains sont souvent la meilleure façon  d’anticiper les besoins  de s’assurer de l’utilisabilité d’un produit  Pour un prototype assez avancé, il s’agit de le tester dans l’environnement de travail habituel des utilisateurs  Mises en œuvre par des professionnels (e.g. ergonomes, ethnologues)

16 Evaluation coopérative (Giboin)  Méthode conçue par des spécialistes pour être mise en œuvre par des informaticiens  Objectif :  détecter des problèmes potentiels pour améliorer la conception  informer la conception  Étapes 1.Recruter des utilisateurs 2.Préparer l’évaluation 3.Réaliser l’évaluation : interagir avec les utilisateurs 4.Analyser les résultats de l’évaluation 5.Tirer les conséquences de l’évaluation 6.Rédiger le compte rendu de l’évaluation

17 Recruter des utilisateurs  Dimensions des utilisateurs  Statut, niveau d’expérience, préférence  Typologie des utilisateurs  Occasionnel, intensif, répété  Nombre d’utilisateurs  Entre 1 et 5 à chaque itération  Recrutement  Annonces, financement, autorisations

18 Préparation de l’évaluation  Définir les tâches : 1.Représentatives des tâches réelles 2.Permettre une exploration minutieuse de l’interface  Préparer une feuille de tâches à effectuer par l’utilisateur  Donnée à l’utilisateur au début de la séance  Tâches précises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master  Tâches réalisables avec le prototype  Préparez une grille d’observation avec les points que vous voulez observer

Exemples/contre-exemple de tâches 19

20 Conseils  Énoncer clairement les tâches  Evaluer le temps nécessaire,  Décider d'un temps maximum pour chaque tâche  Ajouter des tâches supplémentaires  plus simples pour les utilisateurs n'ayant pas terminé  Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu  Préparer des questions  Tester la prise en main puis tester une nouvelle fois en fin de séance  Distinguer : découverte et utilisation  Double examen des tâches importantes En début et en fin de séance

21 À Vérifier  Les tâches choisies sont-elles réalisables à l'aide du prototype ?  Les tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous vous intéressez ?  Combien de temps avez-vous alloué pour chaque utilisateur ?  À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ?  Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ?  L'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ?

22 Avant l’évaluation  Vérifiez que tout est en place  Le prototype est-il prêt ?  L’environnement est-il tranquille ?  Le matériel est-il prêt pour enregistrer ce que dit l’utilisateur ? Ce qu’il fait ? Vérifiez le fonctionnement  Chronomètre ?  Une feuille préformatée est-elle prête pour prendre des notes ?  Liste des questions à poser ?  Phrase pour accueillir l’utilisateur ?  Avez-vous testé vous-même la feuille de tâches pour la vérifier ?

23 Déroulement (1)  Introduction (5 min)  Pourquoi évaluer, pourquoi vous, quelle suite  Présentation du déroulement de l’évaluation (3 min)  Donner la feuille de tâches, lui demander de commenter à voix haute ses actions  Scénario de tâches pour l’exploration de l’activité (60 min maxi)  Questionnaire d’identification du testeur (2 min)  Distinguer : familiarisation et réalisation des tâches  Observations et prise de notes sur les commentaires, le comportement, les réactions, l’interaction  On peut aussi chronométrer ou compter (des erreurs, des clics…) ou filmer  Aider l’utilisateur s’il pose une question

24 Déroulement (2)  Debriefing (10 min)  Fonctionnalité non couvertes, points positifs et négatifs  Conclusion (10 min)  Points forts, points faibles, ce qu’il faut impérativement garder/changer  Listes des difficultés et propositions de solutions  Questions spécifiques  Remercier  Temps maxi : 1 h 30 utilisateur

25 Conseils  Conduite de la séance :  mode informel (discussion libre)  Evitez les feuilles de consignes  Si possible 2 observateurs :  Une conduit l’entretien  l’autre prend des notes et s’occupe de la technique  Statut des utilisateurs :  évaluateurs et non sujets d’expérience  Ce n’est pas le participant qui est évalué mais le système

26 À l’arrivée des utilisateurs  Mettez les participants en confiance  Présentez vous et énoncez vos objectifs Regarder en quoi le système leur facilite ou leur complique la tâche, peut les induire en erreur Et non relever leurs erreurs  Garantissez l’anonymat et la sécurité  Décrivez les équipements et la façon dont vous allez étudier et utiliser les données recueillies  Précisez au participant qu’il peut à tout moment arrêter l’observation  Présentez clairement ce que le participant doit faire (penser à haute voix, chercher de l’aide etc., la tâche ou le scénario)  Demander s’il y a des questions préalables  Démarrer l’enregistrement (autorisation)

27 Pendant l’exécution des tâches  Votre attitude  Laisser parler les utilisateurs  Être attentif à ce qui se passe  Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système  Demander aux utilisateurs de commenter en direct –ce qu'ils font et –ce qu'ils vont faire  Poser des questions

28 Exemples de questions  Comment vous faîtes ça ?  Que voulez-vous faire ?  Qu'arrivera-t-il si... ?  Que vient de faire le système ?  Que veut vous dire le système avec ce message ?  Pourquoi le système a-t-il fait cela ?  À quoi vous attendiez-vous ?  Qu'êtes-vous en train de faire maintenant ?

Contre-exemples  Mais pourquoi tu fais-ça ?  Tu ne vois pas que… ?  C’est pas du tout comme cela qu’il faut faire ?  Non là faut que tu cliques… 29

30 Points à observer  Comportement inattendu  Ex: L'utilisateur tape une série imprévue de commandes  Commentaires Ex : "C'est chouette de pouvoir faire ça sans avoir à retaper tout." « Enocre, faut que je retape tout..."  Soupirs, sourires, impatience etc.  Mesurer  Le temps, les clics, le nombre d’étapes, le nombre d’erreurs  Attention  Objectif prioritaire : créer un dialogue avec l'utilisateur  Arrêter la prise de notes si elle gêne le dialogue

31 Debriefing  Principe : discussion avec l’utilisateur  Sur le prototype  Points forts, points faibles, points à améliorer impérativement  Facilité d’exécution des tâches, de compréhension des libellés  Suggestions  Spécifiques au prototype : menus, valeurs par défaut etc.  Sur l’évaluation coopérative  L'enregistrement vous a-t-il gêné ?  Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ?  Avez-vous trouvé le prototype réaliste ?

32 Debriefing (2)  Immédiatement après la séance  Echanger avec le co-évaluateur  Prendre des notes sur les impressions gnérales, les incidents etc.  Conseil : très important on oublie très vite  Revoir les utilisateurs une deuxième fois  Pour vérifier les interprètations  Étudier les changements possibles

33 Analyser les résultats  Classez les résultats  Objets d’interface, navigation, conception générale  Faites ressortir les points positifs et les points négatifs  Tirez les conséquences des évaluations  Modifications à apporter  Module d’aide  Rédiger un rapport  Présenter l’état du système avant  Présenter l’évaluation (les utilisateurs, les tâches, les données recueillies et leur analyse, les résultats )  Présenter les améliorations à apporter (et une nouvelle maquette)

34 Évaluation Cours 5.1 : Évaluer ? Méthodes d’inspection Critères d’évaluation heuristique, scénarios Cours 5.2  Tests avec utilisateurs Les méthodes  Recueil de données  Quelles méthodes choisir ?

35 Observation directe  observer et enregistrer les utilisateurs se servant du système  en laboratoire ou sur le terrain  conseil :  soignez les détails  utilisation  pour détecter les gros problèmes, tests d'utilisabilité  très utilisée en cours de conception  méthode intrusive, complément d'une autre  méthode adaptable au budget Cahier, chronomètre et qualités d’observation Laboratoires d’utilisabilité  Compléments  Entretien d'explicitation, d'auto-confrontation, d'auto-confrontation croisée

36 Laboratoires d’utilisabilité Exemple : EVALAB, université de Lille  Un laboratoire fixe  faculté de médecine de Lille (Pôle Recherche),  équipé de glaces sans tain observations  d'un système d'enregistrement audio-vidéo garder la trace des comportements et verbalisations  Des laboratoires portatifs  effectuer les mêmes types d'enregistrements sur site  Comportent Un convertisseur transformant le signal de l'écran en format vidéo Un microphone Un magnétoscope numérique enregistrant l'audio et la vidéo Un écran de contrôle  Autres : ordinateurs portables, chronomètres, suivi du mouvement des yeux

37 Laboratoire fixe : plan 

38 Laboratoire fixe 

39 Procédure d’observation  Décider ce que l'on veut observer/ mesurer  Objectif général : facilité d’apprentissage  Objectifs opérationnels (si possible mesurables) combien d’utilisateurs savent réaliser la tâche sans erreurs et sans aide au bout de 20 min  Définir une mission spécifique  exécuter une tâche, résoudre un problème, dérouler un scénario  Utiliser au moins 2 observateurs (pour confronter)  Fournir des instructions  pour les observateurs, pour les utilisateurs  Choisir le cadre du test  Labo, terrain (attention aux pb de matériel écran, DD, mémoire)  Demander aux utilisateurs d'effectuer des tâches  Recueillir les observables  Coder les observations  Définir des catégories, évènements sont discrets ou continus  Analyser les résultats

40 Recueil de données (1)  Fiches remplies par les observateurs  pas cher, peu de détails, incomplet  Protocoles verbaux  penser à haute voix (biais), travail avec un pair  pour saisir les plans des utilisateurs, leurs difficultés, leurs réactions  coûteux en temps, nécessite des grilles d'analyse difficiles à mettre au point  études de cas

41 Recueil de données (2)  protocoles vidéo  permet d'intercepter des événements passés inaperçus  encore plus longs et coûteux à dépouiller et à analyser : très coûteux  études de cas et fonction de communication à l'intérieur de l'équipe de conception et à l'extérieur  mouchard électronique  mémorise des événements datés générés par l'utilisateur  Permet l’analyse automatique, permet des calculs, de rejouer une session pour l'analyser  pas cher et non intrusif (normalement) pas toujours bien accepté  ne permettent pas d'inférer les modalités d'utilisation  recueil d'un très grand nombre d'informations mais le problème est de leur donner une signification

42 Magicien d'Oz  utile dans les phases initiales  principe :  un compère humain supplée les déficiences du prototype et simule le futur système  intelligence naturelle pas artificielle  le "Magicien" interprète les entrées de l'utilisateur et contrôle le comportement du système  l'utilisateur a la sensation d'utiliser un "vrai" système  les sessions sont enregistrées  utilisé par exemple  pour recueillir des expertises  pour recueillir des corpus  Ex : Duplàa Emmanuel, Visser Willemien, « e-Ti », expérimentale, Actes IHM’2002

43 Entretiens  utilisés  pour les enquêtes d'opinion (coûteux en temps)  pour le recueil d'expertise  pour l'analyse de besoins et l'étude ergonomique préalable  peuvent être  structurés mêmes questions et mêmes formats pour tout le monde + facile à mener, + facile de comparer  ouverts permettent de saisir des réactions spontanées permettent de saisir la façon de faire de l'utilisateur  technique de l'incident critique  Cf. le cours N°2 et le polycopié de W. Mackay

44 Questionnaires  Intérêts  peu coûteux, rapides à mettre en œuvre et à dépouiller  utilisés pour les enquêtes d'opinions, pour avoir un résumé utile des avis de nombreux utilisateurs  délicats à mettre en œuvre  réponses stéréotypées, questions biaisées (termes, subjectivité, formulation trop restrictive, trop floue)  effet du mode d'administration (papier-crayon, en-ligne, téléphone, entretien)  questions  fermées +Faciles à analyser, faire comparaisons, des classes, grand nombre de questionnaires – Dictent les réponses  ouvertes +comprendre les réponses fermées, donnent des idées –difficiles à dépouiller

45 Préparer une enquête 4 phases :  Définition des objectifs, du public et des moyens  Que cherche-t’on à connaître ? Évitez les enquêtes fourre-tout  Choisir la population cible et sa taille (prévoir des refus)  Modes d’administration Courrier, web -Moins de 20 % de réponses Entretiens, téléphone -Plus cher  Durée, modes de récupération, moyens matériels et humains  Élaboration et administration  Traitement des réponses  Rédaction d’un rapport d’enquête

46 Concevoir les questions  penser au dépouillement  numéroter les questions  adopter des structures parallèles pour les questions  ordre des réponses à choix multiple cohérent (positif vers négatif)  distinguer une réponse moyenne (bof) d'une abstention (je ne sais pas)  inciter les sondés à prendre partie  en évitant les réponses moyennes  en citant des points positifs et négatifs  degré de confiance dans la réponse  contrôle de cohérence  éviter les questions aux réponses prévisibles  se faire assister par quelqu'un de compétent et/ou copier des questionnaires existants    tenir compte des caractéristiques des utilisateurs (age etc.)  Aux USA réponses quantifiées (1 à 10) en France elles sont plutôt qualifiées (mauvais, bon très bon etc.)

47 Biais dans les questionnaires  Prestige  Se faire mal juger  Défense par rapport à des questions personnelles  Réponse suggérées par la formulation de la question  Attraction des réponses positives  Proposer des échelles  Peur de certains mots  Méfiance par rapport aux sondages  Effet de la longueur ou de la complexité du questionnaire

48 Analyse des données  analyses quantitatives  méthodes statistiques  nécessitent une formation  analyses qualitatives  interprétations : se font à l'intérieur d'un cadre de travail théorique nécessitent aussi une formation (socio-psycho)  critiquer vos interprétations, chercher des interprétations alternatives  « Trianguler »  confronter les données obtenues avec plusieurs dispositifs  confronter vos analyses avec des travaux antérieurs ou voisins

49 Évaluations avec utilisateurs

50 Évaluations avec utilisateurs ( 2)  À tous les prix pour s'adapter au budget  tests exploratoires Fixer vous des objectifs précis et quantifiables  évaluations expérimentales faire appel à des spécialistes mise au point de protocoles expérimentaux rigoureux les objectifs, les hypothèses et les variables sont clairement identifiées : analyse a priori les mesures ne sont pas biaisées analyses relevant de l'étude de cas ou de l'étude statistique sont menées de façon fiable  soignez les détails de mises de mise en place  attention en particulier  aux interprétations inévitables : chercher et discuter les interprétations alternatives  aux généralisations

51 Critères de choix d’une méthode  Temps, budget, moments, compétences  Triangulez  Méthodes légères  Interviews  Inspection heuristique, scénarios (+ expert du domaine)  Évaluations coopératives Recommandées pour les informaticiens  Projet à risque : méthodes rigoureuses  Faire appel à des spécialistes : ergonomes, sociologues, voir ethnologues

52 Quelle méthode choisir ?  Utiliser plusieurs méthodes pour croiser les résultats et les interprétations  Dépend des objectifs de l’évaluation, du budget, du temps  Analyse de l’existant  Méthodes d’inspection  Évaluation coopérative  Enquêtes, études de terrain  En cours de conception  Méthodes d’inspection  Évaluation coopérative  Expérimentations contrôlées (alternative de conception)

Atelier d’évaluation du projet  Pour le 6 janvier : rendre un plan d’évaluation  Vos objectifs et ce que vous voulez mesurer  Déroulement Introduction Le(s) scénario(s) proposé(s) et Grille d’observation Debriefing/questionnaire  Pour le 10/2 :  Disposer d’un prototype et mettre en œuvre le plan d’évaluation  Présence obligatoire (à l’heure)  Pour le 13/2 : dossier d’évaluation  Qu’avez-vous appris des tests ? 53

54 En résumé Méthodes d’évaluation sans utilisateurs  Reposent sur des appréciations  Indispensables en cours de conception évaluer les maquettes et prototypes  Rapides, pas chères et efficaces  Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs  Reposent sur la réalisation de tâches  Indispensables pour les problèmes liés au domaine, à l’activité, aux usages  Évaluation coopérative : méthode pour informaticien

55 Évaluation et cycle de développement  un état d'esprit  processus qui débute dès la spécification du logiciel  dès le début se préoccuper des utilisateurs, de leurs activités construire des maquettes et des prototypes -les critiquer -les faire critiquer mener des tests exploratoires informels  plus le cycle de développement avance plus les tests doivent être rigoureux

56 Évaluation et conception  tenir compte des guides, principes, critères ergonomiques, des standards, des normes (ISO, AFNOR), des Design Patterns  cumuler et confronter les diverses données :  croiser les mesures, les avis, les méthodes et les points de vue  créer des relations de confiance avec les utilisateurs et des mécanismes de retours d'informations des utilisateurs vers les concepteurs  adapter les méthodes d'évaluation aux moyens et contraintes de votre projet mais attention aux économies coûteuses

57 L'évaluation au cœur de la conception

58 Une autre représentation…

59 Ref. « pratiques »  Running usability evaluation (Landy & Van Duyne) ldh_end_appdxa-d_1220-uncopyedited.pdf  Brangier E., Barcenilla J., Concevoir un produit facile à utiliser : Adapter les technologies à l’homme, Editions d’organisation, (ch 5)  cours et des TP sur la conception participative de Wendy Mackay à la conférence IHM’2002, Poitiers, Novembre 2002  Cours Alain Giboin   Cours Beaudoin-Lafon  hor=cours hor=cours  Cours Wendy Mackay   Corinne Ratier (CNRS)   Cours d’ergonomie en ligne 

60 Take Home Messages  L’évaluation au cœur de la conception  Pensez aux critères d’évaluation du logiciel dès la phase de spécification  Même sur des petits projets, organisez très tôt des tests informels avec des utilisateurs finaux  Mieux vaut des tests informels que pas de tests du tout  Triangulez, croisez méthodes et résultats  Évaluation coopérative  Ne vous contentez pas des opinions  Observez des gens qui accomplissent des actions