Évaluation des logiciels interactifs (2) Cours 3 (partie 2) Méthodes impliquant les utilisateurs M2-EIAH/DU-TICE, Paris 6 Elisabeth.Delozanne@upmc.fr http://www.lutes.upmc.fr/delozanne/2008-2009/M2-P6-EIAH-Accueil.htm

Évaluation Cours 3.1 : Évaluer ? Méthodes d’inspection Critères d’évaluation heuristique, scénarios Cours 3.2 Tests avec utilisateurs Les méthodes Recueil de données Quelles méthodes choisir ?

(Rappel) cours 3.1 : Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Fondées sur des scénarios ou sur des heuristiques Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à l’activité, aux usages

Méthodes d’évaluation Tests d’utilisabilité (Usability Testing) Des utilisateurs accomplissent une tâche avec un système (ou un prototype, une maquette) Méthodes d’inspection Des gens expriment une opinion

Tests d’utilisabilité Qu’est-ce que c’est ? Monter des expérimentations pour obtenir des informations sur un problème de conception Quand en faire ? Tout au long du cycle de conception Comment en faire ? A l’origine, des méthodes de psychologie expérimentale avec des protocoles et des analyses statistiques rigoureuses Maintenant des techniques plus « légères » N’apportent pas de certitudes scientifiques Apportent des informations qualitatives ou quantitatives indispensables à la conception Principe simple : Trouver des utilisateurs Étudier comment ils utilisent le produit et recueillir des données Analyser les données et en dégager des décisions Où trouver des informations complémentaires ?

Les différentes méthodes Expérimentations contrôlées Réf : http://wiki.lri.fr:8000/fondihm/cours.wiki?cmd=get&anchor=cours Quasi-expérience Étude de cas Études de terrain (ergonomiques, ethnographiques) Évaluation coopérative (Giboin) http://www-sop.inria.fr/acacia/ESSI/ESSI-Eval-Coo.ppt

Expériences contrôlées Discipline : psychologie expérimentale But : tester une hypothèse ou étudier des corrélations produire une connaissance scientifique Conception : Spécifier l'hypothèse : qu'est-ce qu'on étudie ? Spécifier les variables indépendantes : qu'est-ce qui varie ? Opérationnaliser le comportement comment on va étudier ces variations ? Spécifier les variables dépendantes qu'est-ce qu'on mesure ? Spécifier les procédures répartition des groupes rôle de l'expérimentateur etc. Identifier les tests statistiques appropriés Y a-t-il une différence ?

Exemple (1) Mireille Bétrancourt, Effet de trois modalités d'intégration texte figure dans les systèmes multi-média, IHM'94, Lille, France, 8-9 Décembre 1994, p. 219-224 Spécifier l'hypothèse qu'est-ce qu'on étudie ? le format de présentation des informations a une influence sur l'apprentissage Spécifier les variables indépendantes qu'est-ce qui varie ? trois formats de présentation du matériel d'apprentissage texte et figure séparés présentation intégrée (texte et figure côte à côte) texte en escamot (pop-up), bulles d'informations Opérationnaliser le comportement Comment étudier cela ? une tâche de mémorisation et une tâche de résolution de problème

Exemple (2) Spécifier les variables dépendantes qu'est-ce qu'on mesure ? temps d'apprentissage et mémorisation (nombre de termes correctement replacés sur le graphique) Spécifier les procédures répartition des groupes expérimentaux/ de contrôle rôle de l'expérimentateur etc. ex(résumé). : Test individuel pour 24 étudiants répartis aléatoirement en 3 groupes ; consigne : étudier le graphique et le commentaire; tâche : on présente le graphique et il faut donner le commentaire) Identifier les tests statistiques appropriés ex. : la différence entre le groupe escamot et le groupe conventionnel est significative (f = 2, 94 et p = .028)

Quelques problèmes Méthodologie de comparaison entre groupe expérimental et groupe témoin exposer les sujets à toutes les valeurs de la variable indépendante Problèmes de fiabilité contrôle de l'affectation aléatoire dans les groupes, des conditions d'expérimentation reproductibilité de l'expérience, différences individuelles ? utiliser un nombre "raisonnable" de sujets utiliser des statistiques appropriées et déterminer le degré de confiance p Problèmes de validité et en dehors du laboratoire ? utilisateurs représentatifs ? cobayes professionnels ? contexte social est-il indifférent ? tâches typiques ? environnement matériel indifférent ? Il est conseillé de faire une pré-expérimentation pour préparer une expérimentation Attention : • Pour présenter une expé. contrôlée dans un papier à publier il y a un format de présentation à suivre impérativement • Ne vous lancer pas seul(e) pauvre informaticien(ne) dans une expe. contrôlée…C ’est aussi un métier qui s ’apprend • effet Hawthorne : groupe expérimental est chouchouté, valorisé sur le groupe expérimental on met plus de moyens que sur le groupe témoin meilleur enseignant, meilleur matériel etc. •en EIAO effet contrat, effet topaze effet jourdain

Expériences contrôlées Manipuler des variables indépendantes Observer les effets sur les variables dépendantes Tirer des conclusions à partir de tests statistiques significatifs Réalisées en labo permettent un plus grand contrôle des variables ne peuvent pas être généralisées à des situations réelles Utilisées par des spécialistes (psychologues, ergonomes) explorer une nouvelle technique d'interaction choisir entre des alternatives de conception évaluation d'un système comparer deux systèmes comparer des techniques d'évaluation ! Laboratoire d’utilisabilité lourds portables explorer une nouvelle technique d'interaction interaction bi-manuelle choisir entre des alternatives de conception menu pop-up ou déroulants évaluation d'un système les utilisateurs peuvent -ils réaliser une tâche comparer deux systèmes Mac/PC comparer des techniques d'évaluation ! Design walkthroughs vs GOMS

Quasi-expériences But : Cf. expérimentation contrôlée mais en situation réelle Problème : on ne contrôle pas tous les facteurs Solution : Rendre explicites les menaces d'invalidité, identifier les sources potentielles d’interprétation erronée Trianguler, trianguler, trianguler : faire varier le dispositif expérimental les méthodes expériences études de cas interviews recouper les informations Trianguler : utiliser des paradigmes et des méthodes multiples et recouper pour obtenir la représentation la plus large possible de l ’activité de l ’utilisateur • en français on parle d'expérimentation sur le terrain ou d'observations sur le terrain • pour en savoir plus dans le champ de l’éducation 1) travail en didactique : Un article intéressant pour les problèmes méthodologiques et les précautions méthodologiques pour ce genre d'expérimentations concernant des apprentissages Aline Robert, Problèmes méthodologiques en didactique des mathématiques, Recherches en Didactiques des Mathématiques, vol. 12, n°1, p. 33-58, 1992 2) également un Special issue sur l'évaluation des logiciels éducatifs J. of AIED, special issue on evaluation, vol 4 n° 2/3, 1993 3) exemple: article primé à AIED 99 Anh NGUYEN-XUAN, Anne BASTIDE (Universite de Paris 8), Jean-Francois NICAUD (Universite de Nantes), Learning to Solve Polynomial Factorization Problems : by solving problems and by studying exemples of Problem Solving, In S. Lajoie, M. Vivet (eds), Proceedings of Artificial Intelligence in Education, Le Mans Juillet 1999, IOS Press, Amsterdam, 1999, p. 215- 222. 4 groupes de 20 élèves de seconde travaillent avec un logiciel pour apprendre l’algèbre : deux groupes étudient des exercices corrigés deux groupes résolvent eux-mêmes les exercices Un pré-test ne montraient pas de différence significative entre leur performance ; après le travail avec le logiciel, ils font un post test avec des exercices papiers crayon et les élèves qui ont eux-mêmes résolus les problèmes réussissent mieux

Études de cas pas du tout étude statistique compréhension profonde d'un sujet, d’une activité difficile à mener généralement un expérimentateur pose des questions enregistrement vidéo plusieurs personnes étudient et discutent l'enregistrement aide à émettre des hypothèses à expliciter des modèles à comprendre des difficultés, des fonctionnements, une situation à repérer des régularités, des invariants Exemple: Très beau papier pour étudier en EIAO le rapport complexe entre interface et apprentissage • Celia Hoyles, Lulu Healy, Un micro-monde pour la symétrie axiale : une base de construction de concepts mathématiques ?, Revue Sciences et Techniques Éducatives, vol 4 n°1, numéro spécial Interactions homme-machine et apprentissage coordonné par L.-O. Pochon et M. Grossein, p. 67-97 • très utilisée en didactique en ethnotruc...

Études de terrain Les observations de terrains sont souvent la meilleure façon d’anticiper les besoins de s’assurer de l’utilisabilité d’un produit Pour un prototype assez avancé, il s’agit de le tester dans l’environnement de travail habituel des utilisateurs Mises en œuvre par des professionnels (e.g. ergonomes, ethnologues)

Evaluation coopérative (Giboin) Méthode conçue par des spécialistes pour être mise en oeuvre par des informaticiens Objectif : détecter des problèmes potentiels pour améliorer la conception Étapes Recruter des utilisateurs Préparer l’évaluation Réaliser l’évaluation : interagir avec les utilisateurs Analyser les résultats de l’évaluation Tirer les conséquences de l’évaluation Rédiger le compte rendu de l’évaluation

Recruter des utilisateurs Dimensions des utilisateurs Statut, niveau d’expérience, préférence Typologie des utilisateurs Occasionnel, intensif, répété Nombre d’utilisateurs Entre 1 et 5 à chaque itération Recrutement Annonces, financement, autorisations

Préparation de l’évaluation Définir les tâches : Représentatives des tâches réelles Permettre une exploration minutieuse de l’interface Préparer une feuille de tâches à effectuer par l’utilisateur Donnée à l’utilisateur au début de la séance Tâches précises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master Tâches réalisables avec le prototype Préparez une grille d’observation avec les points que vous voulez observer

Conseils Énoncer clairement les tâches Evaluer le temps nécessaire, Décider d'un temps maximum pour chaque tâche Ajouter des tâches supplémentaires plus simples pour les utilisateurs n'ayant pas terminé Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu Préparer des questions Tester la prise en main puis tester une nouvelle fois en fin de séance Distinguer : découverte et utilisation Double examen des tâches importantes En début et en fin de séance

À Vérifier Les tâches choisies sont-elles réalisables à l'aide du prototype ? Les tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous vous intéressez ? Combien de temps avez-vous alloué pour chaque utilisateur ? À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? L'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ?

Avant l’évaluation Vérifiez que tout est en place Le prototype est-il prêt ? L’environnement est-il tranquille ? Le matériel est-il prêt pour enregistrer ce que dit l’utilisateur ? Ce qu’il fait ? Vérifiez le fonctionnement Chronomètre ? Une feuille préformatée est-elle prête pour prendre des notes ? Liste des questions à poser ? Phrase pour accueillir l’utilisateur ? Avez-vous testé vous-même la feuille de tâches pour la vérifier ?

Déroulement (1) Introduction (5 min) Pourquoi évaluer, pourquoi vous, quelle suite Présentation du déroulement de l’évaluation (3 min) Donner la feuille de tâches, lui demander de commenter à voix haute ses actions Scénario de tâches pour l’exploration de l’activité (60 min maxi) Questionnaire d’identification du testeur (2 min) Distinguer : familiarisation et réalisation des tâches Observations et prise de notes sur les commentaires, le comportement, les réactions, l’interaction On peut aussi chronométrer ou compter (des erreurs, des clics…) ou filmer Aider l’utilisateur s’il pose une question

Déroulement (2) Debriefing (10 min) Fonctionnalité non couvertes, points positifs et négatifs Conclusion (10 min) Points forts, points faibles, ce qu’il faut impérativement garder/changer Listes des difficultés et propositions de solutions Questions spécifiques Remercier Temps maxi : 1 h 30 utilisateur

Conseils Conduite de la séance : mode informel (discussion libre) Evitez les feuilles de consignes Si possible 2 observateurs : Une conduit l’entretien l’autre prend des notes et s’occupe de la technique Statut des utilisateurs : évaluateurs et non sujets d’expérience Ce n’est pas le participant qui est évalué mais le système

À l’arrivée des utilisateurs Mettez les participants en confiance Présentez vous et énoncez vos objectifs Regarder en quoi le système leur facilite ou leur complique la tâche, peut les induire en erreur Et non relever leurs erreurs Garantissez l’anonymat et la sécurité Décrivez les équipements et la façon dont vous allez étudier et utiliser les données recueillies Précisez au participant qu’il peut à tout moment arrêter l’observation Présentez clairement ce que le participant doit faire (penser à haute voix, chercher de l’aide etc., la tâche ou le scénario) Demander s’il y a des questions préalables Démarrer l’enregistrement (autorisation)

Pendant l’exécution des tâches Votre attitude Laisser parler les utilisateurs Être attentif à ce qui se passe Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système Demander aux utilisateurs de commenter en direct ce qu'ils font et ce qu'ils vont faire Poser des questions

Exemples de questions Comment faîtes ça ? Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?

Points à observer Comportement inattendu Ex: L'utilisateur tape une série imprévue de commandes Commentaires Ex : "C'est chouette de pouvoir faire ça sans avoir à retaper tout." « Enocre, faut que je retape tout..." Soupirs, sourires, impatience etc. Mesurer Le temps, les clics, le nombre d’étapes, le nombre d’erreurs Attention Objectif prioritaire : créer un dialogue avec l'utilisateur Arrêter la prise de notes si elle gêne le dialogue

Debriefing Principe : discussion avec l’utilisateur Sur le prototype Points forts, points faibles, points à améliorer impérativement Facilité d’exécution des tâches, de compréhension des libellés Suggestions Spécifiques au prototype : menus, valeurs par défaut etc. Sur l’évaluation coopérative L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?

Debriefing (2) Immédiatement après la séance Echanger avec le co-évaluateur Prendre des notes sur les impressions gnérales, les incidents etc. Conseil : très important on oublie très vite Revoir les utilisateurs une deuxième fois Pour vérifier les interprètations Étudier les changements possibles

Analyser les résultats Classez les résultats Objets d’interface, navigation, conception générale Faites ressortir les points positifs et les points négatifs Tirez les conséquences des évaluations Modifications à apporter Module d’aide Rédiger un rapport Présenter l’état du système avant Présenter l’évaluation (les utilisateurs, les tâches, les données recueillies et leur analyse, les résultats ) Présenter les améliorations à apporter (et une nouvelle maquette)

Évaluation Cours 3.1 : Évaluer ? Méthodes d’inspection Critères d’évaluation heuristique, scénarios Cours 3.2 Tests avec utilisateurs Les méthodes Recueil de données Quelles méthodes choisir ?

Observation directe observer et enregistrer les utilisateurs se servant du système en laboratoire ou sur le terrain conseil : soignez les détails utilisation pour détecter les gros problèmes, tests d'utilisabilité très utilisée en cours de conception méthode intrusive, complément d'une autre méthode adaptable au budget Cahier, chronomètre et qualités d’observation Laboratoires d’utilisabilité Compléments Entretien d'explicitation, d'auto-confrontation, d'auto-confrontation croisée • Exemple : test de la maquette Hyper-Elise (thèse E. Delozanne), test de Pépitest (Jean et al Cachan 97) • Mise en place : - Décider ce que l'on veut observer/ mesurer - Définir une mission spécifique exécuter une tâche, résoudre un problème, dérouler un scénario - Utiliser au moins 2 observateurs pour enregistrer le comportement (confronter) - Fournir des instructions pour les observateurs pour les utilisateurs - Choisir le cadre du test labo terrain (attention aux pb de matériel écran, DD, mémoire) - Demander aux utilisateurs d'effectuer des tâches les observateurs remplissent des fiches pas cher, peu de détails, incomplets les utilisateurs parlent à haute voix (biais) (enregistrement audio) difficile à obtenir (sauf en EIAO, travail en binôme fréquent, garçon fille) difficile analyser on recueille les traces des sessions pas cher et facile à réaliser difficile à analyser éventuellement video intrusif ? coûteux en temps d'analyse - Coder les observations définir des catégories, évènements sont discrets ou continus

Laboratoires d’utilisabilité Exemple : EVALAB, université de Lille Un laboratoire fixe faculté de médecine de Lille (Pôle Recherche), équipé de glaces sans tain observations d'un système d'enregistrement audio-vidéo garder la trace des comportements et verbalisations Des laboratoires portatifs effectuer les mêmes types d'enregistrements sur site Comportent Un convertisseur transformant le signal de l'écran en format vidéo Un microphone Un magnétoscope numérique enregistrant l'audio et la vidéo Un écran de contrôle Autres : ordinateurs portables, chronomètres, suivi du mouvement des yeux

Laboratoire fixe : plan

Laboratoire fixe                                                                    

Procédure d’observation Décider ce que l'on veut observer/ mesurer Objectif général : facilité d’apprentissage Objectifs opérationnels (si possible mesurables) combien d’utilisateurs savent réaliser la tâche sans erreurs et sans aide au bout de 20 min Définir une mission spécifique exécuter une tâche, résoudre un problème, dérouler un scénario Utiliser au moins 2 observateurs (pour confronter) Fournir des instructions pour les observateurs, pour les utilisateurs Choisir le cadre du test Labo, terrain (attention aux pb de matériel écran, DD, mémoire) Demander aux utilisateurs d'effectuer des tâches Recueillir les observables Coder les observations Définir des catégories, évènements sont discrets ou continus Analyser les résultats Objectif général

Recueil de données (1) Fiches remplies par les observateurs pas cher, peu de détails, incomplet Protocoles verbaux penser à haute voix (biais), travail avec un pair pour saisir les plans des utilisateurs, leurs difficultés, leurs réactions coûteux en temps, nécessite des grilles d'analyse difficiles à mettre au point études de cas Protocoles verbaux : entretiens, interviews : peuvent introduire des biais "think aloud" : idem ; très fatiguant pour l'utilisateur ; doit être souvent confirmés par un entretien par la suite Mouchard : • exemple de calculs possibles avec des informations provenant d'un mouchard des fréquences d'utilisation, d'erreurs, de demandes d'aide... de scénarios d'utilisation voir le rapport de DEA de Christophe Deprés 1996 : graphique avec des pics de circulation dans Roboteach et article à Cachan voir aussi le rapport de DEA de Julien Contamines 1999 • si l'objectif de l'observation est de déterminer des difficultés potentielles le mouchard permet de détecter une difficulté mais pour la comprendre il faut aller regarder la video, ou le décryptage de la cassette audio ou interroger l'utilisateur

Recueil de données (2) protocoles vidéo permet d'intercepter des événements passés inaperçus encore plus longs et coûteux à dépouiller et à analyser : très coûteux études de cas et fonction de communication à l'intérieur de l'équipe de conception et à l'extérieur mouchard électronique mémorise des événements datés générés par l'utilisateur Permet l’analyse automatique, permet des calculs, de rejouer une session pour l'analyser pas cher et non intrusif (normalement) pas toujours bien accepté ne permettent pas d'inférer les modalités d'utilisation recueil d'un très grand nombre d'informations mais le problème est de leur donner une signification Protocoles verbaux : entretiens, interviews : peuvent introduire des biais "think aloud" : idem ; très fatiguant pour l'utilisateur ; doit être souvent confirmés par un entretien par la suite Mouchard : • exemple de calculs possibles avec des informations provenant d'un mouchard des fréquences d'utilisation, d'erreurs, de demandes d'aide... de scénarios d'utilisation voir le rapport de DEA de Christophe Deprés 1996 : graphique avec des pics de circulation dans Roboteach et article à Cachan voir aussi le rapport de DEA de Julien Contamines 1999 • si l'objectif de l'observation est de déterminer des difficultés potentielles le mouchard permet de détecter une difficulté mais pour la comprendre il faut aller regarder la video, ou le décryptage de la cassette audio ou interroger l'utilisateur

Magicien d'Oz utile dans les phases initiales principe : un compère humain supplée les déficiences du prototype et simule le futur système intelligence naturelle pas artificielle le "Magicien" interprète les entrées de l'utilisateur et contrôle le comportement du système l'utilisateur a la sensation d'utiliser un "vrai" système les sessions sont enregistrées utilisé par exemple pour recueillir des expertises pour recueillir des corpus Ex : Duplàa Emmanuel, Visser Willemien, « e-Ti », expérimentale, Actes IHM’2002 • film de 1939 : tous les gens sont terrorisés par le monstre ; une petite fille soulève le rideau et découvre un vieux monsieur qui manipule le monstre et répond pour lui • exemple d'utilisation : N. Balacheff, S. Tahri Télé-Cabri Duplàa Emmanuel, Visser Willemien, « e-Ti », prototype d’assistance à la planification d’itinéraires multimodaux,Spécifications ergonomiques pour une application Web sur la base d’une démarche expérimentale, Actes IHM’2002

Entretiens utilisés pour les enquêtes d'opinion (coûteux en temps) pour le recueil d'expertise pour l'analyse de besoins et l'étude ergonomique préalable peuvent être structurés mêmes questions et mêmes formats pour tout le monde + facile à mener, + facile de comparer ouverts permettent de saisir des réactions spontanées permettent de saisir la façon de faire de l'utilisateur technique de l'incident critique Cf. le cours N°2 et le polycopié de W. Mackay Exemple de question ouverte : Décrivez comment vous utilisez la messagerie question dirigée : Combien de messages avez-vous reçus ? Technique de l'évènement critique : • Interroger un utilisateur à propos d'un évènement récent pour étudier les problèmes spécifiques rencontrés par les utilisateurs • Procédure : - Interview d'un utilisateur dans son environnement de travail (in the Nature) - Lui demander de se souvenir d'un problème particulier récent (moins d'une semaine) - Lui demander de décrire les incidents en détails - Lui demander ce qui dans l'incident est habituel et ce qui ne l'est pas **** • Analyse les incidents sont regroupés en une classification hiérarchique ex: erreur de commande C dans le contexte c1 erreur de commande C dans le contexte c2 puis problèmes plus généraux erreur sur commande interprétation erronée d'affichage • Avantage : débroussaillage de gros problèmes ; permet de trouver des solutions générales à des problèmes et non de faire du rafistolage ponctuel • Inconvénients : trop macroscopique

Questionnaires Intérêts peu coûteux, rapides à mettre en œuvre et à dépouiller utilisés pour les enquêtes d'opinions, pour avoir un résumé utile des avis de nombreux utilisateurs délicats à mettre en œuvre réponses stéréotypées, questions biaisées (termes, subjectivité, formulation trop restrictive, trop floue) effet du mode d'administration (papier-crayon, en-ligne, téléphone, entretien) questions fermées Faciles à analyser, faire comparaisons, des classes, grand nombre de questionnaires Dictent les réponses ouvertes comprendre les réponses fermées, donnent des idées difficiles à dépouiller Cf. quelques exemples dans les documents joints Quelques conseils pour la conception d'un questionnaire : - Pensez à la façon • de diffuser le questionnaire et de le récupérer • de le dépouiller - Conception des questions • adopter des structures parallèles pour les questions • ordre des réponses à choix multiple cohérent (positif vers négatif) • distinguer une réponse moyenne (bof) d'une abstention (je ne sais pas) • penser à demander au répondeur un degré de confiance dans sa réponse • poser plusieurs fois la même question de façon différente pour comparer les résultats • éviter les questions aux réponses prévisibles • se faire assister par quelqu'un de compétent et/ou copier des questionnaires existants • penser au dépouillement et au traitement - La formulation des questions et le mode d'administration sont extrêmement important - Aux USA réponses quantifiées ( échelle de 1 à 10) en France elles sont plutôt qualifiées (bon très bon etc.)

Préparer une enquête 4 phases : Définition des objectifs, du public et des moyens Que cherche-t’on à connaître ? Évitez les enquêtes fourre-tout Choisir la population cible et sa taille (prévoir des refus) Modes d’administration Courrier, web Moins de 20 % de réponses Entretiens, téléphone Plus cher Durée, modes de récupération, moyens matériels et humains Élaboration et administration Traitement des réponses Rédaction d’un rapport d’enquête

Concevoir les questions penser au dépouillement numéroter les questions adopter des structures parallèles pour les questions ordre des réponses à choix multiple cohérent (positif vers négatif) distinguer une réponse moyenne (bof) d'une abstention (je ne sais pas) inciter les sondés à prendre partie en évitant les réponses moyennes en citant des points positifs et négatifs degré de confiance dans la réponse contrôle de cohérence éviter les questions aux réponses prévisibles se faire assister par quelqu'un de compétent et/ou copier des questionnaires existants http://www.dsi.cnrs.fr/bureau_qualite/ergonomie http://www.lap.umd.edu/lap/ tenir compte des caractéristiques des utilisateurs (age etc.) Aux USA réponses quantifiées (1 à 10) en France elles sont plutôt qualifiées (mauvais, bon très bon etc.)

Biais dans les questionnaires Prestige Se faire mal juger Défense par rapport à des questions personnelles Réponse suggérées par la formulation de la question Attraction des réponses positives Proposer des échelles Peur de certains mots Méfiance par rapport aux sondages Effet de la longueur ou de la complexité du questionnaire

Analyse des données analyses quantitatives méthodes statistiques nécessitent une formation analyses qualitatives interprétations : se font à l'intérieur d'un cadre de travail  théorique nécessitent aussi une formation (socio-psycho) critiquer vos interprétations, chercher des interprétations alternatives « Trianguler » confronter les données obtenues avec plusieurs dispositifs confronter vos analyses avec des travaux antérieurs ou voisins pour ceux qui s'intéressent à l'enseignement un article très intéressant sur les précautions méthodologiques pour préparer et analyser une expérience l'article d'Aline Robert ou celui de Celia Hoyles (déjà cités)

Évaluations avec utilisateurs (1) Indispensables

Évaluations avec utilisateurs Bilan 2 À tous les prix pour s'adapter au budget tests exploratoires Fixer vous des objectifs précis et quantifiables évaluations expérimentales faire appel à des spécialistes mise au point de protocoles expérimentaux rigoureux les objectifs, les hypothèses et les variables sont clairement identifiées : analyse a priori les mesures ne sont pas biaisées analyses relevant de l'étude de cas ou de l'étude statistique sont menées de façon fiable soignez les détails de mises de mise en place attention en particulier aux interprétations inévitables : chercher et discuter les interprétations alternatives aux généralisations Beaucoup de travaux scientifiques présentant des petits projets dans les congrés se terminent par des tests informels où les cherchuers présentent une utilisation par un groupe d’étudiants. Exemple du stage de DEA de Dorothée Rasseneur et du logiciel AMICO. Il ne s’agit évidemment pas d’expérimentation mais même des tests informels valent mieux que pas de test du tout. Ils donnent souvent des idées et montrent des difficultés que le concepteur n’avait pas anticipés. Les tests informels sont aussi très utile pour préparer une expérimentation en vraie grandeur. Au pire tester vos idées sur votre voisin de bureau, votre binôme de DEA mais faites des tests ; ne vous fiez pas qu’à votre bon sens.

Critères de choix d’une méthode Temps, budget, moments, compétences Triangulez Méthodes légères Interviews Inspection heuristique, scénarios (+ expert du domaine) Évaluations coopératives Recommandées pour les informaticiens Projet à risque : méthodes rigoureuses Faire appel à des spécialistes : ergonomes, sociologues, voir ethnologues

Quelle méthode choisir ? Utiliser plusieurs méthodes pour croiser les résultats et les interprétations Dépend des objectifs de l’évaluation, du budget, du temps Analyse de l’existant Méthodes d’inspection Évaluation coopérative Enquêtes, études de terrain En cours de conception Expérimentations contrôlées (alternative de conception)

En résumé Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type « amateur » Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à l’activité, aux usages Évaluation coopérative : méthode pour informaticien

Évaluation et cycle de développement un état d'esprit processus qui débute dès la spécification du logiciel dès le début se préoccuper des utilisateurs, de leurs activités construire des maquettes et des prototypes les critiquer les faire critiquer mener des tests exploratoires informels plus le cycle de développement avance plus les tests doivent être rigoureux Senach 90 "L'évaluation […] constitue un processus parallèle à la conception, […] ne peut être réduite à une simple étape ponctuelle" Kolski 1996 p. 271 "L' évaluation relève d'un état d'esprit qui doit se retrouver tout au long des étapes du cycle de vie du système interactif concerné et où les conditions d'évaluation peuvent varier d'une semaine à l'autre sous les contraintes industrielles". La conception d'interface est par essence pluridisciplinaire : ne pas se prendre pour un ergonome ou un graphiste ou un expert du domaine faire appel à des professionnels est un investissement rentable appliquer les règles de styles, normes et critères jouer son rôle d'informaticien dans la conception inventer des solutions, proposer des alternatives informer sur les contraintes techniques mais aussi sur l'état actuel ou proche de la technique réaliser des prototypes, réaliser le produit tester ses idées auprès de vrais utilisateurs dans un contexte réel le plus tôt possible dans la conception

Évaluation et conception tenir compte des guides, principes, critères ergonomiques, des standards, des normes (ISO, AFNOR), des Design Patterns cumuler et confronter les diverses données : croiser les mesures, les avis, les méthodes et les points de vue créer des relations de confiance avec les utilisateurs et des mécanismes de retours d'informations des utilisateurs vers les concepteurs adapter les méthodes d'évaluation aux moyens et contraintes de votre projet mais attention aux économies coûteuses

L'évaluation au cœur de la conception Cycle de vie en étoile Adapté par Joëlle Coutaz de Hix et Hartson : Developping User Interface : Ensuring Usability through Product and Process, 1993, New-York, John Wiley.

Une autre représentation…

Ref. « pratiques » Running usability evaluation (Landy & Van Duyne) http://guir.berkeley.edu/courses/cs160/2002_spring/readings_files/vldh_end_appdxa-d_1220-uncopyedited.pdf Brangier E., Barcenilla J., Concevoir un produit facile à utiliser : Adapter les technologies à l’homme, Editions d’organisation, 2003. (ch 5) cours et des TP sur la conception participative de Wendy Mackay à la conférence IHM’2002, Poitiers, Novembre 2002 Cours Alain Giboin http://www-sop.inria.fr/acacia/ESSI/ESSI-Eval-Coo.ppt Cours Beaudoin-Lafon http://wiki.lri.fr:8000/fondihm/cours.wiki?cmd=get&anchor=cours Cours Wendy Mackay http://www-ihm.lri.fr/~mackay/ Corinne Ratier (CNRS) http://www.dsi.cnrs.fr/bureau_qualite/ergonomie Cours d’ergonomie en ligne http://www.univ-pau.fr/~lompre

Take Home Messages L’évaluation au cœur de la conception Pensez aux critères d’évaluation du logiciel dès la phase de spécification Même sur des petits projets, organisez très tôt des tests informels avec des utilisateurs finaux Mieux vaut des tests informels que pas de tests du tout Triangulez, croisez méthodes et résultats Évaluation coopérative Ne vous contentez pas des opinions Observez des gens qui accomplissent des actions