La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf.

Présentations similaires


Présentation au sujet: "1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf."— Transcription de la présentation:

1 1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf. cours 1 bis) Méthodes impliquant les utilisateurs partie 2

2 2 Méthodes dévaluation Méthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tâche

3 3 Plan du cours 5 Évaluation des logiciels interactifs partie 1 : Évaluer ? Votre projet IHM Évaluation heuristique (septembre) Mise en place dune revue de conception (aujourdhui) Évaluation coopérative (atelier fin janv.) Méthodes dinspection ? Revue de conception Évaluation heuristique partie 2 : Méthodes des tests utilisateurs Quelles méthodes choisir ?

4 Évaluation et conception itérative (cours de James Landay)

5 5 Projet1 : Évaluer la concurrence Quand ? Moments d'évaluation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidité de prise en main, temps de saisie des informations, résumé des saisies Comment ? Inspection heuristique (critères, scénarios) Évaluation coopérative À quel coût ? Rapide : quelques heures Bon marché

6 6 Projet2 : Évaluer un scénario de conception Quand ? Moments d'évaluation : en cours de conception (aujourdhui) Pourquoi ? Objectifs : détecter des problèmes dutilisabilité Quoi ? Un scénario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) Évaluation par des pairs À quel coût ? Rapide : une heure Bon marché

7 7 Projet3 : Évaluer un prototype Quand ? Moments d'évaluation : fin dune itération (Fin Janvier) Pourquoi ? Objectifs : tester lutilisabilité Quoi ? Variables cibles : temps de prise en main, nombre de tâches complétées/abandonnées, nombre derreurs/hésitation, satisfaction Comment ? Évaluation coopérative À quel coût ? Rapide : quelques heures Assez bon marché

8 8 Évaluation : Définitions étudier les rapports entre la conception et l'utilisation a priori, formative (conception) identifier ou prévoir les besoins, les scénarios dutilisation, les difficultés potentielles ou réelles des utilisateurs donner et évaluer des idées a posteriori, sommative (usage) caractériser les points forts et les points faibles d'un système interactif préparer les évolutions produire des connaissances

9 Moments & Objectifs en cours de conception analyse de besoins, compréhension des situations, étude de lexistant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans lactivité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité

10 Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité, la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse lutilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de lassistance la logique du travail les opinions ou les attitudes

11 Évaluer comment ? Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles implicites (méthodes dinspection) explicites (formels, approches automatiques) Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs (en situation réelle ou en laboratoire) Méthode d'évaluation coopérative (cours 5.2) Tests d'utilisabilité, expérimentation contrôlée (N. Mandrian, W. Mackay)

12 12 Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost » Culture de lévaluation chez les informaticiens Détection des gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études dutilisabilité ? (ROI)

13 Approches analytiques Comparaison avec un "modèle de référence" (sans utilisateurs) Modèles implicites : approches informelles Méthodes dinspection (cours 1) Méthodes « low cost » Modèles explicites : approches formelles (ou semi-formelles) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales

14 14 Les méthodes dinspection Inventaire jugements dexperts grilles dévaluation revues de conception (design walkthrough) Techniques scénarios heuristiques, des recommandations ou des critères Avantages Pas cher et rapides (~ une journée) Faciles à utiliser (détecter les erreurs flagrantes en 2 à 4 h) Inconvénients Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

15 15 Combien dexperts ? [Nielsen 1993] % Problèmes détectés Nombre d évaluateurs Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices 15

16 16 ROI (Return On Investment) problems foundbenefits / cost [Canny 2004]

17 Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception Objectif : identifier des problèmes (pas les résoudre) Durée : limitée à 1 h (fatigue) 5 rôles : Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation

18 Grilles d'évaluation principes Évaluation d'après une liste des propriétés d'une bonne interface Notation systématique sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ? interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses notation hétérogénéité de ce qui est noté : règle des 80/20 (ou 90/10) ne permet pas -de comprendre la nature du problème rencontré -de hiérarchiser les difficultés Avantages : utile pour faire des comparaisons

19 19 Retenir Les différentes méthodes dévaluation sans utilisateurs Jugement dexperts Inspection heuristique (critères) Revue de conception (scénarios) Au moins un jeu de critères ergonomiques Par exemple ceux de lINRIA Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

20 20 Take home messages (partie 1) Méthodes dévaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent déliminer les erreurs de conception de type « amateur » En projet Évaluation heuristique (inspection avec un jeu de critères) Revue de conception (scénarios) Méthodes dévaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à lactivité, aux usages

21 21 Méthodes dévaluation Retenir Méthodes dinspection Des gens expriment une opinion Tests utilisateurs Des utilisateurs accomplissent une tâche

22 22 Évaluation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Méthodes impliquant les utilisateurs Cours 5 (partie 2)

23 23 Évaluation Cours 5.1 : Évaluation sans utilisateurs Évaluer ? Méthodes dinspection Cours 5.2 : Évaluation avec utilisateurs Tests avec utilisateurs Les méthodes Recueil de données Quelles méthodes choisir ?

24 24 Tests dutilisabilité Quest-ce que cest ? Expérimentations pour obtenir des informations sur un problème de conception Quand ? Tout au long du cycle de conception En savoir plus ? En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, B A la bibliothèque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5

25 Comment ? A lorigine méthodes de psychologie expérimentale protocoles et des analyses statistiques rigoureuses Maintenant techniques plus « légères » pas de certitudes scientifiques informations qualitatives ou quantitatives indispensables à la conception Principe simple : Trouver des utilisateurs Étudier comment ils utilisent le produit et recueillir des données Analyser les données et en dégager des décisions 25

26 26 Les différentes méthodes Expérimentations contrôlées Quasi-expérience Étude de cas Études de terrain (ergonomiques, ethnographiques) Évaluation coopérative (Giboin)

27 27 Évaluation coopérative (Giboin) Méthode conçue par des ergonomes pour être mise en œuvre par des non ergonomes (informaticiens) Objectif : détecter des problèmes potentiels pour améliorer la conception informer la conception observer les utilisateurs agir, pas leur demander leur avis Étapes 1.Recruter des utilisateurs 2.Préparer lévaluation 3.Réaliser lévaluation : interagir avec les utilisateurs 4.Analyser les résultats de lévaluation 5.Tirer les conséquences de lévaluation 6.Rédiger le compte rendu de lévaluation

28 28 Recruter des utilisateurs Dimensions des utilisateurs Statut, niveau dexpérience, préférence Typologie des utilisateurs Occasionnel, intensif, répété Nombre dutilisateurs Entre 1 et 5 à chaque itération Recrutement Annonces, financement, autorisations

29 29 Préparer lévaluation Définir les tâches : 1.Représentatives des tâches réelles 2.Permettre une exploration minutieuse de linterface Rédiger une feuille de tâches à effectuer par lutilisateur Donnée à lutilisateur au début de la séance Tâches précises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master Tâches réalisables avec le prototype Préparer une grille dobservation avec les points que vous voulez observer

30 Exemples/contre-exemple de tâches Armoire à pharmacie électronique Exemple : Vous revenez de chez le pharmacien avec les médicaments de lordonnance de votre bébé de 6 mois et du renouvellement de vos médicaments contre la tension et le cholestérol Voici les deux ordonnances et le sac de médicaments. Rentrez ces médicaments dans la pharmacie électronique Contre-exemple : Cliquez sur « saisir les données » ; choisir le nom du médicament dans la liste déroulante … 30

31 31 Conseils Énoncer clairement les tâches De préférence dans un scénario Apporter des accessoires de la vie courante Évaluer le temps nécessaire Décider d'un temps maximum pour chaque tâche Préparer des questions Distinguer découverte et utilisation courante Double examen des tâches importantes Tester la prise en main puis tester une nouvelle fois en fin de séance Livrable 3.1 madresser la feuille de tâches que vous envisagez de communiquer aux utilisateurs

32 32 À Vérifier 1.Les tâches choisies sont-elles réalisables à l'aide du prototype ? 2.Les tâches amènent-elles l'utilisateur à se centrer sur les parties de l'interface qui intéressent ? 3.Combien de temps est alloué pour chaque utilisateur ? 4.À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? 5.Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? 6.L'énoncé des tâches est-il suffisamment clair pour un utilisateur qui découvre ? 7.Lénoncé est-il trop directif ?

33 33 Avant lévaluation Vérifiez que tout est en place Le prototype est-il prêt ? Avez-vous testé vous-même la feuille de tâches pour la vérifier ? Lenvironnement est-il tranquille ? Le matériel est-il prêt pour enregistrer ce que dit lutilisateur ? Ce quil fait ? Vérifiez le fonctionnement Chronomètre ? Une feuille préformatée est-elle prête pour prendre des notes ? Liste des questions à poser ? Phrase pour accueillir lutilisateur ?

34 34 Déroulement (1/2) Introduction (5 min) Pourquoi évaluer, pourquoi vous, quelle suite Présentation du déroulement de lévaluation (3 min) Donner la feuille de tâches, lui demander de commenter à voix haute ses actions Scénario de tâches pour lexploration de lactivité (60 min maxi) Debriefing avec lutilisateur Debriefing sans lutilisateur Observations et prise de notes sur les commentaires, le comportement, les réactions, linteraction chronométrer ou compter (erreurs, clics, mouvement de la souris, soupirs, sourires ) ou filmer

35 35 Déroulement (2/2) Debriefing (10 min) Fonctionnalité non couvertes, points positifs et négatifs Conclusion (10 min) Points forts, points faibles, ce quil faut impérativement garder/changer Listes des difficultés et propositions de solutions Questions spécifiques Remercier Temps maxi : 1 h 30 utilisateur

36 36 Conduite de la séance Mode informel (discussion libre) Pas de feuille de consignes Si possible 2 observateurs : Un conduit lentretien Lautre prend des notes et soccupe de la technique Statut des utilisateurs : évaluateurs et non sujets dexpérience Ce nest pas le participant qui est évalué mais le système

37 37 À larrivée des utilisateurs Mettez les participants en confiance Présentez vous et énoncez vos objectifs Regarder en quoi le système leur facilite ou leur complique la tâche, peut les induire en erreur Et non relever leurs erreurs Garantissez lanonymat et la sécurité Décrivez les équipements et la façon dont vous allez étudier et utiliser les données recueillies Précisez au participant quil peut à tout moment arrêter lobservation ce quil doit faire (penser à haute voix, chercher de laide etc., la tâche ou le scénario) Demander sil y a des questions préalables Démarrer lenregistrement (autorisation)

38 38 Votre attitude Entretien de type apprenti/maître Lutilisateur est lexpert qui vous explique ce quil fait Laisser parler les utilisateurs Être attentif à ce qui se passe Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système Demander aux utilisateurs de commenter en diirect ce qu'ils font Poser des questions Interdiction de Suggérer -sauf sur demande expresse de lutilisateur perdu Critiquer, juger Se défendre

39 39 Exemples de questions Comment vous faîtes ça ? Pourquoi vous faites ça ? Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?

40 Contre-exemples Mais pourquoi tu fais-ça ? Tu ne vois pas que… ? Cest pas du tout comme cela quil faut faire ! Non là faut que tu cliques… Laisse moi faire tu vas voir … Avec tout le travail que ça ma demandé, ça ne te plaît pas Rappelez-vous Vous êtes là pour apprendre Pas pour défendre votre bébé 40

41 41 Points à observer Comportement inattendu Ex: L'utilisateur tape une série imprévue de commandes Commentaires « C'est chouette de pouvoir faire ça sans avoir à retaper tout. » « Encore, faut que je retape tout... » Soupirs, sourires, impatience etc. Mesurer Le temps, les clics, les trajets de la souris, le nombre détapes, le nombre derreurs, le nombre de sourires/soupirs

42 Attention Objectif prioritaire Obtenir des informations de lutilisateur Moyen Créer un dialogue avec l'utilisateur Conséquences Arrêter la prise de notes si elle gêne le dialogue Ne pas défendre ses idées, ses scénarios 42

43 43 Debriefing avec lutilisateur Principe : discussion avec lutilisateur (pas questionnaire) Sur le prototype Points forts, points faibles, points à améliorer impérativement Facilité dexécution des tâches, de compréhension des libellés Suggestions Spécifiques au prototype : menus, valeurs par défaut etc. Sur lévaluation coopérative L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?

44 44 Debriefing avec le co-évaluateur Immédiatement après la séance Échanger Prendre des notes sur les impressions générales, les incidents etc. Très important on oublie très vite Revoir les utilisateurs une deuxième fois Pour vérifier les interprétations Étudier les changements possibles

45 45 Analyser les résultats Classez les résultats Objets dinterface, navigation, conception générale Faites ressortir les points positifs et les points négatifs Tirez les conséquences des évaluations Modifications à apporter Module daide Rédiger un rapport Présenter létat du système avant Présenter lévaluation (les utilisateurs, les tâches, les données recueillies et leur analyse, les résultats ) Présenter les améliorations à apporter (et une nouvelle maquette)

46 46 Évaluations avec utilisateurs

47 47 Critères de choix dune méthode Temps, budget, moments, compétences Triangulez Méthodes légères Interviews Inspection heuristique, scénarios (+ expert du domaine) Évaluations coopératives Recommandées pour les non ergonomes Projet à risque : méthodes rigoureuses Faire appel à des spécialistes : ergonomes, sociologues, voir ethnologues

48 48 Quelle méthode choisir ? Utiliser plusieurs méthodes pour croiser les résultats et les interprétations Dépend des objectifs de lévaluation, du budget, du temps Analyse de lexistant Méthodes dinspection Évaluation coopérative Enquêtes, études de terrain En cours de conception Méthodes dinspection Évaluation coopérative Expérimentations contrôlées (alternative de conception)

49 Atelier dévaluation du projet Pour début janvier : rendre un plan dévaluation Vos objectifs et ce que vous voulez mesurer Déroulement Introduction Feuille de tâche, le(s) scénario(s) proposé(s) et Grille dobservation Pour latelier fin janvier: Disposer dun prototype et mettre en œuvre le plan dévaluation Présence obligatoire (à lheure) Pour le 30/1 : dossier dévaluation Quavez-vous appris des tests ? 49

50 50 En résumé Méthodes dévaluation sans utilisateurs Reposent sur des appréciations Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent déliminer les erreurs de conception de type « amateur » Méthodes dévaluation avec utilisateurs Reposent sur la réalisation de tâches Indispensables pour les problèmes liés au domaine, à lactivité, aux usages Évaluation coopérative : méthode pour non ergonome

51 51 Évaluation et cycle de développement un état d'esprit processus qui débute dès la spécification du logiciel dès le début se préoccuper des utilisateurs, de leurs activités construire des maquettes et des prototypes -les critiquer -les faire critiquer mener des tests exploratoires informels plus le cycle de développement avance plus les tests doivent être rigoureux

52 52 Take Home Messages Lévaluation au cœur de la conception Pensez aux critères dévaluation du logiciel dès la phase de spécification Organisez très tôt des tests informels avec des utilisateurs finaux, même sur des petits projets Le temps perdu au début est regagné Mieux vaut des tests informels que pas de tests du tout Triangulez, croisez méthodes et résultats Évaluation Ne vous contentez pas des opinions Observez des gens qui accomplissent des actions Utilisez Les inspections (critères, scénarios) Les revues de conception (design walkthrough) Lévaluation coopérative


Télécharger ppt "1 Évaluation des logiciels interactifs M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) partie 1 (Cf."

Présentations similaires


Annonces Google