La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Ergonomie des IHM Module IHM, ESSI Alain GIBOIN (INRIA) Évaluation coopérative.

Présentations similaires


Présentation au sujet: "Ergonomie des IHM Module IHM, ESSI Alain GIBOIN (INRIA) Évaluation coopérative."— Transcription de la présentation:

1 Ergonomie des IHM Module IHM, ESSI Alain GIBOIN (INRIA) Évaluation coopérative

2 Évaluation coopérative : Présentation générale Auteurs : Monk, Wright, Haber et Davenport (1993)  Méthode conçue pour des informaticiens par des psychologues spécialistes des IHM

3 Évaluation coopérative : Présentation générale  Quel est le but de la méthode ? Obtenir des données sur les problèmes que peut rencontrer l’utilisateur d’un logiciel « L'objectif n'est pas de fournir une liste exhaustive des problèmes pouvant être identifiés. « Il est plutôt d'aider à identifier, avec le minimum d'effort, les problèmes les plus importants à considérer.» afin d'améliorer ce logiciel

4 Évaluation coopérative : Présentation générale  À qui est destinée cette méthode ? « L'évaluation coopérative peut être utilisée par des concepteurs ne possédant pas de connaissances spécialisées en ergonomie »

5 Évaluation coopérative : Présentation générale  Quand utiliser cette méthode ? « L'évaluation coopérative est le plus utile pour avoir un retour précoce sur la reconception dans un cycle itératif rapide »

6 Évaluation coopérative : Présentation générale  Méthode adaptée aux étudiants en informatique de l’ESSI Auteur : A.G. Définition : procédure permettant aux étudiants de l'ESSI d'obtenir des données sur les problèmes importants que pourraient rencontrer les utilisateurs de leur interface, et d'améliorer ensuite cette interface.

7 Plan  Evaluation coopérative Méthode originale Méthode adaptée aux étudiants en informatique

8 Évaluation coopérative : Méthode originale  Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter par les utilisateurs Étape 3/ Interagir et enregistrer

9 Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs  Définir la population cible Par les «dimensions» de l'utilisateur StatutPersonnel de la bibliothèque Lecteurs Fournisseurs Libraires Maisons d'édition Préférences Niveau d’expérience

10 Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs  Définir la population cible Par les «dimensions» de l'utilisateur À l'aide de typologies d'utilisateurs Exemple : Utilisateurs de documentation électronique (cf. Horton, 1990)

11 Typologie d'utilisateurs Utilisateurs de documentation électronique (cf. Horton, 1990)

12 Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs  Nombre d'utilisateurs à recruter Entre 1 et 5 utilisateurs par itération, tôt dans le processus de conception  Sources possibles de recrutement

13 Sources possibles de recrutement

14 Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs  Si les utilisateurs recrutés ne sont pas les utilisateurs cibles Ces utilisateurs ont -ils les mêmes caractéristiques que les utilisateurs cibles ? En particulier : Connaissance du domaine de la tâche Expérience de l'informatique Aptitude à manipuler les dispositifs d'entrée (clavier, etc.) Niveau d'éducation Manière d'aborder les situations de résolution de problèmes

15 Évaluation coopérative - méthode originale 1/ Recruter des utilisateurs  Modalités de recrutement Questions à se poser Une permission pour les utilisateurs est-elle nécessaire ? Des arrangements administratifs doivent-ils être faits ?

16 Évaluation coopérative : Méthode originale  Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter par les utilisateurs Étape 3/ Interagir et enregistrer

17 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Objectif Préparer une feuille de tâches Ces tâches doivent être représentatives des tâches réelles des utilisateurs Elles doivent permettre une exploration minutieuse de l'interface

18 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Objectif Préparer une feuille de tâches Caractéristiques de la feuille de tâches Contenu : liste des tâches que les utilisateurs essaieront de réaliser à l'aide du prototype La liste sera donnée à l'utilisateur au début de la séance d'évaluation

19 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Objectif Préparer une feuille de tâches Caractéristiques de la feuille de tâches Questions à se poser sur les tâches Les tâches choisies sont-elles réalisables à l'aide du prototype ? Les tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous vous intéressez ? Combien de temps avez-vous alloué pour chaque utilisateur ? À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? L'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ?

20 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Choses à surveiller pendant la préparation des tâches Les tâches sont-elles spécifiques ? Exemple de tâche non spécifique "Réalisez la tâche que vous effectuez normalement." Exemple de tâche spécifique "Dessinez une maison avec une porte, quatre fenêtres et une cheminée."

21 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Choses à surveiller pendant la préparation des tâches Les tâches sont-elles spécifiques ? Les tâches sont-elles représentatives ? En discuter avec les utilisateurs En discuter avec d'autres spécialistes de l'entreprise

22 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Choses à surveiller pendant la préparation des tâches Les tâches sont-elles spécifiques ? Les tâches sont-elles représentatives ? Que faire si l'utilisateur ne termine pas la tâche ou la termine trop rapidement ? Décider d'un temps maximum pour chaque tâche Ajouter des tâches supplémentaires –Tâches plus simples pour les utilisateurs n'ayant pas terminé –Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu

23 Évaluation coopérative - méthode originale 2/ Préparer les tâches à exécuter par les utilisateurs  Choses à surveiller pendant la préparation des tâches Les tâches sont-elles spécifiques ? Les tâches sont-elles représentatives ? Que faire si l'utilisateur ne termine pas la tâche... ? Examen des fonctions importantes Double examen –Examen en début de séance –Examen en fin de séance

24 Évaluation coopérative : Méthode originale  Ses étapes Étape 1/ Recruter des utilisateurs Étape 2/ Préparer des tâches à exécuter par les utilisateurs Étape 3/ Interagir et enregistrer

25 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Sous-étapes Avant l'arrivée des utilisateurs À l'arrivée des utilisateurs Pendant la réalisation des tâches «Debriefing»

26 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Avant l'arrivée des utilisateurs Objectif Vérifier que tout est en place et complètement opérationnel Pour cette vérification, utiliser la check-list suivante Le prototype est-il prêt à l'utilisation dans un environnement suffisamment tranquille ? La feuille de tâche est-elle disponible ? Moyen d'enregistrer ce que dit l'utilisateur (magnétophone, micro connecté à vidéo) ? Moyen d'enregistrer ce que fait l'utilisateur (vidéo, log) ? Carnet ou feuille pro-forma sur lesquels prendre des notes ? Liste de questions à poser pendant le debriefing ? Avez-vous prévu ce que vous allez dire à l'utilisateur quand il arrive ? Avez-vous manipulé vous-mêmes la feuille de tâches pour préciser ce à quoi s'attendre ? Avez-vous vérifié le bon fonctionnement des appareils d'enregistrement ?

27 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Sous-étapes Avant l'arrivée des utilisateurs À l'arrivée des utilisateurs Pendant la réalisation des tâches «Debriefing»

28 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  À l'arrivée des utilisateurs Principes gouvernant la séance Conduite de la séance : mode informel (discussion libre sur le système) Statut des utilisateurs : co-évaluateurs et non sujets d'expérience

29 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  À l'arrivée des utilisateurs Principes gouvernant la séance Conduite de la séance… Statut des utilisateurs… Indiquer aux utilisateurs ce que l'on attend de la séance : –observer en quoi le système peut les induire en erreur ou leur rendre difficiles certaines tâches –et non relever les erreurs qu'ils commettent ou noter ce qu'ils sont incapables de faire C'est le système qui est évalué et non l'utilisateur

30 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  À l'arrivée des utilisateurs Actions Mettre les utilisateurs en confiance Démarrer l'enregistrement de la séance (pour ne pas oublier) Se présenter –Qui vous êtes –Objectif de la séance –Souligner que c'est le système qui est évalué et non l'utilisateur –Expliquer la philosophie de l’évaluation coopérative

31 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  À l'arrivée des utilisateurs Actions (suite) Expliquer l’évaluation coopérative –Décrire la technique –Indiquer à l'utilisateur que ses paroles seront enregistrées mais qu'elles resteront confidentielles Présenter la feuille de tâches –Préciser que les tâches ne sont pas un test, mais juste une manière d'introduire l'utilisateur aux différentes parties du système Conseil : pour garder son caractère informel à cette étape, ne pas rédiger de consigne

32 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Sous-étapes Avant l'arrivée des utilisateurs À l'arrivée des utilisateurs Pendant la réalisation des tâches «Debriefing»

33 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Pendant la réalisation des tâches Impératifs Laisser parler les utilisateurs Être attentif à ce qui se passe

34 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Pendant la réalisation des tâches Impératifs Actions Encourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système –Demander aux utilisateurs de commenter en direct »ce qu'ils font et »ce qu'ils vont faire

35 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Pendant la réalisation des tâches Impératifs Actions Encourager les utilisateurs à parler à voix haute S'assurer de la (relative) continuité du dialogue en posant des questions appropriés chaque fois que cela est possible –Comment fait-on ça ? –Que voulez-vous faire ? –Qu'arrivera-t-il si... ? –Que vient de faire le système ? –Que veut vous dire le système avec ce message ? –Pourquoi le système a-t-il fait cela ? –À quoi vous attendiez-vous ? –Qu'êtes-vous en train de faire maintenant ?

36 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Pendant la réalisation des tâches Impératifs Actions Encourager les utilisateurs à parler à voix haute S'assurer de la (relative) continuité du dialogue Noter chaque occurrence de comportement inattendu et chaque commentaire sur l'utilisabilité du système Comportement inattendu : quand les utilisateurs font quelque chose que le concepteur n'a pas prévu. Exemple : L'utilisateur tape une série imprévue de commandes Commentaires : commentaires et évaluations subjectifs (positifs ou négatifs) de l'interface. Exemples : –"C'est chouette de pouvoir faire ça sans avoir à retaper tout." –"Ça exige beaucoup d'effort." –"Je déteste devoir faire ça deux fois."

37 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer notations  Pendant la réalisation des tâches : notations Procédure Faute de temps pour prendre des notes détaillées, –noter l'endroit de la bande magnétique où se trouve le comportement ou le commentaire –et décrire brièvement (si possible en un mot) ce qui est arrivé Avertissement Ne pas laisser la prise de notes interférer avec l'objectif prioritaire de créer un dialogue avec l'utilisateur Arrêter la prise de notes si cela arrive

38 Exemple de pro-forma pour la prise de notes

39 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Sous-étapes Avant l'arrivée des utilisateurs À l'arrivée des utilisateurs Pendant la réalisation des tâches «Debriefing»

40 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  «Debriefing» Principe Discussion avec l'utilisateur lorsque ce dernier a terminé toutes ses tâches –Discussion sur ce que chacun pense être les problèmes d'utilisabilité les plus importants du système –Discussion sur la technique elle-même d'évaluation coopérative Des commentaires très intéressants peuvent surgir de cette phase

41 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  «Debriefing» Questions de référence sur le prototype Quelle est la plus grande qualité du prototype ? Quel est le plus grand défaut du prototype ? Qu'est-ce qui a le plus besoin d'être changé ? Avez-vous trouvé les tâches faciles à réaliser ? Questions spécifiques sur le prototype

42 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  «Debriefing» Questions de référence sur l’évaluation coopérative L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?

43 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  «Debriefing» Utilisation des questions de référence Les photocopier et les utiliser comme « déclencheurs » Ces questions étant générales, les compléter par des questions plus spécifiques de son cru sur des aspects plus particuliers du système –sur les noms de menus –sur les valeurs par défaut –etc.

44 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  «Debriefing» Formulaire complémentaire Questionnaire (simple) à remplir par les utilisateurs Cas d'utilisation : –Utilisateurs nombreux –Besoin d'avoir un retour plus formel

45 Évaluation coopérative - méthode originale 3/ Interagir et enregistrer  Second «Debriefing» Principe Revoir les utilisateurs une seconde fois (seuls ou en groupe) –pour clarifier son interprétation des problèmes importants d'utilisabilité et –discuter des changements possibles à faire sur le système

46 Plan  Evaluation coopérative Méthode originale Méthode adaptée aux étudiants en informatique

47 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Objectif Situation de conception Réaliser une première évaluation des maquettes d'interface construites à l'issue des premières séances de TP Situation de reconception Évaluation des interfaces à re-concevoir Évaluation des maquettes

48 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de l'évaluation Étape 4/ Tirer les conséquences de l'évaluation Étape 5/ Rédiger le compte rendu de l'évaluation

49 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Sous-étapes Former les équipes d'évaluation (1.1) Définir les tâches (1.2) Préparer des questions (1.3) Préparer des feuilles de notation (1.4)

50 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Former les équipes d'évaluation (1.1) Constitution des équipes Chaque équipe comporte –les évaluateurs proprement dits et –un utilisateur Les évaluateurs appartiennent au groupe qui a conçu la maquette à évaluer L'utilisateur provient d'un autre groupe

51 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Former les équipes d'évaluation (1.1) Répartition des rôles Les évaluateurs se répartiront ainsi les rôles qu'ils joueront lors de la séance d'évaluation : –Un «directeur» de l'évaluation »Celui-ci supervisera la séance d'évaluation. »Il va guider le sujet et l'aider dans la réalisation de sa tâche (en répondant par exemple aux questions qu'il se pose). –Des «observateurs» »Ceux qui observeront l'utilisateur au cours de la séance d'évaluation (prise de notes, etc..)

52 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Définir les tâches (1.2) Définir deux ou trois tâches Tâches à réaliser à l'aide de la maquette Tâches à déterminer en fonction des maquettes réalisées Exemples : –Rechercher une référence précise dans la base documentaire –Envoyer un document au lecteur L avec accusé d'envoi au service S –«Retrouver l'ISBN (International Standard Book Number) d'un livre que l'ordinateur aura tiré au hasard» (Tâche de l'expérience de dialogue Homme-Machine sur le Web, Projet HALPIN)

53 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Définir les tâches (1.2) Préparer une liste des tâches définies Liste à remettre à l'utilisateur lors de la séance Préparer une consigne Consigne à lire à l'utilisateur (de manière informelle) lors de la séance

54 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Préparer des questions (1.3) Préparer des questions à poser pendant la réalisation des tâches Exemple : cf. les questions de Monk et al. S’inspirer de modèles de l'activité (ex. : Norman) Préparer des questions à poser après la réalisation des tâches Exemple : cf. les questions de Monk et al. pour le debriefing

55 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Préparer des questions (1.3): S’inspirer de modèles de l'activité Que voulez- vous faire ? Avez-vous obtenu ce que vous vouliez ?

56 Évaluation coopérative - méthode adaptée 1/ Préparer l’évaluation  Préparer des feuilles de notation (1.4) Fonction des feuilles de notation Noter les observations au cours de l'évaluation Recueillir des informations sur la pertinence –du modèle conceptuel - modèles de formulaire - modèle de tâche –et de l’image de l'interface - menus - fenêtres - dialogues

57 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de l'évaluation Étape 4/ Tirer les conséquences de l'évaluation Étape 5/ Rédiger le compte rendu de l'évaluation

58 Évaluation coopérative - méthode adaptée 2/ Réaliser l’évaluation  Sous-étapes Familiarisation (2.1) Réalisation des tâches (2.2) Discussion «post-tâches» (2.3)

59 Évaluation coopérative - méthode adaptée 2/ Réaliser l’évaluation  Familiarisation (2.1) Familiariser l'utilisateur avec la maquette Lui présenter celle-ci et le laisser l'explorer avant de lui présenter les tâches

60 Évaluation coopérative - méthode adaptée 2/ Réaliser l’évaluation  Réalisation des tâches (2.2) Faire réaliser successivement à l'utilisateur chaque tâche (lire la consigne) L'aider quand il pose une question Lui poser aussi des questions (cf. les questions préparées) afin qu'il explicite ce qu'il est en train de faire Noter les réactions, comportements, difficultés et commentaires de l'utilisateur

61 Évaluation coopérative - méthode adaptée 2/ Réaliser l’évaluation  Discussion «post-tâches» (2.3) Quand les tâches sont terminées, discuter avec l'utilisateur de ce qu'il pense de la maquette lui poser des questions qui ont été préparées ainsi que d'autres questions qui pourront surgir

62 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de l'évaluation Étape 4/ Tirer les conséquences de l'évaluation Étape 5/ Rédiger le compte rendu de l'évaluation

63 Évaluation coopérative - méthode adaptée 3/ Analyser les résultats de l’évaluation  Classement des résultats Classer les résultats en termes d'objets de l'interface, de dialogue, etc.

64 Évaluation coopérative - méthode adaptée 3/ Analyser les résultats de l’évaluation  Points positifs et négatifs Faire ressortir les points positifs et les points négatifs (difficultés, etc.).

65 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de l'évaluation Étape 4/ Tirer les conséquences de l'évaluation Étape 5/ Rédiger le compte rendu de l'évaluation

66 Évaluation coopérative - méthode adaptée 4/ Tirer les conséquences de l’évaluation  Modifications à apporter à l'interface À partir des résultats de l'évaluation, déterminer les modifications à apporter à la maquette  Module d'aide On pourra tirer parti de l'évaluation pour spécifier le module d'aide à l'utilisation de l'interface

67 Évaluation coopérative : Méthode adaptée aux étudiants en informatique  Ses étapes Étape 1/ Préparer l'évaluation Étape 2/ Réaliser l'évaluation Étape 3/ Analyser les résultats de l'évaluation Étape 4/ Tirer les conséquences de l'évaluation Étape 5/ Rédiger le compte rendu de l'évaluation

68 Évaluation coopérative - méthode adaptée 5/ Rédiger les résultats de l’évaluation  Objectif Rendre compte de l'évaluation dans le rapport d’évaluation Présenter l'état de la maquette avant l'évaluation Présenter les résultats de l'évaluation Présenter les modifications à apporter à la maquette à l'issue de l'évaluation Présenter le nouvel état de la maquette

69 Évaluation coopérative - méthode adaptée 5/ Rédiger les résultats de l’évaluation  Pour les projets de reconception, ajouter les points suivants : Présenter l'interface à re-concevoir Présenter les résultats de l'évaluation Présenter les modifications à apporter à l'interface à l'issue de l'évaluation Présenter la maquette de la nouvelle interface Présenter les résultats de l'évaluation Présenter les modifications à apporter à la maquette à l'issue de l'évaluation Présenter le nouvel état de la maquette

70 Plan du cours  Introduction  Panorama des méthodes  Méthode des scénarios  Directrices (Guidelines)  Evaluation coopérative  Évaluation heuristique et Cognitive Walkthrough


Télécharger ppt "Ergonomie des IHM Module IHM, ESSI Alain GIBOIN (INRIA) Évaluation coopérative."

Présentations similaires


Annonces Google