La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Lévaluation coopérative des IHM Alain Giboin INRIA Sophia Antipolis DESS d'Ergonomie cognitive « Communication Homme-Machine » Aix-en-Provence.

Présentations similaires


Présentation au sujet: "Lévaluation coopérative des IHM Alain Giboin INRIA Sophia Antipolis DESS d'Ergonomie cognitive « Communication Homme-Machine » Aix-en-Provence."— Transcription de la présentation:

1 Lévaluation coopérative des IHM Alain Giboin INRIA Sophia Antipolis DESS d'Ergonomie cognitive « Communication Homme-Machine » Aix-en-Provence

2 Motivation et but du DESS (1) But de la formation (texte officiel) yAcquérir une compétence de haut niveau dans le domaine de la conception et de l'évaluation des IHM yPour traiter de façon pertinente (i.e. en tenant compte de l'activité réelle des opérateurs) les divers problèmes liés à la communication Homme-Machine

3 Motivation et but du DESS (2) But post-formation (texte officiel) yInterventions dans les secteurs relevant de l'Ergonomie du logiciel yPour élaborer et tester des maquettes d'interfaces pour des systèmes à vocations diverses yPour évaluer et corriger les interfaces existantes

4 But de la présente intervention zDécrire, appliquer et discuter la méthode dévaluation coopérative des IHM, yune méthode conçue pour des informaticiens par des psychologues spécialistes des IHM

5 Méthodes dévaluation zMéthodes étudiées dans le cadre du DESS ?

6 Méthodes dévaluation zMéthodes « sans utilisateurs » yHeuristic Evaluation yCognitive Walkthrough zMéthodes « avec utilisateurs » yCooperative Evaluation

7 Evaluation coopérative : Présentation zMéthode originale zMéthode adaptée pour des étudiants en informatique

8 Présentation : méthode originale zQu'est-ce que l« évaluation coopérative » ? Auteurs : Monk, Wright, Haber et Davenport (1993) yDéfinition : « L'évaluation coopérative est une procédure permettant d'obtenir des données sur les problèmes que peut rencontrer un utilisateur de logiciels, de sorte qu'il est ensuite possible d'améliorer ces logiciels. »

9 Présentation : méthode originale zÀ qui est destinée cette méthode ? « L'évaluation coopérative peut être utilisée par des concepteurs ne possédant pas de connaissances spécialisées en ergonomie. »

10 Présentation : méthode originale zQuand utiliser cette méthode ? y« L'évaluation coopérative est le plus utile pour avoir un retour précoce sur la reconception dans un cycle itératif rapide. y« L'objectif n'est pas de fournir une liste exhaustive des problèmes pouvant être identifiés. y« Il est plutôt d'aider à identifier, avec le minimum d'effort, les problèmes les plus importants à considérer.»

11 Présentation : méthode adaptée à des étudiants en informatique zQu'est-ce que lévaluation coopérative destinée aux étudiants en informatique ? Auteur : A.G. yDéfinition :procédure permettant aux étudiants de l'ESSI d'obtenir des données sur les problèmes importants que pourraient rencontrer les utilisateurs de leur interface, de sorte qu'il est ensuite possible d'améliorer cette interface.

12 Méthode originale zSes étapes yÉtape 1/ Recruter des utilisateurs yÉtape 2/ Préparer des tâches à exécuter par les utilisateurs yÉtape 3/ Interagir et enregistrer

13 Méthode originale zSes étapes yÉtape 1/ Recruter des utilisateurs yÉtape 2/ Préparer des tâches à exécuter par les utilisateurs yÉtape 3/ Interagir et enregistrer

14 Méthode originale : 1/ Recruter des utilisateurs zDéfinir la population cible yPar les «dimensions» de l'utilisateur

15 «Dimensions» de l'utilisateur 1/ Recruter des utilisateurs

16 Méthode originale : 1/ Recruter des utilisateurs zDéfinir la population cible yPar les «dimensions» de l'utilisateur yÀ l'aide de typologies d'utilisateurs Exemple : Utilisateurs de documentation électronique (cf. Horton, 1990)

17 Typologies d'utilisateurs Utilisateurs de documentation électronique (cf. Horton, 1990) 1/ Recruter des utilisateurs

18 Méthode originale : 1/ Recruter des utilisateurs zNombre d'utilisateurs à recruter yEntre 1 et 5 utilisateurs par itération, tôt dans le processus de conception zSources possibles de recrutement

19 Sources possibles de recrutement 1/ Recruter des utilisateurs

20 Méthode originale : 1/ Recruter des utilisateurs zSi les utilisateurs recrutés ne sont pas les utilisateurs cibles yCes utilisateurs ont -ils les mêmes caractéristiques que les utilisateurs cibles ? En particulier (cf. tableau) :

21 Utilisateurs Utilisateurs cibles zCaractéristiques importantes yConnaissance du domaine de la tâche yExpérience de l'informatique yAptitude à manipuler les dispositifs d'entrée (clavier, etc.) yNiveau d'éducation yManière d'aborder les situations de résolution de problèmes 1/ Recruter des utilisateurs

22 Méthode originale : 1/ Recruter des utilisateurs zModalités de recrutement yQuestions a se poser xUne permission pour les utilisateurs est-elle nécessaire ? xDes arrangements administratifs doivent-ils être faits ?

23 Méthode originale zSes étapes yÉtape 1/ Recruter des utilisateurs yÉtape 2/ Préparer des tâches à exécuter par les utilisateurs yÉtape 3/ Interagir et enregistrer

24 Méthode originale : 2/ Préparer les tâches à exécuter par les utilisateurs zObjectif yPréparer une feuille de tâches xCes tâches doivent être représentatives des tâches réelles des utilisateurs xElles doivent permettre une exploration minutieuse de l'interface

25 Méthode originale : 2/ Préparer les tâches zObjectif yPréparer une feuille de tâches yCaractéristiques de la feuille de tâches xContenu : liste des tâches que les utilisateurs essaieront de réaliser à l'aide du prototype xLa liste sera donnée à l'utilisateur au début de la séance d'évaluation

26 Méthode originale : 2/ Préparer les tâches zObjectif yPréparer une feuille de tâches yCaractéristiques de la feuille de tâches yQuestions à se poser sur les tâches

27 Objectif zQuestions à se poser sur les tâches yLes tâches choisies sont-elles réalisables à l'aide du prototype ? yLes tâches vont-elles amener l'utilisateur à se centrer sur les parties de l'interface auxquelles vous vous intéressez ? yCombien de temps avez-vous alloué pour chaque utilisateur ? yÀ combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ? yLe temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ? yL'énoncé des tâches est-il suffisamment clair pour un utilisateur novice ? 2/ Préparer les tâches

28 Méthode originale : 2/ Préparer les tâches zChoses à surveiller pendant la préparation des tâches yLes tâches sont-elles spécifiques ? xExemple de tâche non spécifique "Réalisez la tâche que vous effectuez normalement." xExemple de tâche spécifique "Dessinez une maison avec une porte, quatre fenêtres et une cheminée."

29 Méthode originale : 2/ Préparer les tâches zChoses à surveiller pendant la préparation des tâches yLes tâches sont-elles spécifiques ? yLes tâches sont-elles représentatives ? xEn discuter avec les utilisateurs xEn discuter avec d'autres spécialistes de l'entreprise

30 Méthode originale : 2/ Préparer les tâches zChoses à surveiller pendant la préparation des tâches yLes tâches sont-elles spécifiques ? yLes tâches sont-elles représentatives ? yQue faire si l'utilisateur ne termine pas la tâche ou la termine trop rapidement ? xDécider d'un temps maximum pour chaque tâche xAjouter des tâches supplémentaires Tâches plus simples pour les utilisateurs n'ayant pas terminé Autres tâches pour les utilisateurs ayant terminé plus rapidement que prévu

31 Méthode originale : 2/ Préparer les tâches zChoses à surveiller pendant la préparation des tâches yLes tâches sont-elles spécifiques ? yLes tâches sont-elles représentatives ? yQue faire si l'utilisateur ne termine pas la tâche... ? yExamen des fonctions importantes xDouble examen Examen en début de séance Examen en fin de séance

32 Méthode originale zSes étapes yÉtape 1/ Recruter des utilisateurs yÉtape 2/ Préparer des tâches à exécuter par les utilisateurs yÉtape 3/ Interagir et enregistrer

33 Méthode originale : 3/ Interagir et enregistrer zSous-étapes yAvant l'arrivée des utilisateurs yÀ l'arrivée des utilisateurs yPendant la réalisation des tâches y«Debriefing»

34 Méthode originale : 3/ Interagir et enregistrer zAvant l'arrivée des utilisateurs yObjectif xVérifier que tout est en place et complètement opérationnel xPour cette vérification, utiliser la check-list suivante

35 Check-list zÀ vérifier yLe prototype est-il prêt à l'utilisation dans un environnement suffisamment tranquille ? yLa feuille de tâche est-elle disponible ? yMoyen d'enregistrer ce que dit l'utilisateur (magnétophone, micro connecté à vidéo) ? yMoyen d'enregistrer ce que fait l'utilsateur (vidéo, log) ? yCarnet ou feuille proforma sur lesquels prendre des notes ? yListe de questions à poser pendant le debriefing ? yAvez-vous prévu ce que vous allez dire à l'utilisateur quand il arrive ? yAvez-vous manipulé vous-mêmes la feuille de tâches pour préciser ce à quoi s'attendre ? yAvez-vous vérifié le bon fonctionnement des appareils d'enregistrement ? 3/ Interagir et enregistrer

36 Méthode originale : 3/ Interagir et enregistrer zÀ l'arrivée des utilisateurs yPrincipes gouvernant la séance xConduite de la séance : mode informel (discussion libre sur le système) xStatut des utilisateurs : co-évaluateurs et non sujets d'expérience

37 Méthode originale : 3/ Interagir et enregistrer zÀ l'arrivée des utilisateurs yPrincipes gouvernant la séance xConduite de la séance… xStatut des utilisateurs… xIndiquer aux utilisateurs ce que l'on attend de la séance : observer en quoi le système peut les induire en erreur ou leur rendre difficiles certaines tâches et non relever les erreurs qu'ils commettent ou noter ce qu'ils sont incapables de faire C'est le système qui est évalué et non l'utilisateur

38 Méthode originale : 3/ Interagir et enregistrer zÀ l'arrivée des utilisateurs yActions xMettre les utilisateurs en confiance xDémarrer l'enregistrement de la séance (pour ne pas oublier) xSe présenter Qui vous êtes Objectif de la séance Souligner que c'est le système qui est évalué et non l'utilisateur Expliquer la philosophie de la coopération évaluative

39 Méthode originale : 3/ Interagir et enregistrer zÀ l'arrivée des utilisateurs yActions (suite) xExpliquer la coopération évaluative Décrire la technique Indiquer à l'utilisateur que ses paroles seront enregistrées mais qu'elles resteront confidentielles xPrésenter la feuille de tâches Préciser que les tâches ne sont pas un test, mais juste une manière d'introduire l'utilisateur aux différentes parties du système xConseil : pour garder son caractère informel à cette étape, conduire cette étape, ne pas rédiger de consigne

40 Méthode originale : 3/ Interagir et enregistrer zPendant la réalisation des tâches y Impératifs xLaisser parler les utilisateurs xS'assurer d'être au courant de ce qui se passe

41 Méthode originale : 3/ Interagir et enregistrer zPendant la réalisation des tâches yImpératifs yActions xEncourager les utilisateurs à parler à voix haute pendant qu'ils utilisent le système Demander aux utilisateurs de commenter en direct –ce qu'ils font et –ce qu'ils vont faire

42 Méthode originale : 3/ Interagir et enregistrer zPendant la réalisation des tâches yImpératifs yActions xEncourager les utilisateurs à parler à voix haute xS'assurer de la (relative) continuité du dialogue en posant des questions appropriés chaque fois que cela est possible

43 Pendant la réalisation des tâches zQuestions yComment fait-on ça ? yQue voulez-vous faire ? yQu'arrivera-t-il si... ? yQue vient de faire le système ? yQue veut vous dire le système avec ce message ? yPourquoi le système a-t-il fait cela ? yÀ quoi vous attendiez-vous ? yQu'êtes-vous en train de faire maintenant ? 3/ Interagir et enregistrer

44 Méthode originale : 3/ Interagir et enregistrer zPendant la réalisation des tâches yImpératifs yActions xEncourager les utilisateurs à parler à voix haute xS'assurer de la (relative) continuité du dialogue xNoter chaque occurrence de comportement inattendu et chaque commentaire sur l'utilisabilité du système

45 Pendant la réalisation des tâches : notations zDéfinitions yComportement inattendu : quand les utilisateurs font quelque chose que le concepteur n'a pas prévu. xExemple : L'utilisateur tape une série imprévue de commandes yCommentaires : commentaires et évaluations subjectifs (positifs ou négatifs) de l'interface. Exemples : x"C'est chouette de pouvoir faire ça sans avoir à retaper tout." x"Ça exige beaucoup d'effort." x"Je déteste devoir faire ça deux fois." 3/ Interagir et enregistrer

46 Pendant la réalisation des tâches : notations zProcédure yFaute de temps pour prendre des notes détaillées, xnoter l'endroit de la bande magnétique où se trouve le comportement ou le commentaire xet décrire brièvement (si possible en un mot) ce qui est arrivé 3/ Interagir et enregistrer

47 Pendant la réalisation des tâches : notations zAvertissement yNe pas laisser la prise de notes interférer avec l'objectif prioritaire de créer un dialogue avec l'utilisateur yArrêter la prise de notes si cela arrive 3/ Interagir et enregistrer

48 Pendant la réalisation des tâches : notations 3/ Interagir et enregistrer Exemple de pro-forma pour la prise de notes

49 Méthode originale zSes étapes yÉtape 1/ Recruter des utilisateurs yÉtape 2/ Préparer des tâches à exécuter par les utilisateurs yÉtape 3/ Interagir et enregistrer

50 Méthode originale : 3/ Interagir et enregistrer z«Debriefing» yPrincipe xDiscussion avec l'utilisateur lorsque ce dernier a terminé toutes ses tâches Discussion sur ce que chacun pense être les problèmes d'utilisabilité les plus importants du système Discussion sur la technique elle-même d'évaluation coopérative xDes commentaires très intéressants peuvent surgir de cette phase

51 Méthode originale : 3/ Interagir et enregistrer z«Debriefing» yQuestions de référence sur le prototype xQuelle est la plus grande qualité du prototype ? xQuel est le plus grand défaut du prototype ? xQu'est-ce qui a le plus besoin d'être changé ? xAvez-vous trouvé les tâches faciles à réaliser ? xQuestions spécifiques sur le prototype

52 Méthode originale : 3/ Interagir et enregistrer z«Debriefing» yQuestions de référence sur lévaluation coopérative xL'enregistrement vous a-t-il gêné ? xEst-ce que les tâches étaient semblables à ce que vous avez l'habitude de faire ? xAvez-vous trouvé le prototype réaliste ?

53 Méthode originale : 3/ Interagir et enregistrer z«Debriefing» yUtilisation des questions de référence xLes photocopier et les utiliser comme « déclencheurs » xCes questions étant générales, les compléter par des questions plus spécifiques de son cru sur des aspects plus particuliers du système sur les noms de menus sur les valeurs par défaut etc.

54 Méthode originale : 3/ Interagir et enregistrer z«Debriefing» yFormulaire complémentaire xQuestionnaire (simple) à remplir par les utilisateurs xCas d'utilisation : Utilisateurs nombreux Besoin d'avoir un retour plus formel

55 Méthode originale : 3/ Interagir et enregistrer zSecond «Debriefing» yPrincipe xRevoir les utilisateurs une seconde fois (seuls ou en groupe) pour clarifier son interprétation des problèmes importants d'utilisabilité et discuter des changements possibles à faire sur le système

56 Evaluation coopérative zMéthode originale zMéthode adaptée pour des étudiants en informatique

57 Méthode adaptée aux étudiants en informatique zObjectif ySituation de conception xRéaliser une première évaluation des maquettes d'interface construites à l'issue des premières séances de TP ySituation de reconception xÉvaluation des interfaces à reconcevoir xÉvaluation des maquettes

58 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

59 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

60 Méthode adaptée : 1/ Préparer lévaluation zSous-étapes yFormer les équipes d'évaluation (1.1) yDéfinir les tâches (1.2) yPréparer des questions (1.3) yPréparer des feuilles de notation (1.4)

61 Méthode adaptée : 1/ Préparer lévaluation zFormer les équipes d'évaluation (1.1) yConstitution des équipes xChaque équipe comporte les évaluateurs proprement dits et un utilisateur xLes évaluateurs appartiennent au groupe qui a conçu la maquette à évaluer xL'utilisateur provient d'un autre groupe

62 Méthode adaptée : 1/ Préparer lévaluation zFormer les équipes d'évaluation (1.1) yRépartition des rôles Les évaluateurs se répartiront ainsi les rôles qu'ils joueront lors de la séance d'évaluation : Un «directeur» de l'évaluation –Celui-ci supervisera la séance d'évaluation. –Il va guider le sujet et l'aider dans la réalisation de sa tâche (en répondant par exemple aux questions qu'il se pose). Des «observateurs» –Ceux qui observeront l'utilisateur au cours de la séance d'évaluation (prise de notes, etc.)

63 Méthode adaptée : 1/ Préparer lévaluation zDéfinir les tâches (1.2) yDéfinir deux ou trois tâches xTâches à réaliser à l'aide de la maquette xTâches à déterminer en fonction des maquettes réalisées xExemples : Rechercher une référence précise dans la base documentaire Envoyer un document au lecteur L avec accusé d'envoi au service S «Retrouver l'ISBN (International Standard Book Number) d'un livre que l'ordinateur aura tiré au hasard» (Tâche de l'expérience de dialogue Homme-Machine sur le Web, Projet HALPIN)

64 Méthode adaptée : 1/ Préparer lévaluation zDéfinir les tâches (1.2) yPréparer une liste des tâches définies xListe à remettre à l'utilisateur lors de la séance yPréparer une consigne xConsigne à lire à l'utilisateur lors de la séance

65 Méthode adaptée : 1/ Préparer lévaluation zPréparer des questions (1.3) yPréparer des questions à poser pendant la réalisation des tâches xExemple : cf. les questions de Monk et al. yPréparer des questions à poser après la réalisation des tâches xExemple : cf. les questions de Monk et al. pour le debriefing

66 Méthode adaptée : 1/ Préparer lévaluation zPréparer des feuilles de notation (1.4) yFonction des feuilles de notation xNoter les observations au cours de l'évaluation xRecueillir des informations sur la pertinence du modèle conceptuel - modèles de formulaire - modèle de tâche et de limage de l'interface - menus - fenêtres - dialogues

67 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

68 Méthode adaptée : 2/ Réaliser lévaluation zSous-étapes yFamiliarisation (2.1) yRéalisation des tâches (2.2) yDiscussion «post-tâches» (2.3)

69 Méthode adaptée : 2/ Réaliser lévaluation zFamiliarisation (2.1) yFamiliariser l'utilisateur avec la maquette xLui présenter celle-ci et xle laisser l'explorer avant de lui présenter les tâches

70 Méthode adaptée : 2/ Réaliser lévaluation zRéalisation des tâches (2.2) yFaire réaliser successivement à l'utilisateur chaque tâche (lire la consigne) yL'aider quand il pose une question yLui poser aussi des questions (cf. les questions préparées) afin qu'il explicite ce qu'il est en train de faire yNoter les réactions, comportements, difficultés et commentaires de l'utilisateur

71 Méthode adaptée : 2/ Réaliser lévaluation zDiscussion «post-tâches» (2.3) yQuand les tâches sont terminées, xdiscuter avec l'utilisateur de ce qu'il pense de la maquette xlui poser des questions qui ont été préparées ainsi que d'autres questions qui pourront surgir

72 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

73 Méthode adaptée : 3/ Analyser les résultats de lévaluation zClassement des résultats yClasser les résultats en termes xd'objets de l'interface, xde dialogue, xetc.

74 Méthode adaptée : 3/ Analyser les résultats de lévaluation zPoints positifs et négatifs yFaire ressortir xles points positifs et xles points négatifs (difficultés, etc.).

75 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

76 Méthode adaptée : 4/ Tirer les conséquences de lévaluation zModifications à apporter à l'interface yÀ partir des résultats de l'évaluation, déterminer les modifications à apporter à la maquette zModule d'aide yOn pourra tirer parti de l'évaluation pour spécifier le module d'aide à l'utilisation de l'interface

77 Méthode adaptée aux étudiants en informatique zSes étapes yÉtape 1/ Préparer l'évaluation yÉtape 2/ Réaliser l'évaluation yÉtape 3/ Analyser les résultats de l'évaluation yÉtape 4/ Tirer les conséquences de l'évaluation yÉtape 5/ Rédiger le compte rendu de l'évaluation

78 Méthode adaptée : 5/ Rédiger les résultats de lévaluation zObjectif yRendre compte de l'évaluation dans le rapport dévaluation yPrésenter l'état de la maquette avant l'évaluation yPrésenter les résultats de l'évaluation yPrésenter les modifications à apporter à la maquette à l'issue de l'évaluation yPrésenter le nouvel état de la maquette

79 Méthode adaptée : 5/ Rédiger les résultats de lévaluation zPour les projets de reconception, ajouter les points suivants : yPrésenter l'interface à reconcevoir xPrésenter les résultats de l'évaluation xPrésenter les modifications à apporter à l'interface à l'issue de l'évaluation yPrésenter la maquette de la nouvelle interface xPrésenter les résultats de l'évaluation xPrésenter les modifications à apporter à la maquette à l'issue de l'évaluation yPrésenter le nouvel état de la maquette

80 Méthodes dévaluation zMéthodes « sans utilisateurs » yHeuristic Evaluation yCognitive Walkthrough zMéthodes « avec utilisateurs » yCooperative Evaluation yParticipatory Heuristic Evaluation

81 Applications


Télécharger ppt "Lévaluation coopérative des IHM Alain Giboin INRIA Sophia Antipolis DESS d'Ergonomie cognitive « Communication Homme-Machine » Aix-en-Provence."

Présentations similaires


Annonces Google