La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests dusage : Méthodes et Techniques dévaluation.

Présentations similaires


Présentation au sujet: "1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests dusage : Méthodes et Techniques dévaluation."— Transcription de la présentation:

1 1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests dusage : Méthodes et Techniques dévaluation et de diagnostic

2 2 Méthodes dévaluation des usages Méthodes et techniques dévaluation des usages : –Avec/Sans usagers –En situation réelle / Artificielle (Selon Brangier & Barcenilla, 2003)

3 3 1.Lutilisabilité Cest Quoi ? Son Positionnement « Psychologie appliquée à l'étude de l'interaction entre l'homme et la technologie » Ergonomie Psychologie Sociologie Médecine / physiologie Utilisabilité

4 4 1.Lutilisabilité Cest Quoi ? Son origine et son développement –Premières études : »Traitement de texte, automatisation des tâches administratives… »Développement dun courant HCI (Human Computer Interaction) L'Interaction Homme-Machine est une discipline consacrée à la conception, la mise en oeuvre et à l'évaluation de systèmes informatiques interactifs destinés à des utilisateurs humains ainsi qu'à l'étude des principaux phénomènes qui les entourent S. Conversy

5 5 1.Lutilisabilité Cest Quoi ? Son origine et son développement –Depuis les années 1980, on parle aussi de : »Ingénierie cognitive (cognitive engineering, Norman, 1986, 1987) ou le génie cognitif (Vogel, 1988); »Human engineering (Van Cott & Kinkade, 1972), »Human factors (Green & Jordan, 1999) ; »User-centred graphic design (Frascara, 1997), »Psychodesign (Brangier, 1994) ; »User-centred design (Norman & Draper, 1986); »Usability (Utilisabilité : Shackel (81,86), Easeon (1984) »Etc.

6 6 L'utilisabilité : un processus peu coûteux et rentable pour l'entreprise ! L'étude de Jakob Nielsen, en 2003, a démontré que sur 863 projets* de conception et de développement de sites Web recensés, le coût de lintervention en utilisabilité se chiffrait entre 8 et 13 % du budget du projet pour une amélioration de lutilisabilité de 135 % après intervention. Moyenne de lamélioration: Ventes / Taux de conversion = 100 % Trafic / Nombres de visites = 150 % Performance utilisateur / Productivité = 161 % Usage de fonctions spécifiques = 202 % *À travers 42 projets où les métriques semblables dutilisabilité ont été collectées. Nielsen, 2003.

7 7 1.Lutilisabilité Cest Quoi ? Définitions « Capacité, en termes fonctionnels et humains, à permettre une utilisation facile et effective par une catégorie donnée d'utilisateurs, avec une formation et un support adaptés, pour accomplir une catégorie donnée de tâches, à l'intérieur d'une catégorie spécifique de contextes » Shackel (1991) "Degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d'utilisation spécifié". Norme ISO 9241–11 (1998)

8 8 1.Lutilisabilité Cest Quoi ? Lutilisabilité est le résultat dune interaction entre : Environnement, Contexte dusage Tâches-Activités Dispositifs technologiques

9 9 2. Test dutilisabilité : Les méthodes Inspection ergonomique

10 Evaluation par inspection ergonomique –Principes »Font appel aux jugements dévaluateurs (plutôt experts) »Visent à la détection des aspects de linterface pouvant alourdir lutilisation du système ou le travail des utilisateurs –Définition « Cela consiste à passer en revue chacun des composants de l'interface afin de vérifier qu'ils respectent un ensemble de critères, normes, principes, recommandations ergonomiques » –Deux méthodes possibles : 1.Evaluation générale et globale (par heuristiques : Plutôt expert) 2.Evaluation de la conformité à des recommandations

11 11 A. Principes Heuristiques de Nielsen (Cf. fin de Polycop) Heuristiques Nielsen (1994 Visibilité de l'état du système : Prévoir du feedback à l'utilisateur Le système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide Lien entre le système et le monde réel : Parler le langage de l'utilisateur Le système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur c- Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiqué Les utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système Annuler

12 12 A. Principes Heuristiques de Nielsen Heuristiques Nielsen (1994) Prévenir l'erreur : Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur. L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes experts Permettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues Ici, loption est grisée car elle nest pas utilisable dans le contexte Ici, des raccourcis sont proposés

13 13 A. Principes Heuristiques de Nielsen Heuristiques Nielsen (1994 Esthétique et design minimal : Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur Homogénéité et standards : S'assurer d'être cohérent Les utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions -> il faut appliquer la règle pour l'ensemble du système Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier Aide et documentation : Utiliser un langage simple et naturel Dans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches… Copier (Crt C) Couper (Ctrl X) Coller (Ctrl V)

14 14 A. Principes Heuristiques – Grille inspirée de Nielsen (93) a)Le dialogue est-il simple ? b)Le langage utilisé est-il celui de l'utilisateur ? c)Le travail de mémorisation est-il minimal ? d)La présentation et le dialogue sont-ils cohérents ? e)Les retours sont-ils visibles ? f)Les sorties sont-elles explicites ? g)Existe-t-il des raccourcis ? h)Les messages d'erreur sont-ils explicites ? i)Les erreurs sont-elles évitées ? j)Existe-t-il une aide ? k)Le logiciel est-il documenté ? Tests automatiques »http://www.acm.org/~perlman/question.htmlhttp://www.acm.org/~perlman/question.html »http://uzilla.mozdev.org/heuristicreview.html#http://uzilla.mozdev.org/heuristicreview.html#

15 15 Heuristiques AFNOR – Normes Z

16 16 B. Evaluation de la conformité à des recommandations Démarche Elaborer une grille dévaluation (check-list) à partir de: »Critères & principes ergonomiques (sélectionner les critères) (Nielsen, 1994 ; Bastien & Scapin, 1993 ; AFNOR (ISO 9241) ; Vanderdonckt, 1994 ; Nogier, 2002…)Nielsen »Caractéristiques de lapplication, de lenvironnement technique (collaboratif, intranet/internet, commercial, informationnel…) »Profil des utilisateurs (Novices/experts, utilisateurs réguliers ou irréguliers, interne/externe à lentreprise…) »Objectifs de lévaluation (évaluation de lusage, de lutilité, de lutilisabilité, de lacceptabilité ?…)

17 17 8 critères ergonomiques pour la conception et lévaluation des sites WEB (Scapin & Bastien, 1998) 1. GUIDAGE 2. CHARGE DE TRAVAIL 3. CONTROLE EXPLICITE 4. ADAPTABILITE 5. GESTION DES ERREURS 6. HOMOGENEITE/ COHERENCE 7. SIGNIFIANCE DES CODES ET DENOMINATIONS 8. COMPATIBILITE Pour une illustration de ces critères 1. GUIDAGE 2. CHARGE DE TRAVAIL 3. CONTROLE EXPLICITE 4. ADAPTABILITE 5. GESTION DES ERREURS 6. HOMOGENEITE/ COHERENCE 7. SIGNIFIANCE DES CODES ET DENOMINATIONS 8. COMPATIBILITE Pour une illustration de ces critères Guidage Zone de menu Zone de texte Charge de travail Contrôle explicite Adaptabilité Gestion des erreurs 123 Homogénéité-cohérence Signifiance des codes et dénominations Compatibilité

18 18 1. Evaluation par inspection ergonomique –Démarche »Questionnaire / Grille dévaluation permettant dobtenir des résultats chiffrés pour chaque critère évaluéQuestionnaireGrille dévaluation »Echelle de lickert Exemple : « La page saffiche rapidement : » « Les liens sont explicites et judicieux »

19 19 1. Evaluation par inspection ergonomique – Exemple de barèmes 1234 Pas du tout d'accordPeu d'accordD'accordTout à fait d'accord Pas du tout satisfaisant Peu satisfaisantSatisfaisantTout à fait satisfaisant Lacune(s) bloquante(s) pour la navigation/interaction Critère partiellement rempli mais lacunes pas bloquantes (justes gênantes) Critère partiellement rempli mais lacunes concernant juste des perfectionnements pointus et non essentiels Critères pleinement remplis Le système présente de sérieux problèmes dutilisabilité sur ce critère, des modifications importantes sont absolument nécessaires. Le système présente quelques problèmes dutilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations. Le système est acceptable en létat pour le critère considéré, les problèmes dutilisabilité relevés sont superficiels. Le système présente une bonne ergonomie pour le critère considéré.

20 20 1. Evaluation par inspection ergonomique – Exemple dévaluation quantitative des critèresdévaluation » Note (de 1 à 4) pour chaque critère 1.Lapplication présente de sérieux problèmes dutilisabilité sur ce critère, des modifications importantes sont absolument nécessaires. 2.lapplication présente quelques problèmes dutilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations. 3.lapplication est acceptable en létat pour le critère considéré, les problèmes dutilisabilité relevés sont superficiels. 4.lapplication présente une bonne ergonomie pour le critère considéré.

21 21 Exemple pour lanalyse des banques

22 22 1. Evaluation par inspection ergonomique – A un niveau qualitatif » Fiche problème décrivant : >le critère ou sous-critère concerné, >le contexte doccurrence (page écran ou procédure mise en cause), >la nature du problème (description, manifestation), >ses conséquences probables en termes dutilisation pour les utilisateurs concernés, >le degré de gravité estimé, >et éventuellement, des suggestions damélioration –A un niveau quantitatif »Moyenne des notes attribuées pour chaque critères et sous- critères (évaluation des affirmations) sur une échelle en 4 points. Présentation des résultats

23 23 2. Test dutilisabilité –Définition le test utilisateur est une méthode d'évaluation qualitative basée sur l'observation individuelle d'utilisateurs cibles –Objectifs »Observer directement et réellement la façon dont l'utilisateur se sert de l'application »savoir s'ils utilisent convenablement ou non l'interface, s'ils apprécient ou non certaines fonctionnalités, »et ainsi identifier concrètement les problèmes qu'ils rencontrent, les erreurs qu'ils commettent et les difficultés qu'ils éprouvent

24 24 2. Tests dutilisabilité Nombre dutilisateurs à observer ? –Groupe de 5 à 10 évaluateurs 80 % des problèmes dutilisabilité identifiés (selon Nielsen) –Groupes différentes : experts, novices, intermédiaires Selon Nielsen

25 25 2. Test dutilisabilité Les méthodes 2.1. Le tri des cartes –Définition Permet de définir ou de valider/évaluer le rubriquage, les dénominations et la structuration générale du site afin qu'ils soient les mieux adaptés aux attentes et à la logique des utilisateurs ciblés. –Principe »Voir début cours critère ergonomique

26 26 2. Test dutilisabilité 2.2 Tests en situation dusage Exploration libre commentée Il s'agit de laisser l'utilisateur naviguer sur le dispositif sans aucune directive spécifique. –Principe On invite lutilisateur à penser à voix haute »à exprimer ce quils aiment et naiment pas sur les pages web ; »à indiquer ce qui leur pose problème ; »ce qu'ils pensent trouver comme information, contenu, texte en choisissant tel lien ou tel item de navigation »à faire des suggestions damélioration. »Etc.

27 27 2. Test dutilisabilité –Inciter lutilisateur à verbaliser en lui posant des questions : »"Que voulez-vous faire ? Identifier le but poursuivi »Comment faites-vous cela ?" Déterminer le mode opératoire mis en œuvre pour atteindre ce but »"Que fait le système ? Que veut dire ce message ?" on vérifie si la réponse du logiciel est correctement comprise et qu'elle correspond à ce que l'utilisateur attendait. –Quelques recommandations »Temps de passation : < 45 minutes »Nombre de personnes par test : de 1 à plusieurs utilisateurs »Ne pas aider lutilisateur, le laisser se tromper »Bon résultat avec des prototypes papier (tôt dans la conception)

28 28 2. Test dutilisabilité Tests scénarisés Consiste à demander à un utilisateur de réaliser une tâche type, spécifique (scénario) du logiciel ou du site web pour évaluer son utilisabilité –Principe »Avant le test : définir un seuil de réussite »Pendant le test : directivité de lévaluateur >Incite lutilisateur à suivre un scénarioscénario >Verbalisation simultanée de lutilisateur « verbalisez ce que vous faites et pourquoi vous le faites… » –Que prendre en compte ? Que cherche-t-on à évaluer ? 1.Efficacité Objectifs atteints ? 2.Efficience Temps nécessaire ? Nature, fréquence origine des erreurs ? nombre de sélection ? Chemin parcouru ? 3.Satisfaction Remarques négatives, positives ? Ex : Manip dune calculatrice ExpertNovice

29 29 Exemple de données recuillies Efficacy (% of success in the scenario) Satisfac- tion (mean score / 5) Efficiency Mean exploration time (sec) Mean number of strategies deployed Mean number of selections per scenario Sighted (S) Blind (B) SBSBSBSB Scen. 1100%60% Scen %20% Scen. 366 %10%

30 30 2. Test dutilisabilité –Les mesures effectuées : objectivesobjectives »le temps écoulé pour lexécution dune tâche, d'un scénario »les performances : réussite/échec, exactitude du résultat, de la réalisation du scénario »le nombre et le type derreur commisele nombre et le type derreur »le temps passé dans une rubrique, sur une page »les difficultés rencontrées »les impasses »les incompréhensions (en fait, tout événement verbal ou non verbal qui montre une difficulté d'utilisation du logiciel) (Cf Tab. des verbalisation)Tab. des verbalisation »etc –Dautre mesures subjectives… »Verbalisations simultanées (enregistrements Audio et retranscription) »Comportements non verbaux & verbalisations consécutives (enregistrements vidéo & Grille dobservation) »Verbalisations lors des débriefings (enregistrements Audio)

31 31 2. Test dutilisabilité Calcul des indices de performance (Bastien, 2007)… –Données à prendre en compte »Temps de réalisation du scénarii (sec) »Nombre de pages parcourues »Nombre dactions (Clique G/D, scroll, sélection, saisie…) »Etc. –Modes de calcul »Indice Temps (IT) = »Indice Action (IA) = »Indice Chemin (IC) = »Etc. >Indices Globale de Performance = IT*IA*IC –Possibilité de comparer :comparer »les effets des modifications apportées au site : Avt/Aprèseffets »Les populations dutilisateurs (novices / experts / Intermédiaires) Meilleur temps (= Temps moyen de tous les individus) Temps réalisé par lindividu Nombre de page à parcourir Nombre de pages parcourues Nombre dactions minimum (à faire) Nombre daction de lindividu

32 32 Analyse des verbalisations Prbl tolér. aux erreurs Charge de Travail (mémorisation) Non homogénéité/ cohérence Manque de guidage/navigation - " Elle est où, cette aide? - " Comment on fait pour désigner les erreurs ?" "Je l'ai déjà fait ça ?" - "Qu'est ce qu'il me reste à faire, j'me rappelle plus" - "Je me souviens plus sur quoi j'ai cliqué" - "Ha, j'ai déjà vu ça, il fallait pas que j'appuie, il faut que je revienne" - "Dans les risques, j'ai tout fait ? J'sais plus..." - "Pourquoi ça me dit rien. D'habitude quand je clique sur les carrés..." -"Des fois il y a des trucs à chercher, des fois il n'y en a pas ?...« -"qu'est ce qu'y a le son ne marche plus ?" (habituellement chaque image est accompagnée d'un commentaire sonore - " Mince, je suis déjà passé là ? - Bon, j'appuie où là ? - "Qu'est ce que je dois faire ?" - "Comment tu lui indiques ?..." - "Bon, là je vois pas ce qu'il faut faire." - "Alors tu sors là ou pas ?" - " Là, il pose une question. Comment veux-tu y répondre ?" - "Bon, j'appuie où là ?" - " Il faut que j'appuie là dedans ou quoi, qu'est ce que c'est ce merdier" - "C'est fini là, non ?" - "Y'a quelque chose à faire ou pas Problèmes identifiés : analyse des verbalisations de lusager

33 33 Analyse des verbalisations Prbl de navigation Probl Compatibilité Probl Contrôle explicite Manque de feed-back - Bon, j'appuie où là ? - " Mince, je suis déjà passé là ? - " Elle est où, cette aide ?" - "Ca veut dire quoi cliquer sur les zones ?" - "Cliquer sur les boutons ?.." -Chargement? Je peux pas revenir en arrière" - "Ca l'arrête pas!" - "Ch'ui parti où avec ma souris". (Ici l'ordinateur à la main, l'opérateur ne peut interagir, le curseur n'étant pas visible) -"Tu peux pas faire un défilement plus rapide ?..." -Je laisse faire là ?" - "J'ai appuyé là?" - "Elle est ou cette patte de mouche ?" (Ici le curseur est invisible, l'opérateur ne peut voir la conséquence de son action sur la souris) - "Il est ou mon guignol ?"(même problème) - "Il cliquette pas là" (Ici pas de feed-back à un clic) - "Il a capté là?" Problèmes identifiés : analyse des verbalisations de lusager

34 34 3. Questionnaire de satisfaction –Exemples de questions types pour évaluer lutilisabilité dans un questionnaire 1.Il y a beaucoup dinformations intéressantes sur ce site 2.Lorsque jutilise ce site, jai le sentiment de contrôler la situation 3.Sur ce site, je peux trouver rapidement ce que je recherche 4.Lorganisation de ce site me paraît logique 5.Ce site mériterait de fournir plus dexplications en introduction 6.Les pages de ce site sont très attrayantes 7.La navigation sur ce site est facile 8.Ce site est trop lent 9.Ce site ma aidé à trouver ce que je recherchais 10.Apprendre à trouver mon chemin dans ce site est difficile 11.Je naime pas utiliser ce site web 12.Sur ce site, je peux facilement contacter les personnes que je désire 13.Je me sens efficace lorsque jutilise ce site web 14.Il est difficile pour moi de dire si ce site propose ce que je cherche 15.Lutilisation initiale de ce site est facile 16.Ce site web contient des éléments agaçants 17.Sur ce site, il mest facile de me rappeler où je me trouve 18.Utiliser ce site web est une perte de temps 19.Lorsque je clique sur des éléments du site, jobtiens toujours les informations auxquelles je mattends 20.Sur ce site, tout est facile à comprendre

35 35 2. Test dutilisabilité Techniques disponibles –Grille dobservation traditionnelle, vidéo, magnéto –Logiciels de capture décran (vidéo/Copie décran) »Gratuit >http://www.screentoaster.com/ (à partir du navigateur)http://www.screentoaster.com/ >http://descary.com/camtasia-studio-gratuit/ (Camtasia Gratuit/30J)http://descary.com/camtasia-studio-gratuit/ >http://www.techsmith.com/jing/http://www.techsmith.com/jing/ >https://addons.mozilla.org/en-US/firefox/addon/8090/ (addon pour firefox pour faire des screencast de navigateur)https://addons.mozilla.org/en-US/firefox/addon/8090/ >http://www.microsoft.com/downloads/en/details.aspx?FamilyID= 75402be0-c a79c-becdd197aa79 (10 minutes de film)http://www.microsoft.com/downloads/en/details.aspx?FamilyID= 75402be0-c a79c-becdd197aa79

36 36 2. Test dutilisabilité Techniques disponibles –Logiciels de capture décran (vidéo/Copie décran) »Payant >Viewletcam : >http://www.hyperionics.com/hsdx/downloads.asphttp://www.hyperionics.com/hsdx/downloads.asp >http://www.techsmith.com/products/snagit/default.asphttp://www.techsmith.com/products/snagit/default.asp –Eyes-tracking »Vidéo 1 – 2 – »www.seeingmachines.comwww.seeingmachines.com –Laboratoire dutilisabilité »http://cleeo.com/etic/methodologies2.phphttp://cleeo.com/etic/methodologies2.php

37 37 Laboratoire dutilisabilité

38 38 Annexe : Heuristiques de Nielsen 1.Visibilité de l'état du système : Prévoir du feedback à l'utilisateur Le système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide 2.Lien entre le système et le monde réel : Parler le langage de l'utilisateur Le système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur 3.Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiqué Les utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système 4.Homogénéité et standards : S'assurer d'être cohérent Les utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions => il faut appliquer la règle pour l'ensemble du système 5.Prévenir l'erreur : Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution –Principes Heuristiques de Nielsen (1994) (Cf. polycopié)polycopié

39 39 1. Evaluation par inspection ergonomique 6.Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit 7.Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes experts Permettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues 8.Esthétique et design minimal : Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur 9.Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier 10.Aide et documentation : : Utiliser un langage simple et naturel Dans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches… –Heuristiques de Nielsen (Suite)


Télécharger ppt "1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests dusage : Méthodes et Techniques dévaluation."

Présentations similaires


Annonces Google