Usages des technologies

Présentation au sujet: "Usages des technologies"— Transcription de la présentation:

1 Usages des technologies
Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests d’usage : Méthodes et Techniques d’évaluation et de diagnostic

2 Méthodes d’évaluation des usages
Méthodes et techniques d’évaluation des usages : Avec/Sans usagers En situation réelle / Artificielle (Selon Brangier & Barcenilla, 2003)

3 L’utilisabilité C’est Quoi ?
Son Positionnement « Psychologie appliquée à l'étude de l'interaction entre l'homme et la technologie » Ergonomie Médecine / physiologie Psychologie Utilisabilité Sociologie

4 L’utilisabilité C’est Quoi ?
Son origine et son développement Premières études : Traitement de texte, automatisation des tâches administratives… Développement d’un courant HCI (Human Computer Interaction) ‘L'Interaction Homme-Machine est une discipline consacrée à la conception, la mise en oeuvre et à l'évaluation de systèmes informatiques interactifs destinés à des utilisateurs humains ainsi qu'à l'étude des principaux phénomènes qui les entourent’ S. Conversy

5 L’utilisabilité C’est Quoi ?
Son origine et son développement Depuis les années 1980, on parle aussi de : Ingénierie cognitive (cognitive engineering, Norman, 1986, 1987) ou le génie cognitif (Vogel, 1988); Human engineering (Van Cott & Kinkade, 1972), Human factors (Green & Jordan, 1999) ; User-centred graphic design (Frascara, 1997), Psychodesign (Brangier, 1994) ; User-centred design (Norman & Draper, 1986); Usability (Utilisabilité : Shackel (81,86), Easeon (1984) Etc.

6 un processus peu coûteux et rentable pour l'entreprise !
L'utilisabilité : un processus peu coûteux et rentable pour l'entreprise ! L'étude de Jakob Nielsen, en 2003, a démontré que sur 863 projets* de conception et de développement de sites Web recensés, le coût de l’intervention en utilisabilité se chiffrait entre 8 et 13 % du budget du projet pour une amélioration de l’utilisabilité de 135 % après intervention. Moyenne de l’amélioration: Ventes / Taux de conversion = 100 % Trafic / Nombres de visites = 150 % Performance utilisateur / Productivité = 161 % Usage de fonctions spécifiques = 202 % *À travers 42 projets où les métriques semblables d’utilisabilité ont été collectées. Nielsen, 2003.

7 L’utilisabilité C’est Quoi ?
Définitions « Capacité, en termes fonctionnels et humains, à permettre une utilisation facile et effective par une catégorie donnée d'utilisateurs, avec une formation et un support adaptés, pour accomplir une catégorie donnée de tâches, à l'intérieur d'une catégorie spécifique de contextes » Shackel (1991) "Degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d'utilisation spécifié". Norme ISO 9241–11 (1998)

8 L’utilisabilité C’est Quoi ?
L’utilisabilité est le résultat d’une interaction entre : Environnement, Contexte d’usage Dispositifs technologiques Tâches-Activités

9 2. Test d’utilisabilité : Les méthodes
Inspection ergonomique

10 2.1. Evaluation par inspection ergonomique
Principes Font appel aux jugements d’évaluateurs (plutôt experts) Visent à la détection des aspects de l’interface pouvant alourdir l’utilisation du système ou le travail des utilisateurs Définition « Cela consiste à passer en revue chacun des composants de l'interface afin de vérifier qu'ils respectent un ensemble de critères, normes, principes, recommandations ergonomiques » Deux méthodes possibles : Evaluation générale et globale (par heuristiques : Plutôt expert) Evaluation de la conformité à des recommandations

11 A. Principes Heuristiques de Nielsen (Cf. fin de Polycop)
Heuristiques Nielsen (1994 Visibilité de l'état du système : Prévoir du feedback à l'utilisateur Le système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide Lien entre le système et le monde réel : Parler le langage de l'utilisateur Le système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur c- Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiqué Les utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système Annuler

12 A. Principes Heuristiques de Nielsen
Heuristiques Nielsen (1994) Prévenir l'erreur : Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur. L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes experts Permettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues Ici, l’option est grisée car elle n’est pas utilisable dans le contexte Ici, des raccourcis sont proposés

13 A. Principes Heuristiques de Nielsen
Heuristiques Nielsen (1994 Esthétique et design minimal : Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur Homogénéité et standards : S'assurer d'être cohérent Les utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions -> il faut appliquer la règle pour l'ensemble du système Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier Aide et documentation : Utiliser un langage simple et naturel Dans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches… Copier (Crt C) Couper (Ctrl X) Coller (Ctrl V)

14 A. Principes Heuristiques
Grille inspirée de Nielsen (93) Le dialogue est-il simple ? Le langage utilisé est-il celui de l'utilisateur ? Le travail de mémorisation est-il minimal ? La présentation et le dialogue sont-ils cohérents ? Les retours sont-ils visibles ? Les sorties sont-elles explicites ? Existe-t-il des raccourcis ? Les messages d'erreur sont-ils explicites ? Les erreurs sont-elles évitées ? Existe-t-il une aide ? Le logiciel est-il documenté ? Tests automatiques

15 Heuristiques AFNOR – Normes Z67-133-1

16 B. Evaluation de la conformité à des recommandations
Démarche Elaborer une grille d’évaluation (check-list) à partir de: Critères & principes ergonomiques (sélectionner les critères) (Nielsen, 1994 ; Bastien & Scapin, 1993 ; AFNOR (ISO 9241) ; Vanderdonckt, 1994 ; Nogier, 2002…) Caractéristiques de l’application, de l’environnement technique (collaboratif, intranet/internet, commercial, informationnel…) Profil des utilisateurs (Novices/experts, utilisateurs réguliers ou irréguliers, interne/externe à l’entreprise…) Objectifs de l’évaluation (évaluation de l’usage, de l’utilité, de l’utilisabilité, de l’acceptabilité ?…)

17 1 2 3 Guidage Gestion des erreurs Contrôle explicite
8 critères ergonomiques pour la conception et l’évaluation des sites WEB (Scapin & Bastien, 1998) Signifiance des codes et dénominations Charge de travail Adaptabilité 1. GUIDAGE 2. CHARGE DE TRAVAIL 3. CONTROLE EXPLICITE 4. ADAPTABILITE 5. GESTION DES ERREURS 6. HOMOGENEITE/ COHERENCE 7. SIGNIFIANCE DES CODES ET DENOMINATIONS 8. COMPATIBILITE Pour une illustration de ces critères  Guidage Zone de menu Zone de texte 1 2 3 Homogénéité-cohérence Compatibilité Contrôle explicite Gestion des erreurs

18 1. Evaluation par inspection ergonomique
Démarche Questionnaire / Grille d’évaluation permettant d’obtenir des résultats chiffrés pour chaque critère évalué Echelle de lickert Exemple : « La page s’affiche rapidement : » « Les liens sont explicites et judicieux »

19 1. Evaluation par inspection ergonomique
Exemple de barèmes 1 2 3 4 Pas du tout d'accord Peu d'accord D'accord Tout à fait d'accord Pas du tout satisfaisant Peu satisfaisant Satisfaisant Tout à fait satisfaisant Lacune(s) bloquante(s) pour la navigation/interaction Critère partiellement rempli mais lacunes pas bloquantes (justes gênantes) Critère partiellement rempli mais lacunes concernant juste des perfectionnements pointus et non essentiels Critères pleinement remplis Le système présente de sérieux problèmes d’utilisabilité sur ce critère, des modifications importantes sont absolument nécessaires. Le système présente quelques problèmes d’utilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations. Le système est acceptable en l’état pour le critère considéré, les problèmes d’utilisabilité relevés sont superficiels. Le système présente une bonne ergonomie pour le critère considéré.

20 1. Evaluation par inspection ergonomique
Exemple d’évaluation quantitative des critères Note (de 1 à 4) pour chaque critère L’application présente de sérieux problèmes d’utilisabilité sur ce critère, des modifications importantes sont absolument nécessaires. l’application présente quelques problèmes d’utilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations. l’application est acceptable en l’état pour le critère considéré, les problèmes d’utilisabilité relevés sont superficiels. l’application présente une bonne ergonomie pour le critère considéré.

21 Exemple pour l’analyse des banques

22 1. Evaluation par inspection ergonomique
Présentation des résultats A un niveau qualitatif Fiche problème décrivant : le critère ou sous-critère concerné, le contexte d’occurrence (page écran ou procédure mise en cause), la nature du problème (description, manifestation), ses conséquences probables en termes d’utilisation pour les utilisateurs concernés, le degré de gravité estimé, et éventuellement, des suggestions d’amélioration A un niveau quantitatif Moyenne des notes attribuées pour chaque critères et sous-critères (évaluation des affirmations) sur une échelle en 4 points.

23 2. Test d’utilisabilité Définition Objectifs 2. Test d’utilisabilité
le test utilisateur est une méthode d'évaluation qualitative basée sur l'observation individuelle d'utilisateurs cibles Objectifs Observer directement et réellement la façon dont l'utilisateur se sert de l'application savoir s'ils utilisent convenablement ou non l'interface, s'ils apprécient ou non certaines fonctionnalités, et ainsi identifier concrètement les problèmes qu'ils rencontrent, les erreurs qu'ils commettent et les difficultés qu'ils éprouvent

24 2. Tests d’utilisabilité
Nombre d’utilisateurs à observer ? Groupe de 5 à 10 évaluateurs  80 % des problèmes d’utilisabilité identifiés (selon Nielsen) Groupes différentes : experts, novices, intermédiaires Selon Nielsen

25 Les méthodes 2.1. Le tri des cartes Définition Principe
2. Test d’utilisabilité Les méthodes 2.1. Le tri des cartes Définition Permet de définir ou de valider/évaluer le rubriquage, les dénominations et la structuration générale du site afin qu'ils soient les mieux adaptés aux attentes et à la logique des utilisateurs ciblés. Principe Voir début cours critère ergonomique

26 2. Test d’utilisabilité 2.2 Tests en situation d’usage
Exploration libre commentée Il s'agit de laisser l'utilisateur naviguer sur le dispositif sans aucune directive spécifique . Principe On invite l’utilisateur à penser à voix haute  à exprimer ce qu’ils aiment et n’aiment pas sur les pages web ; à indiquer ce qui leur pose problème ; ce qu'ils pensent trouver comme information, contenu, texte en choisissant tel lien ou tel item de navigation à faire des suggestions d’amélioration. Etc.

27 2. Test d’utilisabilité Quelques recommandations
Inciter l’utilisateur à verbaliser en lui posant des questions : "Que voulez-vous faire ?  Identifier le but poursuivi Comment faites-vous cela ?"  Déterminer le mode opératoire mis en œuvre pour atteindre ce but "Que fait le système ? Que veut dire ce message ?"  on vérifie si la réponse du logiciel est correctement comprise et qu'elle correspond à ce que l'utilisateur attendait. Quelques recommandations Temps de passation : < 45 minutes Nombre de personnes par test : de 1 à plusieurs utilisateurs Ne pas aider l’utilisateur, le laisser se tromper Bon résultat avec des prototypes papier (tôt dans la conception)

28 2. Test d’utilisabilité 2.2.2 Tests scénarisés Principe
Consiste à demander à un utilisateur de réaliser une tâche type, spécifique (scénario) du logiciel ou du site web pour évaluer son utilisabilité Principe Avant le test : définir un seuil de réussite Pendant le test : directivité de l’évaluateur  Incite l’utilisateur à suivre un scénario Verbalisation simultanée de l’utilisateur « verbalisez ce que vous faites et pourquoi vous le faites… » Que prendre en compte ? Que cherche-t-on à évaluer ? Efficacité  Objectifs atteints ? Efficience  Temps nécessaire ? Nature, fréquence origine des erreurs ? nombre de sélection ? Chemin parcouru ? Satisfaction  Remarques négatives, positives ? Expert Novice Ex : Manip d’une calculatrice

29 Exemple de données recuillies
Efficacy (% of success in the scenario) Satisfac-tion (mean score / 5) Efficiency Mean exploration time (sec) Mean number of strategies deployed Mean number of selections per scenario Sighted (S) Blind (B) S B Scen. 1 100% 60% 4.17 3.42 105 814 1.38 3.40 4.38 8.20 Scen. 2 62.5% 20% 2.84 2.86 230 1134 2.29 3.70 6.43 7.30 Scen. 3 66 % 10% 334 1176 3.00 3.44 10.83 8.22

30 2. Test d’utilisabilité Les mesures effectuées : objectives
le temps écoulé pour l’exécution d’une tâche, d'un scénario les performances : réussite/échec, exactitude du résultat, de la réalisation du scénario le nombre et le type d’erreur commise le temps passé dans une rubrique, sur une page les difficultés rencontrées les impasses les incompréhensions (en fait, tout événement verbal ou non verbal qui montre une difficulté d'utilisation du logiciel) (Cf Tab. des verbalisation) etc  D’autre mesures subjectives… Verbalisations simultanées (enregistrements Audio et retranscription) Comportements non verbaux & verbalisations consécutives (enregistrements vidéo & Grille d’observation) Verbalisations lors des débriefings (enregistrements Audio)

31 2. Test d’utilisabilité Calcul des indices de performance (Bastien, 2007)… Données à prendre en compte Temps de réalisation du scénarii (sec) Nombre de pages parcourues Nombre d’actions (Clique G/D, scroll, sélection, saisie…) Etc. Modes de calcul Indice Temps (IT) = Indice Action (IA) = Indice Chemin (IC) = Indices Globale de Performance = IT*IA*IC Possibilité de comparer : les effets des modifications apportées au site : Avt/Après Les populations d’utilisateurs (novices / experts / Intermédiaires) Meilleur temps (= Temps moyen de tous les individus) Temps réalisé par l’individu Nombre d’actions minimum (à faire) Nombre d’action de l’individu Nombre de page à parcourir Nombre de pages parcourues

32 Analyse des verbalisations
Problèmes identifiés : analyse des verbalisations de l’usager Prbl tolér. aux erreurs Charge de Travail (mémorisation) Non homogénéité/ cohérence Manque de guidage/navigation - " Elle est où, cette aide? - " Comment on fait pour désigner les erreurs ?" "Je l'ai déjà fait ça ?" - "Qu'est ce qu'il me reste à faire, j'me rappelle plus" - "Je me souviens plus sur quoi j'ai cliqué" - "Ha, j'ai déjà vu ça, il fallait pas que j'appuie, il faut que je revienne" - "Dans les risques, j'ai tout fait ? J'sais plus..." - "Pourquoi ça me dit rien . D'habitude quand je clique sur les carrés..." "Des fois il y a des trucs à chercher, des fois il n'y en a pas ?...« "qu'est ce qu'y a le son ne marche plus ?" (habituellement chaque image est accompagnée d'un commentaire sonore - " Mince, je suis déjà passé là ? - Bon, j'appuie où là ? - "Qu'est ce que je dois faire ?" - "Comment tu lui indiques ?..." - "Bon, là je vois pas ce qu'il faut faire." - "Alors tu sors là ou pas ?" - " Là, il pose une question. Comment veux-tu y répondre ?" - "Bon, j'appuie où là ?" - " Il faut que j'appuie là dedans ou quoi, qu'est ce que c'est ce merdier" - "C'est fini là, non ?" - "Y'a quelque chose à faire ou pas’ Exemple de verbalisations spontanées des opérateurs symptomatiques de problème de navigation. - " ch'ui où là déjà ?" - " Mince, je suis déjà passé là" - " Elle est où, cette aide ?" Exemple de verbalisations spontanées des opérateurs symptomatiques d'un manque de prise en compte des limites de mémorisation humaines - "Je l'ai déjà fait ça ?" - "Qu'est ce qu'il me reste à faire, j'me rappelle plus" - "Je me souviens plus sur quoi j'ai cliqué" - "Ha, j'ai déjà vu ça, il fallait pas que j'appuie, il faut que je revienne" - "Dans les risques, j'ai tout fait ? J'sais plus..." Exemple de verbalisations spontanées des opérateurs symptomatiques d'une non homogénéité. - "qu'est ce qu'y a le son ne marche plus ?" (habituellement chaque image est accompagnée d'un commentaire sonore, celle-ci ne l'était pas, après 7 minutes de manœuvres infructueuses pour tenter de remettre le son, une verbalisation: "Je vais lui mettre un coup de boule à ta machine...) - "Pourquoi ça me dit rien . D'habitude quand je clique sur les carrés..." - "Des fois il y a des trucs à chercher, des fois il n'y en a pas ?..." Exemple de verbalisations spontanées des opérateurs symptomatique d'un : - "- " - "Bon, j'appuie où là ?" - " Il faut que j'appuie là dedans ou quoi, qu'est ce que c'est que ce merdier?" - "C'est fini là, non ?" - "Y'a quelque chose à faire ou pas" - "Mais qu'est ce que c'est ce cirque ?" - "Y'a plusieurs choix possibles ?" Exemple de verbalisations spontanées des opérateurs symptomatiques d'un manque de contrôle par les opérateurs - "- Exemple de verbalisations spontanées des opérateurs symptomatiques d'un manque de feed-back - "J'ai appuyé là?" - "Elle est ou cette patte de mouche ?" (Ici le curseur est invisible, l'opérateur ne peut voir la conséquence de son action sur la souris) - "Il est ou mon guignol ?"(même problème) - "Il cliquette pas là" (Ici pas de feed-back à un clic) - "Il a capté là?" Exemple de verbalisations spontanées des opérateurs symptomatiques de l'utilisation de vocabulaire technique. - "Ca veut dire quoi cliquer sur les zones ?" - "Cliquer sur les boutons ?.." - " Chargement?...."

33 Analyse des verbalisations
Problèmes identifiés : analyse des verbalisations de l’usager Prbl de navigation Probl Compatibilité Probl Contrôle explicite Manque de feed-back - Bon, j'appuie où là ? - " Mince, je suis déjà passé là ? - " Elle est où, cette aide ?" - "Ca veut dire quoi cliquer sur les zones ?" - "Cliquer sur les boutons ?.." -Chargement?.... - Je peux pas revenir en arrière" - "Ca l'arrête pas!" - "Ch'ui parti où avec ma souris". (Ici l'ordinateur à la main, l'opérateur ne peut interagir, le curseur n'étant pas visible) "Tu peux pas faire un défilement plus rapide ?..." Je laisse faire là ?" - "J'ai appuyé là?" - "Elle est ou cette patte de mouche ?" (Ici le curseur est invisible, l'opérateur ne peut voir la conséquence de son action sur la souris) - "Il est ou mon guignol ?"(même problème) - "Il cliquette pas là" (Ici pas de feed-back à un clic) - "Il a capté là?"

34 3. Questionnaire de satisfaction
Exemples de questions types pour évaluer l’utilisabilité dans un questionnaire Il y a beaucoup d’informations intéressantes sur ce site Lorsque j’utilise ce site, j’ai le sentiment de contrôler la situation Sur ce site, je peux trouver rapidement ce que je recherche L’organisation de ce site me paraît logique Ce site mériterait de fournir plus d’explications en introduction Les pages de ce site sont très attrayantes La navigation sur ce site est facile Ce site est trop lent Ce site m’a aidé à trouver ce que je recherchais Apprendre à trouver mon chemin dans ce site est difficile Je n’aime pas utiliser ce site web Sur ce site, je peux facilement contacter les personnes que je désire Je me sens efficace lorsque j’utilise ce site web Il est difficile pour moi de dire si ce site propose ce que je cherche L’utilisation initiale de ce site est facile Ce site web contient des éléments agaçants Sur ce site, il m’est facile de me rappeler où je me trouve Utiliser ce site web est une perte de temps Lorsque je clique sur des éléments du site, j’obtiens toujours les informations auxquelles je m’attends Sur ce site, tout est facile à comprendre

35 Techniques disponibles
2. Test d’utilisabilité Techniques disponibles Grille d’observation traditionnelle, vidéo, magnéto Logiciels de capture d’écran (vidéo/Copie d’écran) Gratuit (à partir du navigateur) (Camtasia Gratuit/30J) (addon pour firefox pour faire des screencast de navigateur) (10 minutes de film)

36 Techniques disponibles
2. Test d’utilisabilité Techniques disponibles Logiciels de capture d’écran (vidéo/Copie d’écran) Payant Viewletcam : Eyes-tracking Vidéo 1 – 2 – 3 - 4 Laboratoire d’utilisabilité

37 Laboratoire d’utilisabilité

38 Annexe : Heuristiques de Nielsen
Principes Heuristiques de Nielsen (1994) (Cf. polycopié) Visibilité de l'état du système : Prévoir du feedback à l'utilisateur Le système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide Lien entre le système et le monde réel : Parler le langage de l'utilisateur Le système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiqué Les utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système Homogénéité et standards : S'assurer d'être cohérent Les utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions => il faut appliquer la règle pour l'ensemble du système Prévenir l'erreur : Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution

39 1. Evaluation par inspection ergonomique
Heuristiques de Nielsen (Suite) Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes experts Permettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues Esthétique et design minimal : Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier Aide et documentation : : Utiliser un langage simple et naturel Dans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches…