Usages des technologies Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies les tests d’usage : Méthodes et Techniques d’évaluation et de diagnostic Part. 2

Méthodes d’évaluation des usages Méthodes et techniques d’évaluation des usages : Avec/Sans usagers En situation réelle / Artificielle (Selon Brangier & Barcenilla, 2003)

L’utilisabilité C’est Quoi ? Son Positionnement « Psychologie appliquée à l'étude de l'interaction entre l'homme et la technologie » Ergonomie Médecine / physiologie Psychologie Utilisabilité Sociologie

L’utilisabilité C’est Quoi ? Son origine et son développement Premières études : 1960-70 Traitement de texte, automatisation des tâches administratives… Développement d’un courant HCI (Human Computer Interaction) ‘L'Interaction Homme-Machine est une discipline consacrée à la conception, la mise en oeuvre et à l'évaluation de systèmes informatiques interactifs destinés à des utilisateurs humains ainsi qu'à l'étude des principaux phénomènes qui les entourent’ S. Conversy

L’utilisabilité C’est Quoi ? Son origine et son développement Depuis les années 1980, on parle aussi de : Ingénierie cognitive (cognitive engineering, Norman, 1986, 1987) ou le génie cognitif (Vogel, 1988); Human engineering (Van Cott & Kinkade, 1972), Human factors (Green & Jordan, 1999) ; User-centred graphic design (Frascara, 1997), Psychodesign (Brangier, 1994) ; User-centred design (Norman & Draper, 1986); Usability (Utilisabilité : Shackel (81,86), Easeon (1984) Etc.

L’utilisabilité C’est Quoi ? Définitions « Capacité, en termes fonctionnels et humains, à permettre une utilisation facile et effective par une catégorie donnée d'utilisateurs, avec une formation et un support adaptés, pour accomplir une catégorie donnée de tâches, à l'intérieur d'une catégorie spécifique de contextes » Shackel (1991) "Degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d'utilisation spécifié". Norme ISO 9241–11 (1998)

L’utilisabilité C’est Quoi ? L’utilisabilité est le résultat d’une interaction entre : Tâches-Activités Dispositifs technologiques Environnement, Contexte d’usage

1. L’utilisabilité Pour quoi faire ? Les enjeux de l’utilisabilité Enjeux économiques (Anact, 94) Accroître la productivité Réduire les coûts de formation Enjeux commerciaux et marketing (Battey, 99 ) Attirer et fidéliser le client Améliorer l’image de marque de l’entreprise Enjeux technologiques Assurer un confort d’usage pour les innovations Facilité la vie avec les technologies Enjeux humains Faciliter l’accès et la sécurité des individus Respecter l’intégrité physique, mentale et psychologique des usagers Enjeux sociétaux Réduire la fracture numérique Inclure les ‘exclus’ de la technique : PA, PH, technopathe, technophobe, débutant…

2. L’utilisabilité Ses dimensions L’utilisabilité repose sur : Efficacité Efficience Satisfaction Tolérance aux erreurs Mémorisation Apprenabilité

2. L’utilisabilité Ses dimensions Efficacité Définition Capacité effective de l'usager d'atteindre un objectif donné via les technologies proposées Degré d’acceptabilité de la performance obtenue (Stanton & Baber, 96) Les critères Dépend du niveau d’expérience de l’utilisateur Se réfère à des acquis antérieurs, des repères préalables Est fonction de l’usage qu’en fait l’utilisateur La mesure Par la réussite de la tâche : Atteinte Nulle, Minimale, Partielle ou Totale des objectifs fixés Objectifs et seuil de réussite fixés de manière discrète ou continue Par la qualité de la performance Evaluation de manière quantitative et/ou qualitative

2. L’utilisabilité Ses dimensions Efficience Définition Capacité de produire une tâche donnée avec le minimum d'effort Les critères Evaluation de la charge de travail (physique, cognitive) Rendement (intellectuelle, opératoire) d’un comportement d’usage La mesure Taux et nature des erreurs d’utilisation Temps pour exécuter une tâche donnée Nombre d’opération requises pour exécuter une tâche principale et les déviations par rapport à la procédure optimale Nombres de fonctions utilisées pour réaliser sa tâche La charge de travail - Les exigences de la tâche

2. L’utilisabilité Ses dimensions Satisfaction Définition Confort ressenti par l'utilisateur lorsqu'il emploi le dispositif Les critères Plaisir que l'utilisateur reçoit en échange de son acte Dimensions ludiques, graphiques, esthétiques…, sensations, perceptions, émotions… La mesure Echelles d’évaluation subjective (Wammi + http://www.acm.org/~perlman/question.html) Commentaires verbaux durant les tests (frustration, satisfaction…) Observation et comptabilisation du non-verbal (expression faciale, soupire, signes d’énervement, d’agacement…)

Exemple de questionnaire de Satisfaction (Wammi) Il y a beaucoup d’informations intéressantes sur ce site Lorsque j’utilise ce site, j’ai le sentiment de contrôler la situation Sur ce site, je peux trouver rapidement ce que je recherche L’organisation de ce site me paraît logique Ce site mériterait de fournir plus d’explications en introduction Les pages de ce site sont très attrayantes La navigation sur ce site est facile Ce site est trop lent Ce site m’a aidé à trouver ce que je recherchais Apprendre à trouver mon chemin dans ce site est difficile Je n’aime pas utiliser ce site web Sur ce site, je peux facilement contacter les personnes que je désire Je me sens efficace lorsque j’utilise ce site web Il est difficile pour moi de dire si ce site propose ce que je cherche L’utilisation initiale de ce site est facile Ce site web contient des éléments agaçants Sur ce site, il m’est facile de me rappeler où je me trouve Utiliser ce site web est une perte de temps Lorsque je clique sur des éléments du site, j’obtiens toujours les informations auxquelles je m’attends Sur ce site, tout est facile à comprendre

Exemple de questionnaire de Satisfaction Personnellement, pensez vous qu'il soit facile de saisir les données avec ordinateur ? Une fois des données saisies, les temps de réponse de l'ordinateur sont-ils satisfaisants ? Lorsque vous commencez une procédure est-il facile de l'interrompre ou de l'arrêter ? Les écrans permettent-ils de saisir les données dans n'importe quel ordre ? Globalement, estimez-vous que les informations sont bien disposées sur les écrans ? Trouvez-vous que certains écrans soient difficiles à lire ? Avez-vous le sentiment que les informations que vous cherchez milieu d'informations inutiles Vous arrive-t-il d'avoir besoin, au même moment, d'informations sur plusieurs écrans différents ? Selon vous, le logiciel vous oblige-t-il à visualiser des écrans qui ne vous servent pas directement ? Pour vous, les libellés des menus correspondent-ils au vocabulaire de votre métier ? Avez-vous le sentiment que le dialogue avec le logiciel est naturel ? Vous arrive-t-il de vous « perdre » dans les enchevêtrements d'écrans ? Les mots présents à l'écran sont-ils ceux de votre métier ? Trouvez-vous que l'utilisation du logiciel sollicite beaucoup votre mémoire ? Les commandes sont-elles simples à utiliser ? Vous arrive-t-il de « mélanger » certains codes, commandes présents à l'écran ? Pour utiliser le logiciel, devez-vous connaître un « jargon » informatique ? Vous arrive-t-il de demander à un collègue de vous aider à effectuer une procédure informatique particulière ?

2. L’utilisabilité Ses dimensions L’apprenabilité Définition Facilité d’apprentissage du système Les critères Intuitivité Affordance Transparence La mesure Apprécier la capacité du produit à être utilisé naturellement Estimer la compréhension correcte et l’assimilation rapide du mode de fonctionnement (Entretien, observation) Mesurer le temps de latence entre la consigne de l’évaluateur et le début d’une utilisation correcte Cf. Mesures sur Mémorisation Experts Novices

2. L’utilisabilité Ses dimensions La mémorisation Définition Propriété qui permet à un usager, après une période d'inactivité, de réutiliser facilement la technologie sans qu'il n'ait besoin de se replonger dans une quelconque documentation ou aide technique Les critères Résultats des apprentissages Consolidation des connaissances en mémoire pour leur usage ultérieur La mesure Amélioration et stabilité de la performance dans le temps Niveau de performance après une période d'inactivité Recourt à un manuel technique ou appel à une aide extérieure Satisfaction globale Nature des processus cognitifs en jeu (représentations mentales, raisonnements, transferts de connaissances…)

2. L’utilisabilité Ses dimensions La tolérance aux erreurs Définition Capacité du système à anticiper, à accepter et à prendre en compte les erreurs d'usage et de manipulation des utilisateurs pour leur permettre de continuer leur tâche et de réaliser leurs objectifs Les critères Qualification, quantification et catégorisation des erreurs Origine et la cause des erreurs : humaines, techniques… Les stratégies de récupérations des erreurs La mesure Comptabiliser le nombre d'erreurs commises par l'utilisateur et le nombre de récupérations Quantifier le nombre de bonnes ou de mauvaises applications mentionnées par l'utilisateur Mesurer le temps nécessaire à la correction des erreurs Evaluer le système (grille d’inspection ergonomique)

2. L’utilisabilité Ses dimensions Vrai ou Faux ? Un dispositif efficient est efficace ? Un dispositif efficace est nécessairement efficient ? Un dispositif efficace aboutit toujours à un sentiment de satisfaction ? On peut être satisfait d'un dispositif pas forcément efficient ? En définitive : On dira qu’un système est utilisable si on peut accomplir sa tâche (efficacité) avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction)

Les méthodes d’évaluation pour diagnostique et évaluer l’utilisabilité Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Les méthodes d’évaluation pour diagnostique et évaluer l’utilisabilité

Plan Méthodes d’inspection de l’utilisabilité 1.1 Evaluation par heuristiques 1.2. Evaluation de la conformité à des recommandations 2. Tests d’utilisabilité en situation d’usage 2.1 Exploration libre commentée 2.2 Tests scénarisés

3.2 L’utilisabilité Les méthodes d’inspection Les méthodes d’inspection de l’utilisabilité Principes Font appel aux jugements d’évaluateurs (plutôt experts) Visent à la détection des aspects de l’interface pouvant alourdir l’utilisation du système ou le travail des utilisateurs Trois méthodes possibles : Evaluation par inspection cognitive (Cognitive walkthrough) Evaluation (générale et globale) par heuristiques (standards inspection) Evaluation de la conformité à des recommandations (guideline reviews)

3.2 L’utilisabilité Les méthodes d’inspection Les méthodes d’inspection de l’utilisabilité Principes Font appel aux jugements d’évaluateurs (plutôt experts) Visent à la détection des aspects de l’interface pouvant alourdir l’utilisation du système ou le travail des utilisateurs « Elles consistent à passer en revue chacun des composants de l'interface afin de vérifier qu'ils respectent un ensemble de critères, normes, principes, recommandations ergonomiques » Deux méthodes possibles : Evaluation (générale et globale) par heuristiques (standards inspection) Evaluation de la conformité à des recommandations (guideline reviews)

3.2 Les méthodes d’inspection a) Evaluation par Heuristiques 1.1. Evaluation globale et générale du site par heuristiques Grille IBM (pour des problèmes d'utilisabilité) L'objectif du site est-il clair ? L'audience du site peut-elle clairement s'identifier ? Le site est-il utile et pertinent pour ce public ? Le site est-il intéressant et attirant ? Le site permet-il aux visiteurs de réaliser toutes les tâches qu'ils veulent accomplir? Les visiteurs peuvent-ils accomplir facilement ces tâches ? Le contenu et l'organisation des informations sont-ils cohérents avec l'objectif du site ? L'information importante est-elle facile à trouver ? Toutes les informations sont-elles claires, faciles à comprendre et à lire ? Le visiteur sait-il toujours où il est et comment faire pour aller où il veut ? Le graphisme est-il agréable ? Les pages se chargent-elles suffisamment vite ?

Evaluation par heuristiques Principes Heuristiques de Nielsen (1994) (Cf. polycopié) Visibilité de l'état du système : Prévoir du feedback à l'utilisateur Le système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide Lien entre le système et le monde réel : Parler le langage de l'utilisateur Le système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiqué Les utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système Homogénéité et standards : S'assurer d'être cohérent Les utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions => il faut appliquer la règle pour l'ensemble du système Prévenir l'erreur : Anticiper et aider à corriger l’erreur Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution

Evaluation par heuristiques Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes experts. Permettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues Esthétique et design minimal : Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier Aide et documentation : Utiliser un langage simple et naturel Dans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches… (test automatique) http://www.acm.org/~perlman/question.html http://uzilla.mozdev.org/heuristicreview.html#

Evaluation par heuristiques Grille inspirée de Nielsen (93) Le dialogue est-il simple ? Le langage utilisé est-il celui de l'utilisateur ? Le travail de mémorisation est-il minimal ? La présentation et le dialogue sont-ils cohérents ? Les retours sont-ils visibles ? Les sorties sont-elles explicites ? Existe-t-il des raccourcis ? Les messages d'erreur sont-ils explicites ? Les erreurs sont-elles évitées ? Existe-t-il une aide ? Le logiciel est-il documenté ?

Evaluation par heuristiques Critères AFNOR – Normes Z67-133-1

b). Evaluation par inspection ergonomique 1.2. Evaluation de la conformité à des recommandations « Elles consistent à passer en revue chacun des composants de l'interface afin de vérifier qu'ils respectent un ensemble de critères, normes, principes, recommandations ergonomiques » Construire sa propre grille d’évaluation (check-list) à partir des : Critères & principes ergonomiques (sélectionner les critères) (Bastien & Scapin, 1993 ; Nielsen, 2001 ; AFNOR (ISO 9241) ; Vanderdonckt, 1994 ; Nogier, 2002…) Particularités de l’application, de l’environnement technique (collaboratif, intranet/internet, commercial, informationnel…) Profil des utilisateurs (Novices/experts, utilisateurs réguliers ou irréguliers, interne/externe à l’entreprise…) Objectifs de l’évaluation (évaluation de l’usage, de l’utilité, de l’utilisabilité, de l’acceptabilité ?)

8 critères ergonomiques pour la conception et l’évaluation des sites WEB (Scapin & Bastien, 1998) 1. GUIDAGE 1.1 Incitation 1.2 Groupement et Distinction entre items 1.2.1 Groupement/ distinction par la localisation 1.2.2 Groupement/ distinction par le format 1.3 Feed-Back immédiat 1.4 Lisibilité 2. CHARGE DE TRAVAIL 2.1 Brièveté 2.1.1 Concision 2.1.2 Actions minimales 2.2 Densité Informationnelle Pour une illustration de ces critères http://www.ergoweb.ca/criteres.html 3. CONTROLE EXPLICITE 3.1 Actions explicites 3.2 Contrôle utilisateur 4. ADAPTABILITE 4.1 Flexibilité 4.2 Prise en compte de l’expérience de l’utilisateur final 5. GESTION DES ERREURS 5.1 Protection contre les erreurs 5.2 Qualité des messages d’erreur 5.3 Correction des erreurs 6. HOMOGENEITE / COHERENCE 7. SIGNIFIANCE DES CODES ET DENOMINATIONS 8. COMPATIBILITE

1. Evaluation par inspection ergonomique 1.2. Evaluation de la conformité à des recommandations Démarche Grille d’évaluation / questionnaire permettant d’obtenir des résultats chiffrés pour chaque critère évalué Echelle de lickert Exemple : « La page s’affiche rapidement : » « Les liens sont explicites et judicieux »

1. Evaluation par inspection ergonomique Présentation des résultats A un niveau qualitatif Fiche problème décrivant : le critère ou sous-critère concerné, le contexte d’occurrence (page écran ou procédure mise en cause), la nature du problème (description, manifestation), ses conséquences probables en termes d’utilisation pour les utilisateurs concernés, le degré de gravité estimé, et éventuellement, des suggestions d’amélioration A un niveau quantitatif Moyenne des notes attribuées pour chaque critères et sous-critères (évaluation des affirmations) sur une échelle en 4 points (Cf. Diapo suivante).

1. Evaluation par inspection ergonomique Exemple d’évaluation quantitative des critères Note (de 1 à 4) pour chaque critère L’application présente de sérieux problèmes d’utilisabilité sur ce critère, les modifications importantes sont absolument nécessaires. l’application présente quelques problèmes d’utilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations. l’application est acceptable en l’état pour le critère considéré, les problèmes d’utilisabilité relevés sont superficiels. l’application présente une bonne ergonomie pour le critère considéré.

2. Test d’utilisabilité Définition Objectifs 2. Test d’utilisabilité le test utilisateur est une méthode d'évaluation qualitative basée sur l'observation individuelle d'utilisateurs cibles Objectifs Observer directement et réellement la façon dont l'utilisateur se sert de l'application savoir s'ils utilisent convenablement ou non l'interface, s'ils apprécient ou non certaines fonctionnalités, et ainsi identifier concrètement les problèmes qu'ils rencontrent, les erreurs qu'ils commettent et les difficultés qu'ils éprouvent

2. Tests d’utilisabilité Nombre d’utilisateurs à observer ? Groupe de 5 à 10 évaluateurs  80 % des problèmes d’utilisabilité identifiés (selon Nielsen) Groupes différentes : experts, novices, intermédiaires Selon Nielsen

Les méthodes 2.1. Le tri des cartes Définition Principe 2. Test d’utilisabilité Les méthodes 2.1. Le tri des cartes Définition Permet de définir ou de valider/évaluer le rubriquage, les dénominations et la structuration générale du site afin qu'ils soient les mieux adaptés aux attentes et à la logique des utilisateurs ciblés. Principe Voir début cours critère ergonomique

2. Test d’utilisabilité 2.2 Tests en situation d’usage 2.2.1 Exploration libre commentée Il s'agit de laisser l'utilisateur naviguer sir le site sans aucune directive spécifique . Principe On invite l’utilisateur à penser à voix haute  à exprimer ce qu’ils aiment et n’aiment pas sur les pages web ; à indiquer ce qui leur pose problème ; ce qu'ils pensent trouver comme information, contenu, texte en choisissant tel lien ou tel item de navigation à faire des suggestions d’amélioration. Etc.

2. Test d’utilisabilité Quelques recommandations Inciter l’utilisateur à verbaliser en lui posant des questions : "Que voulez-vous faire ?  Identifier le but poursuivi Comment faites-vous cela ?"  Déterminer le mode opératoire mis en œuvre pour atteindre ce but "Que fait le système ? Que veut dire ce message ?"  on vérifie si la réponse du logiciel est correctement comprise et qu'elle correspond à ce que l'utilisateur attendait. Quelques recommandations Temps de passation : < 45 minutes Nombre de personnes par test : de 1 à plusieurs utilisateurs Ne pas aider l’utilisateur, Le laisser se tromper Bon résultat avec des prototypes papier (tôt dans la conception)

2. Test d’utilisabilité 2.2.2 Tests scénarisés Principe Consiste à demander à un utilisateur de réaliser une tâche type, spécifique (scénario) du logiciel ou du site web pour évaluer son utilisabilité Principe Avant le test : définir un seuil de réussite Pendant le test : directivité de l’évaluateur  Incite l’utilisateur à suivre un scénario Verbalisation simultanée de l’utilisateur « verbalisez ce que vous faites et pourquoi vous le faites… » Que prendre en compte ? Que cherche-t-on à évaluer ? Efficacité  Objectifs atteints ? http://www.acm.org/~perlman/question.html Efficience  Temps nécessaire ? Nature, fréquence origine des erreurs ? nombre de sélection ? Chemin parcouru ? Satisfaction  Remarques négatives, positives ? Facilité d’apprentissage  temps d'attente, interrogations, hésitations, remarques… ? Expert Novice Ex : Manip d’une calculatrice

2. Test d’utilisabilité Les mesures effectuées : objectives le temps écoulé pour l’exécution d’une tâche, d'un scénario les performances : réussite/échec, exactitude du résultat, de la réalisation du scénario le nombre et le type d’erreurs commises le temps passé dans une rubrique, sur une page les difficultés rencontrées les impasses les incompréhensions (en fait, tout événement verbal ou non verbal qui montre une difficulté d'utilisation du logiciel) etc  D’autre mesures subjectives… Verbalisations simultanées (enregistrements Audio et retranscription) Comportements non verbaux & verbalisations consécutives/autoconfrontion (enregistrements vidéo & Grille d’observation) Verbalisations lors des débriefings (enregistrements Audio)

2. Test d’utilisabilité Techniques disponibles Grille d’observation traditionnelle, vidéo, magnéto Logiciels de capture d’écran et de traçage de curseur Viewletcam http://www.hyperionics.com/hsdx/downloads.asp http://www.techsmith.com/products/snagit/default.asp Eyes-tracking Vidéo 1 – 2 – 3 - 4 www.seeingmachines.com Laboratoire d’utilisabilité http://cleeo.com/etic/methodologies2.php

Laboratoire d’utilisabilité