Les méthodes d’évaluation 23 Février – 16h – 17h30 Objectif : situer les différentes méthodes en termes d’objectifs (quelle dimension ergonomique, quels types de données recueillies, moment de conception)

Les dimensions ergonomiques Efficience Gestion des erreurs Satisfaction Apprenabilité Atteinte des objectifs utilisateurs Support à l’activité Valeurs d’usage Intégration pratique Bétrancourt (2007). in Charlier, B. et Peraya, D. (Eds). Regards croisés sur la recherche en technologie de l’éducation (pp ), De Boeck: Bruxelles, 2007.

Les objets recueillis Représentations Ce que j’en sais ou crois que j’en sais Attitudes Ce que j’en pense, ce que j’aime ou non… Pratiques effectives Ce que je fais réellement avec le système…

Le tets utilisateurs parmi les différentes méthodes

Le test utilisateur Test utilisateur de smartphone : Test de site web à distance :

Quelles sont les différentes étapes du test ?   D’après la vidéo du test ci-dessous, quelles sont les étapes du test utilisateur ? Test utilisateur (humoristique) :

Test de scénarios (usability testing) 1.Construction de scénarios authentiques d’après analyse de l’activité et analyse du système Pre-test 2.Recrutement des utilisateurs 3.Passation du test utilisateurs 1.Expliquer 2.Faire passer les tâches - enregistrer 3.Questionnaires et entretien de debriefing 4.Analyse qualitative et quantitative 5.Diagnostic et proposition de remédiations.

Exercice : deux volontaires dont un ne connaît pas le site Scénario Observateurs : - la moitié observent l’entretien : ce qui se passe, comment se déroule le test, quelles sont les difficultés potentielles - l’autre moitié notent les problèmes rencontrés par l’utilisateur (en notant bien ce qui s’est passé) Après le test, chacun rapporte son observation (y compris les participants au jeu de rôle) Test de scénarios : petit jeu de rôle

Passation - Recommandations Voir l’animation humoristique The scrollwheel

Problèmes observés Que s’est-il passé ? Pourquoi était-ce un problème pour l’utilisateur Quelle conséquence ?

Représentatifs du public-cible (si possible) –Prendre les vrais utilisateurs, « pas leurs représentants » Population homogène pour chaque échantillon de public cible Qui sont usagers réguliers d’internet, mais ne connaissent pas le site en question Combien de sujets –Dépend de la diversité du public cible : 5 par type de cibles est acceptable 2. Recruter les utilisateurs

Je vous vous présenter différentes tâches que vous devrez réaliser sur un site web. Ce test va durer … minutes. Le but n’est pas de vous évaluer mais de savoir si le site est satisfaisant. Il n’y a pas de bonne ou mauvaise réponse. Je vais vous demander de penser à voix haute pendant que vous réalisez ces tâches. Dites-moi lorsque vous pensez avoir terminé la tâche. Puis-je vous enregistrer... -> enregistrer de préférence avec un enregistreur d’écran : Voir suggestions PC / Mac sur Wikispaces 3. Tester 3.1. Expliquer

Voici le site. A quoi vous fait-il penser de premier abord ? Voici la première tâche. Lisez-là à voix haute (ou on la lit). Est-ce que vous avez compris ce qui vous est demandé ? PENSEZ TOUT HAUT PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ? PENSEZ TOUT HAUT Voici la deuxième tâche Tester 3.2. Faire passer

Règles classiques de l ’entretien : Ecouter > Parler Poser des questions sur son activité Poser des questions neutres Fournir un feedback neutre Respecter les silences, laisser un petit moment après chaque tâche Rebondir sur les points intéressants, ne pas suivre rigidement un canevas Ne pas se laisser placer dans un rôle d’expert par l’utilisateur Arrêter le test en cas d’échec répétitif Prévoir un entretien post-test : Échelles de satisfaction (voir demain) Entretien ouvert : « qu’avez-vous pensé du site lorsque vous effectuiez les tâches demandées ? » 3. Tester 3.3. Ecouter

1. création de scénario - Exercice Le Scénario pour le test utilisateur est une série de tâches à réaliser sur le site web choisi, inspirées de l’analyse de l’activité, qui a pour objectif de mettre les participants dans une situation authentique d'utilisation du site web. Vous devez faire un test utilisateurs pour évaluer un site de cuisine comme Le Marmiton. Le public cible est large et ne concerne pas forcément des personnes férues de cuisine. Imaginez un scénario pour le test utilisateur qui comprenne au moins deux tâches. Le scénario doit réaliser une « mise en situation » authentique qui donne du sens aux différentes tâches. Postez votre scénario (formulé tel qu’il le serait pour l’utilisateur) dans openclass avec le #scenario

Qu’est-ce qu’un bon scénario ?

Faire passer un des trois questionnaires conseillés Voir Wikispaces – Questionnaire Wammi 3. Tester 3.2. Phase post-test

Les étapes du test utilisateur : après la passation Description et diagnostic des problèmes Grilles heuristiques

Synthèse : description générale et points positifs éventuellement, temps moyen Diagnostic des problèmes –Description avec Citations, copie d’écran ou screen cast, –Statistiques : combien d’utilisateur ont rencontré ce problème –Gravité : degré d’entrave à l’atteinte de la tâche –Catégorisation selon grille de critères Propositions de solutions –Argumentées –Implémentées ou non dans le prototype 2 4. Résultats : Diagnostic Voir Modèle de rapport dans wikispaces

Pourquoi utiliser une grille ? Objectif rhétorique : Objectif diagnostique : pour synthétiser les problèmes rencontrés pour faciliter le diagnostic des problèmes rencontrés et leur résolution Deux cas de figure : pour systématiser une inspection experte pour synthétiser les résultats d’un test utilisateurs

Trois exemples de grilles ou « check- lists » La norme ISO 9241 Les 10 recommandations de Nielsen Les critères de Bastien & Scapin

Les 10 recommandations de Nielsen Inspection experte Heuristiques basées sur l ’optimisation des fameux 4 critères : apprentissage efficience gestion des erreurs satisfaction Document Wikispaces : Principes Nielsen

Les normes ISO Normes définissant la qualité d’un produit informatisé Principes de dialogue Utilisabilité des systèmes Présentation visuelle Guidage de l’utilisateur Styles de dialogue : menus, manipulation directe, langage de commande ou formulaires Document Wikispaces : Checklist ISO

Les critères de Bastien & Scapin recueil d’un grand nombre de données expérimentales (800) et de recommandations individuelles (guidelines) traduction de ces données en règles distinction de classes de règles Test expérimental de l’efficacité de la grille pour experts et non experts Stratégie de construction des critères : Références Bastien, J. M. C., & Scapin, D. L. (1995). Evaluating a user interface with ergonomic criteria. International Journal of Human-Computer Interaction, 7, Site de l’auteur : Documents Dokeos : Liste des critères de Bastien et Scapin plus présentation illustrée avec les sous-critères.

1. Guidage La personne qui utilise sait-elle toujours ce qu’elle doit et peut faire ? L’information est-elle clairement organisée et présentée ?

2. Charge de travail L’interface n’est-elle pas trop chargée au niveau des éléments à lire ou des actions à faire ? Source:

3. Contrôle explicite Les actions entreprises par le système correspondent-elles à ce qu’attend l’utilisateur-trice ? A-t-on le contrôle sur les actions en cours ?

4. Adaptabilité Peut-on personnaliser l’interface, définir des préférences ? Y a -til une prise en compte de l’expérience (sur le site) de l’utilisateur ?

5. Gestion des erreurs Peut-on facilement éviter les erreurs et les corriger lorsqu’elles surviennent ?

6. Homogénéité / Cohérence Les éléments de l’interface sont-ils conservés pour des contextes identiques et différenciés pour des contextes différents ? codes, dénominations, formats, procédures, etc.

7. Signifiance des codes et dénominations Les codes et dénominations utilisées sont-ils signifiants, intuitifs pour les utilisateurs-trice ?

8. Compatibilité Le contenu est-il adapté aux caractéristiques du public cible et à son activité ?

Pratique du test utilisateur Par deux, un-e utilisateur-trice, un-e expert-e. Scénario : voir feuille distribuée. Après la passation, l’expert fait passer le questionnaire Wammi, puis demande à l’utilisateur de décrire son expérience sur le site. L’expert prend note des problèmes rencontrés par l’utilisateur pendant la passation.

Description des problèmes utilisateurs Que s’est-il passé ? (bien décrire la séquence des événements) Pourquoi c’était un problème pour l’utilisateur ? Comment le sait-on (hésitation, retour en arrière répétées, phrases éloquentes…) ? Diagnostic : Classification selon la grille de Bastien et Scapin : quel critère d'utilisabilité le problème viole-t-il ? Justifier ! (Statistiques : combien d'utilisateurs l'ont rencontré ?) Gravité du problème : critique : empêche ou décourage l'achèvement de la tache; sérieux : ralentit et force l'utilisateur à chercher une autre solution; léger: agace mais n'empêche pas la poursuite de la tâche A poster dans openclass pour un (deux max) des problèmes rencontrés avec le mot clé #testcuisine.