Évaluation d’un système interactif Tests d’utilisabilité

Présentation au sujet: "Évaluation d’un système interactif Tests d’utilisabilité"— Transcription de la présentation:

1 Évaluation d’un système interactif Tests d’utilisabilité
Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit

2 La semaine dernière … On a vu : La notion d’utilisabilité
Des critères ergonomiques La méthode d’évaluation heuristique par des experts

3 Voila … L’homme adapté à l’ordinateur!!!

4 Et donc on fait quoi aujourd’hui?
Évaluation et processus de recherche et développement (R&D) Définir une problématique Méthodes d’évaluation de l’utilisabilité Évaluation heuristique Tests utilisateurs Exemple avec les non-voyants Atelier

5 Évaluation et processus de recherche et développement (R&D)

6 Préjugés Le développement et l’évaluation, c’est cher!
Je connais le domaine  je sais que j’ai fait un truc bien! On a testé l’outil en interne Je sais l’utiliser donc tout le monde peut l’utiliser On a fait passer un questionnaire et toute le monde aime ça Personne n’aime les critiques

7 Processus de R&D Produit fini Innovation Analyse des besoins
Conceptualisation Développement Implantation Produit fini Innovation Analyse des besoins Analyse des fonctionnalités Prototype Évaluation Évaluation heuristique Évaluation empirique Tests techniques Tests d’utilisabilité Observations Entrevues Analyse de données précédentes

8 Définir une problématique  but de l’évaluation

9 But de l’évaluation Toujours préciser les objectifs de l’évaluation en premier! Évaluer un système  adapté aux activités et au contexte? Quelle est la valeur ajoutée du système?

10 Comment mettre en place l’évaluation?
Rechercher les autres systèmes, les usagers, les théories, les expériences qui se rapportent au système à évaluer. Comparer un système à un autre ou à une version antérieure  observer les différences Utilisabilité  critères ergonomiques Impact  notion d’utilité (apprentissage, vente, échange)  À quoi ça sert, qui, pourquoi?  Différents usagers, attentes

11 Problématique Une problématique doit permettre de correctement répondre aux questions suivantes : Pourquoi met-on en place une évaluation? Que veut-on évaluer? De quelle façon allons-nous faire l’évaluation?

12 Méthodes d’évaluation de l’utilisabilité

13 Méthodes d’évaluation
Évaluation analytique ou heuristique Tests utilisateurs aussi appelés « évaluation empirique avec des usagers »

14 Évaluation analytique
Basée sur l’analyse des tâches ou des activités - GOMS Parcours cognitif (Cognitive walkthrough) Évaluation heuristique des principes ergonomiques (par des experts)  déjà vu!

15 Évaluation basée sur l’analyse des tâches et des activités – GOMS
Aussi appelé « analyse hiérarchique des tâches » Utile pour analyser un système à développer ou des activités existantes  à faire avant le développement! Utile pour développer la documentation structure de tâche ≠ structure d’interface

16 Évaluation basée sur l’analyse des tâches et des activités – GOMS
GOMS = Goal Operators Methods and Selection rules Buts : intentions, mémoire de la tâche à faire, structure à explorer (Cas d’utilisation)  pourquoi? Opérateurs : éléments d'actions, composantes, effets, input, output  quoi? Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions  comment? Règles de sélection: procédure générale de choix entre les méthodes  comment? L’exemple … Comment ouvrir un fichier ? But: Ouvrir un fichier pour l’éditer Opérateurs: Bureau, Dossier, Souris, Clavier Méthodes: déplacements et clics souris, recherche au clavier Règles: Si je suis dans le bon dossier, dans un dossier proche ou ai accès à raccourci sur mon bureau, préférer la manipulation souris Si je suis dans un dossier éloigné, préférer la recherche

17 Application du modèle GOMS
Utile lorsque la tâche est organisée sous formes d’étapes Décrire le comportement idéal de la tâche Permettre de caractériser les différences entre modèles usagers et tâches prévues Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation Permet de choisir des versions ou options dans le système Permet de considérer des variables comme la distance des éléments, le nombre d’opérations, le temps de celles-ci, la difficulté, l'imbrication Peut servir à décrire un système à priori et à le valider sur papier

18 Parcours cognitif Approche des scénarios
Déterminer les séquences d’utilisation Identifier les buts et extraire les états par lesquels passeront les usagers Explorer les multiples chemins possibles Évaluer l’utilisabilité des séquences

19 Parcours cognitif Pour chaque action dans la séquence se mettre dans la peau d’un usager Que veut faire l’usager ? L’action requise est-elle suffisamment évidente ? L’usager reconnaît-il que l’action répondra à ses buts ? L’usager reconnaît-t-il que la réponse du système répond à ses besoins, qu’il a fait le bon choix.

20 Evaluation heuristique
Voir cours précédent

21 Tests utilisateurs Protocole expérimentale
Méthodologie d’analyse des observations Méthodologie d’analyse des traces Utilisation des questionnaires

22 Protocole expérimental
Préparation Choix des sujets Installation Déroulement

23 Protocole expérimental – préparation
Définir la problématique Définir les tâches Trouver un contexte réel d’activité

24 Protocole expérimental - Problématique
La problématique permet d’identifier le but de l’évaluation Évaluation de l’expérience globale rencontrée sur le site? Évaluation de certaines fonctionnalités seulement? Évaluation dans un contexte d’utilisation spécifique (mobile?)

25 Protocole expérimental - Tâches
Les tâches permettent de répondre à la problématique Pas un nombre standard de tâches Évaluer la durée moyenne de chaque tâche Viser un temps total d’une heure pour l’expérimentation Identifier les critères de réussite de chaque tâche Toutes les tâches doivent être réalisables

26 Protocole expérimental – Contexte d’activité
Indiquer dans le scénario de départ quel est le contexte réel d’activité Exemples : Votre contrat de téléphonie mobile expire bientôt, vous souhaitez changer de téléphone et trouver un forfait plus avantageux. Vous souhaitez partir en vacances au soleil le mois prochain. Vous êtes fan du Canadien de Montréal et voulez consulter les dernières informations concernant cette équipe.

27 Protocole expérimental – Choix des sujets
Echantillon représentatif ou au hasard? Mesures répétées? Schéma contrebalancé? Groupe Temps 1 Temps2 A Condition 1 Condition 2 B

28 Protocole expérimental – Installation
Tester si tout fonctionne : Vidéo Audio L’application à évaluer Etc. Parcourir de nouveau la consigne

29 Protocole expérimental – Déroulement
Formulaire de consentement Consigne Pratique de la verbalisation (think aloud) Expérimentation Intervenir le moins possible Observer Rappeler qu’il faut verbaliser Questionnaires

30 Observation – Il faut noter :
Actions de l’utilisateur Commentaires des usagers (incluant les questions posées) Temps mis pour réaliser une tâche Erreurs commises Utilisation de l’aide Réponses physiques de l’utilisateur (expressions faciales) Diagnostic des problèmes ergonomiques sur le vif Suggestions sur le vif

31 Laboratoire de test : LORIT

32 Laboratoire de test : LORIT
Supervision: Voir les postes et les caméras Contrôle des postes Contrôle des caméras Contrôle des liens avec Internet Contrôle des enregistrements Magicien d’Oz – simuler les interactions d’un système en développement, aide, questions suggestions.

33 Laboratoire de test : Bell Web

34 Observation : Eye Tracking
ASL Eye Tracking : suivi oculaire iViewX (SMI) Tobii T60

35 Observation : Eye Tracking
Un Eye Tracker calcule la distance entre l’iris et un reflet cornéen

36 Observation : Eye Tracking

37 Observation : vers les émotions?

38 Kismet

39 Observations : mesures physiologiques
Rythme cardiaque Sudation Température

40 Méthodologie d’analyse des observations
Transcription de vidéos Codage des observations et des commentaires des usagers selon une grille ergonomique faire ensuite la synthèse selon les grandes catégories

41 Transcription de vidéos
Temps Status du système Actions et commentaires de l’utilisateur Problèmes et autres remarques 23:00 Tâche 1. Connectez-vous à votre compte 23:15 > Accueil L’utilisateur essaie de trouver le lien pour se connecter ”Je pensais le trouver quelque part sur la gauche” Problème: Le modèle mental de l’utiilisateur à propos de la localisation de la fonctionnalité permettant de se connecter ne correspond pas au modèle du système. Problème : La fonctionnalité pour se connecter n’est clairement visible depuis le coin en haut à droite. 23:59 Il trouve finallement le lien. ”Oh! C’était chaché ici!” 24:10 > Mon compte L’usager remplit son nom d’utilisateur et son mot de passe sans problème 25:00 Durée de la tâche : 2:00 Résultat: Succès 35:10 Tâche 2. …

42 Analyse des traces Nombre de visites dans les différents environnements Temps passé dans les différents environnements Contexte du temps passé (en revenant ou en avançant, en venant d’où ?) Erreurs, appel à l’aide Statistiques descriptives sur les données, tableau des fréquences, des moyennes, pourcentages Tests de comparaison entre les groupes

43 Questionnaire Il peut y avoir un pré-questionnaire (âge, habitudes de l’utilisateur, …) Sinon, le questionnaire a lieu après, mais le plus vite possible! Questions adaptées et claires Questions fermées au début, puis ouvertes Complètement d’accord  pas du tout d’accord VS. Echelle de Likert 1 (moins) à X (plus) avec 0 = ne sait pas VS. Smileyometter de Read

44 Questionnaire Pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse Il vaut mieux éviter les questions et les remplacer par des affirmations positives en demandant à l’utilisateur s’il est d’accord Le logiciel est-il difficile à utiliser?  Le logiciel est facile à utiliser  L’utilisation du logiciel est : (1 = très difficile; 5 = très facile)

45 Type de question Questions fermées Questions ouvertes Liste à cocher
Smileyometter Échelle de Likert (0 à X) (X = 5 ou 7) Rang  par exemple, ordonner les problèmes Questions ouvertes Principaux problèmes et solutions Ce que vous avez préféré Proposition d’améliorations

46 Questionnaire Attention à l’effet Hawthorn!!! Les utilisateurs ont la fâcheuse habitude de vouloir faire plaisir à l’expérimentateur! Il faut donc toujours leur préciser qu’ils ne doivent pas hésiter à être complètement transparent dans leurs commentaires. Indiquer que le modérateur n’a pas participer à la conception du système aide.

47 Questionnaire Ne pas suggérer de réponse
Ne pas embarrasser les utilisateurs Les questions ne doivent pas être trop évasives Les questions ne doivent pas être trop complexes L’ordre des questions est important

48 Réingénierie Réviser globalement l’atteinte des objectifs du système, qualifier et regrouper ce qui est le plus significatif Repenser la structure des activités, de la navigation, la structure de l’interface Faire la liste des corrections à apporter au niveau du contenu textuel et non-textuel Réviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant le respect des critères ergonomiques Dire ce qu’a apporté l’expérimentation et les prochaines actions à faire

49 Réingénierie Essayer de proposer une solution globale
Changer l’interface  rapport très structuré Proposer plus de guidage pour les nouveaux utilisateurs Changer la procédure d’utilisation du système Etc.

50 Exemple

51 Graphisme tactile à l’usage des non-voyants
Protocole expérimental  Protocole expérimental graphisme tactile  Très (trop) complet car fait pour une recherche  Pas parfait (les questions sont orientées) Résultats pour ceux que ça intéresse  Articles scientifiques sur le site

52 Atelier

53 Atelier – Évaluation d’Amazon
Ce qu’on veut évaluer : Trouver facilement ce qu’on cherche Être correctement conseillé dans les achats Gérer facilement le panier d’achat Identifier vos types d’utilisateur Préparez la consigne (avec le contexte) et quelques phrases pour encourager la verbalisation Choisissez des tâches typiques permettant de répondre à la problématique (durée moyenne 1h) Questionnaire - Préparez des questions selon la problématique Faire une grille d’observation

54