Télécharger la présentation
Publié parVincens Pons Modifié depuis plus de 10 années
1
Évaluation d’un système interactif Tests d’utilisabilité
Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit
2
La semaine dernière … On a vu : La notion d’utilisabilité
Des critères ergonomiques La méthode d’évaluation heuristique par des experts
3
Voila … L’homme adapté à l’ordinateur!!!
4
Et donc on fait quoi aujourd’hui?
Évaluation et processus de recherche et développement (R&D) Définir une problématique Méthodes d’évaluation de l’utilisabilité Évaluation heuristique Tests utilisateurs Exemple avec les non-voyants Atelier
5
Évaluation et processus de recherche et développement (R&D)
6
Préjugés Le développement et l’évaluation, c’est cher!
Je connais le domaine je sais que j’ai fait un truc bien! On a testé l’outil en interne Je sais l’utiliser donc tout le monde peut l’utiliser On a fait passer un questionnaire et toute le monde aime ça Personne n’aime les critiques
7
Processus de R&D Produit fini Innovation Analyse des besoins
Conceptualisation Développement Implantation Produit fini Innovation Analyse des besoins Analyse des fonctionnalités Prototype Évaluation Évaluation heuristique Évaluation empirique Tests techniques Tests d’utilisabilité Observations Entrevues Analyse de données précédentes
8
Définir une problématique but de l’évaluation
9
But de l’évaluation Toujours préciser les objectifs de l’évaluation en premier! Évaluer un système adapté aux activités et au contexte? Quelle est la valeur ajoutée du système?
10
Comment mettre en place l’évaluation?
Rechercher les autres systèmes, les usagers, les théories, les expériences qui se rapportent au système à évaluer. Comparer un système à un autre ou à une version antérieure observer les différences Utilisabilité critères ergonomiques Impact notion d’utilité (apprentissage, vente, échange) À quoi ça sert, qui, pourquoi? Différents usagers, attentes
11
Problématique Une problématique doit permettre de correctement répondre aux questions suivantes : Pourquoi met-on en place une évaluation? Que veut-on évaluer? De quelle façon allons-nous faire l’évaluation?
12
Méthodes d’évaluation de l’utilisabilité
13
Méthodes d’évaluation
Évaluation analytique ou heuristique Tests utilisateurs aussi appelés « évaluation empirique avec des usagers »
14
Évaluation analytique
Basée sur l’analyse des tâches ou des activités - GOMS Parcours cognitif (Cognitive walkthrough) Évaluation heuristique des principes ergonomiques (par des experts) déjà vu!
15
Évaluation basée sur l’analyse des tâches et des activités – GOMS
Aussi appelé « analyse hiérarchique des tâches » Utile pour analyser un système à développer ou des activités existantes à faire avant le développement! Utile pour développer la documentation structure de tâche ≠ structure d’interface
16
Évaluation basée sur l’analyse des tâches et des activités – GOMS
GOMS = Goal Operators Methods and Selection rules Buts : intentions, mémoire de la tâche à faire, structure à explorer (Cas d’utilisation) pourquoi? Opérateurs : éléments d'actions, composantes, effets, input, output quoi? Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions comment? Règles de sélection: procédure générale de choix entre les méthodes comment? L’exemple … Comment ouvrir un fichier ? But: Ouvrir un fichier pour l’éditer Opérateurs: Bureau, Dossier, Souris, Clavier Méthodes: déplacements et clics souris, recherche au clavier Règles: Si je suis dans le bon dossier, dans un dossier proche ou ai accès à raccourci sur mon bureau, préférer la manipulation souris Si je suis dans un dossier éloigné, préférer la recherche
17
Application du modèle GOMS
Utile lorsque la tâche est organisée sous formes d’étapes Décrire le comportement idéal de la tâche Permettre de caractériser les différences entre modèles usagers et tâches prévues Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation Permet de choisir des versions ou options dans le système Permet de considérer des variables comme la distance des éléments, le nombre d’opérations, le temps de celles-ci, la difficulté, l'imbrication Peut servir à décrire un système à priori et à le valider sur papier
18
Parcours cognitif Approche des scénarios
Déterminer les séquences d’utilisation Identifier les buts et extraire les états par lesquels passeront les usagers Explorer les multiples chemins possibles Évaluer l’utilisabilité des séquences
19
Parcours cognitif Pour chaque action dans la séquence se mettre dans la peau d’un usager Que veut faire l’usager ? L’action requise est-elle suffisamment évidente ? L’usager reconnaît-il que l’action répondra à ses buts ? L’usager reconnaît-t-il que la réponse du système répond à ses besoins, qu’il a fait le bon choix.
20
Evaluation heuristique
Voir cours précédent
21
Tests utilisateurs Protocole expérimentale
Méthodologie d’analyse des observations Méthodologie d’analyse des traces Utilisation des questionnaires
22
Protocole expérimental
Préparation Choix des sujets Installation Déroulement
23
Protocole expérimental – préparation
Définir la problématique Définir les tâches Trouver un contexte réel d’activité
24
Protocole expérimental - Problématique
La problématique permet d’identifier le but de l’évaluation Évaluation de l’expérience globale rencontrée sur le site? Évaluation de certaines fonctionnalités seulement? Évaluation dans un contexte d’utilisation spécifique (mobile?)
25
Protocole expérimental - Tâches
Les tâches permettent de répondre à la problématique Pas un nombre standard de tâches Évaluer la durée moyenne de chaque tâche Viser un temps total d’une heure pour l’expérimentation Identifier les critères de réussite de chaque tâche Toutes les tâches doivent être réalisables
26
Protocole expérimental – Contexte d’activité
Indiquer dans le scénario de départ quel est le contexte réel d’activité Exemples : Votre contrat de téléphonie mobile expire bientôt, vous souhaitez changer de téléphone et trouver un forfait plus avantageux. Vous souhaitez partir en vacances au soleil le mois prochain. Vous êtes fan du Canadien de Montréal et voulez consulter les dernières informations concernant cette équipe.
27
Protocole expérimental – Choix des sujets
Echantillon représentatif ou au hasard? Mesures répétées? Schéma contrebalancé? Groupe Temps 1 Temps2 A Condition 1 Condition 2 B
28
Protocole expérimental – Installation
Tester si tout fonctionne : Vidéo Audio L’application à évaluer Etc. Parcourir de nouveau la consigne
29
Protocole expérimental – Déroulement
Formulaire de consentement Consigne Pratique de la verbalisation (think aloud) Expérimentation Intervenir le moins possible Observer Rappeler qu’il faut verbaliser Questionnaires
30
Observation – Il faut noter :
Actions de l’utilisateur Commentaires des usagers (incluant les questions posées) Temps mis pour réaliser une tâche Erreurs commises Utilisation de l’aide Réponses physiques de l’utilisateur (expressions faciales) Diagnostic des problèmes ergonomiques sur le vif Suggestions sur le vif
31
Laboratoire de test : LORIT
32
Laboratoire de test : LORIT
Supervision: Voir les postes et les caméras Contrôle des postes Contrôle des caméras Contrôle des liens avec Internet Contrôle des enregistrements Magicien d’Oz – simuler les interactions d’un système en développement, aide, questions suggestions.
33
Laboratoire de test : Bell Web
34
Observation : Eye Tracking
ASL Eye Tracking : suivi oculaire iViewX (SMI) Tobii T60
35
Observation : Eye Tracking
Un Eye Tracker calcule la distance entre l’iris et un reflet cornéen
36
Observation : Eye Tracking
37
Observation : vers les émotions?
38
Kismet
39
Observations : mesures physiologiques
Rythme cardiaque Sudation Température
40
Méthodologie d’analyse des observations
Transcription de vidéos Codage des observations et des commentaires des usagers selon une grille ergonomique faire ensuite la synthèse selon les grandes catégories
41
Transcription de vidéos
Temps Status du système Actions et commentaires de l’utilisateur Problèmes et autres remarques 23:00 Tâche 1. Connectez-vous à votre compte 23:15 > Accueil L’utilisateur essaie de trouver le lien pour se connecter ”Je pensais le trouver quelque part sur la gauche” Problème: Le modèle mental de l’utiilisateur à propos de la localisation de la fonctionnalité permettant de se connecter ne correspond pas au modèle du système. Problème : La fonctionnalité pour se connecter n’est clairement visible depuis le coin en haut à droite. 23:59 Il trouve finallement le lien. ”Oh! C’était chaché ici!” 24:10 > Mon compte L’usager remplit son nom d’utilisateur et son mot de passe sans problème 25:00 Durée de la tâche : 2:00 Résultat: Succès 35:10 Tâche 2. …
42
Analyse des traces Nombre de visites dans les différents environnements Temps passé dans les différents environnements Contexte du temps passé (en revenant ou en avançant, en venant d’où ?) Erreurs, appel à l’aide Statistiques descriptives sur les données, tableau des fréquences, des moyennes, pourcentages Tests de comparaison entre les groupes
43
Questionnaire Il peut y avoir un pré-questionnaire (âge, habitudes de l’utilisateur, …) Sinon, le questionnaire a lieu après, mais le plus vite possible! Questions adaptées et claires Questions fermées au début, puis ouvertes Complètement d’accord pas du tout d’accord VS. Echelle de Likert 1 (moins) à X (plus) avec 0 = ne sait pas VS. Smileyometter de Read
44
Questionnaire Pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse Il vaut mieux éviter les questions et les remplacer par des affirmations positives en demandant à l’utilisateur s’il est d’accord Le logiciel est-il difficile à utiliser? Le logiciel est facile à utiliser L’utilisation du logiciel est : (1 = très difficile; 5 = très facile)
45
Type de question Questions fermées Questions ouvertes Liste à cocher
Smileyometter Échelle de Likert (0 à X) (X = 5 ou 7) Rang par exemple, ordonner les problèmes Questions ouvertes Principaux problèmes et solutions Ce que vous avez préféré Proposition d’améliorations
46
Questionnaire Attention à l’effet Hawthorn!!! Les utilisateurs ont la fâcheuse habitude de vouloir faire plaisir à l’expérimentateur! Il faut donc toujours leur préciser qu’ils ne doivent pas hésiter à être complètement transparent dans leurs commentaires. Indiquer que le modérateur n’a pas participer à la conception du système aide.
47
Questionnaire Ne pas suggérer de réponse
Ne pas embarrasser les utilisateurs Les questions ne doivent pas être trop évasives Les questions ne doivent pas être trop complexes L’ordre des questions est important
48
Réingénierie Réviser globalement l’atteinte des objectifs du système, qualifier et regrouper ce qui est le plus significatif Repenser la structure des activités, de la navigation, la structure de l’interface Faire la liste des corrections à apporter au niveau du contenu textuel et non-textuel Réviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant le respect des critères ergonomiques Dire ce qu’a apporté l’expérimentation et les prochaines actions à faire
49
Réingénierie Essayer de proposer une solution globale
Changer l’interface rapport très structuré Proposer plus de guidage pour les nouveaux utilisateurs Changer la procédure d’utilisation du système Etc.
50
Exemple
51
Graphisme tactile à l’usage des non-voyants
Protocole expérimental Protocole expérimental graphisme tactile Très (trop) complet car fait pour une recherche Pas parfait (les questions sont orientées) Résultats pour ceux que ça intéresse Articles scientifiques sur le site
52
Atelier
53
Atelier – Évaluation d’Amazon
Ce qu’on veut évaluer : Trouver facilement ce qu’on cherche Être correctement conseillé dans les achats Gérer facilement le panier d’achat Identifier vos types d’utilisateur Préparez la consigne (avec le contexte) et quelques phrases pour encourager la verbalisation Choisissez des tâches typiques permettant de répondre à la problématique (durée moyenne 1h) Questionnaire - Préparez des questions selon la problématique Faire une grille d’observation
Présentations similaires
© 2024 SlidePlayer.fr Inc.
All rights reserved.