Évaluation d’un système interactif Tests d’utilisabilité Interfaces et Scénarisation (COM2571) 17 septembre 2013 Grégory Petit http://lrcm.com.umontreal.ca/greg/COM2571/

La semaine dernière … On a vu : La notion d’utilisabilité Des critères ergonomiques La méthode d’évaluation heuristique par des experts

Voila … L’homme adapté à l’ordinateur!!!

Et donc on fait quoi aujourd’hui? Évaluation et processus de recherche et développement (R&D) Définir une problématique Méthodes d’évaluation de l’utilisabilité Évaluation heuristique Tests utilisateurs Exemple avec les non-voyants Atelier

Évaluation et processus de recherche et développement (R&D)

Préjugés Le développement et l’évaluation, c’est cher! Je connais le domaine  je sais que j’ai fait un truc bien! On a testé l’outil en interne Je sais l’utiliser donc tout le monde peut l’utiliser On a fait passer un questionnaire et toute le monde aime ça Personne n’aime les critiques

Processus de R&D Produit fini Innovation Analyse des besoins Conceptualisation Développement Implantation Produit fini Innovation Analyse des besoins Analyse des fonctionnalités Prototype Évaluation Évaluation heuristique Évaluation empirique Tests techniques Tests d’utilisabilité Observations Entrevues Analyse de données précédentes

Définir une problématique  but de l’évaluation

But de l’évaluation Toujours préciser les objectifs de l’évaluation en premier! Évaluer un système  adapté aux activités et au contexte? Quelle est la valeur ajoutée du système?

Comment mettre en place l’évaluation? Rechercher les autres systèmes, les usagers, les théories, les expériences qui se rapportent au système à évaluer. Comparer un système à un autre ou à une version antérieure  observer les différences Utilisabilité  critères ergonomiques Impact  notion d’utilité (apprentissage, vente, échange)  À quoi ça sert, qui, pourquoi?  Différents usagers, attentes

Problématique Une problématique doit permettre de correctement répondre aux questions suivantes : Pourquoi met-on en place une évaluation? Que veut-on évaluer? De quelle façon allons-nous faire l’évaluation?

Méthodes d’évaluation de l’utilisabilité

Méthodes d’évaluation Évaluation analytique ou heuristique Tests utilisateurs aussi appelés « évaluation empirique avec des usagers »

Évaluation analytique Basée sur l’analyse des tâches ou des activités - GOMS Parcours cognitif (Cognitive walkthrough) Évaluation heuristique des principes ergonomiques (par des experts)  déjà vu!

Évaluation basée sur l’analyse des tâches et des activités – GOMS Aussi appelé « analyse hiérarchique des tâches » Utile pour analyser un système à développer ou des activités existantes  à faire avant le développement! Utile pour développer la documentation structure de tâche ≠ structure d’interface

Évaluation basée sur l’analyse des tâches et des activités – GOMS GOMS = Goal Operators Methods and Selection rules Buts : intentions, mémoire de la tâche à faire, structure à explorer (Cas d’utilisation)  pourquoi? Opérateurs : éléments d'actions, composantes, effets, input, output  quoi? Méthode: organisation de la tâche, des buts et des opérateurs, suite d’actions  comment? Règles de sélection: procédure générale de choix entre les méthodes  comment? L’exemple … Comment ouvrir un fichier ? But: Ouvrir un fichier pour l’éditer Opérateurs: Bureau, Dossier, Souris, Clavier Méthodes: déplacements et clics souris, recherche au clavier Règles: Si je suis dans le bon dossier, dans un dossier proche ou ai accès à raccourci sur mon bureau, préférer la manipulation souris Si je suis dans un dossier éloigné, préférer la recherche

Application du modèle GOMS Utile lorsque la tâche est organisée sous formes d’étapes Décrire le comportement idéal de la tâche Permettre de caractériser les différences entre modèles usagers et tâches prévues Permet de distinguer les novices, les experts et les méthodes efficaces pour la formation Permet de choisir des versions ou options dans le système Permet de considérer des variables comme la distance des éléments, le nombre d’opérations, le temps de celles-ci, la difficulté, l'imbrication Peut servir à décrire un système à priori et à le valider sur papier

Parcours cognitif Approche des scénarios Déterminer les séquences d’utilisation Identifier les buts et extraire les états par lesquels passeront les usagers Explorer les multiples chemins possibles Évaluer l’utilisabilité des séquences

Parcours cognitif Pour chaque action dans la séquence se mettre dans la peau d’un usager Que veut faire l’usager ? L’action requise est-elle suffisamment évidente ? L’usager reconnaît-il que l’action répondra à ses buts ? L’usager reconnaît-t-il que la réponse du système répond à ses besoins, qu’il a fait le bon choix.

Evaluation heuristique Voir cours précédent

Tests utilisateurs Protocole expérimentale Méthodologie d’analyse des observations Méthodologie d’analyse des traces Utilisation des questionnaires

Protocole expérimental Préparation Choix des sujets Installation Déroulement

Protocole expérimental – préparation Définir la problématique Définir les tâches Trouver un contexte réel d’activité

Protocole expérimental - Problématique La problématique permet d’identifier le but de l’évaluation Évaluation de l’expérience globale rencontrée sur le site? Évaluation de certaines fonctionnalités seulement? Évaluation dans un contexte d’utilisation spécifique (mobile?)

Protocole expérimental - Tâches Les tâches permettent de répondre à la problématique Pas un nombre standard de tâches Évaluer la durée moyenne de chaque tâche Viser un temps total d’une heure pour l’expérimentation Identifier les critères de réussite de chaque tâche Toutes les tâches doivent être réalisables

Protocole expérimental – Contexte d’activité Indiquer dans le scénario de départ quel est le contexte réel d’activité Exemples : Votre contrat de téléphonie mobile expire bientôt, vous souhaitez changer de téléphone et trouver un forfait plus avantageux. Vous souhaitez partir en vacances au soleil le mois prochain. Vous êtes fan du Canadien de Montréal et voulez consulter les dernières informations concernant cette équipe.

Protocole expérimental – Choix des sujets Echantillon représentatif ou au hasard? Mesures répétées? Schéma contrebalancé? Groupe Temps 1 Temps2 A Condition 1 Condition 2 B

Protocole expérimental – Installation Tester si tout fonctionne : Vidéo Audio L’application à évaluer Etc. Parcourir de nouveau la consigne

Protocole expérimental – Déroulement Formulaire de consentement Consigne Pratique de la verbalisation (think aloud) Expérimentation Intervenir le moins possible Observer Rappeler qu’il faut verbaliser Questionnaires

Observation – Il faut noter : Actions de l’utilisateur Commentaires des usagers (incluant les questions posées) Temps mis pour réaliser une tâche Erreurs commises Utilisation de l’aide Réponses physiques de l’utilisateur (expressions faciales) Diagnostic des problèmes ergonomiques sur le vif Suggestions sur le vif

Laboratoire de test : LORIT

Laboratoire de test : LORIT Supervision: Voir les postes et les caméras Contrôle des postes Contrôle des caméras Contrôle des liens avec Internet Contrôle des enregistrements Magicien d’Oz – simuler les interactions d’un système en développement, aide, questions suggestions.

Laboratoire de test : Bell Web

Observation : Eye Tracking ASL Eye Tracking : suivi oculaire iViewX (SMI) Tobii T60

Observation : Eye Tracking Un Eye Tracker calcule la distance entre l’iris et un reflet cornéen

Observation : Eye Tracking

Observation : vers les émotions?

Kismet

Observations : mesures physiologiques Rythme cardiaque Sudation Température

Méthodologie d’analyse des observations Transcription de vidéos Codage des observations et des commentaires des usagers selon une grille ergonomique faire ensuite la synthèse selon les grandes catégories

Transcription de vidéos Temps Status du système Actions et commentaires de l’utilisateur Problèmes et autres remarques 23:00 Tâche 1. Connectez-vous à votre compte 23:15 > Accueil L’utilisateur essaie de trouver le lien pour se connecter ... ”Je pensais le trouver quelque part sur la gauche” Problème: Le modèle mental de l’utiilisateur à propos de la localisation de la fonctionnalité permettant de se connecter ne correspond pas au modèle du système. Problème : La fonctionnalité pour se connecter n’est clairement visible depuis le coin en haut à droite. 23:59 Il trouve finallement le lien. ”Oh! C’était chaché ici!” 24:10 > Mon compte L’usager remplit son nom d’utilisateur et son mot de passe sans problème 25:00 Durée de la tâche : 2:00 Résultat: Succès 35:10 Tâche 2. …

Analyse des traces Nombre de visites dans les différents environnements Temps passé dans les différents environnements Contexte du temps passé (en revenant ou en avançant, en venant d’où ?) Erreurs, appel à l’aide Statistiques descriptives sur les données, tableau des fréquences, des moyennes, pourcentages Tests de comparaison entre les groupes

Questionnaire Il peut y avoir un pré-questionnaire (âge, habitudes de l’utilisateur, …) Sinon, le questionnaire a lieu après, mais le plus vite possible! Questions adaptées et claires Questions fermées au début, puis ouvertes Complètement d’accord  pas du tout d’accord VS. Echelle de Likert 1 (moins) à X (plus) avec 0 = ne sait pas VS. Smileyometter de Read

Questionnaire Pré-tester les questions et modifier celles qui ne sont pas claires ou inutiles, lorsque tout le monde a la même réponse Il vaut mieux éviter les questions et les remplacer par des affirmations positives en demandant à l’utilisateur s’il est d’accord Le logiciel est-il difficile à utiliser?  Le logiciel est facile à utiliser  L’utilisation du logiciel est : 1 2 3 4 5 (1 = très difficile; 5 = très facile)

Type de question Questions fermées Questions ouvertes Liste à cocher Smileyometter Échelle de Likert (0 à X) (X = 5 ou 7) Rang  par exemple, ordonner les problèmes Questions ouvertes Principaux problèmes et solutions Ce que vous avez préféré Proposition d’améliorations

Questionnaire Attention à l’effet Hawthorn!!! Les utilisateurs ont la fâcheuse habitude de vouloir faire plaisir à l’expérimentateur! Il faut donc toujours leur préciser qu’ils ne doivent pas hésiter à être complètement transparent dans leurs commentaires. Indiquer que le modérateur n’a pas participer à la conception du système aide.

Questionnaire Ne pas suggérer de réponse Ne pas embarrasser les utilisateurs Les questions ne doivent pas être trop évasives Les questions ne doivent pas être trop complexes L’ordre des questions est important

Réingénierie Réviser globalement l’atteinte des objectifs du système, qualifier et regrouper ce qui est le plus significatif Repenser la structure des activités, de la navigation, la structure de l’interface Faire la liste des corrections à apporter au niveau du contenu textuel et non-textuel Réviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant le respect des critères ergonomiques Dire ce qu’a apporté l’expérimentation et les prochaines actions à faire

Réingénierie Essayer de proposer une solution globale Changer l’interface  rapport très structuré Proposer plus de guidage pour les nouveaux utilisateurs Changer la procédure d’utilisation du système Etc.

Exemple

Graphisme tactile à l’usage des non-voyants Protocole expérimental  Protocole expérimental graphisme tactile  Très (trop) complet car fait pour une recherche  Pas parfait (les questions sont orientées) Résultats pour ceux que ça intéresse  Articles scientifiques sur le site http://lrcm.com.umontreal.ca/greg/publi.html

Atelier

Atelier – Évaluation d’Amazon Ce qu’on veut évaluer : Trouver facilement ce qu’on cherche Être correctement conseillé dans les achats Gérer facilement le panier d’achat Identifier vos types d’utilisateur Préparez la consigne (avec le contexte) et quelques phrases pour encourager la verbalisation Choisissez des tâches typiques permettant de répondre à la problématique (durée moyenne 1h) Questionnaire - Préparez des questions selon la problématique Faire une grille d’observation