Les différentes méthodologies d’évaluation en IPM TECFA Technologies pour la Formation et l’Apprentissage Les différentes méthodologies d’évaluation en IPM Cours Ergonomie des Interactions Personne-Machine 20 novembre 2013 L’objectif de ce cours est de présenter les trois types d’approches méthodologique de l’évaluation des IPM Mireille Bétrancourt - TECFA - FPSE

Plan de la séance Présentation des groupes 28, 29, 30 Rappel et précision sur l’analyse de l’activité Présentation des différentes méthodes de test de l’utilisabilité La méthode du test utilisateur : présentation et exercice Conduite de l’entretien : voir ppt complémentaire : http://tecfa.unige.ch/tecfa/teaching/LMRI41/1314/ergo8_entretien.pptx

Méthodes d’analyse de l’activité Objectif ultime : construire un scénario comportant des tâches authentiques pour le test utilisateurs But : mieux connaître l’activité de l’utilisatrice-teur ses intentions, les éléments importants, des exemples de tâches sur lesquels bâtir vos scénarios (précisément, ce que la personne voulait faire, pourquoi, avec qui, etc.) Méthode : Réalisez un entretien avec un utilisateur de votre site et d’un public cible selon la méthode Story Telling avec relances Pourquoi-comment (Racontez-moi la dernière fois que.... Et les autres fois...) Détails sur la méthode ici : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html

Comment évaluer l’ergonomie d’un système ? Imaginez que l’on vous demande d’identifier les problèmes d’utilisabilité que pose le distributeur de ticket des TPG. Quelles méthodes proposeriez-vous d’utiliser ?

Méthodes pour évaluer l’ergonomie Inspection experte Sans participant 5-10 participants Grand nombre de participants Test utilisateurs Données comportementales Observation in situ Données subjectives Grilles normatives questionnaire Analyses qualitatives Analyses quantitatives Entretiens Focus groupes Coûteux en temps Peu coûteux en temps

Méthodes pour évaluer l’ergonomie d’un système Entretien Focus groupes Utilité Inspection experte Observation in situ questionnaire Test utilisateurs Atteinte des objectifs utilisateurs Support à l’activité Utilisabilité Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Acceptabilité Valeurs d’usage Intégration pratique

Approches par test utilisateurs Objectif : Vérifier que le système soit utilisable pour les utilisateurs (novices du système ou de cette version) Evalue la prise en main (et pas l’utilisation régulière) Caractéristique : Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

Approche par test utilisateurs Verbalisation provoquée simultanée Auto-confrontation a posteriori Observation Approche « clinique » Test de reconnaissance Parcours oculomoteur Performances (temps d’exécution, nombre de clics Approche « expérimentale »

Exemple de test utilisateur avec approche expérimentale Comparaison de deux interfaces de prescription Wipfli, R. (2012). Decision making in dynamic work situations: Building a framework for medical alerts in computerized drug prescription. Thèse de l’Université de Genève.

Version classique

Méthode : Version adaptée

Parcours oculomoteur Films (cl_example.avi, ad_example.avi)

Le test utilisateur : construction et passation

Les étapes à suivre 1. Préparer l ’étude (phase 1 à 3 du projet) 2. Recruter les participants 3. Tester 3.1. Présenter la situation 3.2. Conduire l’entretien 4. Produire conclusions

Etapes de préparation du test Comment le site est-il construit ? (contenu, organisation fonctionnalités, outils d’aide) Analyse du site Analyse du Contexte global Que propose le site ? Conduite du test Diagnostic Proposition de remédiations Qu’est-ce que font les utilisateurs habituellement sur ce site ? 1 entretien Analyse de l’activité Quels sont les problèmes rencontrés par les utilisateurs ? Quelles tâches donner pour le test utilisateurs ? Construction du scénario de test d’après analyse de l’activité et analyse du site

Construction du scénario (1/2) Voir sur page Description du projet -> conseils pour l’élaboration du scénario http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html Le scénario pour le test : Prévoit plusieurs tâches formulées de façon authentique (termes et buts de l’utilisateurs interviewé dans l’analyse de l’activité) Mets l’utilisatrice-teur dans une situation simulée, type jeu de rôle Donne des tâches assez ouvertes, qui peuvent s’exécuter de différentes façons Mais qui demande une réponse précise Dont la réponse peut être trouvée sur le site !

Construction du scénario (2) Que pourrait-on reprocher aux tâches proposées ci-dessous Sur un site de mobilier Trouve le canapé de modèle schlubuck, en combien de couleurs existe-t-il ? Sur un site de réservation de voyage Réserve une chambre dans un hôtel à Cran-Montana du 1er au 6 mars. Sur un site de transports publics Peut-on imprimer l’itinéraire entre l’arrêt Gare Cornavin et l’arrêt Unimail ?

2. Recruter les participants Représentatifs du public-cible (ou un seul des publics cible) N’utilisant pas le site Web que vous testez Expérience d’internet : usagers réguliers Représentatifs du public-cible (si possible) Prendre les vrais utilisateurs, « pas leurs représentants » Problèmes de recrutement Problèmes de confidentialité Varier les autres variables: Expérience dans le domaine concerné Expérience avec l ’informatique, avec Internet, … Age, sexe, culture, position géographique Fonction dans l ’entreprise Combien de sujets? Dépend de l ’homogénéité de la population 3-5: détection des gros problèmes 5-10: conclusions plus défendables >10: validation Contacté par insider qui explique les enjeux 5 personnes permettent d’identifier un grand nombre de problèmes

3. Tester 3.1. Expliquer Mettre la personne sur la page d’accueil du site « Le but n’est pas de vous évaluer, mais d’évaluer la qualité du site. Ce test va durer environ 20 minutes. Il n’y a pas de bonne ou mauvaise réponse. Puis-je vous enregistrer...  Voici la première tâche » (imprimez-là et laissez-là à l’util) PENSEZ TOUT HAUT PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ? PENSEZ TOUT HAUT 

3. Tester 3.2. Ecouter Règles classiques de l ’entretien : Ecouter > Parler Poser des questions sur son activité Poser des questions neutres Fournir un feedback neutre Respecter les silences, laisser un petit moment après chaque tâche Rebondir sur les points intéressants, ne pas suivre rigidement un canevas Traiter l’utilisateur comme un expert dans son métier, pas comme un cobaye (voir film test-utilisateur – humour) Ne pas se laisser placer dans un rôle d’expert par l’utilisateur Arrêter le test en cas d’échec répétitif Prévoir un entretien post-test Règles de l ’entretien : Ecouter > Parler Poser des questions précises Poser des questions neutres Fournir un feedback neutre Respecter les silences, laisser une chance de répondre aux questions non posées, laisser un petit moment après chaque tâche Rebondir sur les points intéressants, ne pas suivre rigidement un canevas Considérer l ’utilisateur comme un expert dans son métier, pas comme un cobaye, l ’utilisateur doit le sentir. Ne pas se laisser placer dans un rôle d’expert par l’utilisateur, càd ne pas suggérer de solutions. Facile à dire mais pas facile à faire dans la situation. S ’en référer au point précédent… Prévoir un entretien post-test : on obtient souvent des opinions, et des rationalisations de comportements, mais cela vous renseigne sur l ’attitude des utilisateurs, et également cela permet aux sujets de verbaliser leur éventuelle insatisfaction. Arrêter le test en cas d’échec répétitif. Normalement, le scénario doit prévoir d ’abord des tâches faciles et peu coûteuses en temps, qui font aussi un bon test pour savoir si l ’on doit poursuivre. En cas d ’échec, avant de virer le logiciel, s ’assurer qu ’un utilisateur de même profil aura les mêmes difficultés.

3. Tester 3.3. Post-test Qu’avez-vous pensé du site Web ? Faire passer un questionnaire comme la SUS (system Usability Scale).  J’aimerais utiliser ce site fréquemment Je trouve ce site inutilement complexe Je pense que ce site est facile à utiliser J’aurais besoin d’un support technique pour pouvoir utiliser ce site Les différentes fonctionnalités de ce site sont bien intégrées Ce site est truffé d’incohérences Le grand public peut apprendre à utiliser ce site très rapidement Ce site est lourd à utiliser J’ai confiance en ce site Je dois apprendre beaucoup avant de pouvoir utiliser ce site efficacement Remercier le participant Règles de l ’entretien : Ecouter > Parler Poser des questions précises Poser des questions neutres Fournir un feedback neutre Respecter les silences, laisser une chance de répondre aux questions non posées, laisser un petit moment après chaque tâche Rebondir sur les points intéressants, ne pas suivre rigidement un canevas Considérer l ’utilisateur comme un expert dans son métier, pas comme un cobaye, l ’utilisateur doit le sentir. Ne pas se laisser placer dans un rôle d’expert par l’utilisateur, càd ne pas suggérer de solutions. Facile à dire mais pas facile à faire dans la situation. S ’en référer au point précédent… Prévoir un entretien post-test : on obtient souvent des opinions, et des rationalisations de comportements, mais cela vous renseigne sur l ’attitude des utilisateurs, et également cela permet aux sujets de verbaliser leur éventuelle insatisfaction. Arrêter le test en cas d’échec répétitif. Normalement, le scénario doit prévoir d ’abord des tâches faciles et peu coûteuses en temps, qui font aussi un bon test pour savoir si l ’on doit poursuivre. En cas d ’échec, avant de virer le logiciel, s ’assurer qu ’un utilisateur de même profil aura les mêmes difficultés.

Les étapes du test utilisateur Voir l’exemple du test de fruits (humoristique) http://www.youtube.com/watch?v=3Qg80qTfzgU Notez les différentes étapes de la passation

Maintenant à vous de jouer Voir l’exercice de test utilisateur : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase4.html

Vous êtes ici Contexte global d’utilisation Analyse de l’activité Analyse du système 1 entretien Un ou plusieurs exemples de tâches authentiques Contenu, organisation, fonctionnalités, outils d’aide Pb d’utilisabilité « supposés » Attention, nous envoyer votre scénario pour avis ! Scénario d’utilisation Relations entre vos analyses (en bleu) et le résultat de ces analyses (en jaune). Test utilisateurs 5 utilisateurs / -trices d’un même public cible Pb d’utilisabilité observés : Diagnostic, propositions de remédiation

Méthodes pour évaluer l’ergonomie Inspection experte Sans participant 5-10 participants Grand nombre de participants Test utilisateurs Données comportementales Observation in situ Données subjectives Grilles normatives questionnaire Analyses qualitatives Analyses quantitatives Entretiens Focus groupes Coûteux en temps Peu coûteux en temps