Les différentes méthodologies d’évaluation en IPM TECFA Technologies pour la Formation et l’Apprentissage Les différentes méthodologies d’évaluation en IPM Cours Ergonomie des Interactions Personne-Machine 14 novembre 2012 L’objectif de ce cours est de présenter les trois types d’approches méthodologique de l’évaluation des IPM Mireille Bétrancourt - TECFA - FPSE

Plan de la séance Présentation des groupes 14, 15, 16 Présentation des différentes méthodes de test de l’utilisabilité Rappel et précision sur l’analyse de l’activité Travail par groupe projet sur l’analyse de l’activité : quelle question vous allez poser à la personne interviewée ?

Comment évaluer l’ergonomie d’un système ? Imaginez que l’on vous demande d’identifier les problèmes d’utilisabilité que pose le distributeur de ticket des TPG. Quelles méthodes proposeriez-vous d’utiliser ?

Méthodes pour évaluer l’ergonomie d’un système Utilité Inspection experte Observation in situ questionnaire Test utilisateurs Atteinte des objectifs utilisateurs Support à l’activité Utilisabilité Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Acceptabilité Valeurs d’usage Intégration pratique

Méthodes pour évaluer l’ergonomie Inspection experte Sans participant 5-10 participants Grand nombre de participants Test utilisateurs Données objectives Données subjectives Observation in situ Données qualitatives Données quantitatives questionnaire Coûteux en temps Peu coûteux en temps

Approches par test utilisateurs Objectif : Vérifier que le système soit utilisable pour les utilisateurs (novices du système) Evalue la Prise en main (et pas l’utilisation régulière) Caractéristique : Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

Approche par test utilisateurs Verbalisation provoquée simultanée Auto-confrontation a posteriori Observation Approche « clinique » Test de reconnaissance Parcours oculomoteur (Voir http://www.ergonomie-web-illustree.com) Performances (temps d’exécution, nombre de clics Approche « expérimentale » Voir aussi document Zones Fonctionnelles dans le Dokeos

Démarche de construction d’un test utilisateur (ce que l’on fait ici) Comment le site est-il construit ? (contenu, organisation fonctionnalités, outils d’aide) Analyse du site Analyse du Contexte global Que propose le site ? Conduite du test Diagnostic Proposition de remédiations Qu’est-ce que font les utilisateurs habituellement sur ce site ? 1 entretien Analyse de l’activité Quels sont les problèmes rencontrés par les utilisateurs ? Quelles tâches donner pour le test utilisateurs ? Construction du scénario de test d’après analyse de l’activité et analyse du site

Méthodes d’analyse de l’activité Objectif ultime : construire un scénario comportant des tâches authentiques pour le test utilisateurs But : mieux connaître l’activité de l’utilisatrice-teur ses intentions, les éléments importants, les difficultés rencontrées, des exemples de tâches sur lesquels bâtir vos scénarios Méthode : Réalisez un entretien avec un utilisateur de votre site et d’un public cible selon la méthode Story Telling avec relances Pourquoi-comment Détails sur la méthode ici : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html

Technique « story telling » « Racontez-moi ce que vous avez fait la dernière fois que vous êtes allés sur le site bidule.com » Objectif : Obtenir des descriptions précises et factuelles, plutôt que des représentations, attitudes ou impressions Relances : -> quoi, quand, pourquoi / comment ? -> critères de recherche -> obstacles rencontrés

Méthodes d’analyse de l’activité Que faut-il faire et ne pas faire dans un entretien ?

Construction du scénario Voir sur page Description du projet -> conseils pour l’élaboration du scénario http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase2.html#scenario Le scénario pour le test : Prévoit plusieurs tâches formulées de façon authentique (termes et buts de l’utilisateurs interviewé dans l’analyse de l’activité) Mets l’utilisatrice-teur dans une situation simulée, type jeu de rôle Donne des tâches assez ouvertes, qui peuvent s’exécuter de différentes façons Mais qui demande une réponse précise. Dont la réponse peut être trouvée sur le site !

Construction du scénario (2) Que pourrait-on reprocher aux tâches proposées ci-dessous Sur un site de mobilier Trouve le canapé de modèle schlubuck, en combien de couleurs existe-t-il ? Sur un site de réservation de voyage Réserve une chambre dans un hotel à Cran-Montana du 1er au 6 mars. Sur un site de transports publics Peut-on imprimer l’itinéraire entre l’arrêt Gare Cornavin et l’arrêt Unimail ?

Vous êtes ici Contexte global d’utilisation Analyse de l’activité Analyse du système 1 entretien Un ou plusieurs exemples de tâches authentiques Contenu, organisation, fonctionnalités, outils d’aide Pb d’utilisabilité « supposés » Attention, nous envoyer votre scénario pour avis ! Scénario d’utilisation Relations entre vos analyses (en bleu) et le résultat de ces analyses (en jaune). Test utilisateurs 5 utilisateurs / -trices d’un même public cible Pb d’utilisabilité observés : Diagnostic, propositions de remédiation

Pour vos projets Maintenant : Réfléchissez à la question que vous allez poser pour l’entretien de l’analyse de l’activité, qui vous allez interviewer. Après avoir mené l’entretien : - Préparez un scénario à partir de votre entretien d’analyse de l’activité - Un scénario = plusieurs tâches authentiques, adaptées au public cible retenu - Demandez-nous un feedback avant de vous lancer dans le test utilisateur

Méthodes pour évaluer l’ergonomie d’un système Utilité Inspection experte Observation in situ questionnaire Test utilisateurs Atteinte des objectifs utilisateurs Support à l’activité Utilisabilité Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Méthode par fonctionnalité : 1 expert en usability quelles sont les résultats attendus ? Quelles sont les fonctionnalités importantes ? A partir d’un scénario d’utilisation, on vérifie que chaque fonctionnalité dont on a besoin est disponible, facile d’accès, compréhensible et que la procédure est facile à mémoriser Ex : traitement texte, l’expert essaie de produire une lettre et vérifie l’utilisabilité pour les différentes taches Méthode par cognitive walkthrough Méthode un peu plus complexe que la première qui consiste à examiner l’interface en groupes (experts en utilisabilité et développeurs) et à regarder pour chaque type de tâche comment on doit l’exécuter dans le système. Nécessite de bien connaître l’activité de l’utilisateur. Est plutot adaptée aux phases de conception Méthode par évaluation heuristique Plusieurs experts évaluent l’interface à partir d’une grille de recommandation Acceptabilité Valeurs d’usage Intégration pratique

Méthodes pour évaluer l’utilisabilité Inspection experte Sans participant 5-10 participants Grand nombre de participants Test utilisateurs Données objectives Données subjectives Observation in situ Données qualitatives Données quantitatives questionnaire Coûteux en temps Peu coûteux en temps