Les différentes méthodologies d’évaluation en IPM TECFA Technologies pour la Formation et l’Apprentissage Les différentes méthodologies d’évaluation en IPM Cours Ergonomie des Interactions Personne-Machine 16 novembre 2005 L’objectif de ce cours est de présenter les trois types d’approches méthodologique de l’évaluation des IPM Mireille Bétrancourt - TECFA - FPSE

Trois types de méthodes Approche par enquête ou observation sur le terrain Approche par inspection experte Les trois approches Approche par tests utilisateurs

Enquêtes - Observation de terrain Objectif : Obtenir des informations sur ce que les utilisateurs pensent du système, en attendent, ou ce qu’ils en font réellement. Caractéristique : Porte sur l’usage et l’utilisation sur le terrain

Enquêtes - Observation de terrain Trois dimensions : représentation Ce que j’en sais ou crois que j’en sais attitudes Ce que j’en pense, ce que j’aime ou non… Pour chacune des dimensions, trouver quelle type de méthode on pourrait utiliser pour l’évaluer. pratiques effectives Ce que je fais réellement avec le système…

Enquêtes - Observation de terrain entretiens représentation observation attitudes « traçage » pratiques effectives questionnaires focus groups

Enquêtes - Observation de terrain Relation entre utilisabilité, utilité et acceptabilité Acceptabilité sociale Acceptabilité utilité théorique Utilité pratique acceptabilité pratique Cout Compatibilité Fiabilité … Facile à apprendre Efficient Aide la mémorisation Prévient les erreurs Satisfaisant, plaisant utilisabilité Pourquoi étudier représentations et attitudes et pas simplement l’utilisation effective ? Car il existe une relation entre la perception de l’utilisateur sur l’utilité et de l’utilisation sur l’acceptabilité et donc finalement sur la façon dont un système va être utilisé ou non Selon le modèle de Nielsen, l’acceptabilité est le produit de l’utilisabilité donc en d’autres termes, les attitudes ne peuvent pas influencer l’utilisabilité perçue. Nielsen, 1993

Enquêtes - Observation de terrain Relation entre utilisabilité, utilité et acceptabilité Utilité Pourquoi étudier représentations et attitudes et pas simplement l’utilisation effective ? Car il existe une relation entre la perception de l’utilisateur sur l’utilité et de l’utilisation sur l’acceptabilité et donc finalement sur la façon dont un système va être utilisé ou non Dillon & Morris, 1996

Enquêtes - Observation de terrain Relation entre utilisabilité, utilité et acceptabilité Acceptabilité Utilité effective Utilisabilité Acceptabilité et utilisabilité sont des pré-requis à l’utilité. L’utilité théorique, le but que le système est censé atteindre, a peu d’influence dans ce modèle. Ce qui compte c’est l’utilité après usage. Exemple : certains systèmes très appréciés comme les ludo-éducatifs dont les effets sur l’apprentissage ne sont pourtant pas forcément flagrants, et les systèmes dont l’utilité n’avait pas été prévue à l’avance, comme l’utilisation des SMS par les adolescents. Ketola & Roykkee, 2001

Approches par inspection experte Objectif : Vérifier l’utilisabilité de l’interface à partir de connaissances expertes générales sur les recommandations ergonomiques Caractéristique : Doit être faite par des experts en ergonomie des IPM, mais ayant une connaissance du contexte

Approches par inspection experte Par fonctionnalité Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Evaluation heuristique Méthode par fonctionnalité : 1 expert en usability quelles sont les résultats attendus ? Quelles sont les fonctionnalités importantes ? A partir d’un scénario d’utilisation, on vérifie que chaque fonctionnalité dont on a besoin est disponible, facile d’accès, compréhensible et que la procédure est facile à mémoriser Ex : traitement texte, l’expert essaie de produire une lettre et vérifie l’utilisabilité pour les différentes taches Méthode par cognitive walkthrough Méthode un peu plus complexe que la première qui consiste à examiner l’interface en groupes (experts en utilisabilité et développeurs) et à regarder pour chaque type de tâche comment on doit l’exécuter dans le système. Nécessite de bien connaître l’activité de l’utilisateur. Est plutot adaptée aux phases de conception Méthode par évaluation heuristique Plusieurs experts évaluent l’interface à partir d’une grille de recommandation Cognitive walkthrough

Evaluation heuristique: les 10 recommandations de Nielsen Approches par inspection experte Evaluation heuristique: les 10 recommandations de Nielsen Heuristiques basées sur l ’optimisation de 4 critères : apprentissage efficience gestion des erreurs satisfaction

Evaluation heuristique: Les normes ISO Approches par inspection experte Evaluation heuristique: Les normes ISO Normes définissant la qualité d ’un produit informatisé Principes de dialogue Utilisabilité des systèmes Présentation visuelle Guidage de l’utilisateur Styles de dialogue : menus, manipulation directe, langage de commande ou formulaires

Evaluation heuristique: les critères de Bastien & Scapin Approches par inspection experte Evaluation heuristique: les critères de Bastien & Scapin Stratégie de construction des critères : recueil d’un grand nombre de données expérimentales (800) et de recommandations individuelles (guidelines) traduction de ces données en règles distinction de classes de règles La validité de ces critères est basée sur - la méthode de construction - des validation expérimentale de leur utilisabilité : utilisateurs novices vs. expérimentés, utilisation de cette grille vs. d ’autres ou rien du tout...

Approches par test utilisateurs Objectif : Vérifier que le système soit utilisable pour les utilisateurs novices Caractéristique : Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

Approche par test utilisateurs Verbalisation provoquée Auto confrontation Suivi ethnographique Approche « clinique » Test de reconnaissance Test oculomoteur Test d ’exploration en temps limité Test de classification Test de scénarios Approche « expérimentale »

Pour vos projets : Analyse de la tâche Quels objectifs : Résultats attendus ? Quel public ? Contexte d’usage : où, quand, comment ? On verra ça concrètement la prochaine fois avec une activité sur ordinateur en 4183 Analyse de l’activité pour l’utilisateur

Pour vos projets : Analyse du système Scénarios d’utilisation Organigrammes tâches et procédures Analyse de la tâche Analyse de l’activité pour l’utilisateur Evaluation heuristique Pb d’utilisabilité « théorique » Test utilisateur Pb d’utilisabilité effective Relations entre vos analyses (en bleu) et le résultat de ces analyses (en jaune).

Références Dillon, A & Morris, M. (1996). User acceptance of information technology: theories and models, Annual Review of Information Science and Technology, 3-32. Ketola, P. & Roykkee, M. The three facets of usability in mobile handsets Nokia, Proceedings of CHI 2001, 30 March - 5 April 2001. Nielsen, J. (1993). Usability engineering, Boston, Academic Press. Tricot, A., Plégat-Soutjis, F., Camps, J.-F., Amiel, A., Lutz, G., & Morcillo, A. (2003). Utilité, utilisabilité, acceptabilité : interpréter les relations entre trois dimensions de l’évaluation des EIAH. In C. Desmoulins, P. Marquet & D. Bouhineau (Eds). Environnements informatiques pour l’apprentissage humain (pp. 391-402). Paris : ATIEF / INRP. Méthode par fonctionnalité : 1 expert en usability quelles sont les résultats attendus ? Quelles sont les fonctionnalités importantes ? A partir d’un scénario d’utilisation, on vérifie que chaque fonctionnalité dont on a besoin est disponible, facile d’accès, compréhensible et que la procédure est facile à mémoriser.