Les méthodes d’évaluation

Les dimensions ergonomiques Valeurs d’usage Intégration pratique Atteinte des objectifs utilisateurs Support à l’activité Pour l’apprenant : Acceptabilité : l’ expérience de l’interaction est-elle agréable, en lien avec mes valeurs ? Utilité : ai-je le sentiment d’apprendre ? Ai-je réellement appris? Le taux coût (temps-effort) est-il raisonnable ? Utilisabilité : est-ce que l’interaction est au service de l’apprentissage : charge cognitive inutile évitée, action important mise en avant etc…. Pour l’enseignant Acceptabilité : continuité avec les outils existants, intégration dans la classe (orchestration) Utilité : ma tâche d’enseignement est-elle facilitée, ai-je le sentiment que mes élèves apprennnent mieux ou plus vite, est-ce le cas ? Utilisabilité : est-ce que le logiciel est facile à manipuler pour moi et pour mes élèves, puis-je facilement le paramétrer Efficience Gestion des erreurs Satisfaction Apprenabilité Bétrancourt (2007). in Charlier, B. et Peraya, D. (Eds). Regards croisés sur la recherche en technologie de l’éducation (pp. 77-89), De Boeck: Bruxelles, 2007.

Les dimensions d’évaluation Représentations Ce que j’en sais ou crois que j’en sais Pour chacune des dimensions, trouver quelle type de méthode on pourrait utiliser pour l’évaluer. Pratiques effectives Attitudes Ce que je fais réellement avec le système… Ce que j’en pense, ce que j’aime ou non…

Comment évaluer l’utilisabilité ?

Les méthodes d’évaluation Quelles méthodes peut-on pour évaluer l’ergonomie d’utilisation de ce site Web ? On précisera pour chacune : Qui sont les utilisateurs concernés, combien ? que permet-elle de savoir ? que ne peut-on pas savoir avec cette méthode ? Chacun réfléchit 5 minutes et on met en commun. Oralement

Enquêtes par entretien Objectif : Obtenir des informations sur ce que les utilisateurs pensent du système, en attendent, ou ce qu’ils en font réellement. Individuel ou collectif Caractéristique : Porte sur l’usage et l’utilisation sur le terrain Acceptabilité Utilité perçue (Utilisabilité) Représentations Attitudes (Pratiques)

Enquêtes - Observation de terrain Objectif : Obtenir des informations sur ce que les utilisateurs pensent du système, en attendent, ou ce qu’ils en font réellement. Caractéristique : Porte sur l’usage et l’utilisation sur le terrain Acceptabilité (Utilité) Utilisabilité (Représentations) (Attitudes) Pratiques

Approches par inspection experte Objectif : Vérifier l’utilisabilité de l’interface à partir de connaissances expertes générales sur les recommandations ergonomiques Caractéristique : Doit être faite par des experts en ergonomie des IPM, mais ayant une connaissance du contexte Utilisabilité

Approches par inspection experte Par fonctionnalité Facilité d’apprentissage Efficience Prévention des erreurs Satisfaction Evaluation selon grilles heuristiques Méthode par fonctionnalité : 1 expert en usability quelles sont les résultats attendus ? Quelles sont les fonctionnalités importantes ? A partir d’un scénario d’utilisation, on vérifie que chaque fonctionnalité dont on a besoin est disponible, facile d’accès, compréhensible et que la procédure est facile à mémoriser Ex : traitement texte, l’expert essaie de produire une lettre et vérifie l’utilisabilité pour les différentes taches Méthode par cognitive walkthrough Méthode un peu plus complexe que la première qui consiste à examiner l’interface en groupes (experts en utilisabilité et développeurs) et à regarder pour chaque type de tâche comment on doit l’exécuter dans le système. Nécessite de bien connaître l’activité de l’utilisateur. Est plutot adaptée aux phases de conception Méthode par évaluation heuristique Plusieurs experts évaluent l’interface à partir d’une grille de recommandation Cognitive walkthrough

Analyse de logs Objectif : Récupérer les traces de navigation des utilisateurs sur le site. Ex : Webanalytics http://www.google.com/analytics/ Caractéristique : Recueil authentique, quantitatif, continu Utilisation (Utilisabilité) (Pratiques)

Approches par test utilisateurs Objectif : Vérifier que le système soit utilisable pour les utilisateurs (novices du système en général) Caractéristique : Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

Approche par test utilisateurs Verbalisation provoquée Auto confrontation Suivi ethnographique Approche « clinique » Test de scénarios Test de reconnaissance Test oculomoteur Temps, nombre de clics… Approche « expérimentale »