Évaluation avec les vrais usagers

Présentation au sujet: "Évaluation avec les vrais usagers"— Transcription de la présentation:

1 Évaluation avec les vrais usagers
Méthodologies d’observation et de description des interactions. Théorie de l'activité Expérimentation Évaluation avec les vrais usagers Analyse des observations Sortes d’évaluation Définir une problématique Questionnaires Méthodologie d’observation Grilles d’analyse Exemples

2 Processus de R&D orientée vers le support aux activités

3 Critères d’évaluation et processus de R&D orientée vers le support aux activités
Évaluation heuristique Évaluation empirique Technique Ergonomique Fonctionnelle Analyse de besoins Innovation Implantation

4 Qu’est-ce qu’évaluer un système ?
Validation des systèmes de communication informatisés Validation de construit Répondent-ils aux besoins, aux attentes Répondent-ils aux spécifications Français, erreurs sur le fond dans le contenu Fiabilité, efficacité - erreurs, temps de réaction,nombre d’actions Utilisabilité opérations difficiles, faciles Répondent-ils aux critères ergonomiques. Évaluation selon une norme (Legendre, 83) utilisation, efficacité, rend services, Input/output.

5 Définir une perspective une problématique
Évaluer un système = adapter aux activités et au contexte Valeur ajoutée du système Recherche - les systèmes, les usagers, les théories, les expériences Comparer un système à un autre ou à une version antérieure observer les différences Use and gratification - notion d ’utilité (intérêt, apprentissage, vente, échang, productivité) À quoi ça sert, qui, pourquoi différents usagers - attentes - appréçiation des éléments

6 Définition d’une problématique (suite)
Facitlité d’apprentissage du système facile ? pour qui ? évolution ? pourcentage d’utilisation, mémorisation Qu’en pensent les experts ? Améliorer la conception problèmes ergonomiques à corriger Focus et réorientation Bodker goulots d’étranglement évaluation des différentes fonctions

7 Exemple d’évaluation pour la conception Campus Canada - eportefolio

8 Définition d’une problématique (suite)
Organisationnel - Design Socio-technique Dimensions techniques, modularité, efficacité, spécifications minimales, compatibilité logicielle et matérielle Mais aussi Compatibilité avec les tâches Multifonctionnel Séparation Flux Supporte la congruence Valeurs humaines Questionnaires Observations Ex. Plomberium Imbrication des tâches de communication et liées à la tâche, succès dans les tâches

9 Outils d’évaluation Walkthrough, scénarios, Évaluation heuristique selon une grille Journal, feuille de route (BBM) Problèmes et commentaires positifs Utilisation des fonctions Réseaux de communication Questionnaires Entrevues et focus groupe Analyse structurale (vue dans théories de l’activité) Observations et analyse des observations Analyse des traces d’utilisation Analyse des variables externes (liées à l’efficacité)

10 Évaluation selon une grille par des juges a priori ou sur les observations
Neutralité et entraînement des juges Évaluation heuristique… sort les principaux problèmes et les solutions. Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème. Importance de donner des exemples de problèmes et de commenter Couvrir l ’ensemble de l ’application Compte-rendu systématique Les juges peuvent aussi coder l ’ observation de vrais usagers

11 Journal, feuille de route (BBM)
Ne doit pas interrompre - outil, concentration minimale Ex.de la feuille de route et du journal de bord -> Feuille à cocher Permet de noter des activités Communiquer avec qui Tâches (temps) Permet de noter des commentaires Problèmes, changements, besoins,

12 Questionnaires après mais le plus vite possible, mise en situation si nécessaire pas de mesures centrales questions adaptées et claires..pré-tester le questionnaire, homogénéité Questions fermées (et ouvertes à la fin) Structuré de plus en plus détaillé, éviter les biais dans l ’ordre Attirant plusieurs questions sur un thème…éparpillées pré-tester les questions et éliminer celles qui ne sont pas claires faire la moyenne par thème ou alors distribution dans les réponses avec histogramme. très d’accord, d’accord,....ordre naturel: 6 = mieux, 1= moins, 0 ne sait pas alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

13 Problèmes dans les questionnaires Faulkner
Réponses à connotations émotionnelles Suggérer la réponse Embarrasser les sujets Manque de précision Questions imprécises Questions trop complexes Effets d ’ordre

14 Types Liste à cocher Échelle multi-points
Échelle de Likert (valeurs à chaque niveau) Différentielle sémantique - dimensions opposées ex: facile …….difficile Rang ordonnez les problèmes, les contenus

15 Entrevues et focus group
Questionnaires -> entrevues individuelles -> focus group Le faire « à chaud » Préparer les questions à débattre Avec le système actuel.. Goulot d’étranglements Quelles difficultés? Que changeriez-vous? Expérience d’implantation précédente?Compétences et besoins de formation? Avec le nouveau système.. Qu’est-ce que vous avez trouvé facile? … difficile ? Qu’est-ce que vous avez trouvé utile? … inutile ? pourquoi vous recommanderiez?… ou non ? goulot d’étranglement À changer, qui manque Poser ces questions pour les différentes parties ou fonctions du système Avoir un animateur, une secrétaire, et enregistrer

16 Discussion et interprétation
comparer les résultats de différentes méthodes -triangulation qualifier et regrouper ce qui est le plus significatif dire ce que ça apporte et ce qu’il faut faire ensuite.

17 Analyse structurale (On verra dans design)
Analyse structurale et processus de design Description de la structure de l ’interface Description de la structure des activités GOMS (Vu) Comparer la structure d’utilisation à la structure prévue ou idéale. Identifier les correctifs au système, à la formation, à la documentation. Reed (Task analysis)

18 Méthodologie d’observation en situation d’utilisation (Représentation et activités)
nécessite un prototype plus fonctionnel observer en situation d’utilisation groupe de sujets représentatifs observation et enregistrement vidéo et des traces À quoi pensez-vous? pas de question sur les causes éviter d’intervenir, aider si nécessaire (Magicien d’Oz) _______________ codage des protocoles par des juges selon critères d’utilisabilité grille en fonction du contexte, des modalités, etc.. coder les actions, les commentaires, les problèmes...

19 Méthodologies d’observation
Préparation - hypothèses, tâche, contexte. Sujets, échantillonnage Installation vidéo, audio, tester l ’application, le questionnaire Déroulement consigne pratiquer verbalisation sur un problème différent intervenir le moins possible, pas sur les causes démontrer un minimum, observer, faire verbaliser Questionner à la fin, vidéo revisité. Questionnaires formels et informels Sur quoi..?

20 Procédure d’expérimentation
Préparation Recherche et décider des objectifs, de la grille Prévoir une tâche et une activité de pratique Prévoir évaluation pré-test et post-test. Faire une consigne - quoi faire, situation d ’observation, confidentialité, Tester le matériel - vidéo son système Pré-expérimenter les activités, les questionnaire Début Pré-test - Questionnaire, test de compétence Pratiquer - Faire verbaliser, ré-expliquer Expérience Disparaître faire parler, mettre à deux, relancer les questions (ne pas répondre) Post-test Questionnaires : à chaud Interviews Focus

21 Transcription et analyse de vidéos analyse de protocole
verbalisations, buts et structures d’actions problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92 codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégories Structure des activités, compatibilité.. soutien, difficulté d’apprentissage cohérence interne et externe lisibilité, sens ambigu en contexte contrôle, feedback, flexibilité etc... utilité Seule façon de voir le lien avec les activités

22 Analyse fine basée sur des modèles théoriques
coder les observations par des juges catégorie théoriques actes de langage, présence sociale niveau d’autorité complexité des phrases Description des fréquences Description des dépendances séquentielles

23 Grilles d’analyse grilles basées sur les catégories d’actes de language. Communication Audit - Qui communique avec qui ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,... sémiotique - quête, reconnaissance... Niveau d’autorité dans les interventions Niveau de présence sociale. types d ’humour, de soutien, d ’information cherchée dans un site

24 Logiciels d’analyse Analyse textuelle. extraction des mots
Nudist QdAminer Provalis Nvivo AtlasTi Morae Virage Analyse textuelle. extraction des mots Analyse de textes ajout de mots clés aux textes, images, vidéos ou enregistrements sonores Statistiques d’occurences, de cooccurences, liste des extraits, recherche et créer liste Construction du réseau des concepts Découpage et codage de vidéos, d’images zones et mots clés

25 Systèmes de suivi Suivi oculaire
Utilise réflexion infrarouge sur l’oeil pupille et cornée Près de l’écran ou sur casque, utilise reconnaissance du visage FaceLab Mesures Grandeur de pupille, point de fixation, durée de fixation, saccades, clignement Diagnostic - Attention, intérêt, fatigue Analyse - définit des zones, faire des statistiques

26 Système de suivi Suivi physiologique Recherche
Conductivité de la peau (réponse psycho-galvanique RPG) Respiration Température EEG (Activités cérébrales EMG (Tension musculaire) Diagnostic - Fatigue, effort cognitif, émotions + ou =. Recherche Soutien aux apprenants - Fethi Guerdelli Effort cognitif dans l’Exécution des tâches Agence Spatiale Qualité de l’interaction et ecommerce - Sandrine Prom Tep

27 Analyse des traces nombre de visites dans les différents environnements temps passé dans les différents environnements contexte du temps passé (en revenant ou en avançant, en venant d’où ?) erreurs, appel à l’aide et autres fonctions ‘méta’ Statistiques descriptives sur les données tableau des fréquences, des moyennes, % tests de comparaison entre les groupes. Analyse statistique - séries temporelles, analyse des séquences cartes cognitives (aussi avec observations)- séquence, association, cause… contenu de page X commentaires média X commentaires Contenu de page X temps de consultation contenu de l ’aide X temps de consultation, réaction Analyse de contenus des textes produits

28 Réingénierie Reviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements Repenser la structure des activités, de la navigation, des boîtes de dialogue Faire la liste des corrections à apporter au niveau du vocabulaire et des icones Reviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant la cohérence. Il faut proposer une solution globale.. Et non pas morcelée

29 Exemple : Grégory Petit
Analyse : Tests de connaissance, questionnaire sur l’utilisabilité. Documents : Vidéos des interactions Logiciel Morae Objectif : Coder les difficultés des non-voyants dans l’exploration des formes tactiles Améliorer le modèle de transposition des différents types d’images Grille de codage : Début de chaque phase (exploration libre + questions) On rentre dans telle zone … (un marqueur par zone de chaque image) Stratégie d'exploration: • Suivi de contour • Balayage saccadé • Zone manquée • Balayage systématique • Balayage aléatoire • Explorer pour un but précis • Touche CTRL • Retour au point initial

30 Exemple Sandrine: Problématique
Une «bonne interface» est perçue par l’usager comme un outil qui augmente la capacité d’exécution d’une tâche en étant utile et facile à utiliser (Norman, 86). Quelles relations existent entre : la perception de l’utilité des fonctionnalités par l’usager, l’utilisabilité de ces fonctionnalités du point de vue ergonomique, et l’utilisation réelle de celles-ci. Analyse des fonctionnalités de l'interface de l’Atelier Fx Supportent-t-elles bien les trois niveaux de l’activité (Bødker, 91) Pourquoi? - A quoi ca sert ? Quoi ? - Quels boutons ? Comment ?- Quelle séquence d’actions ?

31 Exemple Sandrine: Problématique
Les fonctionnalités de l'interface de l’Atelier Fx supportent-t-elles les trois niveaux de l’activité (Bødker, 91) dans la prise de notes: à la tâche à ce que l’usager doit faire pour réaliser sa tâche à comment l’usager, s’y prend pour réaliser sa tâche l’objectif de l’activité les objets et actions de l’usager et du système dans l’interface les séquences d’opérations sur les éléments de l’interface Pourquoi ? Quoi Comment ?

32 Exemple de codage

33 Exemple de problématique : Marcelo
Évaluer l’interface du CV par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir. Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches.

34 Exemple d’analyse Activité : support et animation
Action 6 : répondre à un message Opération : choisir icone de réponse Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse. Réponse à la personne Réponse à la conférence

35 Exemples de grilles d’analyse des observations
grilles basées sur les catégories d’actions Communication Audit - qui avec qui ? Combien souvent ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique, complexité sémiotique - quête, reconnaissance... présence sociale, Niveau d ’autorité carte cognitive - Liens entre les éléments de représentation séquence, association, cause

36 Modèles mentaux Cohérence entre modèles mentaux et système
Cohérence syntaxique structure des buts et des sous-buts (redonner carte ATM) Cohérence des représentations – choix préférés, nécessaires (langue) Souris – peu de transposition requise Aider l’usager à se construire modèle reconnaissance et Hinting

37 Historique et concepts
Craik 43 Nécessité des modèles mentaux pour interagir avec le monde Johnson-Laird 83 Inférence logique parfois incomplète,mais représentation sémantique des aspects importants Norman 83 Modèles se construisent dans l’interaction Dépend de l’usager, imprécis, instable, non-scientifique, parsimonieux système cible modèles conceptuel (exact, consistant, complet) modèle mental image du système (perceptible) Modèle mental de l’usager tel que perçu par l’expert ou le designer Traitement humain Organisation sémantique des concepts en MLT

38 Quels sortes de modèles
Modèles procéduraux vs Sémantiques - Novices = procéduraux Descriptifs vs Analytic – niveau d’interprétation, modèle de l’expert Interne vs Externe – visualisation des modèles de l’usager Generique vs Instancié – Structure des modèles et les valeurs d’un usager Partagé vs Individuel – rejoint notion de connaissance Qu’est-ce que l’usager doit savoir ? Qu’est-ce que le designer doit savoir ?

39 Design et modèles mentaux
Analyse des tâches telles que les usagers les connaissent Analyse exécution de tâche dans contexte existant Imaginer les tâches dans contexte futur Développer un modèle d’interaction impliquant plusieurs acteurs Décrire les agents Décrire les processus, les activités et actions Décrire les situations (temps, social, Décrire l’association des concepts.. Pathfinder Créer des cartes cognitives..(atlas-ti) Weick et Bougon Mesurer distances entre les cartes.. Teach-back protocol

40 Atelier Votre objet ? Problématique de l’analyse ? Forum Agora
Contrôleur WebCT Outil d’autogestion Environnement 3D Système conseiller Interface adaptative et conseiller Pour une application Quelle est la problématique ? Quelles méthodes ? Questionnaire ? Grille d’observation ? Analyse des traces ? Réingénierie structure lexique, icones fenêtres