Évaluation avec les vrais usagers

Présentation au sujet: "Évaluation avec les vrais usagers"— Transcription de la présentation:

1 Évaluation avec les vrais usagers
Méthodologies d’observation et de description des interactions. Théorie de l'activité Expérimentation Évaluation avec les vrais usagers Analyse des observations Sortes d’évaluation Définir une problématique Questionnaires Méthodologie d’observation Grilles d’analyse Exemples

2 Processus de R&D orientée vers le support aux activités

3 Critères d’évaluation et processus de R&D orientée vers le support aux activités
Évaluation heuristique Évaluation empirique Technique Ergonomique Fonctionnelle Analyse de besoins Innovation Implantation

4 Qu’est-ce qu’évaluer un système ?
Validation des systèmes de communication informatisés Validation de construit Répondent-ils aux besoins, aux attentes Répondent-ils aux spécifications Français, erreurs sur le fond dans le contenu Fiabilité, efficacité - erreurs, temps de réaction,nombre d’actions Utilisabilité opérations difficiles, faciles Répondent-ils aux critères ergonomiques. Évaluation selon une norme (Legendre, 83) utilisation, efficacité, rend services, Input/output.

5 Définir une perspective une problématique
Évaluer un système = adapter aux activités et au contexte Quelle est la valeur ajoutée du système ? Recherche - les systèmes, les usagers, les théories, les expériences Comparer un système à un autre ou à une version antérieure observer les différences Use and gratification - notion d ’utilité (intérêt, apprentissage, vente, échang, productivité) À quoi ça sert, qui, pourquoi différents usagers - attentes - appréçiation des éléments

6 Définition d’une problématique (suite)
Facitlité d’apprentissage du système facile ? pour qui ? évolution ? pourcentage d’utilisation, mémorisation Qu’en pensent les experts ? Améliorer la conception problèmes ergonomiques à corriger Focus et réorientation Bodker goulots d’étranglement évaluation des différentes fonctions

7 Exemple d’évaluation pour la conception Campus Canada - eportefolio

8 Définition d’une problématique (suite)
Organisationnel - Design Socio-technique Dimensions techniques, modularité, efficacité, spécifications minimales, compatibilité logicielle et matérielle Mais aussi Compatibilité avec les tâches Multifonctionnel Séparation Flux Supporte la congruence Valeurs humaines Questionnaires Observations Ex. Plomberium Imbrication des tâches de communication et liées à la tâche, succès dans les tâches

9 Outils d’évaluation Journal, feuille de route (BBM)
Walktrough, scénarios, Évaluation heuristique selon une grille Journal, feuille de route (BBM) Problèmes et commentaires positifs Utilisation des fonctions Réseaux de communication Questionnaires Entrevues et focus groupe Analyse structurale de la hiérarchie des tâches (Annett, Card & Moran) Observations et analyse des observations Analyse des traces d’utilisation Analyse des variables externes (liées à l’efficacité)

10 Évaluation selon une grille par des juges a priori ou sur les observations
Neutralité et entraînement des juges Évaluation heuristique… sort les principaux problèmes et les solutions. Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème. Importance de donner des exemples de problèmes et de commenter Couvrir l ’ensemble de l ’application Compte-rendu systématique Les juges peuvent aussi coder l ’ observation de vrais usagers

11 Journal, feuille de route (BBM)
Ne doit pas interrompre - outil, concentration minimale Ex.de la feuille de route et du journal de bord -> Feuille à cocher Permet de noter des activités Communiquer avec qui Tâches (temps) Permet de noter des commentaires Problèmes, changements, besoins,

12 Questionnaires après mais le plus vite possible, mise en situation si nécessaire pas de mesures centrales questions adaptées et claires..pré-tester le questionnaire, homogénéité Questions fermées (et ouvertes à la fin) Structuré de plus en plus détaillé, éviter les biais dans l ’ordre Attirant plusieurs questions sur un thème…éparpillées pré-tester les questions et éliminer celles qui ne sont pas claires faire la moyenne par thème ou alors distribution dans les réponses avec histogramme. très d’accord, d’accord,....ordre naturel: 6 = mieux, 1= moins, 0 ne sait pas alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

13 Problèmes dans les questionnaires Faulkner
Réponses à connotations émotionnelles Suggérer la réponse Embarrasser les sujets Manque de précision Questions imprécises Questions trop complexes Effets d ’ordre

14 Types Liste à cocher Échelle multi-points
Échelle de Likert (valeurs à chaque niveau) Différentielle sémantique - dimensions opposées ex: facile …….difficile Rang ordonnez les problèmes, les contenus

15 Entrevues et focus group
Questionnaires -> entrevues individuelles -> focus group Le faire « à chaud » Préparer les questions à débattre Avec le système actuel.. Goulot d’étranglements Quelles difficultés? Que changeriez-vous? Expérience d’implantation précédente?Compétences et besoins de formation? Avec le nouveau système.. Qu’est-ce que vous avez trouvé facile? … difficile ? Qu’est-ce que vous avez trouvé utile? … inutile ? pourquoi vous recommanderiez?… ou non ? goulot d’étranglement À changer, qui manque Poser ces questions pour les différentes parties ou fonctions du système Avoir un animateur, une secrétaire, et enregistrer

16 Exemples de grilles d’analyse des observations
grilles basées sur les catégories d’actions Communication Audit - qui avec qui ? Combien souvent ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique, complexité sémiotique - quête, reconnaissance... présence sociale, Niveau d ’autorité carte cognitive - Liens entre les éléments de représentation séquence, association, cause

17 Discussion et interprétation
comparer les résultats de différentes méthodes -triangulation qualifier et regrouper ce qui est le plus significatif dire ce que ça apporte et ce qu’il faut faire ensuite.

18 Analyse structurale Analyse structurale et processus de design
Description de la structure de l ’interface Description de la structure des activités GOMS Goal Operators Methods and Selection rules Comparer la structure d’utilisation à la structure prévue ou idéale. Identifier les correctifs au système, à la formation, à la documentation. Reed (Task analysis)

19 Analyse structurale La notion d’activité est médiée par des artefacts (Vigotsky) dans un contexte social (Leontiev). La communauté partage des artefacts, des écrits, des sites, des codes.. On peut chercher à décrire ces systèmes d’activités et d’artefacts. Les activités s’organisent à travers des règles, qui peuvent être contradictoires. L’analyse des usage cherche à résoudre ces contradictions.

20 Analyse hiérarchique, Approche MAD, UML
Appliquer la méthode d’Analyse hiérarchique des tâches en phase de conception Décrire formellement chaque unité de tâche UML User Modeling Language Pender, T. A. (2002). UML Weekend Crash Course. New York, Wiley. Méthodologie permettant de passer de ces descriptions d’activités, d’objets, aux spécifications d’un système à concevoir. Exemples de représentations Local

21 Méthodologie d’observation en situation d’utilisation (Représentation et activités)
nécessite un prototype plus fonctionnel observer en situation d’utilisation groupe de sujets représentatifs observation et enregistrement vidéo et des traces À quoi pensez-vous? pas de question sur les causes éviter d’intervenir, aider si nécessaire (Magicien d’Oz) _______________ codage des protocoles par des juges selon critères d’utilisabilité grille en fonction du contexte, des modalités, etc.. coder les actions, les commentaires, les problèmes...

22 Méthodologies d’observation
Préparation - hypothèses, tâche, contexte. Sujets, échantillonnage Installation vidéo, audio, tester l ’application, le questionnaire Déroulement consigne pratiquer verbalisation sur un problème différent intervenir le moins possible, pas sur les causes démontrer un minimum, observer, faire verbaliser Questionner à la fin, vidéo revisité. Questionnaires formels et informels Sur quoi..?

23 Procédure d’expérimentation
Préparation Recherche et décider des objectifs, de la grille Prévoir une tâche et une activité de pratique Prévoir évaluation pré-test et post-test. Faire une consigne - quoi faire, situation d ’observation, confidentialité, Tester le matériel - vidéo son système Pré-expérimenter les activités, les questionnaire Début Pré-test - Questionnaire, test de compétence Pratiquer - Faire verbaliser, ré-expliquer Expérience Disparaître faire parler, mettre à deux, relancer les questions (ne pas répondre) Post-test Questionnaires : à chaud Interviews Focus

24 Transcription et analyse de vidéos analyse de protocole
verbalisations, buts et structures d’actions problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92 codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégories Structure des activités, compatibilité.. soutien, difficulté d’apprentissage cohérence interne et externe lisibilité, sens ambigu en contexte contrôle, feedback, flexibilité etc... utilité Seule façon de voir le lien avec les activités

25 Grilles d’analyse grilles basées sur les catégories d’actes de language. Communication Audit - Qui communique avec qui ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,... sémiotique - quête, reconnaissance... Niveau d’autorité dans les interventions Niveau de présence sociale. types d ’humour, de soutien, d ’information cherchée dans un site

26 Logiciels d’analyse Analyse textuelle. extraction des mots
Nudist QdAminer Provalis Nvivo AtlasTi Morae Virage Analyse textuelle. extraction des mots Analyse de textes ajout de mots clés aux textes, images, vidéos ou enregistrements sonores Statistiques d’occurences, de cooccurences, liste des extraits, recherche et créer liste Construction du réseau des concepts Découpage et codage de vidéos, d’images zones et mots clés

27 Systèmes de suivi Suivi oculaire
Utilise réflexion infrarouge sur l’oeil pupille et cornée Près de l’écran ou sur casque, utilise reconnaissance du visage FaceLab Mesures Grandeur de pupille, point de fixation, durée de fixation, saccades, clignement Diagnostic - Attention, intérêt, fatigue Analyse - définit des zones, faire des statistiques

28 Système de suivi Suivi physiologique
Conductivité de la peau (réponse psycho-galvanique RPG) Respiration Température EEG (Activités cérébrales EMG (Tension musculaire) Diagnostic - Fatigue, effort cognitif, émotions + ou =. Recherches Soutien aux apprenants - Fethi Guerdelli- DIC UQAM Effort cognitif dans l’Exécution des tâches Agence Spatiale François Courtemanche Informatique UdeM Composantes d’interface et contributions dans les sites avec contenus générés par les utilsateurs- Sandrine Prom Tep HEC

29 Analyse des traces nombre de visites dans les différents environnements temps passé dans les différents environnements contexte du temps passé (en revenant ou en avançant, en venant d’où ?) erreurs, appel à l’aide et autres fonctions ‘méta’ Statistiques descriptives sur les données tableau des fréquences, des moyennes, % tests de comparaison entre les groupes. Analyse statistique - séries temporelles, analyse des séquences cartes cognitives (aussi avec observations)- séquence, association, cause… contenu de page X commentaires média X commentaires Contenu de page X temps de consultation contenu de l ’aide X temps de consultation, réaction Analyse de contenus des textes produits

30 Exemple eCommerce Corrélation entre évaluation, Grandeur de pupille et GSR.

31 Exemple Amazon Structure d’actions Vs Zones d’intérêts

32 Exemple Amazon Structure d’actions Vs Zones d’intérêts

33 Exemple Amazon Structure d’actions – et réactions

34 Exemple Amazon Structure d’actions – et réactions

35 Exemple Amazon Chaque page.. La valeur des commentaires influence l’intérêt à acheter

36 Exemple Amazon Quelle zones provoquent une réaction dans les livres ?

37 Utiliser l’évaluation - Réingénierie
Reviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements Repenser la structure des activités, de la navigation, des boîtes de dialogue Faire la liste des corrections à apporter au niveau du vocabulaire et des icones Reviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant la cohérence. Ajout de feedback ou d’intervention en fonction du contexte. Utilisation de l’analyse pour valider des hypothèses Public Contenu Impact

38 Exemple de problématique : Marcelo
Évaluer l’interface du CV par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir. Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches.

39 Exemple d’analyse Activité : support et animation
Action 6 : répondre à un message Opération : choisir icone de réponse Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse. Réponse à la personne Réponse à la conférence

40 Évaluation dans les jeux Kinect Khoi Hua Tran
Mesurer l’immersion et évaluer liens entre évaluation subjective des questionnaires.. Défi, immersion, Contrôle, compétences, concentration Et mesures physiologiques et oculaires durant l’interaction. Voir l’influence des paramètres Jeux : Joy Ride – Body and Brain – Child of Eden Joueurs intensifs vs occasionnels.

41 Critères

42 Questionnaire

43 Exemple Résultats - Réactions faciales

44 Exemple Résultats - Réactions

45 Expressions Faciales X Évènements ObserverXT

46 Jeux et Questionnaires