La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Méthodologies dobservation et de description des interactions. Théorie de l'activité Sortes dévaluation Définir une problématique Questionnairesnnaires.

Présentations similaires


Présentation au sujet: "Méthodologies dobservation et de description des interactions. Théorie de l'activité Sortes dévaluation Définir une problématique Questionnairesnnaires."— Transcription de la présentation:

1 Méthodologies dobservation et de description des interactions. Théorie de l'activité Sortes dévaluation Définir une problématique Questionnairesnnaires Méthodologie dobservation Grilles danalyse Exemples Évaluation avec les vrais usagers Expérimentation Analyse des observations

2 Processus de R&D orientée vers le support aux activités

3 Critères dévaluation et processus de R&D orientée vers le support aux activités Évaluation heuristique Analyse de besoins Évaluation empirique Technique Ergonomique Fonctionnelle Implantation Innovation

4 Quest-ce quévaluer un système ? 4 Validation des systèmes de communication informatisés Validation de construit Répondent-ils aux besoins, aux attentes Répondent-ils aux spécifications Français, erreurs sur le fond dans le contenu Fiabilité, efficacité - erreurs, temps de réaction,nombre dactions Utilisabilité opérations difficiles, faciles Répondent-ils aux critères ergonomiques. 4 Évaluation selon une norme (Legendre, 83) utilisation, efficacité, rend services, Input/output.

5 Définir une perspective une problématique Évaluer un système = adapter aux activités et au contexte Quelle est la valeur ajoutée du système ? 4 Recherche - les systèmes, les usagers, les théories, les expériences 4 Comparer un système à un autre ou à une version antérieure observer les différences 4 Use and gratification - notion d utilité (intérêt, apprentissage, vente, échang, productivité) À quoi ça sert, qui, pourquoi différents usagers - attentes - appréçiation des éléments

6 Définition dune problématique (suite) 4 Facitlité dapprentissage du système facile ? pour qui ? évolution ? pourcentage dutilisation, mémorisation Quen pensent les experts ? 4 Améliorer la conception problèmes ergonomiques à corriger Focus et réorientation Bodker goulots détranglement évaluation des différentes fonctions

7 Exemple dévaluation pour la conception Campus Canada - eportefolio

8 Définition dune problématique (suite) 4 Organisationnel - Design Socio-technique Dimensions techniques, modularité, efficacité, spécifications minimales, compatibilité logicielle et matérielle Mais aussi Compatibilité avec les tâches Multifonctionnel Séparation Flux Supporte la congruence Valeurs humaines Questionnaires Observations Ex. Plomberium Imbrication des tâches de communication et liées à la tâche, succès dans les tâches

9 Outils dévaluation 4 Walktrough, scénarios, Évaluation heuristique selon une grille 4 Journal, feuille de route (BBM) Problèmes et commentaires positifs Utilisation des fonctions Réseaux de communication 4 Questionnaires 4 Entrevues et focus groupe 4 Analyse structurale de la hiérarchie des tâches (Annett, Card & Moran) Analyse structurale de la hiérarchie des tâches 4 Observations et analyse des observations 4 Analyse des traces dutilisation 4 Analyse des variables externes (liées à lefficacité)

10 Évaluation selon une grille par des juges a priori ou sur les observations 4 Évaluation heuristique… sort les principaux problèmes et les solutions. 4 Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème. 4 Importance de donner des exemples de problèmes et de commenter 4 Couvrir l ensemble de l application 4 Compte-rendu systématique 4 Les juges peuvent aussi coder l observation de vrais usagers Neutralité et entraînement des juges

11 Journal, feuille de route (BBM) 4 Ne doit pas interrompre - outil, concentration minimale Ex.de la feuille de route et du journal de bord -> Feuille à cocher 4 Permet de noter des activités Communiquer avec qui Tâches (temps) 4 Permet de noter des commentaires Problèmes, changements, besoins,

12 Questionnaires 4 après mais le plus vite possible, mise en situation si nécessaire 4 pas de mesures centrales 4 questions adaptées et claires..pré-tester le questionnaire, homogénéité 4 Questions fermées (et ouvertes à la fin) 4 Structuré de plus en plus détaillé, éviter les biais dans l ordre 4 Attirant 4 plusieurs questions sur un thème…éparpillées 4 pré-tester les questions et éliminer celles qui ne sont pas claires 4 faire la moyenne par thème ou alors distribution dans les réponses avec histogramme. 4 très daccord, daccord,....ordre naturel: 6 = mieux, 1= moins, 0 ne sait pas 4 alterner positif et négatif en évitant les formes négatives (linterface est difficile à comprendre...on sait tout de suite ce quil faut faire) - inverser les réponses pour lanalyse

13 Problèmes dans les questionnaires Faulkner 4 Réponses à connotations émotionnelles 4 Suggérer la réponse 4 Embarrasser les sujets 4 Manque de précision 4 Questions imprécises 4 Questions trop complexes 4 Effets d ordre

14 Types 4 Liste à cocher 4 Échelle multi-points 4 Échelle de Likert (valeurs à chaque niveau) 4 Différentielle sémantique - dimensions opposées ex: facile …….difficile 4 Rang ordonnez les problèmes, les contenus

15 Entrevues et focus group 4 Questionnaires -> entrevues individuelles -> focus group 4 Le faire « à chaud » 4 Préparer les questions à débattre Avec le système actuel.. Goulot détranglements Quelles difficultés? Que changeriez-vous? Expérience dimplantation précédente?Compétences et besoins de formation? Avec le nouveau système.. Quest-ce que vous avez trouvé facile? … difficile ? Quest-ce que vous avez trouvé utile? … inutile ? pourquoi vous recommanderiez?… ou non ? goulot détranglement À changer, qui manque 4 Poser ces questions pour les différentes parties ou fonctions du système 4 Avoir un animateur, une secrétaire, et enregistrer

16 Exemples de grilles danalyse des observations 4 grilles basées sur les catégories dactions 4 Communication Audit - qui avec qui ? Combien souvent ? 4 actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique, complexité 4 sémiotique - quête, reconnaissance... 4 présence sociale, Niveau d autorité 4 carte cognitive - Liens entre les éléments de représentation séquence, association, cause

17 Discussion et interprétation 4 comparer les résultats de différentes méthodes -triangulation 4 qualifier et regrouper ce qui est le plus significatif 4 dire ce que ça apporte et ce quil faut faire ensuite.

18 Analyse structurale 4 Analyse structurale et processus de design 4 Description de la structure de l interface 4 Description de la structure des activités GOMS Goal Operators Methods and Selection rules 4 Comparer la structure dutilisation à la structure prévue ou idéale. Identifier les correctifs au système, à la formation, à la documentation. Reed (Task analysis)

19 Analyse structurale 4 La notion dactivité est médiée par des artefacts (Vigotsky) dans un contexte social (Leontiev). 4 La communauté partage des artefacts, des écrits, des sites, des codes.. 4 On peut chercher à décrire ces systèmes dactivités et dartefacts. 4 Les activités sorganisent à travers des règles, qui peuvent être contradictoires. 4 Lanalyse des usage cherche à résoudre ces contradictions.

20 Analyse hiérarchique, Approche MAD, UML 4 Appliquer la méthode dAnalyse hiérarchique des tâches en phase de conception 4 Décrire formellement chaque unité de tâche 4 UML User Modeling Language Pender, T. A. (2002). UML Weekend Crash Course. New York, Wiley. Méthodologie permettant de passer de ces descriptions dactivités, dobjets, aux spécifications dun système à concevoir. Exemples de représentationsExemples de représentations Local Local

21 Méthodologie dobservation en situation dutilisation (Représentation et activités) nécessite un prototype plus fonctionnel observer en situation dutilisation groupe de sujets représentatifs observation et enregistrement vidéo et des traces À quoi pensez-vous? pas de question sur les causes éviter dintervenir, aider si nécessaire (Magicien dOz) _______________ codage des protocoles par des juges selon critères dutilisabilité grille en fonction du contexte, des modalités, etc.. coder les actions, les commentaires, les problèmes...

22 Méthodologies dobservation 4 Préparation - hypothèses, tâche, contexte. 4 Sujets, échantillonnage 4 Installation vidéo, audio, tester l application, le questionnaire 4 Déroulement consigne pratiquer verbalisation sur un problème différent intervenir le moins possible, pas sur les causes démontrer un minimum, observer, faire verbaliser Questionner à la fin, vidéo revisité. 4 Questionnaires formels et informels Sur quoi..?

23 Procédure dexpérimentation 4 Préparation Recherche et décider des objectifs, de la grille Prévoir une tâche et une activité de pratique Prévoir évaluation pré-test et post-test. Faire une consigne - quoi faire, situation d observation, confidentialité, Tester le matériel - vidéo son système 4 Pré-expérimenter les activités, les questionnaire 4 Début Pré-test - Questionnaire, test de compétence Pratiquer - Faire verbaliser, ré-expliquer 4 Expérience Disparaître faire parler, mettre à deux, relancer les questions (ne pas répondre) 4 Post-test Questionnaires : à chaud Interviews Focus

24 Transcription et analyse de vidéos analyse de protocole 4 verbalisations, buts et structures dactions 4 problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92 4 codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégories Structure des activités, compatibilité.. soutien, difficulté dapprentissage cohérence interne et externe lisibilité, sens ambigu en contexte contrôle, feedback, flexibilité etc... utilité Seule façon de voir le lien avec les activités

25 Grilles danalyse 4 grilles basées sur les catégories dactes de language. 4 Communication Audit - Qui communique avec qui ? 4 actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,... 4 sémiotique - quête, reconnaissance... 4 Niveau dautorité dans les interventions 4 Niveau de présence sociale. 4 types d humour, de soutien, d information cherchée dans un site

26 Logiciels danalyse Analyse textuelle. extraction des mots Analyse de textes ajout de mots clés aux textes, images, vidéos ou enregistrements sonores Statistiques doccurences, de cooccurences, liste des extraits, recherche et créer liste Construction du réseau des concepts Découpage et codage de vidéos, dimages zones et mots clés Nudist QdAminer Provalis Nvivo AtlasTi Morae Virage

27 Systèmes de suivi 4 Suivi oculaire Utilise réflexion infrarouge sur loeil pupille et cornée Près de lécran ou sur casque, utilise reconnaissance du visage FaceLab Mesures Grandeur de pupille, point de fixation, durée de fixation, saccades, clignement Diagnostic - Attention, intérêt, fatigue Analyse - définit des zones, faire des statistiques

28 Système de suivi 4 Suivi physiologique Conductivité de la peau (réponse psycho-galvanique RPG) Respiration Température EEG (Activités cérébrales EMG (Tension musculaire) Diagnostic - Fatigue, effort cognitif, émotions + ou =. Recherches –Soutien aux apprenants - Fethi Guerdelli- DIC UQAM –Effort cognitif dans lExécution des tâches Agence Spatiale –François Courtemanche Informatique UdeM –Composantes dinterface et contributions dans les sites avec contenus générés par les utilsateurs- Sandrine Prom Tep HEC

29 Analyse des traces 4 nombre de visites dans les différents environnements 4 temps passé dans les différents environnements 4 contexte du temps passé (en revenant ou en avançant, en venant doù ?) 4 erreurs, appel à laide et autres fonctions méta 4 Statistiques descriptives sur les données tableau des fréquences, des moyennes, % 4 tests de comparaison entre les groupes. 4 Analyse statistique - séries temporelles, analyse des séquences cartes cognitives (aussi avec observations)- séquence, association, cause… contenu de page X commentaires média X commentaires Contenu de page X temps de consultation contenu de l aide X temps de consultation, réaction 4 Analyse de contenus des textes produits

30 Exemple eCommerce 4 Corrélation entre évaluation, Grandeur de pupille et GSR.

31 Exemple Amazon 4 Structure dactions Vs Zones dintérêts

32 Exemple Amazon 4 Structure dactions Vs Zones dintérêts

33 Exemple Amazon 4 Structure dactions – et réactions

34 Exemple Amazon 4 Structure dactions – et réactions

35 4 Chaque page.. La valeur des commentaires influence lintérêt à acheter Exemple Amazon

36 –Quelle zones provoquent une réaction dans les livres ?

37 Utiliser lévaluation - Réingénierie 4 Reviser globalement l atteinte des objectifs du système et fixer des priorités pour les ajustements 4 Repenser la structure des activités, de la navigation, des boîtes de dialogue 4 Faire la liste des corrections à apporter au niveau du vocabulaire et des icones 4 Reviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant la cohérence. 4 Ajout de feedback ou dintervention en fonction du contexte. Utilisation de lanalyse pour valider des hypothèses Public Contenu Impact

38 Exemple de problématique : Marcelo 4 Évaluer linterface du CV par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que lenvironnement ne permet pas daccomplir. 4 Modéliser lactivité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques dune interface ergonomique pour ces tâches.

39 Exemple danalyse Activité : support et animation Action 6 : répondre à un message Opération : choisir icone de réponse 4 Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne 4 Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix dun type de réponse. Réponse à la personne Réponse à la conférence


Télécharger ppt "Méthodologies dobservation et de description des interactions. Théorie de l'activité Sortes dévaluation Définir une problématique Questionnairesnnaires."

Présentations similaires


Annonces Google