Évaluation avec les vrais usagers

Slides:



Advertisements
Présentations similaires
Plate-forme de conception de systèmes interactifs
Advertisements

Définition Contraintes / Astreintes Taches / Activités
Analyse de la tâche et méthode des scénarios
- TUTORIAL MCIE - Méthode de Conception d’Interfaces Ergonomiques
Recherche & Développement Mars 2006 Étude des profils relationnels dans les réseaux sociaux Christophe Martinetto LIAFA, FT R&D Encadrants : Christophe.
Présentation par Marie-Christine Plamondon Le 7 novembre COM7162.
Cartes Conceptuelles Daniel Peraya
Expériences contrôlées Quasi-expériences Études de cas
Si vous n’êtes pas sûr de l’endroit où vous voulez aller, vous risquez de vous retrouver ailleurs… et de ne pas le savoir ! (R.F. Mager) Master ISIF.
Évaluation des IHM et ergonomie
Questions/problèmes Contraintes de départ… ressources, plateforme… utilisation de matériel existant –Pas de temps du prof pour préparer des exemples… concrets…
Copyright, 1996 © Dale Carnegie & Associates, Inc. Com6535 Systèmes de Communication informatisée
Algorithmique et Programmation
Initiation à la conception de systèmes d'information
RÉSOLUTION DE PROBLÈMES
TECFA Technologies pour la Formation et l’Apprentissage
Définir des caractéristiques chercher de linformation? sur un support électronique? Élaborer un cadre théorique pour comprendre les enjeux et proposer.
Mesures de performance organisationnelle Cours ICO 810 Professeur: Michel Pérusse Hiver 2005 Session 9.
François Breton Limplantation des systèmes dinformations cliniques: Description du processus et évaluation partielle du succès.
Cours Ergonomie des Interactions Personne-Machine 17 et 23 novembre 2011 Les différentes méthodologies dévaluation en IPM Mireille Bétrancourt - TECFA.
Les différentes méthodologies dévaluation en IPM Cours Ergonomie des Interactions Personne-Machine 17 novembre 2009 Mireille Bétrancourt - TECFA - FPSE.
Les différentes méthodologies d’évaluation en IPM
La méthodologie expérimentale Fondements et bases d’application
Schéma de Laswell Planifier systématiquement d ’une production multimédia Harold Laswell 1915 : US cherche expressément une méthode susceptible de.
Schéma de Laswell Planifier systématiquement d ’une production multimédia Harold Laswell 1915 : US cherche expressément une méthode susceptible de.
Lergonomie des IPM : pourquoi, comment ? Présentation 9 Novembre 2005 Mireille Bétrancourt - TECFA TECFA Technologies pour la Formation et lApprentissage.
La plateforme Multicom
Évaluation d’un système interactif Tests d’utilisabilité
Conception des Réalisé par : Nassim TIGUENITINE.
Méthodologie dévaluation dun système interactif Évaluation et processus de R&D Des principes à la réalité Définir une problématique Sortes dévaluations.
Approche qualitative Aussi grande complexité que
Typologie des outils L ’exerciseur Le tutoriel :
Logiciels et technologies de l'information de gestion
Évaluation avec les vrais usagers
Compétences relatives à l’employabilité
Mémoire 1. Généralités.
Interface Homme-machine (interaction humain-machine)
LA POSE D’UN DIAGNOSTIC Jm bouthors - Consultant
Introduction au Génie Logiciel
Les Techniques d’enquête quantitative
Modèle de conception et de production à la SOFAD Journée d’échange du CLIFAD Trois-Rivières, le 3 décembre 2004 Jean-Simon Labrecque, Chargé de projets.
DESIGN MULTIMÉDIA Initiation aux bases de La scénarisation multimédia
Une communication efficace au cœur de la démarche d’apprentissage et d’évaluation Intention: Prendre conscience qu’une communication efficace.
Initiation à la conception des systèmes d'informations
LES OUTILS D’OBSERVATION
L’ergonomie des IHM : pourquoi, comment ?
Techniques documentaires et veille stratégique Anne Pajard, avril 2008
L ’entretien d’évaluation ergonomique
TECFA Technologies pour la Formation et l’Apprentissage
Présentation février 2002 Relations Visiblement Meilleures.
DEME - L’enquête qualitative : recueil et analyse des données -
L’Ergonomie dans la conception
Les différentes méthodologies d’évaluation en IPM
Démarche de CCU : analyse de l ’environnement et de l ’activité
L’évaluation de la démarche
Études de Marché MBA Hiver 2006 SÉANCE 3: LES DONNÉES PRIMAIRES: MÉTHODES QUALITATIVES.
Copyright, 1996 © Dale Carnegie & Associates, Inc. Com7114 Technologies de la communication Objectifs de ce cours ? Sa place dans le programme ? La communication.
Martine Miny - MPInstitut - Référentiels et métiers de management de projet - Mastère IESTO - 9 février 2004 Référentiels et métiers de management de projet.
Méthodologies d’observation et de description des interactions. Théorie de l'activité Sortes d’évaluation Définir une problématique Questionnairesnnaires.
Introduction aux Interfaces Homme-Machine
Conception des IHM.
Démarche d’enseignement de l’APL : analyser
Évaluation avec les vrais usagers
Spécialistes de l’optimisation des processus d’affaires L’équilibre en mouvement Tous droits réservés © ProMainTech 2003 Deuxième S.
Théorie de l’activité Étude de l’intégration des systèmes dans les activités Théorie de l’activité - Les théories, les principes Modéle d’analyse hiérarchique.
1/14 Analyse des tâches en ergonomie 3 – Analyse de la tâche du point de vue de l’opérateur Quelle que soit la méthode utilisée, l’opérateur reste au centre.
PÔLE TICE / SEMAINE DES TICE ATELIER SCÉNARISER SON COURS Illustration : Maxx-Studio, Shutterstock.comMaxx-Studio, Shutterstock.com.
Élaboration d’un référentiel de compétences
1 Philippe TRIGANO - Université de Technologie de Compiègne - FRANCE Philippe TRIGANO INGÉNIERIE MULTIMÉDIA PÉDAGOGIQUE.
Transcription de la présentation:

Évaluation avec les vrais usagers Méthodologies d’observation et de description des interactions. Théorie de l'activité Expérimentation Évaluation avec les vrais usagers Analyse des observations Sortes d’évaluation Définir une problématique Questionnaires Méthodologie d’observation Grilles d’analyse Exemples

Processus de R&D orientée vers le support aux activités

Critères d’évaluation et processus de R&D orientée vers le support aux activités Évaluation heuristique Évaluation empirique Technique Ergonomique Fonctionnelle Analyse de besoins Innovation Implantation

Qu’est-ce qu’évaluer un système ? Validation des systèmes de communication informatisés Validation de construit Répondent-ils aux besoins, aux attentes Répondent-ils aux spécifications Français, erreurs sur le fond dans le contenu Fiabilité, efficacité - erreurs, temps de réaction,nombre d’actions Utilisabilité opérations difficiles, faciles Répondent-ils aux critères ergonomiques. Évaluation selon une norme (Legendre, 83) utilisation, efficacité, rend services, Input/output.

Définir une perspective une problématique Évaluer un système = adapter aux activités et au contexte Quelle est la valeur ajoutée du système ? Recherche - les systèmes, les usagers, les théories, les expériences Comparer un système à un autre ou à une version antérieure observer les différences Use and gratification - notion d ’utilité (intérêt, apprentissage, vente, échang, productivité) À quoi ça sert, qui, pourquoi différents usagers - attentes - appréçiation des éléments

Définition d’une problématique (suite) Facitlité d’apprentissage du système facile ? pour qui ? évolution ? pourcentage d’utilisation, mémorisation Qu’en pensent les experts ? Améliorer la conception problèmes ergonomiques à corriger Focus et réorientation Bodker goulots d’étranglement évaluation des différentes fonctions

Exemple d’évaluation pour la conception Campus Canada - eportefolio

Définition d’une problématique (suite) Organisationnel - Design Socio-technique Dimensions techniques, modularité, efficacité, spécifications minimales, compatibilité logicielle et matérielle Mais aussi Compatibilité avec les tâches Multifonctionnel Séparation Flux Supporte la congruence Valeurs humaines Questionnaires Observations Ex. Plomberium Imbrication des tâches de communication et liées à la tâche, succès dans les tâches

Outils d’évaluation Walktrough, scénarios, Évaluation heuristique selon une grille Journal, feuille de route (BBM) Problèmes et commentaires positifs Utilisation des fonctions Réseaux de communication Questionnaires Entrevues et focus groupe Analyse structurale de la hiérarchie des tâches (Annett, Card & Moran) Observations et analyse des observations Analyse des traces d’utilisation Analyse des variables externes (liées à l’efficacité)

Évaluation selon une grille par des juges a priori ou sur les observations Neutralité et entraînement des juges Évaluation heuristique… sort les principaux problèmes et les solutions. Grille selon critères ergonomiques - experts fait a priori sur le système lui-même en adaptant les grilles au problème. Importance de donner des exemples de problèmes et de commenter Couvrir l ’ensemble de l ’application Compte-rendu systématique Les juges peuvent aussi coder l ’ observation de vrais usagers

Journal, feuille de route (BBM) Ne doit pas interrompre - outil, concentration minimale Ex.de la feuille de route et du journal de bord -> Feuille à cocher Permet de noter des activités Communiquer avec qui Tâches (temps) Permet de noter des commentaires Problèmes, changements, besoins,

Questionnaires après mais le plus vite possible, mise en situation si nécessaire pas de mesures centrales questions adaptées et claires..pré-tester le questionnaire, homogénéité Questions fermées (et ouvertes à la fin) Structuré de plus en plus détaillé, éviter les biais dans l ’ordre Attirant plusieurs questions sur un thème…éparpillées pré-tester les questions et éliminer celles qui ne sont pas claires faire la moyenne par thème ou alors distribution dans les réponses avec histogramme. très d’accord, d’accord,....ordre naturel: 6 = mieux, 1= moins, 0 ne sait pas alterner positif et négatif en évitant les formes négatives (l’interface est difficile à comprendre...on sait tout de suite ce qu’il faut faire) - inverser les réponses pour l’analyse

Problèmes dans les questionnaires Faulkner Réponses à connotations émotionnelles Suggérer la réponse Embarrasser les sujets Manque de précision Questions imprécises Questions trop complexes Effets d ’ordre

Types Liste à cocher Échelle multi-points Échelle de Likert (valeurs à chaque niveau) Différentielle sémantique - dimensions opposées ex: facile …….difficile Rang ordonnez les problèmes, les contenus

Entrevues et focus group Questionnaires -> entrevues individuelles -> focus group Le faire « à chaud » Préparer les questions à débattre Avec le système actuel.. Goulot d’étranglements Quelles difficultés? Que changeriez-vous? Expérience d’implantation précédente?Compétences et besoins de formation? Avec le nouveau système.. Qu’est-ce que vous avez trouvé facile? … difficile ? Qu’est-ce que vous avez trouvé utile? … inutile ? pourquoi vous recommanderiez?… ou non ? goulot d’étranglement À changer, qui manque Poser ces questions pour les différentes parties ou fonctions du système Avoir un animateur, une secrétaire, et enregistrer

Exemples de grilles d’analyse des observations grilles basées sur les catégories d’actions Communication Audit - qui avec qui ? Combien souvent ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique, complexité sémiotique - quête, reconnaissance... présence sociale, Niveau d ’autorité carte cognitive - Liens entre les éléments de représentation séquence, association, cause

Discussion et interprétation comparer les résultats de différentes méthodes -triangulation qualifier et regrouper ce qui est le plus significatif dire ce que ça apporte et ce qu’il faut faire ensuite.

Analyse structurale Analyse structurale et processus de design Description de la structure de l ’interface Description de la structure des activités GOMS Goal Operators Methods and Selection rules Comparer la structure d’utilisation à la structure prévue ou idéale. Identifier les correctifs au système, à la formation, à la documentation. Reed (Task analysis)

Analyse structurale La notion d’activité est médiée par des artefacts (Vigotsky) dans un contexte social (Leontiev). La communauté partage des artefacts, des écrits, des sites, des codes.. On peut chercher à décrire ces systèmes d’activités et d’artefacts. Les activités s’organisent à travers des règles, qui peuvent être contradictoires. L’analyse des usage cherche à résoudre ces contradictions.

Analyse hiérarchique, Approche MAD, UML Appliquer la méthode d’Analyse hiérarchique des tâches en phase de conception Décrire formellement chaque unité de tâche UML User Modeling Language Pender, T. A. (2002). UML Weekend Crash Course. New York, Wiley. Méthodologie permettant de passer de ces descriptions d’activités, d’objets, aux spécifications d’un système à concevoir. Exemples de représentations Local

Méthodologie d’observation en situation d’utilisation (Représentation et activités) nécessite un prototype plus fonctionnel observer en situation d’utilisation groupe de sujets représentatifs observation et enregistrement vidéo et des traces À quoi pensez-vous? pas de question sur les causes éviter d’intervenir, aider si nécessaire (Magicien d’Oz) _______________ codage des protocoles par des juges selon critères d’utilisabilité grille en fonction du contexte, des modalités, etc.. coder les actions, les commentaires, les problèmes...

Méthodologies d’observation Préparation - hypothèses, tâche, contexte. Sujets, échantillonnage Installation vidéo, audio, tester l ’application, le questionnaire Déroulement consigne pratiquer verbalisation sur un problème différent intervenir le moins possible, pas sur les causes démontrer un minimum, observer, faire verbaliser Questionner à la fin, vidéo revisité. Questionnaires formels et informels Sur quoi..?

Procédure d’expérimentation Préparation Recherche et décider des objectifs, de la grille Prévoir une tâche et une activité de pratique Prévoir évaluation pré-test et post-test. Faire une consigne - quoi faire, situation d ’observation, confidentialité, Tester le matériel - vidéo son système Pré-expérimenter les activités, les questionnaire Début Pré-test - Questionnaire, test de compétence Pratiquer - Faire verbaliser, ré-expliquer Expérience Disparaître faire parler, mettre à deux, relancer les questions (ne pas répondre) Post-test Questionnaires : à chaud Interviews Focus

Transcription et analyse de vidéos analyse de protocole verbalisations, buts et structures d’actions problèmes, erreurs, conséquences, correction possible et solutions (design, formation ou aide, procédure) - Reed in Kirwan and Ainsworth 92 codage des observations et des commentaires des usagers selon cette grille ergonomique, faire ensuite la synthèse selon les grandes catégories Structure des activités, compatibilité.. soutien, difficulté d’apprentissage cohérence interne et externe lisibilité, sens ambigu en contexte contrôle, feedback, flexibilité etc... utilité Seule façon de voir le lien avec les activités

Grilles d’analyse grilles basées sur les catégories d’actes de language. Communication Audit - Qui communique avec qui ? actes de langage impliqués dans les informations échangées ou consultées, par exemple - information, analyse, question, ludique, artistique,... sémiotique - quête, reconnaissance... Niveau d’autorité dans les interventions Niveau de présence sociale. types d ’humour, de soutien, d ’information cherchée dans un site

Logiciels d’analyse Analyse textuelle. extraction des mots Nudist QdAminer Provalis Nvivo AtlasTi Morae Virage Analyse textuelle. extraction des mots Analyse de textes ajout de mots clés aux textes, images, vidéos ou enregistrements sonores Statistiques d’occurences, de cooccurences, liste des extraits, recherche et créer liste Construction du réseau des concepts Découpage et codage de vidéos, d’images zones et mots clés

Systèmes de suivi Suivi oculaire Utilise réflexion infrarouge sur l’oeil pupille et cornée Près de l’écran ou sur casque, utilise reconnaissance du visage FaceLab Mesures Grandeur de pupille, point de fixation, durée de fixation, saccades, clignement Diagnostic - Attention, intérêt, fatigue Analyse - définit des zones, faire des statistiques

Système de suivi Suivi physiologique Recherches Conductivité de la peau (réponse psycho-galvanique RPG) Respiration Température EEG (Activités cérébrales EMG (Tension musculaire) Diagnostic - Fatigue, effort cognitif, émotions + ou =. Recherches Soutien aux apprenants - Fethi Guerdelli- DIC UQAM Effort cognitif dans l’Exécution des tâches Agence Spatiale François Courtemanche Informatique UdeM Composantes d’interface et contributions dans les sites avec contenus générés par les utilsateurs- Sandrine Prom Tep HEC

Analyse des traces nombre de visites dans les différents environnements temps passé dans les différents environnements contexte du temps passé (en revenant ou en avançant, en venant d’où ?) erreurs, appel à l’aide et autres fonctions ‘méta’ Statistiques descriptives sur les données tableau des fréquences, des moyennes, % tests de comparaison entre les groupes. Analyse statistique - séries temporelles, analyse des séquences cartes cognitives (aussi avec observations)- séquence, association, cause… contenu de page X commentaires média X commentaires Contenu de page X temps de consultation contenu de l ’aide X temps de consultation, réaction Analyse de contenus des textes produits

Exemple eCommerce Corrélation entre évaluation, Grandeur de pupille et GSR.

Exemple Amazon Structure d’actions Vs Zones d’intérêts

Exemple Amazon Structure d’actions Vs Zones d’intérêts

Exemple Amazon Structure d’actions – et réactions

Exemple Amazon Structure d’actions – et réactions

Exemple Amazon Chaque page.. La valeur des commentaires influence l’intérêt à acheter

Exemple Amazon Quelle zones provoquent une réaction dans les livres ?

Utiliser l’évaluation - Réingénierie Reviser globalement l ’atteinte des objectifs du système et fixer des priorités pour les ajustements Repenser la structure des activités, de la navigation, des boîtes de dialogue Faire la liste des corrections à apporter au niveau du vocabulaire et des icones Reviser systématiquement les écrans, les boîtes de dialogues, les commandes et corriger en assurant la cohérence. Ajout de feedback ou d’intervention en fonction du contexte. Utilisation de l’analyse pour valider des hypothèses Public Contenu Impact

Exemple de problématique : Marcelo Évaluer l’interface du CV par rapport aux habiletés et aux contraintes reliées à l'accomplissement des activités visées par les tuteurs, et identifier celles que l’environnement ne permet pas d’accomplir. Modéliser l’activité des tuteurs et la décomposer en actions et en opérations à fin de spécifier les caractéristiques d’une interface ergonomique pour ces tâches.

Exemple d’analyse Activité : support et animation Action 6 : répondre à un message Opération : choisir icone de réponse Problème : difficulté à différencier la réponse à la conférence, de la réponse à la personne Solution : uniformiser les icones et les placer à proximité de façon à favoriser la comparaison et le choix d’un type de réponse. Réponse à la personne Réponse à la conférence