La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06

Présentations similaires


Présentation au sujet: "1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06"— Transcription de la présentation:

1 1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, Méthodes dInspection Cours 3

2 2 Plan du cours Vos questions Cours Évaluer ? Critères ergonomiques ? Méthodes dinspection ? Retour sur vos questions Le projet Évaluation de projets existants Préparations des entretiens et des interviews

3 3 Plan du poly Rappels Évaluer ? Quest-ce ? Quand ? Pourquoi ? Quoi ? Comment ? Critères dévaluation heuristique Méthodes dinspection Tests utilisateurs (cours 5) Quelles méthodes choisir ? (cours 5)

4 4 (Rappel) Cours 1 : IHM, complexité Tâche Conception Humains Technologie Organisation et environnement social Chacun des facteurs influence les autres

5 5 (Rappel) Cours 1 : Facteurs de succès Cycle de conception Conception centrée usager Lanalyse des tâches et les analyses en contexte de travail usuel Le prototypage rapide Lévaluation constante Conception itérative La qualité de la programmation

6 6 (Rappel) Cours 2 : les utilisateurs ? Lanalyse des tâches et les analyses en contexte de travail usuel Travail prescrit/travail réel Techniques Entretiens, incidents critiques, observation, magicien doz, scénarios, jugements dexperts, revue de conception, maquette et prototype

7 7 (Rappel) Cours 1 : CCU Norme ISO : Conception Centrée Utilisateur Les 5 principes de la conception centrée utilisateur Une analyse des besoins des utilisateurs, de leurs tâches et de leur contexte de travail La participation active des utilisateurs à la conception Une répartition appropriée des fonctions entre les utilisateurs et la technologie Une démarche itérative de conception Lintervention dune équipe de conception multidisciplinaire

8 8 Leçons du cours 4 (en avance) Talking to users is not a luxury (Gould) Time spent in the early phases pays most dividends (Landay) Deux problèmes de conception Conception centrée utilisateur Conception technique Conception centrée utilisateur en deux niveaux Niveau tâche/activité : interface conceptuelle, conception globale Niveau écran : conception détaillée

9 9 Évaluer ? Qu'est-ce que l'évaluation ? Définition : évaluer = juger Objectivité ??? Référence ? Plusieurs approches : Critères raisonnés, modéles Évaluer quand ? pourquoi ? Moments d'évaluation Objectifs Évaluer quoi ? Variables cibles Évaluer comment ? à quel coût ? Méthodes, techniques Temps, argent

10 Définitions (début) évaluation en Génie Logiciel système = solution logicielle et matérielle les plans qualité fournissent des métriques pour le respect des normes de programmation (portabilité, maintenance etc.) ne fournissent aucune méthode pour s'assurer de l'utilisabilité évaluation ergonomique système interactif = { utilisateur(s), artefact(s) } s'intéresse à l'efficacité des systèmes humains- machines à l'utilisabilité/utilité du système interactif

11 11 Définitions (fin) Évaluation : processus pour étudier les rapports entre la conception et l'utilisation Évaluation a priori, formative (conception) pour identifier ou prévoir les besoins, les scénarios dutilisation et les difficultés potentielles ou réelles des utilisateurs Évaluation a posteriori, sommative (usage) pour caractériser les points forts et les points faibles d'un système interactif

12 Moments & Objectifs d'évaluation en cours de conception analyse de besoins, compréhension des situations, étude de lexistant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans lactivité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité

13 Utilité et utilisabilité (1) Senach Utilité permet à lutilisateur d'atteindre ses buts de haut niveau fonctionnalités Utilisabilité la possibilité datteindre ses buts, le confort d'utilisation règles de dialogue, de navigation A Guide to usability santé, sécurité, efficacité, plaisir Schneiderman : temps d'apprentissage, vitesse d'exécution des tâches, taux d'erreurs, facilité de rétention dans le temps, satisfaction subjective

14 14 Utilisabilité (2) norme ISO (1998) : lutilisabilité « est le degré selon lequel un produit peut-être utilisé par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte dutilisation spécifié ». Bastien Utilisabilité/utilité : qualité ergonomique de l'interface

15 15 Évaluation et cycle de conception

16 Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse lutilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de lassistance la logique du travail les opinions ou les attitudes

17 17 Variables cibles variables subjectives esthétique confort préférences plaisir variables mesurables taux d'erreurs durée d'exécution d'une tâche demandes d'aide durée d'apprentissage absentéisme détournements (catachrèses)

18 18 Observables Nature Traces, « log » Verbalisations Gestes, déplacements Productions Problèmes des mesures Validité de l'appareil de mesure (biais expérimentaux, méthodes intrusives) Fidélité (variabilité / expérimentateurs) Précision (sensibilité aux variations) Interprétation des observables Méthodes quantitatives Méthodes qualitatives

19 Évaluer comment ? Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles (de l'interface, de l'interaction, de l'opérateur) modèle implicites (méthode dinspection, « low cost ») modèles explicites (formels, approches automatiques) prédiction de comportement ou de performance Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs en situation réelle ou en laboratoire

20 20 Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost » Culture de lévaluation chez les informaticiens Évitent les gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études dutilisabilité ? (ROI)

21 21 Plan Rappels Évaluer ? Critères dévaluation heuristique Exemple : sites web Critères dévaluation ergonomique Méthodes dinspection Tests utilisateurs (cours 5) Choisir une méthode (cours 5)

22 22 Utilisabilité des sites web Vos 5 problèmes clé :

23 23 Ceux des experts 7 péchés capitaux des sites Web (Zdnet Anchor desk) navigation inconsistante, liens morts, sites dédiés à un seul navigateur, aucune personne à contacter, frames, sites qui ouvrent de nouvelles fenêtres, panneaux en construction 5 principales erreurs de conceptions (HP Ebusiness) les animations, présentation non fonctionnelle, liens pas clairs, recherche qui n aide en rien, design qui na rien à voir avec les préoccupations de lutilisateur 6 erreurs fondamentales (Nielsen) considérer le web comme une brochure publicitaire, centrer le site sur les problèmes internes de lentreprise, calquer sa structure sur celle de lentreprise, ne pas tester avec des débits plus lents et du matériel moins performant, écrire des textes comme pour une lecture papier, considérer son site ou sa page comme le bout du monde

24 24 Vos cinq critères de qualité

25 25 Ceux des experts auditweb rapidité du site, aisance de la navigation, pertinence du design, respects des standards, qualité du service internet World temps de chargement, facilité d utilisation, Design graphique, facilités commerciales, contenu, commentaires généraux Nielsen téléchargement rapide, régularité et fréquence des mises à jour, utilisation facile du site, contenu de qualité

26 26 Critères de Nielsen 1. Visibilité de létat du système 2. Cohérence entre le système et le monde réel 3. Contrôle à lutilisateur et liberté daction de lutilisateur 4. Consistance et respect des standards 5. Prévention des erreurs 6. Reconnaître des objets plutôt que mémoriser des options 7. Flexibilité et efficacité dutilisation 8. Combat pour esthétique et design sobre 9. Aide à la reconnaissance, le diagnostic et la récupération des erreurs 10. Aide et documentation

27 À lorigine de la norme Z , Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et dévaluation des interfaces utilisateurs. 1.Structuration des activités et guidage 2.Minimiser la charge de travail 3.Contrôle entre les mains de l'utilisateur 4.Adaptabilité 5.Prévision et récupération des erreurs 6.Compatibilité 7.Signifiance des codes et dénomination 8.Cohérence et homogénéité ergonomiques-partie1.html#4 Critères de lINRIA (Bastien et Scapin)

28 28 Utilisation des critères Pour lévaluation Évaluation heuristique Pour la conception Inscrire les critères dévaluation dans les dossiers de conception Guide pour léquipe de conception

29 Structuration des activités et guidage objectif : faciliter l'apprentissage par l'action, l'orientation, les prises de décisions techniques des roulettes de sécurité (étayage, scaffolding), incitation (prompting, affordance) structure de contexte déterminée par les actions possibles granularité des commandes format d'écran organisation spatiale des données importantes groupement format de présentation (titre, courbe, couleur, encadrés, justification) structuration des menus (préférez la largeur)

30 30 Guidage - incitation À faire Contre-exemple certains jeux daventures

31 31 Guidage - groupement/distinction entre items À faire À ne pas faire

32 Retours d'informations Objectif : informer pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) pour rassurer (temps de réponse long) pour réduire la charge cognitive indication du contexte de travail (fenêtre courante, états, curseurs actifs) représentation des déplacements présentation des options (menus fantômes, surgissant, pop-up)

33 33 Guidage – retour dinformation À faire À ne pas faire

34 34 Guidage - lisibilité À faire Objectif : informer pour permettre à l'utilisateur d'évaluer son action pour rassurer (temps de réponse long) Définition du guidage : cest lensemble des moyens mis en œuvre pour conseiller, o, Objectif : informer pour permettre à l'utilisateur d'évaluer son action (modèle de Norman) pour rassurer (temps de réponse long) pour réduire la charge cognitive indication du contexte de travail (fenêtre courante, états, curseurs actifs) À ne pas faire

35 35 Charge de travail Définition : Le critère charge de travail concerne lensemble des éléments de linterface qui ont un rôle dans la réduction de la charge perceptive ou mnésique (mnème = unité dinformation) des utilisateurs et dans laugmentation de lefficacité du dialogue 2 sous-critères brièveté concision actions minimales densité informationnelle

36 Règle de concision objectif : limiter la charge de travail compromis entre le bref et l'expressif pas de gadgets inutiles, limiter les fonctionnalités éviter les surcharges d'informations (limiter la densité) réduire la charge mnésique et le nombre d'actions physiques abréviations (utilisateurs expérimentés) compréhensibles dérivables selon des règles précises (commande I ou P) macro-commandes flexibilité abstraction minimiser les entrées et plus génralement les actions: couper-coller valeurs par défaut (dynamiques ou préférences) défaire-repéter

37 37 Charge de travail - brièveté À faire À ne pas faire

38 38 Charge de travail - actions minimales À ne pas faire

39 39 Charge de travail - densité informationnelle À faire À ne pas faire

40 Règle du contrôle à l'utilisateur objectif : l'interface doit apparaître comme étant sous le contrôle de l'utilisateur le système n'exécute des opérations qu'à la suite d'actions explicites de l'utilisateur Exemple : ne pas changer d'écran sans demande explicite prévenir si changement de contrôle prévoir pour les experts la possibilité d'anticiper, de sauter des étapes

41 41 Contrôle explicite Définition : ce critère regroupe 2 aspects différents la prise en compte par le système des actions des utilisateurs le contrôle des utilisateurs sur le traitement de leurs actions 2 sous-critères actions explicites contrôle utilisateur

42 42 Contrôle explicite - actions explicites À faire À ne pas faire

43 43 Contrôle explicite - contrôle utilisateur À faire À ne pas faire Impossibilité d annuler

44 44 Adaptabilité Définition : capacité du système à réagir selon le contexte, et selon les besoins et préférences des utilisateurs 2 sous-critères flexibilité prise en compte de lexpérience de lutilisateur

45 Flexibilité Objectif : prendre en compte la diversité des utilisateurs et des situations Distinguer : interface adaptative (intelligente) ou adaptable (par l'utilisateur) Exemples : préférences, tableaux de bord prendre en compte les niveaux différents d'expertise correction dorthographe valeurs par défaut parmi une liste à sélectionner version novice/expérimenté représentation multiple des concepts associer plusieurs objets de présentation à un concept donné variations sur une forme de base unique possibilité de résoudre un problème de plusieurs manières respect du rythme de l'utilisateur éviter d'imposer un ordre pour les entrées d'informations

46 46 Adaptabilité - flexibilité Plusieurs façons d effectuer la même action Exemple copie de fichiers vers une disquette dans lexplorateur glisser - lâcher copier - coller (menu, raccourcis clavier, boutons) menu, envoyer vers

47 47 Adaptabilité - expérience de lutilisateur

48 Prévisions et récupérations des erreurs Objectif : l'utilisateur a le droit à l'essai erreur prévention message d'alerte (quitter sans sauver) protéger en écriture ce qui n'est pas accessible à l'utilisateur (label des formulaires...) détecter les erreurs dès la saisie lors des saisies minimiser la frappe messages d'erreurs immédiats informatifs récupération retour en arrière annulation d'une commande Modification partielle des données

49 49 Protection contre les erreurs Exemple

50 50 Gestion des erreurs - messages derreurs Mauvais exemples

51 51 Gestion des erreurs - correction des erreurs À faire la commande annuler À ne pas faire

52 Règle de cohérence et d'homogénéité objectif : rendre l'interface prédictible, même interface dans le même contexte choix d'une métaphore d'interaction : unité de cohérence générale monde réel (manipulation directe) conversation (langage de commandes et LN) pour une même tâche : suite d'actions identiques stabilité de l'écran : titres, messages, informations localisés au même endroit d'un écran à l'autre choix et prises de décisions se font de manière identique accès aux options des menus terminologie constante q, logout,., quitter, fermer construction de phrases constantes

53 53 Homogéneité

54 54 Homogénéité/cohérence 2

55 55 Homogénéité/cohérence - entre logiciels

56 Signifiance des codes et dénominations codage : codes numériques unanimité contre eux, décomposables en unités significatives codes mnémoniques : plus faciles à retenir codes chromatiques à n'utiliser que pour renforcer un codage code iconique facile à mémoriser évocateur ? codes graphiques dénominations se conformer aux usages des opérateurs, de l'entreprise précision : afficher, voir, imprimer préférer les verbes aux noms verbaux pour les actions

57 57 Signifiance des codes et dénominations À ne pas faire

58 Compatibilité avec les supports papier avec les habitudes des utilisateurs avec l'organisation de l'entreprise avec d'autres logiciels => se conformer aux normes et aux standards (ISO, AFNOR) Ou alors innover Mais radicalement

59 59 Compatibilité - expérience de lutilisateur À ne pas faire

60 Conclusion sur les critères En évaluation Art délicat de lévaluation heuristique Évaluateurs moyens : subtiles Permet détablir des rapports évaluation sur laspect utilisabilité En conception : Très utile de les avoir en tête lors de la conception faire des compromis entre différentes recommandations contradictoires en fonction de la tâche, de l'activité ou du public cible mais ne pas introduire de gadget ni multiplier les fonctions étudier de nombreuses interfaces d'un regard critique et piquer les bonnes idées regarder de nombreux guides et critères (Cf. le web)

61 61 Plan Rappels Évaluer ? Critères dévaluation heuristique Méthodes dinspection Tests utilisateurs

62 Approches analytiques l'évaluation de l'IHM se fait a priori par comparaison avec un "modèle de référence" modèle qui n'est pas souvent formalisé ni explicité on distingue des approches informelles Méthodes dinspection (présentées ici) Méthodes « low cost » des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales

63 63 Les méthodes dinspection Inventaire Les jugements dexperts Les grilles dévaluation Les revues de conception (design walkthrough) Sappuient sur Des scénarios Des heuristiques ou des critères Avantages Pas cher Rapides (de lordre dune journée) Faciles à utiliser (on apprend en 2 à 4 h)

64 Jugements d'experts technique de diagnostic a priori (ou a posteriori) on confie l'interface (ou le projet) à un ou des experts qui donnent leur avis sous la forme d'un rapport ou d'un formulaire on leur demande de repérer les points positifs et les points négatifs ou des solutions annoncer des difficultés d'utilisations potentielles rappeler des connaissances sur le fonctionnement humains non pris en compte par les concepteurs proposer des améliorations argumentées et pondérées modèle de l'interface non formalisé (ni même explicité)

65 65 Jugement dexperts (Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) procédure 1: fondée sur des scénarios 1.jouer un des scénarios Procédure 2 : fondée sur des critères ou des guides 1.Bis :étude systématique de tous les critères sur chaque écran Procédure commune 1.noter tous les problèmes rencontrés 2.analyser les causes 3.proposer des solutions 4.rédiger un rapport

66 66 Jugements dexperts : ++/-- Intérêt : connaissances de l'expert fondées sur ses formations, lectures et expériences : plusieurs experts nécessaires experts/novices : novices : difficultés matérielles et conceptuelles de bas niveau expert : vue plus générale, sources potentielles de dysfonctionnement biais de focalisation sur le fonctionnement particulier ( d'utilisateurs novices) sur le domaine d'expertise de l'expert (domaine, IHM, graphisme) sur les "marottes" de l'expert => recours à plusieurs experts et synthèse de leurs avis ªBiais pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception

67 67 Jugements dexperts : études % Problèmes détectés Nombre d évaluateurs Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices 67

68 68 Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles et les problèmes difficiles

69 69 ROI (Return on investment) problems foundbenefits / cost

70 70 Organiser des expertises Conseils : Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires Ergonomes qualifiés dau moins trois ans dexpérience Leur donner des scénarios dutilisation et une description de la population des futurs utilisateurs Résultats Points positifs et négatifs et leur pondération Prévision de difficultés dutilisation probables Informations sur les fonctionnements humains insuffisamment pris en compte Propositions daméliorations argumentées et pondérées Attention Ne remplacent pas les utilisateurs

71 Grilles d'évaluation principe : fournir à l'évaluateur une liste des propriétés d'une bonne interface l'évaluateur note de façon systématique chaque item sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie diversité des systèmes => grille spécifique à une application ? règle des 80/20 (ou 90/10) : hiérarchie d'importance des critères interprétation, sensibilité au niveau d'expertise de l'évaluateur cohérence des réponses notation hétérogénéité de ce qui est noté ne permet pas -de comprendre la nature du problème rencontré -de décrire les difficultés utile pour faire des comparaisons

72 Revue de conception Design Walkthrough : examen du produit par des pairs (entre 3 et 7) en cours de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 4 rôles : Présentateur:utilisateur : présente un scénario de conception au groupe scribe : note tous les commentaires modérateur : s'assure que la discussion reste centrée sur l'utilisation veille au respect de l'horaire observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation

73 73 Sitographie (1) Critères : Guides de style entation/Guidergoweb2005.pdf

74 74 Références & Bibliographie (1) Ce cours sinspire principalement : Du cours et des TP sur la conception participative de Wendy Mackay à la conférence IHM2002, Poitiers, Novembre 2002 Du cours de John Canny (Berkeley) Des tutoriels « Design and Rapid Evaluation of usable Web sites » organisé par Gene Lynch et «Scenario Based Usability Engineering » organisé par John M. Caroll et Mary B. Rosson à la conférence CHI2000 en avril 2000 à la Haye [Bastien et al. 2001] Christian Bastien, Dominique SCAPIN, évaluation des systèmes dinformation et critères ergonomiques, in Christophe KOLSKI (Ed.), Environnements évolués et évaluation de l'IHM, Interaction homme- machine pour les systèmes d'information Vol 2, Hermès, 2001, [Drouin et al. 2001] Annie Drouin, Annette Valentin, Jean Vanderdonckt, Les apports de l ergonomie à l analyse et à la conception des syst è mes d information, in Christophe KOLSKI, (ed.), Analyse et conception de l'IHM, Interaction homme-machine pour les syst è mes d'information Vol 1, chapitre 2, Herm è s, 2001, 250 p, ISBN , p

75 75 Références & Bibliographie (2) [ Hu et al 2001] Olivier Hu, Philippe Trigano, Stéphane Crozat, Une aide à lévaluation des logiciels multimédias de formation, in Elisabeth delozanne, Pierre Jacoboni (ed), Interaction Homme Machine pour la formation et lapprentissage humain, numéro spécial de la Revue Sciences et Techniques éducatives, vol 8-n°3-4/2001, Hermès [Nielsen 2000], Jakob Nielsen, Conception de sites Web, l'art de la simplicité, Campus Press France, 2000, 385 p., 249 F, ISBN [Bastien 1993] J. M. BASTIEN, D. SCAPIN, Ergonomic Criteria for the Evaluation of Human-Computer Interaction, rapport technique N°156 de l'INRIA, 81p., Juin 93 OFTA: Michael NAEL, L'évaluation des nouvelles interfaces homme-machine interactives, in Nouvelles Interfaces Homme-Machine, Observatoire Français des Techniques Avancées, Diffusion Lavoisier, Paris Décembre 1996, ISBN , p B. Senach, Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, rapport de recherche N°1180 de l'INRIA, 70 p, 1990 ou Évaluation ergonomique des interfaces Homme-Machine, une revue de la littérature, in J.-C. Sperandio, L'ergonomie dans la conception des projets informatiques, Octares éditions, 1993, p

76 76 Orientation « professionnels » Design Patterns Brangier E., Barcenilla J., Concevoir un produit facile à utiliser : Adapter les technologies à lhomme, Editions dorganisation, (chapitre 5)

77 77 Take home messages Méthodes dévaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent déliminer les erreurs de conception de type « amateur » Méthodes dévaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à lactivité, aux usages


Télécharger ppt "1 Évaluation des logiciels interactifs É. Delozanne, Paris 5, 2005-06"

Présentations similaires


Annonces Google