La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Présentations similaires


Présentation au sujet: "1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) Cours 5."— Transcription de la présentation:

1 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) Cours 5 (partie 1) (Cf. cours 1 bis)

2 2 Plan du cours Cours 5 : Évaluation des logiciels interactifs (partie 1) Évaluer ? Votre projet IHM Évaluation heuristique (septembre) Mise en place dune revue de conception (aujourdhui) Évaluation coopérative (27 janv.) Méthodes dinspection ? Revue de conception Évaluation heuristiques Cours 5 : évaluation des logiciels interactifs (partie 2) Méthodes des tests utilisateurs Quelles méthodes choisir ?

3 3 (Rappel) Cours 1 : Facteurs de succès Cycle de conception Conception centrée usager Lanalyse des tâches et les analyses en contexte de travail usuel Le prototypage rapide Lévaluation constante Conception itérative La qualité de la programmation

4 Évaluation et conception itérative (cours de James Landay)

5 5 Évaluer ? Qu'est-ce que l'évaluation ? Définition : évaluer = juger Objectivité ??? Référence ? Plusieurs approches : Critères raisonnés, modéles Quand ? Pourquoi ? Moments d'évaluation Objectifs Quoi ? Variables cibles Comment ? À quel coût ? Méthodes, techniques Temps, argent

6 6 Projet1 : Évaluer la concurrence Quand ? Moments d'évaluation : en amont (sept. Cours 2) Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques Quoi ? Variables cibles : rapidité de prise en main, temps de saisie des informations, résumé des saisies Comment ? Inspection heuristique (critères, scénarios) Évaluation coopérative À quel coût ? Rapide : quelques heures Bon marché

7 7 Projet2 : Évaluer un scénario de conception Quand ? Moments d'évaluation : en cours de conception (aujourdhui) Pourquoi ? Objectifs : détecter des problèmes dutilisabilité Quoi ? Un scénario de conception, logique de travail Comment ? Revue de conception (Design Walkthrough) Évaluation par des pairs À quel coût ? Rapide : une heure Bon marché

8 8 Projet3 : Évaluer un prototype Quand ? Moments d'évaluation : fin dune itération (Fin Janvier) Pourquoi ? Objectifs : tester lutilisabilité Quoi ? Variables cibles : temps de prise en main, nombre de tâches complétées/abandonnées, nombre derreurs/hésitation, satisfaction Comment ? Évaluation coopérative À quel coût ? Rapide : quelques heures Assez bon marché

9 9 Évaluation : Définitions processus pour étudier les rapports entre la conception et l'utilisation a priori, formative (conception) pour identifier ou prévoir les besoins, les scénarios dutilisation et les difficultés potentielles ou réelles des utilisateurs pour donner et évaluer des idées a posteriori, sommative (usage) pour caractériser les points forts et les points faibles d'un système interactif pour préparer les évolutions pour produire des connaissances

10 Moments & Objectifs d'évaluation en cours de conception analyse de besoins, compréhension des situations, étude de lexistant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité en cours de réalisation détection et correction de défauts, contrôle qualité, test de performance avant diffusion tests de déverminage, d'acceptabilité, vérification des performances intégration dans lactivité en cours de diffusion satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit avant d'acheter comparaison de logiciels : technique/utilisabilité

11 Évaluer quoi ? Les dimensions d'évaluation dépendent des objectifs et du contexte utilité la fiabilité, la qualité technique les temps de réponse utilisabilité la facilité d'apprentissage, la flexibilité, la robustesse lutilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de lassistance la logique du travail les opinions ou les attitudes

12 Évaluer comment ? Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles implicites (méthodes dinspection) explicites (formels, approches automatiques) Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès d'utilisateurs (en situation réelle ou en laboratoire) Méthode d'évaluation coopérative (cours 5.2) Tests d'utilisabilité, expérimentation contrôlée (N. Mandrian, W. Mackay)

13 13 Évaluer à quel prix ? Temps, argent, compétences Méthodes « low cost » Culture de lévaluation chez les informaticiens Détection des gros problèmes, pas les problèmes subtils Informelles, qualitatives, évaluation formative Méthodes scientifiques et rigoureuses Gros projets, projets à risques, recherche Informations fiables, quantitatives Quel retour sur investissement pour les études dutilisabilité ? (ROI)

14 14 Plan Rappels Évaluer ? Méthodes dinspection Tests utilisateurs (cours 5.2) Choisir une méthode (cours 5.2)

15 Approches analytiques l'évaluation de l'IHM se fait a priori par comparaison avec un "modèle de référence" modèle qui n'est pas souvent formalisé ni explicité on distingue des approches informelles Méthodes dinspection (cours 1) Méthodes « low cost » des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs analyse de tâches (KLM et GOMS) modèle linguistique (ALG et CLG) modèle de complexité cognitive (Kieras et Polson) modèles de qualité de l'interface approche cognitive recherche des qualités optimales

16 16 Les méthodes dinspection Inventaire Les jugements dexperts Les grilles dévaluation Les revues de conception (design walkthrough) Sappuient sur Des scénarios Des heuristiques, des recommandations ou des critères Avantages Pas cher et rapides (de lordre dune journée) Faciles à utiliser (détecter les erreurs flagrantes en 2 à 4 h) Inconvénients Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

17 Jugements d'experts Diagnostic a priori ou a posteriori un ou des experts donnent leur avis sur l'interface (ou le projet) sous la forme d'un rapport ou d'un formulaire Fondements Modèle de l'interface non formalisé (ni même explicité) Heuristiques, recommandations ou critères ergonomiques Résultats Points positifs et négatifs et leur pondération Prévision de difficultés dutilisation probables Informations sur les fonctionnements humains insuffisamment pris en compte Propositions daméliorations argumentées et pondérées

18 18 Jugement dexperts (Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) technique 1: fondée sur des scénarios jouer un des scénarios technique 2 : fondée sur des critères ou des guides étude systématique de tous les critères sur chaque écran Procédure commune 1.noter tous les problèmes rencontrés 2.analyser les causes 3.proposer des solutions 4.rédiger un rapport

19 19 Jugements dexperts Biais : Experts : vue plus générale, sources potentielles de dysfonctionnement Novices : difficultés matérielles et conceptuelles de bas niveau Biais de focalisation fonctionnement particulier ( e.g. d'utilisateurs novices), sur les "marottes" de l'expert domaine d'expertise (domaine, IHM, graphisme) Intérêt Pas cher, rapide et efficace, peut intervenir très tôt dans le cycle de conception Plusieurs experts

20 20 Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles et les problèmes difficiles

21 21 Jugements dexperts [Nielsen 1993] % Problèmes détectés Nombre d évaluateurs Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices Évaluateurs spécialistes du domaine Évaluateurs généralistes Évaluateurs novices 21

22 22 ROI (Return on investment) problems foundbenefits / cost [Canny 2004]

23 23 Organiser des expertises Conseils : Au moins trois experts : avis indépendants puis coordonnés, voir contradictoires Ergonomes qualifiés dau moins trois ans dexpérience Leur donner une description de la population des futurs utilisateurs Scénarios, critères ou grille danalyse Attention Ne remplacent pas les utilisateurs

24 Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 5 rôles : Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards : centre la discussion sur l'utilisation, sur le cahier des charges veille au respect de l'horaire Observateurs : prennent le rôle de l'utilisateur, posent des questions, font des remarques ou critiques (constructives) sur l'utilisation

25 Grilles d'évaluation principes Évaluation d'après une liste des propriétés d'une bonne interface Notation systématique sur une échelle de valeur (3 à 7 points) problèmes état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ? interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses notation hétérogénéité de ce qui est noté : règle des 80/20 (ou 90/10) ne permet pas -de comprendre la nature du problème rencontré -de hiérarchiser les difficultés Avantages : utile pour faire des comparaisons

26 1.Structuration des activités et guidage 2.Minimiser la charge de travail 3.Contrôle entre les mains de l'utilisateur 4.Adaptabilité 5.Prévision et récupération des erreurs 6.Compatibilité 7.Signifiance des codes et dénomination 8.Cohérence et homogénéité À lorigine de la norme Z , Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et dévaluation des interfaces utilisateurs. partie1.html#4 Critères de lINRIA (Bastien et Scapin)

27 27 Utilisation des critères Pour lévaluation Évaluation heuristique Pour la conception Inscrire les critères dévaluation dans les dossiers de conception Guide pour léquipe de conception Foultitude de critères normes et recommandations Parfois contradictoires Pour éveiller votre attention

28 Conclusion sur les critères En évaluation Art délicat de lévaluation heuristique Évaluateurs moyens : subtiles Permet détablir des rapports évaluation sur laspect utilisabilité En conception : Très utile de les avoir en tête lors de la conception Compromis entre différentes recommandations contradictoires en fonction de la tâche, de l'activité ou du public cible Mais ne pas introduire de gadget ni multiplier les fonctions étudier de nombreuses interfaces d'un regard critique et piquer les bonnes idées regarder de nombreux guides et critères (Cf. le web)

29 29 Retenir Les différentes méthodes dévaluation sans utilisateurs Jugement dexperts Inspection heuristique (critères) Revue de conception (scénarios) Au moins un jeu de critères ergonomiques Par exemple ceux de lINRIA Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

30 30 Take home messages (partie 1) Méthodes dévaluation sans utilisateurs Indispensables en cours de conception évaluer les maquettes et prototypes Rapides, pas chères et efficaces Permettent déliminer les erreurs de conception de type « amateur » En projet Évaluation heuristique (inspection avec un jeu de critères) Revue de conception (scénarios) Méthodes dévaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à lactivité, aux usages


Télécharger ppt "1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Méthodes dInspection (évaluation sans utilisateur) Cours 5."

Présentations similaires


Annonces Google