1 Plate-forme dexpérimentation des systèmes interactifs Plate-forme dexpérimentation des systèmes interactifs

2 Objectifs Etudier les usages et lutilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios dusage et dutilisation Simulant des maquettes ou des systèmes

3 Objectifs Etudier les usages et lutilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios dusage et dutilisation Simulant des maquettes ou des systèmes

4 Objectifs Etudier les usages et lutilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios dusage et dutilisation Simulant des maquettes ou des systèmes

5 Objectifs Etudier les usages et lutilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios dusage et dutilisation Simulant des maquettes ou des systèmes

6 Définitions préalables l Vérification : examen, essais ou mesures effectués en référence à des données préétablies, l Evaluation : mesure des performances dun produit ou d un procédé a priori ou sur des données recueillies l Validation : acte par lequel le réalisateur dun produit ou d un procédé, le reconnaît capable de satisfaire le besoin pour lequel il a été défini (après lavoir vérifié en général par le suivi de sa première utilisation), l Qualification : établissement de la conformité dun produit final par rapport aux exigences du client.

7 Démarche : rationaliser la conception des systèmes interactifs autour dune approche anthropocentrée et du cycle de vie l En optimisant le cycle de conception : - en diagnostiquant les impasses possibles au plus tôt, - en évitant les retours arrières et les erreurs de conception. En agissant aux niveaux : 1. de lusage (valeur et signification dusage), 2. de lutilisabilité (qualité ergonomique), 3. des techniques et outils. l En validant chaque étape.

8 Le cycle de vie Avant-Projet Idée Marché Besoin Usage Fonctionnalités Technologie Maquette Utilisabilité Prototype Technologie Système Marché Retours Développement Après-vente Spécifications

9 Le cycle en V (génie logiciel) Développement systématique Observations Propriétés Analyse des tâches Spécifications externes Architecture PAC-Amodeus

10 Le cycle de conception en spirale Un bon départ : enrichir lidée La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) technologique, (d) économique, sont pris en compte, au plus tôt. Idée Fonctions Scénario Evaluation Validation Maquette Validation Cahier charges

11 Le cycle de conception en spirale A Observer et évaluer les usages, B Définir le cahier des charges, le valider C Expérimenter les scénarios dutilisation, D Affiner le cahier des charges et spécifier le système, E Réaliser ou simuler une maquette du système, F Valider la maquette, G Evaluer lutilisabilité de cette maquette, H Corriger les spécifications, I Valider le prototype, J Réaliser une première série, KLa mettre sur le marché.

12 Début du cycle... Analyse de l usage l génération du questionnaire l enquête sur le terrain l enregistrement du verbatim auprès dinformants l interprétation et présentation des résultats l recommandations pour le cahier des charges

13 Le cycle continue... Simulation de lusage et Test prédictif de lutilisabilité l choix des fonctionnalités l écriture des scénarios l capture de comportements l interprétation des données l recommandations ergonomiques par analyse de lactivité ou analyse des tâches

14 Le cycle sachève... Spécification du cahier des charges Développement Evaluation du système final l validation des fonctionnalités l tests de comportements l inspection ergonomique l mesures de qualité

15 Les méthodes (1) l La simulation : l simuler un produit (réalité virtuelle), l simuler une utilisation (magicien dOz), l simuler un usage (vidéo) l Les approximations : l Perceptuelle l Actionnelle l Interactionnelle l Communicationnelle

16 Magicien dOz Sur une plate-forme dédiée

17 Les méthodes (2) l La simulation l La mesure : définir des critères ou des grandeurs de mesure (temps dexécution, nombre derreurs, etc.), écrire des scénarios de mise en test, capturer des comportements en situation, les mesurer sur les traces à laide des critères.

18 Les méthodes (3) l La simulation l La mesure l Lanalyse : faire des analyses fonctionnelles ou des analyses de tâche, à partir des mesures comportementales, et des protocoles de verbalisation ou de dialogue, Elle opère à partir de théories cognitives et linguistiques

19 Lanalyse conjointe Linguiste Ergonome Activité verbale Lexique Syntaxe Prosodie (intonation, pauses, débit) Accès aux savoirs Activité réelle Raisonnements Observables Actions Postures Gestes Regards Acteur Locuteur Utilisateur

20 La verbalisation dans la tâche Exemple de dialogue (1) Quand tu reçois une télécopie ça / ça raccroche automatiquement (2) oui mais normalement / c'est pas logique / tu décroches pas pour un fax On peut en déduire que pour cet utilisateur : un fax raccroche automatiquement en fin de réception et un fax décroche automatiquement en début d'émission, du moins c'est ce à quoi il s'attend. De tels savoirs, quasiment incorporés, sont difficilement accessibles par l'étude seule des actions effectuées sur l'appareil.

21 La verbalisation spontanée Les verbalisations spontanées lors de la réalisation des tâches, prises en compte comme observables, offrent une richesse complémentaire permettant d'apporter des éléments de réponse, en termes de ressenti subjectif des utilisateurs. On en observe de nombreuses matérialisations comme un grand nombre de "non", des soupirs, des hésitations et des répétitions "continue continue / non non", des signes d'agacement, et enfin, la personnalisation de l'appareil qui rejette les utilisateurs "il veut pas de nous". Utilisation des outils linguistiques : syntaxe, prosodie, sémantique, pragmatique, etc.

22 Les modèles cognitifs Critères ergonomiques (perception / action) Analyse de tâches (théories de la planification) Modèle du Processeur Humain [Card], GOMS Modèle ICS (Interacting Cognitive Subsystems) [Barnard]

23 La plate-forme et les outils Station sujet Dispositif dobservation Stations compères : 1compère/tâche Video de contrôle Enregistrement sonore des sessions Dispositifs

24

25 Les outils de traçage A. Par traçage direct l Cela consiste à inclure dans le logiciel ou le produit des marqueurs pour suivre lactivité de lutilisateur. Le résultat produit est un fichier de trace. Exemple Supratel (CNET) B. Par annotation l Cette méthode sapplique aux produits que lon cherche à analyser comme une boîte noire. Il nest pas possible alors dutiliser la méthode directe. Il faut annoter lactivité de lutilisateur à la main avec une assistance logiciel pour assurer lannotation en temps réel. l Exemple CD-ROM Schneider

26 l Mise en forme des données L'analyse est conduite par un expert qui définit ses critères. l Statistiques Analyse de questionnaires : tris à plat, croisements, tableaux multiples, analyses pondérées, fiches individuelles, états récapitulatifs, Traitements organisés en plans de tris, Filtres multi-critères et analyse des sous-populations. Analyse de données : analyses factorielles, classifications, régressions, tests paramétriques ou non paramétriques, etc. Graphiques : Toiles d'araignées, Matrices croisées, Cibles, Podiums, Flèches d'évolution, et bien sûr, les graphiques usuels en 2 ou 3 dimensions (barres, histogrammes, camemberts...). Les outils danalyse de données

27 Les outils danalyse de verbatim Analyse lexicale – Répartition des entités lexicales en classes, après analyse morphologique, – La fréquence absolue et relative permet de déduire : –le vocabulaire partiellement utilisé en soustrayant à la liste du vocabulaire total la liste du vocabulaire commun, –la banalité du vocabulaire qui est la mesure du nombre de textes dans lesquels une entité lexicale est attestée. Analyse des marqueurs pragmatiques –marqueurs de satisfaction : c est bon, c est ça –marqueurs de déception et de désapprobation : ça va pas –marqueurs de résignation : ça fait rien –etc.

28 Outils danalyse de lactivité l Graphe d état l Séquence dactivité l Arbres de tâches

29 Les projets en cours RICOM (CNRS) Lévaluation du Dialogue (AUPELF) Recueil de dialogues (C-STAR) SIRLAN (R&D IST, Europe) SHIVA (RRA, Emergence)