1 Plate-forme d’expérimentation des systèmes interactifs Plate-forme d’expérimentation des systèmes interactifs

2 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

3 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

4 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

5 Objectifs Etudier les usages et l’utilisabilité en situation de travail Concevoir et Evaluer les systèmes en, Expérimentant des scénarios d’usage Simulant des maquettes

6 Définitions préalables l Vérification : examen, essais ou mesures effectués en référence à des données préétablies, l Evaluation : mesure des performances d’un produit ou d ’un procédé a priori ou sur des données recueillies l Validation : acte par lequel le réalisateur d’un produit ou d ’un procédé, le reconnaît capable de satisfaire le besoin pour lequel il a été défini (après l’avoir vérifié en général par le suivi de sa première utilisation), l Qualification : établissement de la conformité d’un produit final par rapport aux exigences du client.

7 Démarche : rationaliser la conception l En optimisant le cycle de conception : - en diagnostiquant les impasses au plus tôt, - en évitant les retours arrières et les erreurs de conception. En agissant aux niveaux : - de l’usage (valeur et signification d’usage), - de l’utilisabilité (qualité ergonomique). l En validant chaque étape.

8 Les grandes étapes du développement Avant-Projet Idée Besoin Fonctionnalités Maquette Prototype Système Retours Développement Après-vente Spécifications

9 Le cycle de conception en spirale Un bon départ : enrichir l’idée La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique, (d) technologique sont pris en compte, au plus tôt. Idée Fonctions CC Scénario Observation Diagnostic Validation Maquette Evaluation

10 Le cycle en spirale A Observer et diagnostiquer les usages, B Définir le cahier des charges CC, le valider C Expérimenter les scénarios d’utilisation, D Affiner le cahier des charges CC et spécifier le système, E Réaliser une maquette du système interactif, F Mettre la maquette en test, G Evaluer l’utilisabilité de cette maquette, H Corriger et modifier les spécifications, I Valider le prototype, J Réaliser une première série, KLa mettre sur le marché.

11 Début du cycle... Analyse de l ’usage l génération du questionnaire l enquête sur le terrain l enregistrement du verbatim auprès d’informants l interprétation et présentation des résultats l recommandations pour le cahier des charges

12 Le cycle continue... Simulation de l’usage et Test prédictif de l’utilisabilité l choix des fonctionnalités l écriture des scénarios l capture de comportements l interprétation des données l recommandations ergonomiques  par analyse de l’activité ou analyse des tâches

13 Le cycle s’achève... Spécification du cahier des charges Développement Evaluation du système final l validation des fonctionnalités l tests de comportements l inspection ergonomique l mesures de qualité

14 Les méthodes (1) l La simulation consiste à : simuler un produit (réalité virtuelle), ou simuler un usage (technique Magicien d’Oz), ou simuler le produit et son usage. Sur une plate-forme dédiée

15 Les méthodes (2) l La simulation l La mesure consiste à : — définir des critères ou des grandeurs de mesure, — écrire des scénarios de mise en test, — capturer des comportements en situation, — les mesurer à l’aide des critères. Moyens : enquêtes d’usage, expertises grilles de critères

16 Les méthodes (3) l La simulation l La mesure l L’analyse consiste à : — faire des analyses fonctionnelles ou des analyses de tâche, à partir des mesures comportementales, et des protocoles de verbalisation ou de dialogue, — appliquer des méthodes de “ reverse engineering ” à certaines étapes de la conception pour s’assurer que la maquette respecte le cahier des charges. Elle opère à partir de théories cognitives et sociales

17 La plate-forme Station sujet Dispositif d’observation Stations compères : 1compère/tâche Video de contrôle Enregistrement sonore des sessions

18 Les outils de traçage A. Par traçage direct l Cela consiste à inclure dans le logiciel ou le produit des marqueurs pour suivre l’activité de l’utilisateur. Le résultat produit est un fichier de trace. Exemple Supratel (CNET) B. Par annotation l Cette méthode s’applique aux produits que l’on cherche à analyser comme une boîte noire. Il n’est pas possible alors d’utiliser la méthode directe. Il faut annoter l’activité de l’utilisateur “ à la main ” avec une assistance logiciel pour assurer l’annotation en temps réel. l Exemple CD-ROM Schneider

19 l Expertise L'analyse est conduite par un expert qui définit lui-même ses méthodes et ses outils. l Statistiques  Analyse de questionnaires : tris à plat, croisements, tableaux multiples, analyses pondérées, fiches individuelles, états récapitulatifs,  Traitements organisés en plans de tris,  Filtres multi-critères et analyse des sous-populations.  Analyse de données : analyses factorielles, classifications, régressions, tests paramétriques ou non paramétriques, etc.  Graphiques : Toiles d'araignées, Matrices croisées, Cibles, Podiums, Flèches d'évolution, et bien sûr, les graphiques usuels en 2 ou 3 dimensions (barres, histogrammes, camemberts...). Les outils statistiques

20 Les outils d’analyse de verbatim Analyse lexicale – Répartition des entités lexicales en classes, après analyse morphologique, – La fréquence absolue et relative permet de déduire : –le vocabulaire partiellement utilisé en soustrayant à la liste du vocabulaire total la liste du vocabulaire commun, –la banalité du vocabulaire qui est la mesure du nombre de textes dans lesquels une entité lexicale est attestée. Analyse des marqueurs pragmatiques –marqueurs de satisfaction : c ’est bon, c ’est ça –marqueurs de déception et de désapprobation : ça va pas –marqueurs de résignation : ça fait rien –etc.

21 Outils d’analyse de l’activité l Graphe d ’état l Séquence d’activité l Arbres de tâches

22 Les projets achevés Supratel (CNET) CD-installateur (SCHNEIDER) PrismaDesign (SCHNEIDER) Panneau électrique (SCHNEIDER) La station d’enquête (DICAU) L’évaluation du Dialogue (AUPELF) Simulation de dialogues (C-STAR)

23 Exemple : C-STAR, traduction multilingue Contexte : Un projet international de traduction de parole : ATR (Japon), CMU (USA), Université de Karlsruhe (Allemagne), IRST de Trento (Italie), ETRI (Corée), CLIPS (France)

24 La simulation de traduction multilingue Scénario simulé : Le client (français) recherche des renseignements touristiques en vue d’organiser un voyage. Il s’adresse à différentes agences, successivement, dans plusieurs pays où l’on parle anglais, allemand et italien. L’agent peut dialoguer et fournir de la documentation au client placé devant un terminal mais ne parle que sa langue natale. Tout en dialoguant il peut envoyer sur l’écran du client, plan de villes, textes, photos numériques d'hôtels, de rues, etc..

25 Résultats de la simulation C-STAR l Informations sur la structure de dialogue l Informations linguistiques – Lexique de l ’application – Formes d ’énoncés spontanés – Expressions les plus fréquentes – Apprentissage du système de reconnaissance l Les délais de la communication l Spécification des interfaces

26 Conclusion : la plate-forme l Un environnement informatique : des stations de travail et des PC reliés en réseau haut-débit l Des salles équipées de moyens d’enregistrement audio et vidéo l Un personnel spécialisé pour – la conduite des expérimentations – le développement d’outils d ’expérimentations – le développement d’interfaces et de systèmes interactifs – la maintenance de la plate-forme.

27 Les acteurs CAUTIC INRIA CLIPS

28 Les partenaires l Des PME partenaires DICAU NOVADIS Ergo’In l Des experts consultants – sociologie – ergonomie

29 Résumé c’est… l Un réseau de compétences multidisciplinaires (socio, ergo, techno) l Une plate-forme d’expérimentation l Une vitrine de démonstration l Une offre de formation (séminaires, stages) Un centre de ressources et de services

30