1 TIP-EXE : Editeur d’expériences pour l’évaluation de documents complexes Franck Ganier & Ronan Querrec LISyC – EA 3883 – Centre Européen de Réalité Virtuelle Université de Bretagne Occidentale, Brest & Ecole Nationale d’Ingénieurs de Brest Journées de Printemps Nantes, mars 2009

2 Contexte Développement d’outils adaptés à l’étude de l’apprentissage en EVAH et à la compréhension d’instructions

3 Besoin d’un outil pour l’expérimentation Besoin d’un outil pour l’expérimentation traces de l’activité de l’utilisateur (environnt / dispositif) traces de l’activité de l’utilisateur (environnt / dispositif) utilisation des instructions utilisation des instructions Contexte

4 Projet Projet Développement par modules d’un logiciel présentant dispositif + instructions Développement par modules d’un logiciel présentant dispositif + instructions 1ere étape : Focalisation sur TIP-EXE 1ere étape : Focalisation sur TIP-EXE Idée : Utilisation indépendante de TIP-EXE pour l’évaluation de documents procéduraux (ergonomes, rédacteurs techniques, etc.) Idée : Utilisation indépendante de TIP-EXE pour l’évaluation de documents procéduraux (ergonomes, rédacteurs techniques, etc.) Contexte

5 Plan Problématique Problématique 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales Perspectives Perspectives

6 PROBLEMATIQUE

7 Problématique L’utilisation des documents procéduraux : une activité complexe

8 Problématique Transformer des informations symboliques en actions : une activité à risques … Échecs de compréhension Échecs de compréhension Echecs d’utilisation Echecs d’utilisation Comment proposer des documents adaptés ?

9 Problématique Objectifs : - Chercheur : étudier les processus cognitifs - Rédacteur technique : fournir un document de qualité - Ergonome : proposer un document adapté

10 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux

11 Au niveau global : étudier les comportements généraux impliqués dans le traitement d’instructions => observation et analyse de l’activité Au niveau global : étudier les comportements généraux impliqués dans le traitement d’instructions => observation et analyse de l’activité Au niveau local : identifier les processus cognitifs impliqués dans la lecture / compréhension et l’exécution d’actions => expérimentation Au niveau local : identifier les processus cognitifs impliqués dans la lecture / compréhension et l’exécution d’actions => expérimentation 1. Les techniques d’étude

12 1. Les techniques d’étude Au niveau global : observation et analyse de l’activité Situations écologiques : on demande de réaliser une tâche (sans fournir d’information sur la façon d’utiliser les instructions) => Vermersch (1985) Situations écologiques : on demande de réaliser une tâche (sans fournir d’information sur la façon d’utiliser les instructions) => Vermersch (1985) Situations contrôlées : on demande de suivre des instructions contenues dans un livret (sans fournir d’information sur la tâche à réaliser) => Ganier, Gombert et Fayol (2000) Situations contrôlées : on demande de suivre des instructions contenues dans un livret (sans fournir d’information sur la tâche à réaliser) => Ganier, Gombert et Fayol (2000) Enregistrement vidéo => dépouillement long

13 Au niveau local : expérimentation Constat concernant la vidéo: manque de précision des données chronométriques Constat concernant la vidéo: manque de précision des données chronométriques 80’s : Développement de techniques d’Auto- Présentation Segmentée (APS) => Dixon (1987) ; Heurley (1994) => instructions sur ordinateur / manipulations dans le monde réel 80’s : Développement de techniques d’Auto- Présentation Segmentée (APS) => Dixon (1987) ; Heurley (1994) => instructions sur ordinateur / manipulations dans le monde réel 1. Les techniques d’étude

14 Exemple (Heurley, 1994) ADFM Auto-Décryptage par Fenêtre Mobile Gaonac’h et Passerault (1990) 1. Les techniques d’étude

15 Exemple (Heurley, 1994) Vous devez obtenir une maison./ Dessinez un rectangle / de 4 cm de hauteur / sur 5 cm de longueur./ Dessinez un triangle de 2 cm de hauteur et de 5 cm de largeur pointant vers le haut au dessus du rectangle.

16 Exemple (Heurley, 1994) Attention !

17 Exemple (Heurley, 1994)

18 Exemple (Heurley, 1994) Vous devez obtenir

19 Exemple (Heurley, 1994) une maison

20 Exemple (Heurley, 1994) Dessinez un rectangle

21 Exemple (Heurley, 1994) de 4 cm de hauteur

22 exemple (Heurley, 1994) sur 5 cm de longueur

23 Exemple (Heurley, 1994) Dessinez un triangle

24 Exemple (Heurley, 1994) Dessinez un triangle de 2 cm de hauteur

25 Exemple (Heurley, 1994) et de 5 cm de largeur

26 Exemple (Heurley, 1994) pointant vers le haut

27 Exemple (Heurley, 1994) au dessus du rectangle.

28 Exemple (Heurley, 1994) Exécutez les instructions.

29 1. Les techniques d’étude Au niveau local : expérimentation 90’s : Développement de programmes associant présentation d’instructions et dispositif sur ordinateur => Barcenilla (1993) ; Ummelen (1997) ; Ganier (1999) => programmes spécifiques, non réutilisables 90’s : Développement de programmes associant présentation d’instructions et dispositif sur ordinateur => Barcenilla (1993) ; Ummelen (1997) ; Ganier (1999) => programmes spécifiques, non réutilisables

30 1. Les techniques d’étude Au niveau local : expérimentation Depuis 2000 : Développement de techniques oculométriques => Schmid & Baccino (2001) ; Alamargot et al. (2006) => dispositifs coûteux, expertise de mise en œuvre, nombre important de données recueillies Depuis 2000 : Développement de techniques oculométriques => Schmid & Baccino (2001) ; Alamargot et al. (2006) => dispositifs coûteux, expertise de mise en œuvre, nombre important de données recueillies

31 Constat Dispositifs expérimentaux développés pour des besoins spécifiques ; Dispositifs expérimentaux développés pour des besoins spécifiques ; Aucun transfert à des situation d’évaluation de la qualité des instructions Aucun transfert à des situation d’évaluation de la qualité des instructions Objectif de TIP-EXE Répondre aux besoins des chercheurs et des praticiens Répondre aux besoins des chercheurs et des praticiens 1. Les techniques d’étude

32 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales

33 2. TIP-EXE Objectif : usage multiple Expérimentation / évaluation de documents Expérimentation / évaluation de documents Principe général Examiner comment est parcourue une notice d’utilisation : Examiner comment est parcourue une notice d’utilisation : Parcours de lecture ; Parcours de lecture ; Durée de consultation de différentes zones ; Durée de consultation de différentes zones ; Application au texte + image Application au texte + image

34 2. TIP-EXE Exemples d’utilisation Evaluation comparative de différents types de mise en page ; texte vs. image, etc. Evaluation comparative de différents types de mise en page ; texte vs. image, etc. Principe de fonctionnement Des notices similaires à des notices imprimées sont présentées sur écran ; Des notices similaires à des notices imprimées sont présentées sur écran ; Certaines zones sont masquées : pour les consulter, l’utilisateur clique => déclenchement d’un chronomètre et enregistrement du parcours de lecture Certaines zones sont masquées : pour les consulter, l’utilisateur clique => déclenchement d’un chronomètre et enregistrement du parcours de lecture

35 2. TIP-EXE

36 2. TIP-EXE Principe de fonctionnement 3 phases : 3 phases : Préparation de l’expérience ; Préparation de l’expérience ; Passation / recueil des données Passation / recueil des données Analyse des résultats Analyse des résultats

37 PREPARATION DE L’EXPERIENCE

38 Interface Préparation

39 Exemple Exemple Préparation

40 PASSATION DE L’EXPERIENCE

41 Informations participant Informations participant Passation

42 Exemple Exemple Passation

43 EXPORT DES DONNEES

44 Feuille de calcul « Sujet » Feuille de calcul « Sujet » Export

45 Feuille de calcul « Experience » Feuille de calcul « Experience » Export

46 CONCLUSION

47 TIP-EXE Limites deTIP-EXE L’activité de lecture n’est pas aussi naturelle qu’avec des dispositifs d’enregistrement des mouvements oculaires L’activité de lecture n’est pas aussi naturelle qu’avec des dispositifs d’enregistrement des mouvements oculaires  Comparer avec des données issues de l’oculométrie Avantages Caractère générique Caractère générique Utilisation multiple (recherche / évaluation) Utilisation multiple (recherche / évaluation) Portabilité Portabilité Simplicité d’utilisation Simplicité d’utilisation Facilité d’exploitation des données recueillies Facilité d’exploitation des données recueillies Possibilité d’utilisation étendue à différents types de documents comportant texte et image (ex. sites web) Possibilité d’utilisation étendue à différents types de documents comportant texte et image (ex. sites web)

48 Perspectives

49 Perspectives – Travail sur le module « Simulation » Intégration de modèles d’objets 3D

50 TIP-EXE peut être téléchargé gratuitement à l'adresse :