1 TIP-EXE : Editeur d’expériences pour l’évaluation de documents complexes Franck Ganier & Ronan Querrec LISyC – EA 3883 – Centre Européen de Réalité Virtuelle.

Présentation au sujet: "1 TIP-EXE : Editeur d’expériences pour l’évaluation de documents complexes Franck Ganier & Ronan Querrec LISyC – EA 3883 – Centre Européen de Réalité Virtuelle."— Transcription de la présentation:

1 1 TIP-EXE : Editeur d’expériences pour l’évaluation de documents complexes Franck Ganier & Ronan Querrec LISyC – EA 3883 – Centre Européen de Réalité Virtuelle Université de Bretagne Occidentale, Brest & Ecole Nationale d’Ingénieurs de Brest Journées de Printemps Nantes, 26-27 mars 2009

2 2 Contexte Développement d’outils adaptés à l’étude de l’apprentissage en EVAH et à la compréhension d’instructions

3 3 Besoin d’un outil pour l’expérimentation Besoin d’un outil pour l’expérimentation traces de l’activité de l’utilisateur (environnt / dispositif) traces de l’activité de l’utilisateur (environnt / dispositif) utilisation des instructions utilisation des instructions Contexte

4 4 Projet Projet Développement par modules d’un logiciel présentant dispositif + instructions Développement par modules d’un logiciel présentant dispositif + instructions 1ere étape : Focalisation sur TIP-EXE 1ere étape : Focalisation sur TIP-EXE Idée : Utilisation indépendante de TIP-EXE pour l’évaluation de documents procéduraux (ergonomes, rédacteurs techniques, etc.) Idée : Utilisation indépendante de TIP-EXE pour l’évaluation de documents procéduraux (ergonomes, rédacteurs techniques, etc.) Contexte

5 5 Plan Problématique Problématique 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales Perspectives Perspectives

6 6 PROBLEMATIQUE

7 7 Problématique L’utilisation des documents procéduraux : une activité complexe

8 8 Problématique Transformer des informations symboliques en actions : une activité à risques … Échecs de compréhension Échecs de compréhension Echecs d’utilisation Echecs d’utilisation Comment proposer des documents adaptés ?

9 9 Problématique Objectifs : - Chercheur : étudier les processus cognitifs - Rédacteur technique : fournir un document de qualité - Ergonome : proposer un document adapté

10 10 1. Les techniques d’étude de l’utilisation et de la compréhension des documents procéduraux

11 11 Au niveau global : étudier les comportements généraux impliqués dans le traitement d’instructions => observation et analyse de l’activité Au niveau global : étudier les comportements généraux impliqués dans le traitement d’instructions => observation et analyse de l’activité Au niveau local : identifier les processus cognitifs impliqués dans la lecture / compréhension et l’exécution d’actions => expérimentation Au niveau local : identifier les processus cognitifs impliqués dans la lecture / compréhension et l’exécution d’actions => expérimentation 1. Les techniques d’étude

12 12 1. Les techniques d’étude Au niveau global : observation et analyse de l’activité Situations écologiques : on demande de réaliser une tâche (sans fournir d’information sur la façon d’utiliser les instructions) => Vermersch (1985) Situations écologiques : on demande de réaliser une tâche (sans fournir d’information sur la façon d’utiliser les instructions) => Vermersch (1985) Situations contrôlées : on demande de suivre des instructions contenues dans un livret (sans fournir d’information sur la tâche à réaliser) => Ganier, Gombert et Fayol (2000) Situations contrôlées : on demande de suivre des instructions contenues dans un livret (sans fournir d’information sur la tâche à réaliser) => Ganier, Gombert et Fayol (2000) Enregistrement vidéo => dépouillement long

13 13 Au niveau local : expérimentation Constat concernant la vidéo: manque de précision des données chronométriques Constat concernant la vidéo: manque de précision des données chronométriques 80’s : Développement de techniques d’Auto- Présentation Segmentée (APS) => Dixon (1987) ; Heurley (1994) => instructions sur ordinateur / manipulations dans le monde réel 80’s : Développement de techniques d’Auto- Présentation Segmentée (APS) => Dixon (1987) ; Heurley (1994) => instructions sur ordinateur / manipulations dans le monde réel 1. Les techniques d’étude

14 14 Exemple (Heurley, 1994) ADFM Auto-Décryptage par Fenêtre Mobile Gaonac’h et Passerault (1990) 1. Les techniques d’étude

15 15 Exemple (Heurley, 1994) Vous devez obtenir une maison./ Dessinez un rectangle / de 4 cm de hauteur / sur 5 cm de longueur./ Dessinez un triangle de 2 cm de hauteur et de 5 cm de largeur pointant vers le haut au dessus du rectangle.

16 16 Exemple (Heurley, 1994) Attention !

17 17 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

18 18 Exemple (Heurley, 1994) Vous devez obtenir --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

19 19 Exemple (Heurley, 1994) ---- ----- ------- une maison. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

20 20 Exemple (Heurley, 1994) ---- ----- ------- --- ------. Dessinez un rectangle -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

21 21 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- de 4 cm de hauteur --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

22 22 exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- sur 5 cm de longueur. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- -- ------ -- ----- ----.

23 23 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. Dessinez un triangle -- - -- -- ------- -- - -- -- ------- -- -- - -- -- ------- -------- -- -- -- ---- -- ------ -- ---------.

24 24 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. Dessinez un triangle de 2 cm de hauteur -- - -- -- ------- -- -- - -- -- ------- -------- -- -- -- ---- -- ------ -- ---------.

25 25 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- et de 5 cm de largeur -------- ---- -- ---- -- ------ -- ---------.

26 26 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- pointant vers le haut -- ------ -- ---------.

27 27 Exemple (Heurley, 1994) ---- ----- ------- --- ------. -------- -- --------- -- - -- -- ------- --- - -- -- --------. -------- -- --------- -- - -- -- ------- -- -- - -- -- ------- -------- ---- -- ---- au dessus du rectangle.

28 28 Exemple (Heurley, 1994) Exécutez les instructions.

29 29 1. Les techniques d’étude Au niveau local : expérimentation 90’s : Développement de programmes associant présentation d’instructions et dispositif sur ordinateur => Barcenilla (1993) ; Ummelen (1997) ; Ganier (1999) => programmes spécifiques, non réutilisables 90’s : Développement de programmes associant présentation d’instructions et dispositif sur ordinateur => Barcenilla (1993) ; Ummelen (1997) ; Ganier (1999) => programmes spécifiques, non réutilisables

30 30 1. Les techniques d’étude Au niveau local : expérimentation Depuis 2000 : Développement de techniques oculométriques => Schmid & Baccino (2001) ; Alamargot et al. (2006) => dispositifs coûteux, expertise de mise en œuvre, nombre important de données recueillies Depuis 2000 : Développement de techniques oculométriques => Schmid & Baccino (2001) ; Alamargot et al. (2006) => dispositifs coûteux, expertise de mise en œuvre, nombre important de données recueillies

31 31 Constat Dispositifs expérimentaux développés pour des besoins spécifiques ; Dispositifs expérimentaux développés pour des besoins spécifiques ; Aucun transfert à des situation d’évaluation de la qualité des instructions Aucun transfert à des situation d’évaluation de la qualité des instructions Objectif de TIP-EXE Répondre aux besoins des chercheurs et des praticiens Répondre aux besoins des chercheurs et des praticiens 1. Les techniques d’étude

32 32 2. TIP-EXE: Un logiciel pour l’étude du traitement des instructions procédurales

33 33 2. TIP-EXE Objectif : usage multiple Expérimentation / évaluation de documents Expérimentation / évaluation de documents Principe général Examiner comment est parcourue une notice d’utilisation : Examiner comment est parcourue une notice d’utilisation : Parcours de lecture ; Parcours de lecture ; Durée de consultation de différentes zones ; Durée de consultation de différentes zones ; Application au texte + image Application au texte + image

34 34 2. TIP-EXE Exemples d’utilisation Evaluation comparative de différents types de mise en page ; texte vs. image, etc. Evaluation comparative de différents types de mise en page ; texte vs. image, etc. Principe de fonctionnement Des notices similaires à des notices imprimées sont présentées sur écran ; Des notices similaires à des notices imprimées sont présentées sur écran ; Certaines zones sont masquées : pour les consulter, l’utilisateur clique => déclenchement d’un chronomètre et enregistrement du parcours de lecture Certaines zones sont masquées : pour les consulter, l’utilisateur clique => déclenchement d’un chronomètre et enregistrement du parcours de lecture

35 35 2. TIP-EXE

36 36 2. TIP-EXE Principe de fonctionnement 3 phases : 3 phases : Préparation de l’expérience ; Préparation de l’expérience ; Passation / recueil des données Passation / recueil des données Analyse des résultats Analyse des résultats

37 37 PREPARATION DE L’EXPERIENCE

38 38 Interface Préparation

39 39 Exemple Exemple Préparation

40 40 PASSATION DE L’EXPERIENCE

41 41 Informations participant Informations participant Passation

42 42 Exemple Exemple Passation

43 43 EXPORT DES DONNEES

44 44 Feuille de calcul « Sujet » Feuille de calcul « Sujet » Export

45 45 Feuille de calcul « Experience » Feuille de calcul « Experience » Export

46 46 CONCLUSION

47 47 TIP-EXE Limites deTIP-EXE L’activité de lecture n’est pas aussi naturelle qu’avec des dispositifs d’enregistrement des mouvements oculaires L’activité de lecture n’est pas aussi naturelle qu’avec des dispositifs d’enregistrement des mouvements oculaires  Comparer avec des données issues de l’oculométrie Avantages Caractère générique Caractère générique Utilisation multiple (recherche / évaluation) Utilisation multiple (recherche / évaluation) Portabilité Portabilité Simplicité d’utilisation Simplicité d’utilisation Facilité d’exploitation des données recueillies Facilité d’exploitation des données recueillies Possibilité d’utilisation étendue à différents types de documents comportant texte et image (ex. sites web) Possibilité d’utilisation étendue à différents types de documents comportant texte et image (ex. sites web)

48 48 Perspectives

49 49 Perspectives – Travail sur le module « Simulation » Intégration de modèles d’objets 3D

50 50 TIP-EXE peut être téléchargé gratuitement à l'adresse : http://www.enib.fr/~querrec/Tipex.zip