Navigation Interactive dans les documents Proposée par Brigitte Grau (LIR) et Jean-Paul Sansonnet (AMI)

2 Plan Présentation générale Travail première année Travail deuxième année Travail Troisième année Bilan

3 ASP Navigation Interactive Participants Groupe AMI J-P Fournier, J-C. Martin, Guillaume Pitel, Jean-Paul Sansonnet, Bill Turner, Haïfa Zargayouna, Stéphanie Buisine Stagiaire : Assia Amara Groupe LIR Brigitte Grau, Nicolas Hernandez, Martine Hurault-Plantet, Anne Vilnat Stagiaire : Hawar Talabani Problématique Exploration guidée par la structure du contenu Outils de structuration Outils de médiation Navigation intra et inter - document

4 Objectifs Objectifs scientifiques Structuration sémantique et fonctionnelle Analyse et évaluation des pratiques de navigation Assistance à la navigation Objectif technique : Intégration et développement d'outils informatiques Objectif structurant entre LIR & AMI Savoir-faires existants complémentaires Collaboration entre les approches et les outils

5 Applications envisagées Intra-document Navigation interactive dans un tutoriel (cas d'un document actif) Fondé sur AMICAL : Navigation multimodale dans un cours de Java Inter-document Réponses à des questions de nature encyclopédique en utilisant plusieurs documents Généralisation de QALC : extrait des réponses à partir d'un seul document

6 Programme de travail initial Première année Outils de structuration, de représentation et de médiation de documents Etude des modes de parcours Démonstration : Exemple de représentation médiatisé d'un document Deuxième année Architecture du système étude des liens entre multimodalité de la communication et stratégies pédagogiques Assistance à la navigation intra-document Modélisation de linteraction Démonstration : Navigation interactive dans un tutoriel Troisième année Outils d'interaction multi-documents Environnement intégré du démonstrateur pour un fatras Expérimentations et Evaluations.

7 Mode de fonctionnement Construction dun site Réunions régulières > 15 réunions avec CR sur le site de lintranet de lASP NID Documentation mise sur lintranet de lASP > 50 documents sur le site de lintranet de lASP NID

8 Plan Présentation générale Travail première année Travail deuxième année Travail Troisième année Bilan

9 Structuration Document textuel Structuration thématique Segmentation thématique Typage des relations et des segments Structure thématique Repérer les unités discursives Établir des relations entre elles Décrire ces unités et ces relations

10 Format XML générique, multi-annotations et multi-directionnels Optique fédératrice Exploite les technologies XML, XLink et Xpointer Dissociation du texte annoté (avec entités de base), de la description des objets, et des éléments liens entre ces objets Représentation générique des objets (token, phrase, paragraphe, les segments thématiques, la structure thématique, etc.)

11 Plan Présentation générale Travail première année Travail deuxième année Travail Troisième année Bilan

12 Multimodalité Stage DUT en cours au LINC: protocole d'enregistrement de vidéo de cours et numérisation des vidéos annotation XML avec Anvil, recherche de mots-clés dans les vidéos annotées Annotation de la vidéo d'une présentation collective de 2 étudiants avec Anvil (schéma de codage TYCOON) Spécification XML du comportement multimodal d'un agent conversationnel (stage de DEA, projet NICE)

13 Modes de parcours Etude des modes de parcours de navigation (Stage de DEA) Les nouveaux rapports « maître-élève » à distance Etude bibliographique des systèmes et des projets (NaVir, Hezinet,…) Les langages associés : EML (Educational Modelling Language) - XML pour les concepts éducatifs

14 Adaptation des outils : Prototype Adaptation de la chaîne Q&A sur un cours Java Cours choisi : cours html de Sun Récupération de questions dans les FAQ de Sun Intégration dun moteur de recherche dans Q&A : Choix du moteur : MG, moteur booléen Tests dinterrogation avec MG Démonstration Installation sur le serveur de lASP « fluctuat »

15 Plan Présentation générale Travail première année Travail deuxième année Travail Troisième année Bilan

16 Outil pour lexpérimentation Côté sujet Le cours en HTML (utilise composant IE) Une interface de dialogue avec le tuteur (boîte texte + historique du dialogue) Côté expérimentateur Un navigateur pour chercher les pages dans le cours Visualisation des déplacements du sujet dans le cours Une interface de dialogue (boîte texte + historique)

17 Outil pour lexpérimentation : côté sujet Interface de dialogueLe cours

18 Outil pour lexpérimentation : côté expérimentateur Suivi navigation sujet et Interface dialogue Le navigateur de lexpérimentateur

19 Expérimentations Distribution consignes + 2 questionnaires Java 2*10 minutes, soit avec dialogue possible avec le tuteur (Le tuteur doit répondre aux questions ou diriger le sujet sur la page du cours demandée) soit sans dialogue avec le tuteur A la fin de la session, un questionnaire dit subjectif est à remplir. On récupère le fichier « log » de la session

20 Mise en place collective dun protocole expérimental 17 étudiants de lIIE Magicien dOz Limsi : GP / JCM IIE : BG, NH Cours Java 3 dates de sessions 9 mars (5 sujets), 16 mars (4 sujets), 23 mars (8 sujets) 2 tâches Navigation seule Navigation et question

21 Enregistrement de la session

22 Fichiers de log Questions posées par le sujet Réponse du Wizard Action de navigation

23 Résultats Données recueillies Questionnaires subjectifs Questions Actions de navigation Analyse informelle Peu de questions bien formées (mots-clés) Des sujets retapent telles quelles les questions

24 Plan Présentation générale Travail première année Travail deuxième année Travail Troisième année Bilan

25

26

27 Documentation en ligne > 5O items Expériences de fin mars 04 : les fichiers.log (G. Pitel) Accès au dossier (24 fichiers) Expériences du 23 janvier 2004 (JC Martin) Accès au dossier (8 fichiers) Questionnaire post-expérimental (Stéphanie Buisine) Protocole-v8.doc Questionnaire.doc Protocole du Magicien d'oz (Jean-Claude Martin) ProtocoleV4 (.doc) tuteur-log.xml reponses.txt consignes-sujet-v0.doc protocole-v7.doc Cours Java (J-P. Sansonnet) Les 109 pages HTML sur le cours Java de Jean-Claude Martin Les relations entre les paragraphes du cours Java. Information générale sur l'ASP (Brigitte Grau et Jean-Paul Sansonnet) Présentation en double page de l'ASP Navigation 2003 Présentation en double page de l'ASP Navigation 2002 (.doc) Document de demande de l'ASPNavigation (.doc) Présentation de l"ASP Navigation à Saint Malo en nov 2001 (.ppt) Présentation du système de Questions-Réponses Q&A. (.ppt) Présentation du système d'analyse thématique (.ppt) Présentation de l'ASP à un an (le 27 mai 2002) devant le LIMSI (ppt) Présentation du modèle VDL du projet InterViews (.ppt) Présentation du modèle de traitement de requêtes à base d'observateurs (.ppt) Analyse Sémantique de Requêtes en Langue Naturelle pour un Agent Assistant dInterface (.ppt) Présentation de la théorie des observateurs (.ppt) Exposé sur le rôle de la référence dans le dialogue navigatif (.ppt) Présentation de Animal2 (.ppt) Navigation et outils éducatifs (.ppt) Relations maître- Elève (.ppt) Sujet de Stage de DEA de Sciences Cognitives 2002 de Assia AMARA (.doc) Un nouveau format d'annotation (.ppt) Un ensemble d'informations sur le modèle d'annotation de Nicolas Hernandez (page html de dispatch) Présentation du projet MICAME (.ppt) Nicolas Hernandez, Jean-Claude Martin, Guillaume Pitel : un exemple commun de document traité selon trois modèles de représentation différents Modèle à Objets de J-C. Martin (.doc) Modèle à Observateurs de G. Pitel Modèle XML de N. Hernandez (page html de dispatch) Présentation du modèle Entité-recette Rapport du stage de DEA de Sciences Cognitives de paris XI, sept 2002, "Etude de fonctions génériques de navigation dans les documents indexés". (sous presse) Rapport du stage LIMSI "Etude et implémentation d'un médiateur dialogique pour les Environnements Interactifs d'Apprentissage avec Ordinateur en ligne sur l'Internet", 5 juin Démonstration en ligne de la Navigation dans le cours Java.

28 Bilan et perspectives pour LIR Corpus dinteractions Etudier les modes de parcours, la production des balises nécessaires Etude des modalités : Clic sur des liens Questions Modéliser linteraction Variations inter-utilisateurs ou liées à la difficulté de la tâche

29 Bilan et perspectives pour AMI Agents Conversationnels Agents Animés Cadre HUMAINE Cadre A©A Cadre PCD Modéliser linteraction Passer au multimodal Etudier les schémas argumentatifs