TRACER POUR INTERPRETER Application à l’apprentissage avec les TICE Christophe Courtin(SysCom Chambéry) Alain Mille(LIRIS, Villeurbanne)

2 Plan de l’exposé Traces ? Traces et TICE ? Théorisation  Architecture de collecte  Modélisation de l’utilisation / approche Musette Illustrations  Station d’observation  Projets d’intégrations de l’Expérience pour l’Enseignement à Distance  Démonstration d’un atelier Musette Perspectives de recherche

3 Traces ? Séquences d’observés  Synchronisation temporelle des observés  Au-delà des observés, le processus Exemples de traces « brutes »  Fichiers logs  Enregistrements vidéo  Enregistrements audio  Relevés d’observation temporellement situées

4 Tracer les situations d’apprentissage avec les TICE Environnement TICE  Acteurs TICE (inter-agissant avec les TICE) Apprenants Enseignants (avec différents rôles) Gestionnaires des dispositifs d’apprentissage  Environnement informatique (support des inter- actions TICE) Environnement matériel Ressources accessibles / Environnement matériel (+ l’environnement non-TICE ?)

5 Traces interprétées par qui ? L’apprenant comme acteur et observateur et interprétateur des traces d’utilisation de l’environnement qu’il « agit » = usage réflexif direct L’enseignant/le gestionnaire (avec différents rôles) comme observateur et interprétateur des traces d’utilisation du dispositif dont il est le « concepteur » = usage réflexif indirect Le chercheur comme observateur et interprétateur de traces d’inter-actions en situation d’apprentissage = usage « objectif » / comprendre, expliquer.

6 Boucle de retour d’expérience (immédiate) Facilitateurs d’appropriation / apprentissage

7 Boucle de retour d’expérience (court terme) Facilitateurs de conception TICE

8 Boucle de retour d’expérience (moyen terme) Facilitateurs de gestion TICE

9 Boucle de retour d’expérience (long terme) Facilitateurs de compréhension TICE

10 Théoriser sur le traçage Problématiques de collecte Modèles de traces Musette Modèles de traces Musette

11 Pourquoi collecter ? Déboguage Rétro-conception Amélioration de scénarios pédagogiques Renforcement du contrôle social Compréhension de l’activité de groupe Exécution de scénarios Aide à l’utilisateur...  collecter pour observer

12 Qu’est-ce qui est observé ? Collecte au sein des outils :  plus ou moins bien réalisée ;  souvent incomplète ;  difficilement extensible ;  incompatible avec ce qui est fait dans les autres outils.

13 Que souhaite-t-on observer ? Ca dépend où on se place :  l’apprenant souhaitera observer sa propre activité d’apprentissage (feedback) et celle du groupe (awareness)  l’apprenant souhaitera observer ses progrès et sa propre méthode de travail (pour apprendre à apprendre) ;  un enseignant souhaitera observer l’avancement de sa classe, et notamment les difficultés rencontrées pour agir en conséquence (régulation) ;  un enseignant-auteur souhaitera savoir si le scénario pédagogique est adapté à la SACI ;  un concepteur souhaitera mesurer l’utilisabilité d’un outil ;  un chercheur souhaitera expliciter les problématiques associées.

14 Quels sont les observés ? Selon le niveau d’abstraction :  des réactions de l’interface ou de l’analyseur, la liste des apprenants, leur localisation, etc. ;  des résultats, des messages interprétant une situation ;  la validation d’un exercice et son degré de réussite ;  les progrès occasionnés par la SACI par rapport à un apprentissage traditionnel ;  le taux d’utilisation d’un outil ;  l’expressivité d’un modèle et son implantation in vivo.  traces brutes  traces évoluées

15 Qu’est-ce qu’une trace brute ? C’est la représentation d’une (ré)action au sein d’un système informatique :  source  outil  date  description  évènement  utilisateur ...

16 Modèle de trace Signal source : chaîne de carac date : date source : outil : chaîne de carac description : chaîne de c évènement : chaîne de c Paramètre valeur : chaîne de paramètres 1 * * * Séquence date de début : date date de fin : date * * source : chaîne de carac description : chaîne de c

17 Modèle d’observation

18 Quelles sont les problématiques ? interprétation (analyse) visualisation (aide à la compréhension) structuration (normalisation) granularité (intra/inter outils)

19 Théoriser sur le traçage Problématiques de collecte Modèles de traces Musette Modèles de traces Musette

20 MUSETTE : les grandes étapes Agent Observateur Agent Observateur Modèle d’Utilisation Observation Génération de Trace Utilisateur Interaction Système Observé Système Observé Agents Assistants Réutilisation d’épisodes Modèle d’Observation Agents Facilitateurs Agents Facilitateurs Réutilisation d’épisodes Extraction d’épisodes Analyseur Générique de Trace Signature de Tâche 1 Signature de Tâche 1 Signature de Tâche 2 Signature de Tâche 2 Épisodes Trace Primitive Agent Observateur Agent Observateur Observation Génération de Trace Modèle d’Observation Modèle d’Utilisation Trace Primitive Extraction d’épisodes Signature de Tâche 1 Signature de Tâche 1 Signature de Tâche 2 Signature de Tâche 2 Épisodes Analyseur Générique de Trace

21 MUSETTE-Base « top level ontology » = ensemble de classes à spécialiser en un modèle d’utilisation Observable Objet d’intérêt Observation TransitionÉtat Relation1 ÉvénementEntité Contraintes  Ordre séquence état/transition  Etat contient entités  Transition contient Evénements  Relations entre objets d’intérêt Relation2

22 Modèle d’utilisation Ensemble de types d’entités, de types d’événements et de types de relations Dans la mesure où le langage d’expression le permet  contraintes sur les types (spécialisation, exclusion mutuelle...)  contraintes sur les relations (domaine et co-domaine, transitivité, relations inverses,...)  contraintes sur la disposition des objets d’intérêt dans les observations

23 Modèle d’utilisation exemple Web trait page lien image click lang bm sauv contraintes click Observable Objet d’intérêt ÉvénementEntité bm lang sauv trait image lien page

24 Traces : séquence états- transitions état 5transition 5état 6état 7transition 6 page 1 fr lien1 lien2 click1 page 2 fr bm1 page 3 en lang1 persistance Observable Observation TransitionÉtat

25 Signatures de tâches expliquées et épisodes Le modèle d’utilisation permet d’inscrire l’utilisation dans une trace primitive La trace contient potentiellement des épisodes d’utilisation re-traçant une expérience utilisable pour l’assistance en contexte Les épisodes sont repérés dans la trace grâce à des signatures de tâches « expliquées »

26 Signature de tâches expliquées Composition  motif d’objets d’intérêt (OI) dans la trace  contraintes sur la position relative des OI dans l’épisode  contraintes sur les attributs des OI  Annotations Explained task signature (EXTASI) Observable Objet d’intérêt ÉvénementEntité bm lang sauv trait image lien page click

27 Signatures : exemple Signature de tâche : Changer la langue Page Trait lang Cette page est préférée dans cette langue Signature de tâche : Relever un site intéressant Page lien Click Page bm Page intérieure Page de garde Même site Permet d’atteindre la page intérieure

28 Episodes : illustration 1 page 1 fr lien1 lien2 click1 page 2 fr bm1 page 3 en lang1 page 1 lien1 click1 page 2 bm1 page intérieure page de garde même site Permet d’atteindre la page intérieure Relever un site intéressant : persistance trait page lien image click lang bm sauv contraintes

29 page 1 fr lien1 lien2 click1 page 2 fr bm1 page 3 en lang1 Changer la langue : Cette page estpréférée dans cette langue page 2 fr page 3 en lang1 Cette page est préférée dans cette langue persistance trait page lien image click lang bm sauv contraintes Episodes : illustration 2

30 Illustrations Collecte.. Utilisation réflexive (PIXED) Atelier Musette (Démonstration)

31 Notre modèle d’observation traces brutes séquences Modèle d’utilisation intra/inter outils en accord avec environnement numérique de travail appareillage collecteur sources du collecteur

32 Expérimentation avec une SACI Appareillage de deux outils (coffee-room et wiki) : 1. discussion par binôme (x1,y1) et (x2,y2) sur deux sujets ; 2. écriture sur chaque sujet par un seul membre (x1) et (y1) ; 3. au même moment, discussion sur chaque sujet successivement un par un (x2) et (y2) ; 4. synthèse de chaque sujet par les binômes initiaux (x1,y1) et (x2,y2) ; 5. intervertion des rédacteurs au sein de chaque binôme, donc (x2) et (y2) finissent la rédaction.

33 Architecture de la station d’observation Base de données pour les traces Visualiseur “scout” filtres Modèle d’utilisation Analyseur collecteur Coffee-room (Java) appareillage Wiki (Zope Python) Coffee-room (Java) appareillage Wiki (Zope Python)

34 Logs vs. appareillage

35 Structuration de la trace (intra) signal = [source, outil, date, description, event, param...] [wiki, wiki, ?t0, description, edit-page, ?x1, ?page1] [wiki, wiki, ?t1, description, save-page, ?x1, ?page1] et [wiki, wiki, ?t2, description, edit-page, ?y1, ?page1] [wiki, wiki, ?t3, description, save-page, ?y1, ?page1] [coffee-room, coffee-room, ?t0+  t, description, send-msg, ?x1, ?table1] [coffee-room, coffee-room, ?t0+  t’, description, send-msg, ?y1, ?table1]

36 Structuration de la trace (inter) sequence = [source, begin_date, end_date, description, sequence(s)/signal(s)] [analyser, ?t0, ?t3, description, [wiki, wiki, ?t0, description, edit-page, ?x1, ?page1] [wiki, wiki, ?t1, description, save-page, ?x1, ?page1] [wiki, wiki, ?t2, description, edit-page, ?y1, ?page1] [wiki, wiki, ?t3, description, save-page, ?y1, ?page1] [coffee-room, coffee-room, ?t0+  t, description, send-msg, ?x1, ?table1] [coffee-room, coffee-room, ?t0+  t’, description, send-msg, ?y1, ?table1] ]

37 Visualisation sourcetooldateEventparam_1param_2param_3 Wikiwiki :07:12 load-pageLaurepage- subject1 Coffee- Room coffee-room :07:25 join-tablePierresubject1 Wikiwiki :07:35 load-pageCatherinepage- subject2 Coffee- Room coffee-room :07:56 send-mesgAntonysubject1 Aren't you supposed to work with Cathy ? Coffee- Room coffee-room :08:20 send-mesgPierresubject1 Hi Antony, join us for 5' at the other table… Wikiwiki :08:36 edit-pageCatherinepage- subject2 Wikiwiki :08:41 edit-pageLaurepage- subject1 Coffee- Room coffee-room :10:33 send-mesgAntonysubject1 OK, give me just 1' Coffee- Room coffee-room :11:02 send-mesgPierresubject1 OK, I'm going back

38 Action en cours... Généralisation de l’appareillage (API). Interopérabilité avec diverses sources (logs, keyloggers, agents, appareillage, etc.).

39 Illustrations Collecte.. Utilisation réflexive (PIXED) Atelier Musette (Démonstration)

42 Amorçage de la base d’épisodes

43 idpre obj qcmMod. Appr.Mod. Dom. Chemin not.n.c. a.e.annot. qcm. obj. qcm.Mod. Appr. Contexte général Essai(s)Résultat id : identifiant pré : liste d’Activités d’Apprentissages précédant la navigation obj : l’objectif d’apprentissage qcm : questionnaire à choix multiples mod. appr. : modèle d’apprentissage de l’apprenant (réseau notionnel acquis) mod. dom. : connaissances du domaine (réseau notionnel décrit dans le domaine) chemin not. : chemin notionnel proposé n.c. : notion cible a.a. : activité apprentissage annot. : annotation Traçage des activités…

44 Cycle de réutilisation de l’expérience tracée Distance entre notions Distance simple entre essais Potentiel d’un essai Distance entre traces Potentiel de trace Distance entre épisodes Potentiel d’un épisode Potentiel d’une activité éducative

45 goamcqL. ANND. ANNcn1eaannot.mcqcn 2 ea 1 annotmcqidpre help cn 2 ea 2 annotmcqcn 2 eaannotmcqL. ANND. ANNcngoapre help Similarité idgoamcqL. ANND. ANNpre ea x annot mcq cn x : current notion is x : educational activity x played : current notion is x : annotation : mcq successful / mcq failed

46

48 DEMONSTRATION ATELIER MUSETTE