Alain Mille Laboratoire d'InfoRmatique en Image et Systèmes d'information Université de Lyon LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon Université Claude Bernard Lyon 1, bâtiment Nautibus 43, boulevard du 11 novembre 1918 — F Villeurbanne cedex UMR 5205 Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - Expérience tracée Genèse, théorie, premières pratiques

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 2 Genèse de la recherche - De l’ingénierie des inscriptions de la connaissance exploitées en « temps réel » - Construction de systèmes à base de connaissances couplés avec l’environnement technique et humain.[A] - Les techniques d’intelligence artificielle fondées sur la réutilisation de l’expérience « concrète » [B] [A] : Systèmes à Base de Connaissances [Sûreté des systèmes industriels, de la supervision industrielle, de l’aide à la décision « immédiate » en production, en conception, en soins intensifs, …] [B] : Raisonnement à Partir de Cas : [Thèses Alain Mille, Béatrice Fuchs, Benoit Chiron (SFERCA), Olivier Herbeaux (INTEREP), Françoise Corvaisier (CHEMDATA)], Amélie Cordier, …) Une ingénierie de la connaissance / des connaissances pour concevoir des environnements informatiques fonctionnant « en intelligence » avec leurs utilisateurs ? -> une ingénierie de la connaissance dynamique fondée sur les interactions d’utilisation ?

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 3 Questions de recherche Expérience(s), interactions, contexte, situation, mémoire ?  Chez l’humain -> Sciences cognitives.  Environnement informatique : Nouveaux objets informatiques ? Apprendre, se remémorer, réutiliser, partager, transmettre, …  En tant que processus humains -> Sciences cognitives.  En tant que processus informatiques (autonomes ?)  En tant que processus informatiques en « empathie » avec les processus humains.

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 4 Une façon de présenter les choses… Du Raisonnement à Partir de Cas au Raisonnement à Partir de l’Expérience Tracée  Un principe de raisonnement analogique et interactif sur des « épisodes » construits « à la volée »  Des traces ? Une théorie de la trace informatique La notion de système à base de traces informatiques Illustrations Enjeux, chantiers en cours, partenariats

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 5 Rappel sur le cycle RàPC

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 6 RàPET : Raisonnement à Partir de l’Expérience Tracée

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 7 Une théorie de la trace « modélisée » ? Une trace « modélisée » (M-Trace) est une séquence temporelle d’observés d’une activité interactive avec un EI (Environnement Informatique) munie d’un modèle de trace dans un domaine temporel donné. Une séquence temporelle d’observés est définie par un 4-tuple M-Trace = (Dp,Otr,Rt,Rs) où  Dp est un domaine temporel. Par exemple Dp = (T,  ) où T est l’ensemble fini d’intervalles et  est une relation d’ordre dans T. Les intervalles de temps sont décrits par Td et Tf et notés [Td, Tf ].  Otr est un ensemble fini d’observés de la M-Trace, Otr = {o1, o2, …, on}  Rt relations temporelles Dt x Otr tel que Rt  Dt x Otr  Rs relations structurelles Otr x Otr tel que Rs  Otr x Otr Un modèle de M-Trace est une structure  = (  c,  r)  où  c = {  c1,  c2, …,  cn} et  r = {  r1,  r2, …,  rn}   c est un ensemble fini de classes d’objets  ci (classe au sens du paradigme orienté objet), décrivant les observés de la M-Trace. Une classe est caractérisée par un ensemble d’attributs   c est un ensemble fini de types de relations entre classes  ci.  c   c x  c

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 8 Système à base de M-Traces Traces modélisées Séquence d’observés Modèle de M-Trace + domaine temporel Bibliothèque de modèles Opérateurs de Transformations  Reformulation d’une M-Trace en une autre Modification du modèle ou/et Calculs sur la séquence d’observés Bibliothèque d’opérateurs de transformations Collecte / Sources de traçage (inputs) Agent informatique de capture associé au SBT + : Observateur humain Capteur autonome au SBT -> flux de traçage (vidéo, audio, logs, API « aspects »…) Gestionnaire de M-Traces Mémorisation / objets permanents Traçabilité / réutilisatibilité des transformations Ancrage des sources de traçage Visualisation standard

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 9 Exemple 1 : Interface de gestion d’affaires

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 10 Les modèles… Le modèle de trace (première)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 11 Les modèles… Signature de tâche (séquence dans une trace) transformation / reformulation

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 12 Les modèles… Modèle de collecte

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 13 Les modèles… Modèle d’interaction retenu…

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 14 Exemple 2 Analyse d’activité d’un conducteur automobile à partir de données comportementales chemnitz.de

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 15 Problème Comment découvrir des choses “ayant du sens” au sein d’un grand volume de données ? “Ayant du sens ?”  Utile  “Meaning is use” (Wittgenstein 1953)  Rationnel  To understand something is to connect it to something previously understood

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 16 Dans notre cas Les données :  Données expérimentales issues d’un véhicule instrumenté  Séquences de données : Traces (Sanderson 1994) Utilisateur : Psychologue - Analyste Connaissance (visée) :  Schémas de conduites  Prédicteurs de comportements Objectif:  Aider le psychologue à trouver des modèles cognitifs

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 17 La voiture

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 18 Abstraction par transformation de trace Eye_sequence_end: Eye_Ahead pendant plus de 0.9s Short_Left_Mirror_Glance: Séquence plus courte que 0.8s et incluant au moins un Eye_Left_Mirror

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 19 Règles d’inférence La trace est représentée par un graphe (RDF) Les événements sont définis au sein d’une ontologie (RDFS) Les règles sont définies par des requêtes (SPARQL)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 20 L’interface analyste

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 21 Nouvelles signatures expliquées

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 22 Application cible Nombre croissant de systèmes tentant d‘améliorer le confort et la sécurité du conducteur Améliorer les effets bénéfiques des systèmes de advanced driver assistance systems (ADAS) et les in-vehicle information systems (IVIS) qui devraient réagir selon  les situations de trafic naturellement  selon les intentions du conducteur Exemple : n‘alerter le conducteur sur un franchissement de ligne que s‘il ne s‘agit pas d‘une action volontaire.

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 23 Sur simulateur

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 24 Exemple 3 Projet eLycée -> ANR ITHACA  Collaboration eLycée - LIRIS  eLycée : formation à la culture et la langue française aux élèves francophones scolarisés aux EU  Volet informatique : traitement/visualisation interactive de traces réflexives en temps réel  Volet sciences cognitives : étude de l’apport des traces à l’activité d’apprentissage humain (collaboratif) Objectifs  Modéliser le plus génériquement possible la visualisation de traces  Montrer le potentiel de la visualisation de traces pour rendre l'activité réflexive en l’appliquant à eMediatheque

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 25 Implémente le concept de ”classe virtuelle”  Chat écrit/audio  Activités collaboratives synchrones (tableau blanc, push tuteur, …. Interactions tracées et affichées Activité à dimension réflexive Plate-forme applicative : eMediatheque

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 26 Définitions  Modèle de trace : ensemble de classes et de relations types, qui décrivent les éléments contenus dans la trace  Trace métier : « trace modélisée dans le langage métier » (Georgeon et al. 2006)  Trace première : trace directement issue de la collecte des interactions système- utilisateur, elle est décrite dans le langage du concepteur  Observé : unité interactionnelle contenant toutes les informations concernant l'action courante Modèle de trace générique Modèle de trace spécialisé Système de visualisation (1/4)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 27 Processus de transformation de la trace première  Transformation statique (concepteur activité)  Ensemble de règles d'interprétation de l'utilisation dans le cadre d'une activité donnée  Choix d'une activité  Obtention d'une « trace métier » à partir de la trace première  Transformation dynamique (utilisateur)  Pendant son activité  Interactions via Configuration Comparateur Filtre Groupeur Masque visuel Vue de la trace transformée  Transcription graphique (affichage) Système de visualisation (2/4)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 28 Système de visualisation (3/4) création de la trace première transformation dynamique transformation statique création de la vue Étapes  Trace première  Tr. statique  Tr. dynamique  Création de la vue Transformations  Concepteur activité  Utilisateur Interactions trace  Configuration  Tri  Regroupement  Filtrage  Masque visuel  Choix de la vue Configuré par le concepteur Configuré par l'utilisateur

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 29 Outils  eMediatheque est une application Eclipse RCP (Rich Client Platform)  Développement d'un plug-in Eclipse pour eMediatheque  Utilisation de deux API  GEF (Graphical Editing Framework) : framework de développement de diagrammes interactifs  draw2d : API graphique basée sur SWT (Standard Widget Toolkit) Architecture MVC ModèleContrôleurVue Système de visualisation (4/4)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 30 On choisit une activité exemple : « co-exploitation de ressources »  Les élèves sont en bînomes ; ils ont une consigne ; des ressources (partagées ou non, web, ou media) et doivent rédiger une production commune, en collaboration, avec possibilité de faire des « copier-coller » Modèle de trace métier Scénario d’utilisation (1/2)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 31 Scénario d’utilisation (2/2)

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 32 Enjeu, chantiers, partenaires SHS Enjeu : considérer le couplage « homme-environnement (informatique) » comme système globalement apprenant.  Résonances théoriques en sciences cognitives : théorie de l’activité, enaction, émergence, constructivisme, action située  Association aux processus d’apprentissage automatique et d’acquisition de connaissances  « Trace informatique » nouvelle classe d’objet informatique avec ses structures, ses méthodes ?

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 33 Enjeux, chantiers, partenaires SHS Chantiers (voir  Théorie, modèles génériques de traces, architecture, noyau SBT, visualisation générique, opérateurs, algorithmes -> domaines d’application  EIAH (Perlea, Ambre, Geonote, ELycée, Moodle-traces, Ithaca1)  Découverte, partage, réutilisation de connaissances : Procogec, Abstract, Ithaca2, EADS, IAKA, FRAKAS, EDF, SAP etc.  Facilitateurs « métiers » (Dassault Systems, Oscar, Isocele) / Handicaps (mal voyants, personnes âgées, etc.) : Cluster Handicap, ORANGE,… Partenariats STIC/SHS  PPF Apprentice (INRP, ICAR, LIG, LIRIS, ELICO, LEPS,Syscom,LIESP)  Projet « EIAH adaptatifs » du cluster région ISLE (Grenoble, Lyon, Saint- Etienne)  Projet « Vieillissement » du cluster région « Handicap » (Grenoble, Lyon, Saint-Etienne)  LORIA !

Séminaire en l'honneur de Jean-Paul Haton Octobre 2007 Saint-Dié - 34 Enjeux, chantiers, partenaires SHS Enjeux : un couplage « Homme(s)-Environnement Informatique » « apprenant » -> plasticité, dynamisme des re-présentations  Résonances théoriques en sciences cognitives : théorie de l’activité, enaction, émergence, constructivisme, action située  Association aux processus d’apprentissage automatique et d’acquisition de connaissances  « Trace informatique » nouvelle classe d’objet informatique avec ses structures, ses méthodes Chantiers (voir  Théorie, modèles génériques de traces, architecture, noyau SBT, visualisation générique, opérateurs, algorithmes… et applications :  EIAH (Perlea, Ambre, Geonote, ELycée, Moodle-traces, Ithaca1)  Découverte, partage, réutilisation de connaissances : Procogec, Abstract, Ithaca2, EADS, IAKA, FRAKAS, EDF, SAP etc.  Facilitateurs (Dassault, Oscar) / Handicaps (mal voyants, personnes âgées, etc.) [nouveau] : Cluster Handicap, ORANGE,… Partenariats avec les SHS  PPF Apprentice (INRP, ICAR, LIG, LIRIS, ELICO, LEPS,Syscom,LIESP)  Projet « EIAH adaptatifs » du cluster région ISLE (Grenoble, Lyon, Saint- Etienne)  Projet « Vieillissement » du cluster région « Handicap » (Grenoble, Lyon, Saint-Etienne)