La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Alain Mille Laboratoire d'InfoRmatique en Image et Systèmes d'information Université de Lyon LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard.

Présentations similaires


Présentation au sujet: "Alain Mille Laboratoire d'InfoRmatique en Image et Systèmes d'information Université de Lyon LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard."— Transcription de la présentation:

1 Alain Mille Laboratoire d'InfoRmatique en Image et Systèmes d'information Université de Lyon LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon Université Claude Bernard Lyon 1, bâtiment Nautibus 43, boulevard du 11 novembre 1918 F Villeurbanne cedex UMR 5205 Expérience tracée Système à Base de Trace Théorie, formalisation, premières pratiques

2 Séminaire Heudiasyc: 22 avril Genèse de la recherche - De lingénierie des inscriptions de la connaissance exploitées en « temps réel » - Construction de systèmes à base de connaissances couplés avec lenvironnement technique et humain. - Les techniques dintelligence artificielle fondées sur la réutilisation de lexpérience « concrète » À une ingénierie de la connaissance pour concevoir des environnements informatiques fonctionnant « en intelligence » avec leurs utilisateurs ? -> une ingénierie de la connaissance dynamique fondée sur les interactions dutilisation ?

3 Séminaire Heudiasyc: 22 avril Questions de recherche Expérience(s), interactions, contexte, situation, mémoire ? Chez lhumain -> Sciences cognitives, philosophie… Environnement informatique : Nouveaux objets informatiques ? Apprendre, se remémorer, réutiliser, partager, transmettre, … En tant que processus humains -> Sciences cognitives, philosophie… En tant que processus informatiques (autonomes ?) En tant que processus informatiques en « empathie » avec les processus humains.

4 Séminaire Heudiasyc: 22 avril Prolégomènes (1) : Inscription numérique de connaissance Définition : « Une connaissance est la capacité dexercer une action pour atteindre un but. » Pas daction « rationnelle » sans connaissance (linverse nest pas vrai?) Lobjet dune connaissance est le corrélat dune action possible (un objet nexiste que sil est possible dagir, y compris par la pensée, sur lui). Lenvironnement comprend des structures matérielles, présentant des saillances [Gibson, 1979, Hutchins, 1994] pour notre système perceptif et sensorimoteur. Ces saillances suggèrent des actions au détriment dautres. Lenvironnement prescrit ainsi des actions possibles lenvironnement permet de mettre en œuvre des connaissances en réalisant les actions qui les définissent.

5 Séminaire Heudiasyc: 22 avril Prolégomènes (2) : Théorie du support [Bachimont 2004] La théorie du support sarticule autour de la thèse centrale suivante : Les propriétés du substrat physique dinscription, et du format physique de linscription, conditionnent lintelligibilité de linscription. Elle comprend en outre les thèses suivantes : 1. une connaissance est la capacité deffectuer une action dans un but donné. 2. un objet technique prescrit par sa structure matérielle des actions. Lobjet technique est linscription matérielle dune connaissance. 3. toute connaissance procède dune genèse technique. Seule la répétition, prescrite par les objets techniques, de laction permet dengendrer la connaissance comme capacité à exercer une action possible. 4. la connaissance, engendrée par la technique, prescrit une transformation dans le monde des choses (lobjet technique est alors un instrument) ou une explicitation dans le monde des représentations (lobjet technique est alors une inscription sémiotique). [5. une pensée est une reformulation effectuée par la conscience sur le support corporel quest le corps propre. Penser, cest sécrire. Toute pensée, comprise comme reformulation a pour cible de réécriture le corps propre, et comme origine, le corps propre ou une inscription externe quelconque. 6. la conscience est un pur dynamisme intentionnel, source des ré-écritures considérées comme des interprétations et non comme un mécanisme.]

6 Séminaire Heudiasyc: 22 avril Trace informatique comme conteneur potentiel dexpérience / Genèse des M-Traces 1. Expérience « compilée » dans une base de connaissances / inférence logique 2. Expérience « atomisée » dans une base de cas / inférence analogique 3. Expérience inscrite dans les traces dinteractions avec lenvironnement (informatique) 4. Première généralisation : le modèle MUSETTE => Seconde généralisation : les M-Traces et la notion de système à base de traces

7 Séminaire Heudiasyc: 22 avril Raisonnement à partir de cas problème cible solution cible problème solution cible problème source solution source source

8 Séminaire Heudiasyc: 22 avril Raisonnement à partir de cas problème cible solution cible problème solution cible problème source solution source source F 1 ( 1, 2, 3, 1, 2, 3 ) F 2 ( 1, 2, 3, 1, 2, 3 )

9 Séminaire Heudiasyc: 22 avril Raisonnement à partir de cas Une base de cas (des épisodes de résolution de problème) Une base de connaissances / cas et la façon de les réutilise Ontologie des descripteurs de cas Structure dun cas Connaissances dadaptation/remémoration pour la réutilisation Un moteur de raisonnement analogique Un système de résolution de problème « apprenant »

10 Séminaire Heudiasyc: 22 avril Limitations… Nécessité dune « cristallisation » de lexpérience en structures de cas Exploitation comme processus de remémoration, mais pas deffet de « mémoire » en tant que processus. Nécessité de disposer dune modélisation a priori importante et normalisante Nécessité de définition de « contextes » pré-établis Capacités limitées daccompagnement de la construction de connaissances Application impossible à des problèmes « mal posés »…

11 Séminaire Heudiasyc: 22 avril Raisonnement à partir de lexpérience tracée Trace dinteraction Base de traces Signature dépisode

12 Séminaire Heudiasyc: 22 avril Raisonnement à partir de lexpérience tracée Trace dinteraction Base de traces Signature dépisode

13 Séminaire Heudiasyc: 22 avril Raisonnement à partir de lexpérience tracée…

14 Séminaire Heudiasyc: 22 avril Traces ? Hypothèses retenues Lactivité cible de raisonnement est médiée par lenvironnement informatique La trace est volontaire et attendue Pour un observateur analyste Pour lutilisateur en situation dusage réflexif Pour un groupe en situation dactivité collective La trace est un objet informatique tout à la fois: Support à la construction de connaissances (modèles) individuelles (réflexivité) collectives (confrontation) Support à la résolution de problème par réutilisation de lexpérience

15 Séminaire Heudiasyc: 22 avril Lobjet trace ? Système à base de traces ? Objet informatique : Modélisation / invariants -> Trace modélisée (M-Trace) Opérations spécifique -> transformations de trace Système à base de trace : Stocker, gérer, organiser les M-traces Réaliser des requêtes de transformation

16 Séminaire Heudiasyc: 22 avril Collecte de traces : M-Trace première

17 Séminaire Heudiasyc: 22 avril Modèle de Trace Transformations de M-Traces

18 Séminaire Heudiasyc: 22 avril Système de visualisation : ensemble des techniques de présentation des traces selon une ligne de temps Visualisation de trace Abstract Visualisation de M-Traces

19 Séminaire Heudiasyc: 22 avril Notion de modèle de Trace Modèle de trace Ensemble de concepts et de relations types qui sinstancient dans la trace Pourquoi un modèle Implicite vs Explicite Post activité décrire les traces résiduelles des systèmes informatiques (Fichiers log) Pré et post activité de traçage Décrire, Spécifier et conceptualiser les traces quon veut avoir et obtenir M-trace = Trace + Modèle

20 Séminaire Heudiasyc: 22 avril Domaine temporel / contraint lextension temporelle dune trace

21 Séminaire Heudiasyc: 22 avril Modèle de Trace

22 Séminaire Heudiasyc: 22 avril Trace Modélisée

23 Séminaire Heudiasyc: 22 avril Action -type Objet -id -Nom Relation Type Relation Temporelle Relations Types r Classe dobservés instanciation Modèle de trace Classes Types c Une trace Obs 1 - Ouvrir 10:24:03 obs3 -Fermer Obs 13 - Copier 10:26:1010:26:12 10:29:42 Obs 2 - D001 - Knowledge Management.doc Obs 11 - D Rewriting Queries.html Relation Structurelle Relations Domaine Temporel

24 Séminaire Heudiasyc: 22 avril Action -type Objet -id -Nom Relation Type Relation Temporelle Relations Types r Classe dobservés instanciation Modèle de trace Classes Types c Une trace Obs 1obs3 -Local Obs 13 - Ouvrir Obs 2 - D001 - XMLDocument - Knowledge Management.xml Obs 11 - D Component - Rewriting Relation Structurelle Relations Domaine Temporel Document -titre Composant -Nom CopierExécuter -Mode Observé Obs415 - XMLTransform obs25 -Distant 10:24:03 10:26:1010:26:12 10:33:4010:24:03 obs4 -ID3 -PdfDocument -Visualisation.pdf 10:29:42

25 Séminaire Heudiasyc: 22 avril Action -type Objet -id -Nom Relation Type Relation Temporelle Relations Types r Classe dobservés instanciation Modèle de trace Classes Types c Une trace Obs 1obs3 -Local Obs 13 - Ouvrir Obs 2 - D001 - XMLDocument - Knowledge Management.xml Obs 11 - D Component - Rewriting Relation Structurelle Relations Domaine Temporel Document -titre Composant -Nom CopierExécuter -Mode Observé Obs415 - XMLTransform obs25 -Distant 10:24:03 10:26:1010:26:12 10:33:4010:24:03 obs4 -ID3 -PdfDocument -Visualisation.pdf 10:29:42 0..n 1

26 Séminaire Heudiasyc: 22 avril Traitement permettant d'effectuer une ou plusieurs opérations sur une trace en entrée et dont le résultat de transformation est une nouvelle trace Trace transformée Les transformations peuvent être manuelles (mais explicites) ou automatiques. Les transformations (identifiées) peuvent être – Sélection – Fusion selon les domaines temporels – Réécriture de motifs Transformations

27 Séminaire Heudiasyc: 22 avril Sélectionner les observés de la trace qui répondent à certains critères – Éliminer les observés « bruit » dans la trace – Simplifier la lecture de la trace Recherche de motifs/patron (pattern matching) – Exemple trouver tous les observés « Action » ayant lattribut « Type = Copier » – Besoin dune notation pour décrire ces patrons – Besoin dun algorithme pour extraire les motifs dobservés vérifiant les patrons Sélection 1/4

28 Séminaire Heudiasyc: 22 avril Représentation du patron – Les éléments du modèle sert de langage (alphabet) pour la description des patrons Les classes dobservés et les relations types – Exemple : Patron Structurel (Classe; Relation Type; Classe) (Action.Type=Copier - R - Objet) Modèle Temps Action -Type Objet -id -Nom R id1 Document id1 Document Copier Ouvrir Copier Id2 Page Web Id2 Page Web id3 Message id3 Message Envoyer Id2 Page Web Id2 Page Web id1 Document id1 Document Copier Sélection 2/4

29 Séminaire Heudiasyc: 22 avril Représentation du patron – Patron Temporel (Classe; Relation Temporelle ;Classe) (Copier ; Objet ; Envoyer) ou plus précisément (Copier Before Objet Before Envoyer) Modèle Temps Action -Type Objet -id -Nom R id1 Document id1 Document Copier Ouvrir Copier Id2 Page Web Id2 Page Web id3 Message id3 Message Envoyer Id2 Page Web Id2 Page Web id1 Document id1 Document Copier Envoyer Sélection 3/4

30 Séminaire Heudiasyc: 22 avril La description dun patron peut exprimer alternatives, répétitions, « jokers », etc. – « | » représentant les alternatives. (Copier;Objet)|(Envoyer;Objet) signifie (Copier;Objet) ou (Envoyer;Objet) Exemple (Copier|Couper;Coller);Document matche avec – Copier;Document ou Couper;Coller;Document. – « * » permet la répétition (0 plusieurs fois). Copier;Objet* matche avec {Copier}, {Copier;Document} {Copier;Document;Document} … Ouvrir;(Modifier;Objet)* matche avec {Ouvrir}, {Ouvrir;Modifier;Document}, {Ouvrir;Modifier;Document} {Ouvrir;Modifier;Text;Modifier;Document} … – « + » permet 1 ou plusieurs répétitions. Copier;Objet+ matche avec {Copier;Document} {Copier;Document;Document} – « ? » matche nimport quel observé. Copier?Objet matche avec {Copier;Document} {Copier;Text;Document}{Copier;coller;modifier;Document}... – … Sélection 4/4 + expression régulière

31 Séminaire Heudiasyc: 22 avril – Représentation du patron Temporelle (Classe; Relation Temporelle ;Classe) est dépendante du domaine temporel de la trace. Cas instant Relations temporelles peuvent être {Before, After} Cas intervalle Relations temporelles peuvent être {Before, After, Between, Meet, …} Le cas hybide (Instants + intervalles + domaine ordonné) – Dans le cas général, les expressions régulières Peuvent être représentées par un réseau ou les nœuds représentent les états et les connections représentent les transitions entre eux. Les nœuds dans notre algorithme capture létat dans lequel certains observés ont été appariés avec succès. Ce réseau se réfère à un automate à états finis (Stephen Kleene). – En particulier, il sagit dun automate à états finis non déterministe nécessitant le choix de nœuds également possibles à explorer. Nécessité de gérer les erreurs (retour arrière par exemple). Remarques / opérations de sélection

32 Séminaire Heudiasyc: 22 avril Un motif est lensemble des observés correspondant à un patron – Plusieurs motifs peuvent correspondre à un patron Selon algorithme La réécriture de motifs permet de remplacer les motifs reconnus par de nouveaux observés (modèles de traces différents) Verrous – Règles de réécriture Nouvel Observé Séquence appariée correspondant au patron Prendre en compte les propriétés des éléments réécrits Réécriture de motifs vs agrégation des motifs réécrits – Indécidabilité théorique de la terminaison dun système de réécriture Réécriture de Motifs

33 Séminaire Heudiasyc: 22 avril modifier Réécriture – Document Objet.nom = « Document » – Document modifié Document;Modifier Modèle Temps Action -Type Objet -id -Nom R id1 Document id1 Document Ouvrir Copier Id2 Page Web Id2 Page Web id3 Message id3 Message Envoyer Id2 Page Web Id2 Page Web id1 Document id1 Document Document édité Document Document modifié

34 Séminaire Heudiasyc: 22 avril Comment développer et implémenter un Framework pour les SBT ? Verrous Techniques Développement et Implémentation du Système ATER Le Framework ATER Lapplication ATER État davancement Réaliser un SBT ?

35 Séminaire Heudiasyc: 22 avril Choix / traces Trace dexécution dun programme / Trace dutilisation dun environnement A base dinstants, dintervalles ou ordonnées Niveau dabstraction des observés de la trace première… Notion de modèle de trace Simple (liste) vs Complexe (Graphe) Langages associés pour interroger et transformer des traces Différentes utilisations (Analyse, Assistance, etc.) Choix Techniques Collecte Interfaces de collecte Volume des données Sémantique des observés ? Framework informatique générique utilisable Embarqué au sein dapplications ? Comme un service ? Dans une chaîne doutils ? Réaliser un SBT : choix à faire…

36 Séminaire Heudiasyc: 22 avril Architecture retenue / EIAH

37 Séminaire Heudiasyc: 22 avril Système ATER = ATER Framework Informatique + ATER Application ATER (Atelier pour la gestion de Traces, leurs Exploitations et Représentations)

38 Séminaire Heudiasyc: 22 avril Collecte des traces brutes (dépendant de lapplication source) Langage de modélisation des traces Transformation des traces Persistance des traces, stockage Sécurisation des traces Requêtes sur les traces Visualisation des traces Les fonctions à assurer

39 Séminaire Heudiasyc: 22 avril Framework ATER Larchitecture retenue

40 Séminaire Heudiasyc: 22 avril Les technologies utilisées pour le développement – Langage Java – Plateforme Eclipse : application interopérable, extensible et réutilisable RCP (Rich Client Platform), GEF (Graphical Editing Framework), EMF (Eclipse Modeling Framework) – Framework ATER : description de traces et de modèles très hétérogènes OWL (Ontology Web Language) pour la modélisation de la trace et de son modèle Licence : ATER est Open Source sous licence LGPL Les outils de développement ATER

41 Séminaire Heudiasyc: 22 avril Package de collecte – Stockage en local et à distance (Apache Jackrabbit) – Construction du modèle de trace première Outils externes de création dontologies (Protégé, SWOOP, etc.) API OEDM (EMF Ontology Definition Metamodel) soutenue par Eclipse et IBM Editeur Graphique basé sur EMF et GMF (Eclipse Modeling Framework, Graphical Modeling Framework) – Construction de la trace première Import – Collecte en temps réel (acquisition) Services ATER 1/3

42 Séminaire Heudiasyc: 22 avril Package de gestion : – Des traces et modèle moyennant des métadonnées, descriptions – Des sources de traçage (notamment dans un objectif danalyse) Notion de catégorie/classe Relations Package de sécurité – Notion de « Propriétaire (Owner) » de la trace et du modèle de trace – Restrictions par « Groupe » « User » « Rôle » Package de transformation – Types de transformations Sélection – Filtre de sélection Réécriture de Patterns (Motifs) – Expression de patterns Fusion temporelle de m-traces Services ATER 2/3

43 Séminaire Heudiasyc: 22 avril Package de visualisation – Plugins de visualisation permettant la mise à jour des observés – Visualisation de plusieurs traces en synchronisation avec des source de traçage (notion de Player ou Rejoueur) Package de requêtage – Interface service dinterrogation À base de modèle de trace (au niveau des traces contraintes par ce modèle) Sur la base de traces (Full text ou sur les description des traces, leurs catégories, ressources, etc.) Services ATER 3/3

44 Séminaire Heudiasyc: 22 avril Gestion, Stockage, sécurité Collecte des m-traces – Import – Collecte en temps réel X Transformation X – Modèle de transformation Framework UI X – Service de transformation (Transformateur) X – Description et Calcul dindicateurs – Framework UI X – Interrogation X Trace Base de traces X Visualisation – Une visualisation classique – Visualisation de plusieurs traces, visualisation de traces avec source de traçage (i.e. vidéo) X – Éditeur graphique de modèle de traces (basé sur GMF ) Présentation du SBT Avancement (mars 2008)

45 Séminaire Heudiasyc: 22 avril ATER

46 Séminaire Heudiasyc: 22 avril ATER

47 Séminaire Heudiasyc: 22 avril

48 Séminaire Heudiasyc: 22 avril Quelques exemples dapplications Facilitateur de gestion de connaissances (gestion daffaires ANTECIM) Environnement pour lanalyse comportementale des conducteurs automobiles (INRETS) Facilitateur pour lapprentissage collaboratif en e- learning (e-Lycée)

49 Séminaire Heudiasyc: 22 avril Exemple 1 : Interface de gestion daffaires

50 Séminaire Heudiasyc: 22 avril Les modèles… Modèle de collecte

51 Séminaire Heudiasyc: 22 avril Exemple 2 Analyse dactivité dun conducteur automobile à partir de données comportementales chemnitz.de

52 Séminaire Heudiasyc: 22 avril La voiture

53 Séminaire Heudiasyc: 22 avril Abstraction par transformation de trace Eye_sequence_end: Eye_Ahead pendant plus de 0.9s Short_Left_Mirror_Glance: Séquence plus courte que 0.8s et incluant au moins un Eye_Left_Mirror

54 Séminaire Heudiasyc: 22 avril Règles dinférence La trace est représentée par un graphe (RDF) Les événements sont définis au sein dune ontologie (RDFS) Les règles sont définies par des requêtes (SPARQL)

55 Séminaire Heudiasyc: 22 avril Linterface analyste

56 Séminaire Heudiasyc: 22 avril Nouvelles signatures expliquées

57 Séminaire Heudiasyc: 22 avril Application cible Nombre croissant de systèmes tentant daméliorer le confort et la sécurité du conducteur Améliorer les effets bénéfiques des systèmes de advanced driver assistance systems (ADAS) et les in-vehicle information systems (IVIS) qui devraient réagir selon les situations de trafic naturellement selon les intentions du conducteur Exemple : nalerter le conducteur sur un franchissement de ligne que sil ne sagit pas dune action volontaire.

58 Séminaire Heudiasyc: 22 avril Sur simulateur

59 Séminaire Heudiasyc: 22 avril Exemple 3 Projet eLycée (-> ANR ITHACA) Collaboration eLycée - LIRIS eLycée : formation à la culture et la langue française aux élèves francophones scolarisés aux EU Volet informatique : traitement/visualisation interactive de traces réflexives en temps réel Volet sciences cognitives : étude de lapport des traces à lactivité dapprentissage humain (collaboratif) Objectifs Modéliser le plus génériquement possible la visualisation de traces Montrer le potentiel de la visualisation de traces pour rendre l'activité réflexive en lappliquant à eMediatheque

60 Séminaire Heudiasyc: 22 avril Implémente le concept de classe virtuelle Chat écrit/audio Activités collaboratives synchrones (tableau blanc, push tuteur, …. Interactions tracées et affichées Activité à dimension réflexive Plate-forme applicative : eMediatheque

61 Séminaire Heudiasyc: 22 avril Scénario dutilisation (2/2)

62 Séminaire Heudiasyc: 22 avril Enjeux, chantiers, partenaires SHS Enjeux : un couplage « Homme(s)-Environnement Informatique » « apprenant » -> plasticité, dynamisme des re-présentations Résonances théoriques en sciences cognitives : théorie de lactivité, enaction, émergence, constructivisme, action située Association aux processus dapprentissage automatique et dacquisition de connaissances « Trace informatique » nouvelle classe dobjet informatique avec ses structures, ses méthodes Chantiers (voir Théorie, modèles génériques de traces, architecture, noyau SBT, visualisation générique, opérateurs, algorithmes… et applications : EIAH (Perlea, Ambre, Geonote, ELycée, Moodle-traces, Ithaca1) Découverte, partage, réutilisation de connaissances : Procogec, Abstract, Ithaca2, EADS, IAKA, FRAKAS, EDF, SAP etc. Facilitateurs (Dassault, Oscar) / Handicaps (mal voyants, personnes âgées, etc.) [nouveau] Partenariats avec les SHS PPF Apprentice (INRP, ICAR, LIG, LIRIS, ELICO, LEPS,Syscom,LIESP) Projet « EIAH adaptatifs » du cluster région ISLE (Grenoble, Lyon, Saint- Etienne) Projet « Vieillissement » du cluster région « Handicap » (Grenoble, Lyon, Saint-Etienne)


Télécharger ppt "Alain Mille Laboratoire d'InfoRmatique en Image et Systèmes d'information Université de Lyon LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard."

Présentations similaires


Annonces Google