Exécution adaptative par observation et analyse de comportements

Présentation au sujet: "Exécution adaptative par observation et analyse de comportements"— Transcription de la présentation:

1 Exécution adaptative par observation et analyse de comportements
Application à des logiciels interactifs pour des enfants autistes Soutenance de thèse présentée par Karim SEHABA 7 décembre 2005 Laboratoire Informatique Image Interaction Exécution adaptative par observation et analyse de comportements

2 Corpus de comportements
Systèmes interactifs Objectif global Conception d’un système capable : identifier le comportement de l’utilisateur personnaliser les activités de l’application prendre en compte les consignes de l’expert Types d’interactivités Actions explicites : éléments de contrôle (clavier, souris, écran tactile, etc.) Actions implicites : expressions faciales, gestes, orientations du regard, etc. Corpus de comportements 2 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

3 Contexte général Système adaptatif Méthodologie
Directives Interaction Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Comportements de l’utilisateur Contrôle d’exécution Définition de l’application (l’expert) Personnalisation de l’application (l’expert) Méthodologie Exécution contrôlée (système) Analyse de la trace (l’expert) 3 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

4 Problématique scientifique
Système adaptatif Système adaptatif Directives Interaction Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Comportements de l’utilisateur Contrôle d’exécution Exécution adaptative 4 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

5 Problématique scientifique Analyse de comportement
Contrôle d’exécution Interaction Caractérisation du profil ? Contrôle d’exécution ? Utilisateur/Joueur Trace Analyse de comportement Expert Notion de comportement ? Représentation ? Identification ? 5 Exécution adaptative par observation et analyse de comportements

6 Analyse de comportements Architecture du système
Contributions Analyse de comportements Contrôle d’exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

7 Notion de comportement Niveaux d’analyse et point de vue
fatigue, stress, … Béhaviorisme comportements en réponse à des stimuli Cognitivisme représentation des variables internes de l’individu réponses cognitivisme behaviorisme stimuli Points communs lien fort entre comportement et stimuli observable en réponse à une stimulation Mais quelles sont les entités à observer ? où commence et où se termine un comportement ? quel est le niveau d’observation et d’analyse dans lequel on se place ? Niveaux d’analyse et point de vue 7 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

8 Comportement dans notre approche
Hypothèses les stimuli sont les objets de l’application (pictogrammes, musiques, images, etc.) l’identification du comportement est le résultat de l’analyse des actions dans un processus d’interprétation le processus d’interprétation est une instanciation de modèles par observation de différents éléments de base (appelés formes) Définition du comportement Réactions observables, à différents niveaux, en réponse à des stimulations. Réactions constituent des formes calculables à partir du flux d’évènements généré par les actions de l’utilisateur 8 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

9 Exécution adaptative par observation et analyse de comportements
Niveaux d’analyse Évènements Formes Comportements Exemple : clic de souris Exemple : trajectoire entre un objet en mouvement et la direction du regard Exemple : perception Niveau 1 Niveau 2 Niveau 3 9 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

10 Analyse par observation Environnement d’observation
Observateurs communicant via un environnement d’observation Évènements Formes Comportements <Forme1>, <Forme2>, … Flux d’évènements Comportement Environnement d’observation Niveau 1 Niveau 2 Niveau 3 Environnement d’observation structure partagée entre les différents observateurs Observateur connaissance de base permettant de donner des points de vue sur les formes 10 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

11 Fondements théoriques
Quelle est la relation entre formes et comportements ? Les « Affordances » (J. J. Gibson) la perception concerne les caractéristiques fournies aux observateurs les affordances constituent les caractéristiques faciales, la voix, la façon de bouger etc. [BM86] [MZ98] Les formes sont des « affordances » comportementales Comment exprimer les points de vue ? Les Frames (M. Minsky) ensemble des connaissances relatives à un objet, un concept ou une situation typique (frame (attribut1 (facette1.1, valeur1.1) (facette1.2, valeur1.2) ) Structure frame : liens d’héritages et d’instanciation attributs : propriétés de la structure facettes : modalités descriptives de l’attribut Les facettes des frames représentent les points de vue 11 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

12 Transitions entre les niveaux Environnement d’observation
Évènements Formes Comportements <Forme1>, <Forme2>, … Flux d’évènements Comportement Environnement d’observation Niveau 1 Niveau 2 Niveau 3 ? ? Quelle est la représentation des formes ? Quelle est la structure des observateurs ? Quel est le processus d’interprétation ? 12 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

13 Formalisation : forme Forme Exemple
Élément de base dans l’analyse de comportement <T id = ’%ID%’, attribut1 = ’valeur1’, ... ,attributN = ’valeurN’>... </T id = ’%ID%’>...<T id = ’%ID%’>...</T id = ’%ID%’> T : type utilisé pour la reconnaissance %ID% : clé unique dans l’environnement d’observation attribut, valeur : informations utilisables par les observateurs dans le processus d’interprétation Exemple <clic id=’1’, xpos = ’50’ , ypos = ’300’> <clic id=’1’> 13 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

14 Formalisation : observateur
Contexte description de la situation Point de vue action à appliquer sur l’environnement d’observation Contexte <Sorte-de> : <contexte> <Formes> : (frome1,forme2) <Contraintes contenu> : forme1  valeur1 forme2  forme3 <Contraintes relations> : <Contraintes profil> : Point de vue <Mode d’activation> : <réactif>/<proactif> <Procédure d’activation> : 14 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

15 Formalisation : observateur
Contexte Point de vue Composant Contexte sorte-de : désigne les contextes hérités formes : définissent la description du comportement contraintes : définissent les relations que les formes doivent vérifier Types de relations Types de contraintes Relation d’assignation () contenu de la forme Relation d’identification () même contenu pour les 2 parties Relation de prédicats relation logique Contrainte contenu relations entre les formes Exemple : posture de la tête  45° Contrainte relation relations entre les formes et les stimuli Exemple : Mouvement.boule orientation.regard Contrainte profil caractéristiques du profil de l’utilisateur 15 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

16 Formalisation : observateur
Contexte Point de vue Composant Point de vue Mode d’activation réactif : présence de certaines formes dans l’environnement proactif : attente des formes par d’autres observateurs Procédure d’action génération d’autres formes <clic id=’1’, xpos = ‘50’ , ypos = ‘300’> <\clic id=1> <clic_sur_objet id= ‘obj1’, couleur= ‘0000FF’, position =’(60,310)’, rayon = ‘20’ > <\clic_sur_objet id= ‘obj1’> 16 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

17 Formalisation : observateur
Contexte Point de vue Composant Point de vue Mode d’activation réactif : présence de certaines formes dans l’environnement proactif : attente des formes par d’autres observateurs Procédure d’action génération d’autres formes interprétation du comportement de l’utilisateur production d’un message pour l’utilisateur 16 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

18 Processus d’interprétation
Mise à jour des formes Sélection des observateurs Exécution des actions des observateurs Non Contexte totalement vérifié Mise en mémoire des formes manquantes Oui Déclenchement de la procédure d’action 17 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

19 Analyse de comportements Architecture du système
Contributions Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

20 Exécution adaptative par observation et analyse de comportements
Contrôle d’exécution Principe de contrôle production de scénario en fonction du profil et besoins observation des actions de l’utilisateur détection des incohérences déclenchement d’un nouvel épisode de raisonnement Capacités du modèle représentation de l’utilisateur représentation des connaissances processus de raisonnement Hypothèses application : ensemble d’objets munis de comportements activité : instance de l’application scénario : séquence d’activités 19 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

21 Modèles de contrôle « Storytelling » interactif
Système à base de connaissances utilisation des règles (état de l’environnement  action à exécuter) Système à base de procédures utilisation des procédures comme action Système de classeurs caractérisation de l’état par plusieurs attributs Avantages vérifications formelles adaptation à la réactivité du système Difficultés prédiction de l’état du système maintenance des règles adaptation de la scénarisation Approches mal adaptées pour une exécution adaptative « Storytelling » interactif Méthodes de collecte et de restitution des histoires comme vecteur de connaissances Interaction limitée pour les objets de l’application 20 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

22 Contrôle d’exécution à partir de cas
Représentation de l’utilisateur : profil Représentation des connaissances Processus de raisonnement

23 Profil de l’utilisateur Trajectoire des objets
L’utilisateur est caractérisé par un profil et des objectifs à atteindre informations générales compétences préférences histoire Nom : Prénom : Date de naissance : … <Perception-auditive, haut> <Perception-visuelle, bas> <Regard, moyen> <durée-session, 5 min> <couleur, vert> <son, jingle> Descripteur : <attribut, valeur> Agenda Trace d’exécution : animation graphique données statistiques Trajectoire des objets 22 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

24 Raisonnement à partir de cas
Problème Cas cible Base de cas Expérience1 Expérience2 … ExpérienceN Cas sources 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

25 Raisonnement à partir de cas
Problème Élaborer Cas cible Base de cas Connaissances générales 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

26 Raisonnement à partir de cas
Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Cas Cible Adapté, Évalué, Corrigé, Cas Cible adapté Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

27 Raisonnement à partir de cas
Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Adapter Cas Cible Adapté, Évalué, Corrigé Cas Cible adapté Réviser Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

28 Raisonnement à partir de cas
Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Mémoriser Adapter Cas Cible Adapté, Évalué, Corrigé Cas Cible adapté Réviser Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

29 Représentation des cas
Qu'est-ce qu'un cas ? Problème : contexte d’application [une séquence de descripteurs] Solution : scénario [une séquence d'activités] Descripteur : [attribut, valeur] compétences et préférences <Perception-auditive, haut> <durée-session, 5 min> objectifs Organisation de la base de cas mémoire dynamique de Schank cas dans un épisode généralisé (EG) Un EG : Norme Cas Index EG1 Norme : <type, débutant> <regard, moyen> <couleur, vert> Index I1: <perception> haut (C1) bas (C2) I2: <attention> haut (EG1) bas (EG2) C2 <perception, bas> Contexte d’application : <type, débutant> Scénario : EG2 C1 <perception, haut> 24 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

30 Processus de raisonnement
Remémoration Adaptation Mémorisation Filtre 1 : maximise la similarité entre le cas source et cible Filtre 2 : minimise l'effort d'adaptation du cas source au cas cible C : cas source S : cas cible D: ensemble des descripteurs du cas source W : coefficient d’importance du descripteur   : similarité entre le descripteur d de C et S 25 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

31 Processus de raisonnement
Remémoration Adaptation Mémorisation Globale Locale Globale remplacer des sous-scénarios par d'autres mieux adaptés Locale régler les comportements des stimuli 26 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

32 Processus de raisonnement
Remémoration Adaptation Mémorisation Globale Évaluation Locale Sauvegarde Évaluation évolution du profil évolution de la base de cas Sauvegarde choix d'un EG qui contiendra le nouveau cas enchaînement du nouveau cas à l'EG généralisation des cas/EG. 27 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

33 Analyse de comportements Architecture du système
Contributions Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

34 Contexte d’application Environnement d’observation
Les agents du système Base de cas Trace d’exécution Scénario Raisonnement Contexte d’application Base de profils Décision Objectifs Exécution Comportements Activité adaptée Système de vision (FaceLab) <Forme1>, <Forme2>, … Vision Action Action Environnement d’observation Action Observation Utilisateur/Joueur Interface de jeu 29 Exécution adaptative par observation et analyse de comportements

35 Prototype 1 2 3 4 5 Serveur Scénario adapté Login Chargement de profil
Raisonnement Base de cas Base des profils Décision Observation Scénario adapté Login Chargement de profil Profil + buts Instanciation Instanciation Mémorisation 1 S’identifier Profil Cas cible Rapport de raisonnement Scénario d’activités Agent de décision Sauvegarde de la trace 2 Définir les objectifs Agent de d’observation Nouveau cas Machine utilisateur 3 Définir les seuils Exécution du scénario 4 Lancer l’exécution Valider la mémorisation 5 Fenêtres Fiche utilisateur Résultats de raisonnement Activité Mémorisation 30 Exécution adaptative par observation et analyse de comportements

36 Domaines d’application Application : Projet Autisme
Jeux vidéo Exécution adaptative des personnages du jeu Logiciels éducatifs Gestion des actions imprévisibles Navigation sur le web Adaptation des opérations à l’utilisateur Application : Projet Autisme 31 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

37 Projet Autisme Cadre Autisme
service de pédopsychiatrie de l’hôpital de La Rochelle (20 d’expérience dans l’approche thérapeutique) jeux éducatifs destinés à des enfants autistes Autisme difficultés dans la relation sociale difficultés dans la communication indifférence de comportement (rupture, isolement, etc.) Capacité d’interaction et approche adaptative qui tient compte des consignes de médecin(l’expert) 32 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

38 Approche : Jeux éducatifs
Caractérisation des jeux décor statique objets (stimuli) munis d’un comportement règles du jeu objectifs à atteindre Types d’utilisateurs Tuteur assistance de l'enfant dans les tâches de l'activité suivi/contrôle de l'interaction entre l'enfant et le scénario Expert définition du jeu caractérisation des activités associées au jeu définition des cas en adaptant certains scénarios à certains profils Joueur profil et objectifs éducatifs à atteindre Coucou caché 33 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

39 Exécution adaptative par observation et analyse de comportements
Expérimentations Étude d’un cas Xavier Date de naissance : 28/11/99 Évaluation antérieure évitement du regard évitement du changement évitement du contact Évaluation du janvier 2004 maintien du contact mots associés à des gestes Évaluation du 8 octobre 2004 meilleure communication par le regard meilleure tenue du corps objets et situations mieux reconnus Évaluation du 30 Septembre 2005 manifestation d’une attention réussite dans le domaine du graphisme et du langage 34 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

40 Analyse de comportements
Résultats de la thèse Méthode d’analyse de comportement par observation Contrôle d’exécution à partir de cas Méthodologie appliquée au domaine expérimentale Première version d’un prototype pour le Projet Autisme Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution 35 Exécution adaptative par observation et analyse de comportements

41 Exécution adaptative par observation et analyse de comportements
Conclusion Domaine pluridisciplinaire sciences cognitives modélisation des connaissances méthodologie éducative pour des enfants autistes Difficultés formalisation des observateurs processus d’interprétation adaptation de cas (globale et locale) Avantages personnalisation de l’application à l’utilisateur évaluation de la pertinence de l’application évolutivité et interactivité des logiciels compréhension du comportement de l’utilisateur 36 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

42 Exécution adaptative par observation et analyse de comportements
Perspectives Recherche Risque d’incohérence vérification des propriétés du scénario Plus de formalisation des cas utilisation des logiques de descriptions étape d’élaboration des cas Mises à jour dynamique construction dynamique des objectifs modification dynamique du profil Application « Autisme » Peu de comportements considérés validation du modèle avec d’autres comportements validation de l’efficacité sur le terrain Applications à d’autres domaines jeux vidéo interaction sociale entre robot et être humain 37 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

43 Exécution adaptative par observation et analyse de comportements
Application à des logiciels interactifs pour des enfants autistes Exécution adaptative par observation et analyse de comportements