Exécution adaptative par observation et analyse de comportements Application à des logiciels interactifs pour des enfants autistes Soutenance de thèse présentée par Karim SEHABA 7 décembre 2005 Laboratoire Informatique Image Interaction Exécution adaptative par observation et analyse de comportements

Corpus de comportements Systèmes interactifs Objectif global Conception d’un système capable : identifier le comportement de l’utilisateur personnaliser les activités de l’application prendre en compte les consignes de l’expert Types d’interactivités Actions explicites : éléments de contrôle (clavier, souris, écran tactile, etc.) Actions implicites : expressions faciales, gestes, orientations du regard, etc. Corpus de comportements 2 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Contexte général Système adaptatif Méthodologie Directives Interaction Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Comportements de l’utilisateur Contrôle d’exécution Définition de l’application (l’expert) Personnalisation de l’application (l’expert) Méthodologie Exécution contrôlée (système) Analyse de la trace (l’expert) 3 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Problématique scientifique Système adaptatif Système adaptatif Directives Interaction Scénario Profil de l’utilisateur Utilisateur/Joueur Trace Expert Comportements de l’utilisateur Contrôle d’exécution Exécution adaptative 4 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Problématique scientifique Analyse de comportement Contrôle d’exécution Interaction Caractérisation du profil ? Contrôle d’exécution ? Utilisateur/Joueur Trace Analyse de comportement Expert Notion de comportement ? Représentation ? Identification ? 5 Exécution adaptative par observation et analyse de comportements

Analyse de comportements Architecture du système Contributions Analyse de comportements Contrôle d’exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

Notion de comportement Niveaux d’analyse et point de vue fatigue, stress, … Béhaviorisme comportements en réponse à des stimuli Cognitivisme représentation des variables internes de l’individu réponses cognitivisme behaviorisme stimuli Points communs lien fort entre comportement et stimuli observable en réponse à une stimulation Mais quelles sont les entités à observer ? où commence et où se termine un comportement ? quel est le niveau d’observation et d’analyse dans lequel on se place ? Niveaux d’analyse et point de vue 7 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Comportement dans notre approche Hypothèses les stimuli sont les objets de l’application (pictogrammes, musiques, images, etc.) l’identification du comportement est le résultat de l’analyse des actions dans un processus d’interprétation le processus d’interprétation est une instanciation de modèles par observation de différents éléments de base (appelés formes) Définition du comportement Réactions observables, à différents niveaux, en réponse à des stimulations. Réactions constituent des formes calculables à partir du flux d’évènements généré par les actions de l’utilisateur 8 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Niveaux d’analyse Évènements Formes Comportements Exemple : clic de souris Exemple : trajectoire entre un objet en mouvement et la direction du regard Exemple : perception Niveau 1 Niveau 2 Niveau 3 9 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Analyse par observation Environnement d’observation Observateurs communicant via un environnement d’observation Évènements Formes Comportements <Forme1>, <Forme2>, … Flux d’évènements Comportement Environnement d’observation Niveau 1 Niveau 2 Niveau 3 Environnement d’observation structure partagée entre les différents observateurs Observateur connaissance de base permettant de donner des points de vue sur les formes 10 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Fondements théoriques Quelle est la relation entre formes et comportements ? Les « Affordances » (J. J. Gibson) la perception concerne les caractéristiques fournies aux observateurs les affordances constituent les caractéristiques faciales, la voix, la façon de bouger etc. [BM86] [MZ98] Les formes sont des « affordances » comportementales Comment exprimer les points de vue ? Les Frames (M. Minsky) ensemble des connaissances relatives à un objet, un concept ou une situation typique (frame (attribut1 (facette1.1, valeur1.1) (facette1.2, valeur1.2) ) Structure frame : liens d’héritages et d’instanciation attributs : propriétés de la structure facettes : modalités descriptives de l’attribut Les facettes des frames représentent les points de vue 11 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Transitions entre les niveaux Environnement d’observation Évènements Formes Comportements <Forme1>, <Forme2>, … Flux d’évènements Comportement Environnement d’observation Niveau 1 Niveau 2 Niveau 3 ? ? Quelle est la représentation des formes ? Quelle est la structure des observateurs ? Quel est le processus d’interprétation ? 12 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Formalisation : forme Forme Exemple Élément de base dans l’analyse de comportement <T id = ’%ID%’, attribut1 = ’valeur1’, ... ,attributN = ’valeurN’>... </T id = ’%ID%’>...<T id = ’%ID%’>...</T id = ’%ID%’> T : type utilisé pour la reconnaissance %ID% : clé unique dans l’environnement d’observation attribut, valeur : informations utilisables par les observateurs dans le processus d’interprétation Exemple <clic id=’1’, xpos = ’50’ , ypos = ’300’> <clic id=’1’> 13 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Formalisation : observateur Contexte description de la situation Point de vue action à appliquer sur l’environnement d’observation Contexte <Sorte-de> : <contexte> <Formes> : (frome1,forme2) <Contraintes contenu> : forme1  valeur1 forme2  forme3 <Contraintes relations> : <Contraintes profil> : Point de vue <Mode d’activation> : <réactif>/<proactif> <Procédure d’activation> : 14 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Formalisation : observateur Contexte Point de vue Composant Contexte sorte-de : désigne les contextes hérités formes : définissent la description du comportement contraintes : définissent les relations que les formes doivent vérifier Types de relations Types de contraintes Relation d’assignation () contenu de la forme Relation d’identification () même contenu pour les 2 parties Relation de prédicats relation logique Contrainte contenu relations entre les formes Exemple : posture de la tête  45° Contrainte relation relations entre les formes et les stimuli Exemple : Mouvement.boule orientation.regard Contrainte profil caractéristiques du profil de l’utilisateur 15 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Formalisation : observateur Contexte Point de vue Composant Point de vue Mode d’activation réactif : présence de certaines formes dans l’environnement proactif : attente des formes par d’autres observateurs Procédure d’action génération d’autres formes <clic id=’1’, xpos = ‘50’ , ypos = ‘300’> <\clic id=1> <clic_sur_objet id= ‘obj1’, couleur= ‘0000FF’, position =’(60,310)’, rayon = ‘20’ > <\clic_sur_objet id= ‘obj1’> 16 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Formalisation : observateur Contexte Point de vue Composant Point de vue Mode d’activation réactif : présence de certaines formes dans l’environnement proactif : attente des formes par d’autres observateurs Procédure d’action génération d’autres formes interprétation du comportement de l’utilisateur production d’un message pour l’utilisateur 16 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Processus d’interprétation Mise à jour des formes Sélection des observateurs Exécution des actions des observateurs Non Contexte totalement vérifié Mise en mémoire des formes manquantes Oui Déclenchement de la procédure d’action 17 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Analyse de comportements Architecture du système Contributions Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Contrôle d’exécution Principe de contrôle production de scénario en fonction du profil et besoins observation des actions de l’utilisateur détection des incohérences déclenchement d’un nouvel épisode de raisonnement Capacités du modèle représentation de l’utilisateur représentation des connaissances processus de raisonnement Hypothèses application : ensemble d’objets munis de comportements activité : instance de l’application scénario : séquence d’activités 19 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Modèles de contrôle « Storytelling » interactif Système à base de connaissances utilisation des règles (état de l’environnement  action à exécuter) Système à base de procédures utilisation des procédures comme action Système de classeurs caractérisation de l’état par plusieurs attributs Avantages vérifications formelles adaptation à la réactivité du système Difficultés prédiction de l’état du système maintenance des règles adaptation de la scénarisation Approches mal adaptées pour une exécution adaptative « Storytelling » interactif Méthodes de collecte et de restitution des histoires comme vecteur de connaissances Interaction limitée pour les objets de l’application 20 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Contrôle d’exécution à partir de cas Représentation de l’utilisateur : profil Représentation des connaissances Processus de raisonnement

Profil de l’utilisateur Trajectoire des objets L’utilisateur est caractérisé par un profil et des objectifs à atteindre informations générales compétences préférences histoire Nom : Prénom : Date de naissance : … <Perception-auditive, haut> <Perception-visuelle, bas> <Regard, moyen> <durée-session, 5 min> <couleur, vert> <son, jingle> Descripteur : <attribut, valeur> Agenda Trace d’exécution : animation graphique données statistiques Trajectoire des objets 22 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Raisonnement à partir de cas Problème Cas cible Base de cas Expérience1 Expérience2 … ExpérienceN Cas sources 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Raisonnement à partir de cas Problème Élaborer Cas cible Base de cas Connaissances générales 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Raisonnement à partir de cas Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Cas Cible Adapté, Évalué, Corrigé, Cas Cible adapté Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Raisonnement à partir de cas Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Adapter Cas Cible Adapté, Évalué, Corrigé Cas Cible adapté Réviser Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Raisonnement à partir de cas Problème Élaborer Cas cible Retrouver Base de cas Cas appris Cas cible Cas source Connaissances générales Mémoriser Adapter Cas Cible Adapté, Évalué, Corrigé Cas Cible adapté Réviser Solution confirmée 23 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Représentation des cas Qu'est-ce qu'un cas ? Problème : contexte d’application [une séquence de descripteurs] Solution : scénario [une séquence d'activités] Descripteur : [attribut, valeur] compétences et préférences <Perception-auditive, haut> <durée-session, 5 min> objectifs Organisation de la base de cas mémoire dynamique de Schank cas dans un épisode généralisé (EG) Un EG : Norme Cas Index EG1 Norme : <type, débutant> <regard, moyen> <couleur, vert> Index I1: <perception> haut (C1) bas (C2) I2: <attention> haut (EG1) bas (EG2) C2 <perception, bas> Contexte d’application : <type, débutant> Scénario : EG2 C1 <perception, haut> 24 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Processus de raisonnement Remémoration Adaptation Mémorisation Filtre 1 : maximise la similarité entre le cas source et cible Filtre 2 : minimise l'effort d'adaptation du cas source au cas cible C : cas source S : cas cible D: ensemble des descripteurs du cas source W : coefficient d’importance du descripteur   : similarité entre le descripteur d de C et S 25 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Processus de raisonnement Remémoration Adaptation Mémorisation Globale Locale Globale remplacer des sous-scénarios par d'autres mieux adaptés Locale régler les comportements des stimuli 26 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Processus de raisonnement Remémoration Adaptation Mémorisation Globale Évaluation Locale Sauvegarde Évaluation évolution du profil évolution de la base de cas Sauvegarde choix d'un EG qui contiendra le nouveau cas enchaînement du nouveau cas à l'EG généralisation des cas/EG. 27 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Analyse de comportements Architecture du système Contributions Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Principe de contrôle Modèles de contrôle Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution Architecture du système Exécution adaptative par observation et analyse de comportements

Contexte d’application Environnement d’observation Les agents du système Base de cas Trace d’exécution Scénario Raisonnement Contexte d’application Base de profils Décision Objectifs Exécution Comportements Activité adaptée Système de vision (FaceLab) <Forme1>, <Forme2>, … Vision Action Action Environnement d’observation Action Observation Utilisateur/Joueur Interface de jeu 29 Exécution adaptative par observation et analyse de comportements

Prototype 1 2 3 4 5 Serveur Scénario adapté Login Chargement de profil Raisonnement Base de cas Base des profils Décision Observation Scénario adapté Login Chargement de profil Profil + buts Instanciation Instanciation Mémorisation 1 S’identifier Profil Cas cible Rapport de raisonnement Scénario d’activités Agent de décision Sauvegarde de la trace 2 Définir les objectifs Agent de d’observation Nouveau cas Machine utilisateur 3 Définir les seuils Exécution du scénario 4 Lancer l’exécution Valider la mémorisation 5 Fenêtres Fiche utilisateur Résultats de raisonnement Activité Mémorisation 30 Exécution adaptative par observation et analyse de comportements

Domaines d’application Application : Projet Autisme Jeux vidéo Exécution adaptative des personnages du jeu Logiciels éducatifs Gestion des actions imprévisibles Navigation sur le web Adaptation des opérations à l’utilisateur Application : Projet Autisme 31 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Projet Autisme Cadre Autisme service de pédopsychiatrie de l’hôpital de La Rochelle (20 d’expérience dans l’approche thérapeutique) jeux éducatifs destinés à des enfants autistes Autisme difficultés dans la relation sociale difficultés dans la communication indifférence de comportement (rupture, isolement, etc.) Capacité d’interaction et approche adaptative qui tient compte des consignes de médecin(l’expert) 32 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Approche : Jeux éducatifs Caractérisation des jeux décor statique objets (stimuli) munis d’un comportement règles du jeu objectifs à atteindre Types d’utilisateurs Tuteur assistance de l'enfant dans les tâches de l'activité suivi/contrôle de l'interaction entre l'enfant et le scénario Expert définition du jeu caractérisation des activités associées au jeu définition des cas en adaptant certains scénarios à certains profils Joueur profil et objectifs éducatifs à atteindre Coucou caché 33 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Expérimentations Étude d’un cas Xavier Date de naissance : 28/11/99 Évaluation antérieure évitement du regard évitement du changement évitement du contact Évaluation du janvier 2004 maintien du contact mots associés à des gestes Évaluation du 8 octobre 2004 meilleure communication par le regard meilleure tenue du corps objets et situations mieux reconnus Évaluation du 30 Septembre 2005 manifestation d’une attention réussite dans le domaine du graphisme et du langage 34 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Analyse de comportements Résultats de la thèse Méthode d’analyse de comportement par observation Contrôle d’exécution à partir de cas Méthodologie appliquée au domaine expérimentale Première version d’un prototype pour le Projet Autisme Analyse de comportements Contrôle Exécution Notion de comportement Analyse de comportement par observation Les niveaux d’analyse Fondements théoriques Formalisation Contrôle d’exécution à partir de cas Profil de l’utilisateur Le raisonnement à partir de cas Représentation des cas Processus de raisonnement Agents observateurs Agent de décision Agent d’exécution 35 Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Conclusion Domaine pluridisciplinaire sciences cognitives modélisation des connaissances méthodologie éducative pour des enfants autistes Difficultés formalisation des observateurs processus d’interprétation adaptation de cas (globale et locale) Avantages personnalisation de l’application à l’utilisateur évaluation de la pertinence de l’application évolutivité et interactivité des logiciels compréhension du comportement de l’utilisateur 36 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Perspectives Recherche Risque d’incohérence vérification des propriétés du scénario Plus de formalisation des cas utilisation des logiques de descriptions étape d’élaboration des cas Mises à jour dynamique construction dynamique des objectifs modification dynamique du profil Application « Autisme » Peu de comportements considérés validation du modèle avec d’autres comportements validation de l’efficacité sur le terrain Applications à d’autres domaines jeux vidéo interaction sociale entre robot et être humain 37 Exécution adaptative par observation et analyse de comportements Exécution adaptative par observation et analyse de comportements

Exécution adaptative par observation et analyse de comportements Application à des logiciels interactifs pour des enfants autistes Exécution adaptative par observation et analyse de comportements