Exécution adaptative par observation et analyse de comportements

Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Pascal Estraillier François Picard Exécution adaptative par observation et analyse de comportements

Image & Behavior Image and Sequence of Analytic images 12 year old university 60 Researchers in C.S. 11 Tenured Professors   4 Professors 19 Assistant Professors 26 Ph.D. students Image & Behavior Image and Sequence of Analytic images and Interpretation of Content Modelling, Treatment, Retrieval of Complex Information Agent Paradigm and Architecture for Interactive Narration Approach Formal Specification and Validation Interactive Master “Gaming and Media” E.R.T “Numerical Interactivity”

Domaines d’application Jeux vidéo Exécution adaptative des personnages du jeu Logiciels éducatifs Situations d’apprentissage Gestion des actions imprévisibles Simulation simulation de situations complexes / systèmes spatio-temporels Régulation : Circulation urbaine Observation, étude : vie artificielle, Serious Game Niveau stratégique Niveau tactique Niveau Opérationnel Robotique - jouets Exécution adaptative par observation et analyse de comportements

L’humain est dans la boucle Activité Interactive Concepteur (définition, évaluation de la pertinence) -->domaine d’expertise Joueur(s?) (utilisation) --> profil (préférences, compétences) [Spectateur (observation)] Temps réel Images animées, scènes (capture, suivi) Interaction joueurs , entités Présupposé de comportements Prise en compte du contexte à chaque instant Adaptativité à l’exécution Feedback Concepteur/Joueur/Spectateur L’humain est dans la boucle

Contrôle adaptatif de l’interactivité et de l’exécution en fonction du comportement du joueur, en respectant les consignes du concepteur en tenant compte de l’état des ressources Cahier des charges : Interaction non invasive - gestion de l’implicite Pouvoir analyser en temps réel, de manière individualisée, le comportement d’un joueur Continuer le jeu avec la suite la plus adaptée en fonction du contexte Le concepteur doit pouvoir mesurer la pertinence de son jeu

Contrôle adaptatif 3 2 Trame scénaristique 1 4 5 6 Traces

Cycle acquisition / traitement / visualisation Capture Image et son Numérisation son Analyse de scène Exécution adaptative par observation et analyse de comportements

Cycle acquisition / traitement / visualisation Exécution adaptative Cycle acquisition / traitement / visualisation Joueurs PNJ trace Concepteur Capture image directives interactions Contrôles Scénario prévu Comportements propriétés Scénario observé analyse Moteur de l’application Exécution adaptative par observation et analyse de comportements

Exécution adaptative d’applications interactives [navigation] entre Situations (impliquant personnages et ressources munis de leurs interactions) Concevoir l’activité interactive Définir (utiliser) une Ontologie Construire une trame scénaristique Définir (utiliser) un système auteur Valider la conception Concevoir l’environnement d’exécution Architecture générale (Données, Traitements) – gabarits,réutilisation Acquisition/Capture – explicite, implicite Gestion des interactions Présentation/Réalité virtuelle Exécuter (adaptativité - temps-réel) Observer, interpréter, décider et évaluer pour adapter Méthodes, Modèles, Outils // Données, Traitements

Méthodologie & cycle de vie Définition de l’activité (l’auteur) Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales Profils types des joueurs Propriétés Principe des observations, production des traces Personnalisation Acquisition de comportements (le joueur) Observation et mémorisation des comportements Personnalisation (l’auteur) Profil individualisé Directives et traces individualisées Implantation sur une architecture système Exécution contrôlée Génération des traces + configuration des observations Evaluation en temps réel des objectifs (choix des directives) Contexte (état du jeu), comportement du joueur, objectifs de l’auteur , respect des propriétés Reporting (Exploitation des traces) Pertinence de la personnalisation --> 1.b Adéquation du jeu --> 1 par rapport aux objectifs (éléments du jeu, directives) , au parcours et au comportement

Problématique d’interprétation Intelligence Artificielle Webcam Clavier Ecran tactile … Exécution Pas-à-pas Mouvement Geste Comportement Exécution Contrôlée Acquisition Exécution adaptative par observation et analyse de comportements

Exécution adaptative Une exécution : un chemin dans un graphe (fini ?) Initialisation Tant que exécution non finie décider_action (état-espéré) Tant que situation non finie configurer_observation (action) exécuter_action (action) décider_état-observé évaluer_distance (état-espéré, état-observé) transition_situation Action Observation État espéré distance État observé d1 d3 d2 Une exécution : un chemin dans un graphe (fini ?) un arc (arête) du graphe : une Action Chaque nœud : un état du système Mot d’état : <R1.état, R2.état, ….., Rn.état> Exécution adaptative par observation et analyse de comportements

Conception et Formalisation de l’activité interactive Nouvelle forme de structuration de l’activité interactive (trames scénaristiques, situations, directives des concepteurs associés aux différents comportements de l’utilisateur, caractérisation de contexte) Méthodologie – Langage d’interaction concepteur - Editeur/Interface Utilisateur adaptée. Formalisation des « directives » du concepteur et de leurs conditions d’application. Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario) ->méthodes formelles (réseaux de Petri, logique linéaire, bigraphes et éléments de la théorie des jeux) pour la vérification des scénarios à partir de propriétés expertes  (métier) structurelles ou non fonctionnelles ->prise en compte des contraintes temporelles liées au scénario et aux ontologies structurant les connaissances.  ->une approche par transformation de modèle est expérimentée.

Capture du Comportement utilisateur(s) Problématique  A bas niveau : capture sans marqueur, analyse d’image et de mouvement (séquences temporelles) d’éléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention d’une information des profondeurs précises…. A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif d’un modèle du joueur, analyse et filtrage des paramètres du modèle d’apprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…) Modélisation des connaissances d’expertise: Ontologie, mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …). Modèle de l’attention Introduction de comportements implicites Détection et suivi de détails temps réel. Intégration de données sémantiques dans l’aide à l’analyse d’images -> modélisation de l’utilisateur, du raisonnement et de l’expertise dont le calibrage repose sur des données incertaines et évolutives. Contraintes temps-réel -> problèmes difficiles de classification des comportements, de détection de situations et d’identification de contexte  

Exécution adaptative - Simulation Conception des mécanismes, de l’architecture des systèmes interactifs et de l’interfaçage avec les plate-formes d’exécution et de stockage et d’indexation des données. Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-Agents Intergiciels pour les applications interactives mono et multi-utilisateurs. -> construction formalisée et efficace d’un modèle adaptatif des acteurs dynamiques du système ->mise en œuvre d’un mécanisme de contrôle d’exécution. ->mécanismes de spécification et de vérification a priori puis dynamique des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles en utilisant des méthodes formelles. ->passage à l’échelle et données incertaines et évolutives

Thèses Exécution adaptative Karim Sehaba -> 2004 Un modèle de conception centré interactions: Formalisation et application à la conception de systèmes complexes Frédéric Collé -> 2006 Modélisation de comportements dans les systèmes dynamiques  Jean-Marie Boussier ->2003 Scénarisation d’applications interactives Guylain Delmas ->2009 Capture et Analyse de mouvement - expressions faciales Abdallahi Ould ->2009 Reconstruction 3D Olivier Guillot -> 2008 Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés François Picard (2006) Détermination de l’attention Matthieu Perreira (2006) Conception d’une plate-forme adptative d’enseignement à distance Supparang Ruangvanich (2006) Synthèse dynamique de superviseur pour l’exécution adaptative d’applications interactives. Nicolas Rempulski (2008) Quiproquos et ambiguités Pham Phuong Thao (2009) Gestion de l’adaptation en FOAD Frabrice Trillaud(2009)

Contrats de Recherche L3i dans le domaine Image et Interactivité FT_AutiSTIC RobAutiSTIC Le Parc de l’Estuaire Simulateur d’entraînement FOAD PLUG NOE-IRIS CPER (2007-2013) (2,3 M€) Théorie et applications aux médias numériques Interactions pour la formation à distance Fondation France Telecom pour l’autisme (2006-2008) (65 K€) Exécution adaptative et personnalisée d’application interactives. Projet labellisé par l’ANR (programme robotique) – (2007-2010) (100 K€) et CAP Digital Conseil Général de Charente-Maritime (2006-2009) (80 K€) Jeu éducatif sur un éco-système environnemental Contrat DCNS (2006-2008) - Simulation adaptative et aide à l’évaluation Région Poitou-Charentes (2007-2009) - (122 K€), Formation Ouverte et à distance Présentiel virtuel et adaptativité. ANR -PLay Ubiquitous Games and play more (2007-2009) - (54 K€) Jeux pervasifs. Réseau d’excellence (2008-2011) – (225 K€) Integrating Research in Interactive Storytelling.

Conclusion Domaine pluridisciplinaire Difficultés Avantages Constat sciences cognitives modélisation des connaissances méthodologie éducative Difficultés formalisation des observateurs processus d’interprétation adaptation de cas (globale et locale) Avantages personnalisation de l’application à l’utilisateur évaluation de la pertinence de l’application évolutivité et interactivité des logiciels compréhension du comportement de l’utilisateur Constat Dans l’industrie peu de planification, d’adaptation, d’apprentissage, de dialogues naturels … Exécution adaptative par observation et analyse de comportements

ImagIN Image et comportement - avec contraintes temporelles capture non intrusive (visage, geste et mouvement) reconstruction de scène animée (maillages multi-résolutions) Analyse des comportements implicites ou explicites ontologie, modélisation des comportements multimodaux  mécanismes de fusion d’information–Classification de données (comportement joueur, état du système, …). Génie Logiciel pour Systèmes Interactifs Système auteur pour la production et la personnalisation d’applications interactives Approches formelles pour la qualité des stratégies d’interaction dans un cadre narratif Contrôle contextualisé de l’exécution adaptative.

Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Pascal Estraillier François Picard Exécution adaptative par observation et analyse de comportements

Problématiques associées … Image Animation procédurale, Rendu non réaliste, Illumination locale Son Son génératifs, Transformation en temps-réel de la voix IA Comportement intelligent (dialogues, attitude, comportement de groupe), Modèle du joueur et jeux adaptatifs, Optimisation du système Génie Logiciel Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité Système / iaD / SMA Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporels Réseau Cross Media plat-form, Technologie de l’informatique ubiquitaire Ecriture/Narration/Game Design Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Théorie du Game Design Psychologie et Sociologie Analyse des usages et de la socialisation, Facteurs d’immersion (Presence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologique Exécution adaptative par observation et analyse de comportements

Applications Interactives : un contexte difficile Complexité croissante des applications Nombre croissant des objets pris en compte Aspects méthodologiques insuffisants Changement de contextes fréquents Importance de la « satisfaction du joueur » La qualité de l’activité interactive est uniquement lié à des critères perceptifs Importance de l’ergonomie Dépendance à la « compétence » des joueurs - apprentissage L’état global du système est complexe (pas limité à quelques évènements) Exécution adaptative par observation et analyse de comportements

Analyse de comportement Trame scénaristique Problématique « exécution adaptative des systèmes interactifs » Utilisateur Traces Contrôle d’exécution Directives Scénario Contributions Profil de l’utilisateur Interaction profil utilisateur connaissance de l’expert interaction dynamique Système adaptatif Trace Contrôle d’exécution Comportements de l’utilisateur Expert Analyse de comportement Problématique Approches Analyse de comportements Actions explicites et implicites Vision - interactions - contenus Contrôle d’exécution Représentation du profil de l’utilisateur représentation des connaissance et de raisonnement (RàPC) Systèmes multi-agents Architecture, plate-forme, communication Interactivité Formalisation, personnalisation, stratégies éducatives Exécution adaptative par observation et analyse de comportements