La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

1. 2 Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Pascal.

Présentations similaires


Présentation au sujet: "1. 2 Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Pascal."— Transcription de la présentation:

1 1

2 2 Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Pascal Estraillier François Picard

3 3 12 year old university 60 Researchers in C.S. 11 Tenured Professors 4 Professors 19 Assistant Professors 26 Ph.D. students Image & Behavior Image and Sequence of Analytic images and Interpretation of Content Modelling, Treatment, Retrieval of Complex Information Agent Paradigm and Architecture for Interactive Narration Approach Formal Specification and Validation Interactive Master Gaming and Media E.R.T Numerical Interactivity

4 4 Domaines dapplication Jeux vidéo Exécution adaptative des personnages du jeu Exécution adaptative des personnages du jeu Logiciels éducatifs Situations dapprentissage Situations dapprentissage Gestion des actions imprévisibles Gestion des actions imprévisiblesSimulation simulation de situations complexes / systèmes spatio-temporels simulation de situations complexes / systèmes spatio-temporels Régulation : Circulation urbaine Régulation : Circulation urbaine Observation, étude : vie artificielle, Observation, étude : vie artificielle, Serious Game Niveau stratégique Niveau stratégique Niveau tactique Niveau tactique Niveau Opérationnel Niveau Opérationnel Robotique - jouets

5 5 Activité Interactive 1.Concepteur (définition, évaluation de la pertinence) --> domaine dexpertise 2.Joueur(s?) (utilisation) --> profil (préférences, compétences) 3.[Spectateur (observation) ] Temps réel Temps réel Images animées, scènes (capture, suivi) Images animées, scènes (capture, suivi) Interaction joueurs, entités Interaction joueurs, entités Présupposé de comportements Présupposé de comportements Prise en compte du contexte à chaque instant Prise en compte du contexte à chaque instant Adaptativité à lexécution Adaptativité à lexécution Feedback Concepteur/Joueur/Spectateur Feedback Concepteur/Joueur/Spectateur Lhumain est dans la boucle

6 6 Contrôle adaptatif de linteractivité et de lexécution Cahier des charges : Interaction non invasive - gestion de limplicite Interaction non invasive - gestion de limplicite Pouvoir analyser en temps réel, de manière individualisée, Pouvoir analyser en temps réel, de manière individualisée, le comportement dun joueur Continuer le jeu avec la suite la plus adaptée en fonction du contexte Continuer le jeu avec la suite la plus adaptée en fonction du contexte Le concepteur doit pouvoir mesurer la pertinence de son jeu Le concepteur doit pouvoir mesurer la pertinence de son jeu en fonction du comportement du joueur, en respectant les consignes du concepteur en tenant compte de létat des ressources

7 7 Contrôle adaptatif Traces Trame scénaristique

8 8 Cycle acquisition / traitement / visualisation Capture Image et son Numérisation Analyse de scène son

9 9 Comportements Contrôles Moteur de lapplication Scénario observé Scénario prévu Exécution adaptative Concepteur analyse Cycle acquisition / traitement / visualisation propriétés Joueurs PNJ Capture image interactions directives trace

10 10 Exécution adaptative dapplications interactives Concevoir lactivité interactive Définir (utiliser) une Ontologie Définir (utiliser) une Ontologie Construire une trame scénaristique Construire une trame scénaristique Définir (utiliser) un système auteur Définir (utiliser) un système auteur Valider la conception Valider la conception Concevoir lenvironnement dexécution Architecture générale (Données, Traitements) – gabarits,réutilisation Architecture générale (Données, Traitements) – gabarits,réutilisation Acquisition/Capture – explicite, implicite Acquisition/Capture – explicite, implicite Gestion des interactions Gestion des interactions Présentation/Réalité virtuelle Présentation/Réalité virtuelle Exécuter (adaptativité - temps-réel) Observer, interpréter, décider et évaluer pour adapter Observer, interpréter, décider et évaluer pour adapter Méthodes, Modèles, Outils // Données, Traitements [navigation] entre Situations (impliquant personnages et ressources munis de leurs interactions)

11 11 1.Définition de lactivité (lauteur) Eléments du jeu, règles du jeu, … Trame scénaristique Directives générales Profils types des joueurs Propriétés Principe des observations, production des traces Personnalisation a) Acquisition de comportements (le joueur) Observation et mémorisation des comportements b) Personnalisation (lauteur) Profil individualisé Directives et traces individualisées 2.Implantation sur une architecture système 3.Exécution contrôlée Génération des traces + configuration des observations Evaluation en temps réel des objectifs (choix des directives) Contexte (état du jeu), comportement du joueur, objectifs de lauteur, respect des propriétés 4.Reporting (Exploitation des traces) Pertinence de la personnalisation --> 1.b Adéquation du jeu --> 1 par rapport aux objectifs (éléments du jeu, directives), au parcours et au comportement Méthodologie & cycle de vie

12 12 Problématique dinterprétation Webcam Clavier Ecran tactile … Acquisition MouvementComportementGeste Exécution Pas-à-pas Exécution Contrôlée Intelligence Artificielle

13 13 Exécution adaptative Initialisation Tant que exécution non finie décider_action (état-espéré) Tant que situation non finie configurer_observation (action) exécuter_action (action) décider_état-observé évaluer_distance (état-espéré, état-observé) décider_action (état-espéré)transition_situation distance d1 d2 d3 Action Observation État observé Une exécution : un chemin dans un graphe (fini ?) un arc (arête) du graphe : une Action Chaque nœud : un état du système Mot détat : État espéré

14 14 Conception et Formalisation de lactivité interactive Nouvelle forme de structuration de lactivité interactive (trames scénaristiques, situations, directives des concepteurs associés aux différents comportements de lutilisateur, caractérisation de contexte) Méthodologie – Langage dinteraction concepteur - Editeur/Interface Utilisateur adaptée. Méthodologie – Langage dinteraction concepteur - Editeur/Interface Utilisateur adaptée. Formalisation des « directives » du concepteur et de leurs conditions dapplication. Formalisation des « directives » du concepteur et de leurs conditions dapplication. Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario) Formalisation de la scénarisation (vérification des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles - contraintes temporelles liées au scénario) -> méthodes formelles (réseaux de Petri, logique linéaire, bigraphes et éléments de la théorie des jeux) pour la vérification des scénarios à partir de propriétés expertes (métier) structurelles ou non fonctionnelles ->prise en compte des contraintes temporelles liées au scénario et aux ontologies structurant les connaissances. -> une approche par transformation de modèle est expérimentée. -> une approche par transformation de modèle est expérimentée.

15 15 Capture du Comportement utilisateur(s) Problématique A bas niveau : capture sans marqueur, analyse dimage et de mouvement (séquences temporelles) déléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention dune information des profondeurs précises…. A bas niveau : capture sans marqueur, analyse dimage et de mouvement (séquences temporelles) déléments visuels à comportement complexe et évolutif, prise en compte des occlusions, obtention dune information des profondeurs précises…. A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif dun modèle du joueur, analyse et filtrage des paramètres du modèle dapprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…) A haut niveau : Gestion des connaissances : conception par apprentissage adaptatif dun modèle du joueur, analyse et filtrage des paramètres du modèle dapprentissage (identification comportements multimodaux : Expressions faciales, états émotionnels, mouvement, comportement collectifs sociaux et économiques…) Modélisation des connaissances dexpertise: Ontologie, mécanismes de fusion dinformation–Classification de données (comportement joueur, état du système, …). Modélisation des connaissances dexpertise: Ontologie, mécanismes de fusion dinformation–Classification de données (comportement joueur, état du système, …). Modèle de lattention Introduction de comportements implicites Détection et suivi de détails temps réel. Intégration de données sémantiques dans laide à lanalyse dimages -> modélisation de lutilisateur, du raisonnement et de lexpertise dont le calibrage repose sur des données incertaines et évolutives. Intégration de données sémantiques dans laide à lanalyse dimages -> modélisation de lutilisateur, du raisonnement et de lexpertise dont le calibrage repose sur des données incertaines et évolutives. Contraintes temps-réel -> problèmes difficiles de classification des comportements, de détection de situations et didentification de contexte Contraintes temps-réel -> problèmes difficiles de classification des comportements, de détection de situations et didentification de contexte

16 16 Exécution adaptative - Simulation Conception des mécanismes, de larchitecture des systèmes interactifs et de linterfaçage avec les plate- formes dexécution et de stockage et dindexation des données. Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-Agents Gabarits de conception, Interopérabilité – Architecture du Système Interactif - Multi-Agents Intergiciels pour les applications interactives mono et multi- utilisateurs. Intergiciels pour les applications interactives mono et multi- utilisateurs. -> construction formalisée et efficace dun modèle adaptatif des acteurs dynamiques du système ->mise en œuvre dun mécanisme de contrôle dexécution. ->mécanismes de spécification et de vérification a priori puis dynamique des scénarios à partir de propriétés « expertes » structurelles ou non fonctionnelles en utilisant des méthodes formelles. ->passage à léchelle et données incertaines et évolutives

17 17 Thèses Exécution adaptative Karim Sehaba -> 2004 Karim Sehaba -> 2004 Un modèle de conception centré interactions: Formalisation et application à la conception de systèmes complexes Frédéric Collé -> 2006 Modélisation de comportements dans les systèmes dynamiques Jean-Marie Boussier ->2003 Jean-Marie Boussier ->2003 Scénarisation dapplications interactives Guylain Delmas ->2009 Guylain Delmas ->2009 Capture et Analyse de mouvement - expressions faciales Abdallahi Ould ->2009 Abdallahi Ould ->2009 Reconstruction 3D Olivier Guillot -> 2008 Olivier Guillot -> 2008 Capture contextualisée de mouvements, en environnement non contrôlé, à partir de flux vidéo synchronisés François Picard (2006) François Picard (2006) Détermination de lattention Matthieu Perreira (2006) Matthieu Perreira (2006) Conception dune plate-forme adptative denseignement à distance Supparang Ruangvanich (2006) Supparang Ruangvanich (2006) Synthèse dynamique de superviseur pour lexécution adaptative dapplications interactives. Nicolas Rempulski (2008) Nicolas Rempulski (2008) Quiproquos et ambiguités (2009) Pham Phuong Thao (2009) Gestion de ladaptation en FOAD Frabrice Trillaud(2009) Frabrice Trillaud(2009)

18 18 Contrats de Recherche L3i dans le domaine Image et Interactivité FT_AutiSTIC RobAutiSTIC Le Parc de lEstuaire Simulateur dentraînement FOAD PLUG NOE-IRIS CPER ( ) (2,3 M) Théorie et applications aux médias numériques Interactions pour la formation à distance Fondation France Telecom pour lautisme ( ) (65 K) Exécution adaptative et personnalisée dapplication interactives. Projet labellisé par lANR (programme robotique) – ( ) (100 K) et CAP Digital Exécution adaptative et personnalisée dapplication interactives. Conseil Général de Charente-Maritime ( ) (80 K) Jeu éducatif sur un éco-système environnemental Contrat DCNS ( ) - Simulation adaptative et aide à lévaluation Région Poitou-Charentes ( ) - (122 K), Formation Ouverte et à distance Présentiel virtuel et adaptativité. ANR -PLay Ubiquitous Games and play more ( ) - (54 K) Jeux pervasifs. Réseau dexcellence ( ) – (225 K) I ntegrating Research in Interactive Storytelling.

19 19 Conclusion Domaine pluridisciplinaire sciences cognitives sciences cognitives modélisation des connaissances modélisation des connaissances méthodologie éducative méthodologie éducativeDifficultés formalisation des observateurs formalisation des observateurs processus dinterprétation processus dinterprétation adaptation de cas (globale et locale) adaptation de cas (globale et locale)Avantages personnalisation de lapplication à lutilisateur personnalisation de lapplication à lutilisateur évaluation de la pertinence de lapplication évaluation de la pertinence de lapplication évolutivité et interactivité des logiciels évolutivité et interactivité des logiciels compréhension du comportement de lutilisateur compréhension du comportement de lutilisateurConstat Dans lindustrie peu de planification, dadaptation, dapprentissage, de dialogues naturels … Dans lindustrie peu de planification, dadaptation, dapprentissage, de dialogues naturels …

20 20 ImagIN Image et comportement - avec contraintes temporelles capture non intrusive (visage, geste et mouvement) capture non intrusive (visage, geste et mouvement) reconstruction de scène animée (maillages multi-résolutions) reconstruction de scène animée (maillages multi-résolutions) Analyse des comportements implicites ou explicites ontologie, modélisation des comportements multimodaux ontologie, modélisation des comportements multimodaux mécanismes de fusion dinformation–Classification de données (comportement joueur, état du système, …). mécanismes de fusion dinformation–Classification de données (comportement joueur, état du système, …). Génie Logiciel pour Systèmes Interactifs Système auteur pour la production et la personnalisation dapplications interactives Système auteur pour la production et la personnalisation dapplications interactives Approches formelles pour la qualité des stratégies dinteraction dans un cadre narratif Approches formelles pour la qualité des stratégies dinteraction dans un cadre narratif Contrôle contextualisé de lexécution adaptative. Contrôle contextualisé de lexécution adaptative.

21 21 Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Pascal Estraillier François Picard

22 22

23 23 Problématiques associées … Image Animation procédurale, Rendu non réaliste, Illumination locale Animation procédurale, Rendu non réaliste, Illumination localeSon Son génératifs, Transformation en temps-réel de la voix Son génératifs, Transformation en temps-réel de la voixIA Comportement intelligent (dialogues, attitude, comportement de groupe), Modèle du joueur et jeux adaptatifs, Optimisation du système Comportement intelligent (dialogues, attitude, comportement de groupe), Modèle du joueur et jeux adaptatifs, Optimisation du système Génie Logiciel Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité Architectures, méthodes, modèles, Gabarits de conception, Interopérabilité Système / iaD / SMA Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporels Architecture distribuée, temps-réel, sécurité, systèmes spatio-temporelsRéseau Cross Media plat-form, Technologie de linformatique ubiquitaire Cross Media plat-form, Technologie de linformatique ubiquitaire Ecriture/Narration/Game Design Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Théorie du Game Design Narration générative, Jeux adaptatifs, Modèle du Gameplay, Modèle du joueur, Théorie du Game Design Psychologie et Sociologie Analyse des usages et de la socialisation, Facteurs dimmersion (Presence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologique Analyse des usages et de la socialisation, Facteurs dimmersion (Presence), Interface et apprentissage, Effet sur les joueurs (addiction, violence), Utilisation des jeux comme traitement psychologique

24 24 Applications Interactives : un contexte difficile Complexité croissante des applications Complexité croissante des applications Nombre croissant des objets pris en compte Nombre croissant des objets pris en compte Aspects méthodologiques insuffisants Aspects méthodologiques insuffisants Changement de contextes fréquents Changement de contextes fréquents Importance de la « satisfaction du joueur » Importance de la « satisfaction du joueur » La qualité de lactivité interactive est uniquement lié à des critères perceptifs La qualité de lactivité interactive est uniquement lié à des critères perceptifs Importance de lergonomie Importance de lergonomie Dépendance à la « compétence » des joueurs - apprentissage Dépendance à la « compétence » des joueurs - apprentissage Létat global du système est complexe (pas limité à quelques évènements) Létat global du système est complexe (pas limité à quelques évènements)

25 25 Traces Trame scénaristique Scénario Interaction Contrôle dexécution Expert Trace Comportements de lutilisateur Profil de lutilisateur Directives Contrôle dexécution Analyse de comportement Système adaptatif Problématique « exécution adaptative des systèmes interactifs » Contributions Utilisateur profil utilisateur connaissance de lexpert interaction dynamique ProblématiqueApproches Analyse de comportements Actions explicites et implicites Vision - interactions - contenus Contrôle dexécution Représentation du profil de lutilisateur représentation des connaissance et de raisonnement (RàPC) Systèmes multi-agentsArchitecture, plate-forme, communication InteractivitéFormalisation, personnalisation, stratégies éducatives


Télécharger ppt "1. 2 Laboratoire L3i Université de La Rochelle ImagIN Image et Interactivité Numérique Equipe de Recherche Technologique « Interactivité Numérique » Pascal."

Présentations similaires


Annonces Google