Apprentissage pour les jeux d’arcade

Slides:



Advertisements
Présentations similaires
Lien hypertexte ou html
Advertisements

Formation universitaire à .NET: Introduction à C#
boXamo Règle du jeu Matériel : Une carte de jeu par élève
Hockey Québec Introduire la combativité et les habitudes de travail.
Les Excel Services de Office 2007
ACubeOLAP Client Olap en ACube.
Etudiants : Benjamin BLANC Cyrille KLUZEK Encadreur :
Continuité des apprentissages Ecole-Collège mars 2008 J Borréani IA-IPR mathématiques.
Exemple d’une séquence d’investigation.
Continuité des apprentissages Ecole-CollègePavilly Novembre 2007.
VI50 – TP3 Introduction à Virtools. Virtools Virtools Media Design 3DS, Maya, Lightwave… Sound Design wav, mp3… Texture, 2D interface jpg, bmp… Specific.
Q uestionnaire sur la motivation Objectif et fonctionnement Version démo Par Lucie Fontaine et Marc Mantha École de la fonction publique 27 avril 2005.
Tâches d’animation.
Apprentissage du jeu de morpion
Présentation Installation Fonctionnement
PRESENTATION DU LOGICIEL
INITIATION PowerPoint
Analyses des situations didactiques
Entrer dans les apprentissages par les situations problèmes
ALGORITHMIQUE en classe de seconde
420-B63 Programmation Web Avancée Auteur : Frédéric Thériault 1.
Laboratoire d'Informatique de l’Université de Franche-Comté
Créer une interface graphique avec Photoshop.
77 Utilisation des classes (suite). 7-2 Objectifs A la fin de ce cours, vous serez capables de : Définir des méthodes surchargées dans une classe Fournir.
CONSTRUCTION MECANIQUE DECOUVERTE de SOLIDWORKS
Simulateur Robot Mobile 2006
Pattern Matcher ancel_a, creuso_a, chanio_f 1. Le jeux Une plaine qui contient de lherbe, des moutons et des loups. Un système daction en tour par tour.
Amorçage des compilateurs Un compilateur est un programme écrit dans un langage Peut-il être écrit dans le langage cible ? dans le langage source ? comment.
« Le statut juridique de lavatar » IREDIC 22 mai 2008 Thibault Verbiest Associé ULYS
TP Scripts 1 Commandes périodiques 2 Droits d'accès 3 Liste de processus 4 Application 5 Application graphique © BTS II 2002 [tv]
Proportionnalité et manuels
Pattern Matcher Ancel_a, Creuso_a, chanio_f. Le jeux  Une plaine qui contient de l’herbe, des moutons et des loups.  Un système d’action en tour par.
(Vient du grec et signifie « Peut prendre plusieurs formes »)
L ILIE, UN AN DÉJÀ... Expérimenter les services proposés par l’ENT Lilie.
Méthodologie de recherche
VISITE AUTOMATIQUE GUIDÉE SOUS VREng. Fonctionnement de VREng Avatar représentant l’utilisateur Chat permettant aux utilisateurs de discuter Panel de.
11/04/ L'héritage Cours 7 Cours 7.
JULIEN Phillipe & BAPTISTE Julien
Bridge Chinois Par Mathieu ROGER, Mamadou DIABY, Bilal TRAORE, Soufiane DIABI, Bilal CHAARI et Benjamin REBATET. 1.
TD11 : Logiciel de présentation PowerPoint
Orientation et langage Bellegarde sur Valserine
Candy Crush Killer Boyer Alexandre Bullat Théo Ralite Jérôme Raymond Nicolas Ribière Laurent Encadré par M. Laffont, enseignant à Polytech M. Kauffmann,
Fonctions avancées et graphiques
Proposition de réflexion sur la construction d’un observatoire Territoires – Santé Intérêt des Serious Games Maignant G., Staccini P.
Séance 9 La dynamique interne de l ’entreprise
GRAPHISME PAR ORDINATEUR SIF Contenu du cours 6 Transformation et animation de plusieurs modèles 3D avec XNA –Chargement des modèles 3D (modèle.
Héritage H. Batatia. plan Notion (que signifie l’héritage) Ecriture en java Héritage multiple (interdit) Instanciation (partie propre et partie héritée)
(ref : Bray section pages 259 à 266)
Intelligence artificielle
Trajectory Tree [1] Patrick Cinq-Mars. © Name – Month YEAR2 / TOTAL PAGES TTree: Tree-Based State Generalization with Temporally Abstract Actions William.
1 Applications de Réalité Virtuelle et SCD P. Torguet J.P. Jessel.
Le Browser hiérarchique de Classes Java : En quoi cette application pourra faciliter le travail de Mr Leblanc ? GROUX Julien & MOULINIER Georges.
Le Browser hiérarchique de Classes Java : En quoi cette application pourra faciliter le travail de Mr Leblanc ?
GRAPHISME PAR ORDINATEUR SIF Contenu du cours 13 Introduction à l’intelligence artificielle dans les environnements de jeux 3D –Notions d’agents.
Master 1 SIGLIS Systèmes d’Information pour l’entreprise – Java RMI Stéphane Tallard Mise en œuvre de l’exemple Bonjour RMI Master 1 SIGLIS1 Intégration.
INTERNET Le langage HTML
GRAPHISME PAR ORDINATEUR
Système de surveillance de réseau
Interfaces perceptuelles Interaction avec une caméra.
Utilisation de PowerPoint
Le bridge Le bridge est un jeu de cartes qui se joue à quatre joueurs, deux contre deux. Point positif : Les élèves apprennent à jouer en équipe. Point.
ALGORITHME DE VOLÉES Programmation créatives Les volées, le spawning et les collisions.
Calculs de l’accélération à partir d’un graphique
Flash 1 Cariou SandraCoffinot Nicolas. Sommaire : I)Généralités II)Interface de Flash III)Grouper et Dissocier IV)Image clé V)Scénario et calques VI)Symboles.
OSSIA Open Scenario Systems for Interactive Application Contrôle de paramètres spatiaux Jean-Michel Couturier, Blue Yeti, mai 2014.
Exercice sur la tarification au coût marginal
Dreamweaver 2 Feuilles de Style CSS Formulaires Calques Comportements
Projet ALLEGRO IFLEG Développement d’outils sophistiqués pour l’apprentissage interactif des langues étrangères Treveur Bretaudière Encadrement: Guy Achard.
Réseaux bayésiens pour la recommandation au sein d’un configurateur Anr BR4CP Mathieu Serrurier IRIT.
Observer et décrire différents types de mouvement
Transcription de la présentation:

Apprentissage pour les jeux d’arcade Par Raphael Arrouas Apprentissage pour les jeux d’arcade

Arcade Learning Environment Atari 2600 : Jeux simples, appropriés à l’apprentissage Emulateur Stella (C++) Possibilité d’interagir avec l’émulateur par des FIFOs : Agents en Java, C++… Interface graphique optionnelle (simulations…)

Présentation du jeu Freeway (1981) Objectif : Traverser la route (+1 point) Pas de Game Over Voitures aux couleurs/vitesse différentes On peut créer un agent avec des règles simples Trois actions : stay, up, down

Création d’un agent autonome (1/2) Structure de la partie Agent : Classes Java compilées dans un fichier JAR Choix de la main class en argument Création d’un agent qui hérite de « AbstractAgent » Observation/action des agents par des pipes

Création d’un agent autonome (2/2) Problème : Sans accès aux variables du jeu, comment récupérer les informations ? Réponse : On obtient les pixels stockés dans les pipes, et on les traite !

Reconnaissance d’objets Comparaison tableau de pixel - background fixe Création des objets, typés suivant leur couleur (Poulet, voitures, score) Traitement de l’information : Position, vitesse… Puis prise de décision

Politique de décision Si 𝑥𝐶𝑎𝑟+𝑣𝐶𝑎𝑟 −𝑥𝑃𝑜𝑢𝑙𝑒𝑡 <13 et 𝑦𝑃𝑜𝑢𝑙𝑒𝑡−𝑦𝐶𝑎𝑟 −4 <19 et (𝑦𝑃𝑜𝑢𝑙𝑒𝑡>𝑦𝐶𝑎𝑟) : Interdiction de monter Equation semblable pour l’interdiction de rester sur place Les tests sont hiérarchisés pour prioriser l’action « monter » Paramètres empiriques obtenus par tests en mode verbose

Politique de décision

Résultat Score de 24 points sur le niveau 1, aucune collision !

Apprentissage automatique : Le Q-Learning Multitude de situations: Etats (adaptés au jeu si possible) Nombre d’états limités, actions soit aléatoires soit provenant de l’agent précédent (Politique ε-greedy) But : Maximiser une récompense (ici, le score) Pour cela, création d’une « Q-fonction »

La Q-fonction 𝑄 :𝑆 𝑋𝐴 →ℝ A chaque état, associe à une action sa « qualité ». Fixée au départ, évolue grâce à l’observation des résultats Mise à jour : α 𝑡 :𝐿𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 𝑟 𝑡 :𝑅é𝑐𝑜𝑚𝑝𝑒𝑛𝑠𝑒 γ :𝐷𝑖𝑠𝑐𝑜𝑢𝑛𝑡 𝑓𝑎𝑐𝑡𝑜𝑟 (Détermine l’aspect court/long terme pour la prise en compte des récompenses