Intelligence artificielle développementale 27 Mars t oliviergeorgeon.com1/29

Plan Organisation dans le temps et l’espace. – Formalisme du couplage spatio-temporel. – Architecture cognitive. – Démonstrations. Travaux pratiques – Développez votre agent auto-programmant (suite). oliviergeorgeon.com2/29

Rappel des idées théoriques Le but est d’apprendre (découvrir, organiser et exploiter) des régularités d’interaction dans le temps et l’espace pour favoriser des critères innés (manger, apprendre, etc.). Pour construire par lui-même une ontologie de la réalité. – A partir d’expériences d’interaction. Détecter et répondre à des affordances de plus en plus sophistiquées. – auto-programmation. oliviergeorgeon.com3/29

Propose Trace-Based Reasoning Time Hierarchical abstraction Matching Select Try to Enact More abstraction oliviergeorgeon.com4/29

Example 2 oliviergeorgeon.com5/29

Exemples de comportements appris oliviergeorgeon.com6/29

Exemple 2 oliviergeorgeon.com7/29

Apprentissage de régularités spatio-séquentielles oliviergeorgeon.com8/29

Concept d’affordance Capacité d’un objet à suggérer une utilisation. To afford « être en mesure » ou « permettre » « Les objets nous poussent à agir » (Heinz Werner) – Une affordance est une propriété liée au couplage entre un agent et un environnement. Nous connaissons le monde en termes de possibilités d’interaction. oliviergeorgeon.com9/29

Formalisme Agent Environment ObservationAction Formalisation traditionnelle  O O  A A Agent Environment ExpérienceRésultat Apprentissage par expérience  R R  E E oliviergeorgeon.com10/29 Agent Environment Intended Interaction Enacted Interaction  I I  I I Radical Interactionism: I = E ✕ R X: Interactions composites

How to learn the existence of possibly persistent entities in the environment? How to adapt to different categories of entities? Spatial Radical Interactionism Agent Environment Intended Interaction i  I Enacted Interaction e  I oliviergeorgeon.com11/29 Spatial position σ Spatial transformation τ τ représente le système vestibulaire. Peut être implémenté par un accéléromètre. σ représente une information permettant d’inférer la localisation (convergence oculaire, déphasage inter-auriculaire, etc.)

Spatial exemple 1 oliviergeorgeon.com Agent Environment Enacted interaction:…….. Spatial position σ = (1,0) Spatial transformation τ= (0,0) Intended interaction 12/29

Agent Environment Environment “known” at time t d e cd  X d i cd  X d e p1 i p1 i pj  Ie pj  I Decisional mechanism Problème de récursivité Comment conserver la récursivité? oliviergeorgeon.com Spatial position σ Spatial transformation τ 13/29

Spatial Exemple 1 oliviergeorgeon.com14/29

Enactive Cognitive Architecture -L’agent se programm lui-même au cours de son expérience d’interaction. -L’architecture cognitive ne se programme pas elle-même. (“Kantian space”, e.g., Buzsaki 2013, Space, time, and memory) oliviergeorgeon.com15/29

Inspiration des neurosciences oliviergeorgeon.com16/29

Futures inspirations ? oliviergeorgeon.com Cotterill R. (2001). Progress in Neurobiology. 17/29

ECA agent exemple 2 oliviergeorgeon.com18/29

From “drives” to “goals” Afforded Simulated oliviergeorgeon.com19/29

Travaux dirigés oliviergeorgeon.com 3eme partie. Salles TP6 et TP7 Groupes de 2 20/29

Exercice Deux expériences possibles E = {e 1,e 2 } Deux résultats possibles R = {r 1,r 2 } Quatre interactions possibles E x R = {i 11, i 12, i 21, i 22 } Environnements – environnement 0 : e 1 -> r 1, e 2 -> r 2 (i 12 et i 21 ne se produisent jamais) – environnement 1 : e 1 -> r 2, e 2 -> r 1 (i 11 et i 22 ne se produisent jamais) – environnement 2 : e 1 -> r 2, e 2 -> r 2 – environnement 3 Systèmes motivationnels : – motivation 0 : v(i 11 ) = v(i 21 ) = 1, v(i 12 ) = v(i 22 ) = -1 – motivation 1 : etc. Implémenter un agent qui apprenne à effectuer les interactions positives sans connaître à priori son système motivationnel (motivation 1 ou motivation 2 ) ni son environnement (environnement 1 ou environnement 2 ). Produire un rapport d’analyse de comportement basés sur les traces. oliviergeorgeon.com21/29

Implémentation public static Experience e1 = new experience(); Experience e2 = new experience(); public static Result r1 = new result(); Result r2 = new result(); public static Interaction i11 = new Interaction(e1,r1, 1); etc. Public static void main() Agent agent = new Agent3(); // Agent1(); Agent2(); Environnement env = new Env3(); // Env1(); // Env2(); for(int i=0 ; i < 10 ; i++) e = agent.chooseExperience(r); r = env.giveResult(e); System.out.println(e, r, value); Class Agent Class Agent3 public Experience chooseExperience(Result r) Class Environnement Class Env3 public Result giveResult(experience e) Class Experience Class Result Class Interaction(experience, result, value) public int getValue() oliviergeorgeon.com22/29

Analyse de traces d’activité. oliviergeorgeon.com e1,r2,-1 e2,r1,1 e1,r1,1 Motivation1, Environnement 0. Motivation1, Environnement 1. Motivation1, Environnement 2. e1,r2,1 learn e1r1-e1r2,0 e1,r1,-1 learn e1r2-e1r1,0 e1,r1,-1 learn e1r1-e1r1,-2 e2,r2,1 learn e1r1-e2r2,0 e2,r1,-1 learn e2r2-e2r1,0 e2,r1,-1 learn e2r1-e2r1,-2 e1,r2,1 learn e2r1-e1r2,0 e2,r2,1 learn e1r2-e2r2,2 e1,r2,1 learn e2r2-e1r2,2 e2,r2,1 23/29

Environnement 3 Se comporte comme Environnement0 pendant les 10 premiers cycles, puis comme environnement1. Implémentation – If (step < 10) If (experiment = e1) then result = r1 If (experiment = e2) then result = r2 – Else If (experiment = e1) then result = r2 If (experiment = e2) then result = r1 – Step++ oliviergeorgeon.com24/29

Temps Activé i11 Propose … i11 i t-3 i t-2 i t-4 i t-1 i t = i11 i11 PRESENT FUTURPASSE Apprend AGENT itit (i t-1,i t ) Active i t-1 oliviergeorgeon.com Principe de l’Agent 3 (i11,i12) i12 e1 Choisit Execute (i11i11) 25/29

Implémentation de l’Agent 3 A la fin du pas de temps t – Enregistrer ou renforcer i c =  i t-1, i t, w  =  pre(i c ), post(i c ), weight(i c )  – Si i c est dans l’ensemble des interactions I t Weight(i c )++ – sinon L’ajouter dans l’ensemble des interactions I t avec weight = 1. Au début du temps t – Construire la liste des interactions composites activées A t A t = { i  I t | pre(i) = i t-1 } – Pour chaque interaction activée dans A t Créer une proposition pour post(ic).experience avec proclivité ic.weight * post(ic).valence. – Pour chaque expérience, additionner les proclivités de ses propositions. – Choisir l’expérience qui a la proclivité totale la plus élevée. oliviergeorgeon.com26/29

Class Interaction //attributs: Experience experience; Result result; int value; String label; Interaction preInteraction; Interaction postInteraction; int weight; oliviergeorgeon.com PostInteractoin Composite Interaction weight preInteraction 27/29

Mécanisme de décision oliviergeorgeon.com List propositions = new ArrayList (); for (Interaction activatedInteraction : getActivatedInteractions()){ Proposition proposition = new Proposition( activatedInteraction.getPostInteraction().getExperience(), activatedInteraction.getWeight() * activatedInteraction.getPostInteraction().getValence()); int index = propositions.indexOf(proposition); if (index < 0) propositions.add(proposition); else propositions.get(index).addProclivity(activatedInteraction.getWeight() * activatedInteraction.getPostInteraction().getValence()); } Collections.sort(propositions); If (propositions.size()> 0) proposedExperience = propositions.get(0).getExperience(); 28/29

Class Proposition Class Proposition implements Comparable – // attributs: – Experience experience – Int proclivity – // constructor – Proposition(Experience experience, int Proclivity) – // methods – int compareTo(Proposition proposition) return new Integer(proposition.getProclivity()).compareTo(this.proclivity); – boolean equals(Object otherProposition) return ((Proposition)otherProposition).getExperience() == this.experience; – void addProclivity(int proclivity) this.proclivity += proclivity; oliviergeorgeon.com29/29