Apprentissage et évolution : l'effet Baldwin

Présentation au sujet: "Apprentissage et évolution : l'effet Baldwin"— Transcription de la présentation:

1 Apprentissage et évolution : l'effet Baldwin
Dynamique des systèmes complexes et applications aux SHS : modèles, concepts méthodes Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble

2 théorie de l'évolution les caractéristiques d'un individu dans une population sont déterminées génétiquement les caractères appris ne sont pas transmis à la génération suivante évolution d'une population : sélection : les individus les plus aptes (dans l'interaction avec leur environnement) ont une meilleure "adéquation à l'environnement" (fitness), et par conséquent, une probabilité plus grande de laisser des descendants. mutation : source de variabilité à l'intérieur d'une population [cross-over] les caractéristiques moyennes de la population évoluent dans le temps vers des valeurs optimales mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

3 questions soulevées par Baldwin (1896)
"A new factor in evolution", The American Naturalist 30 (1896) la sélection naturelle est un processus "négatif" l'évolution est seul fruit du hasard les mutations qui ne confèrent pas de fitness disparaissent cependant les paléontologues observent que certaines modifications se produisent progressivement au cours des générations -> il y aurait un "sens" (une orientation) dans l'évolution il y a des discontinuités évolutives dans les gisements fossiles: comme si des étapes d'évolution intermédiaires manquaient Baldwin les deux observations s'expliquent par l'interaction entre l'apprentissage et l'évolution par une "sélection organique" mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

4 l'effet Baldwin (sélection organique)
grâce à leurs capacités d'apprentissage, les individus survivent en s'adaptant à des conditions environnementales adverses si l'environnement ne varie pas trop brutalement : les mutations les plus adaptatives sont celles qui transforment en congénital ce qui devait être appris l'apprentissage "guide " l'évolution, car il introduit un biais dans les mutations perennisées la capacité d'apprentissage augmente la variance génétique de la population (beaucoup d'individus ont un genotype très différent de la moyenne) lors d'un changement brutal de l'environnement, un cataclisme, seuls ces individus très différents (qui existent grâce a la capacité d'apprentissage) peuvent survivre l'apprentissage "accélère " l'évolution, il permet des sauts évolutifs mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

5 plan modèle de Hinton et Nowlan (1987)
“How learning guides evolution” critique, et modèle d’émergence de l’apprentissage discussion mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

6 modèle de Hinton et Nowlan (H&N)
population de N individus haploïdes, chacun possédant un réseau de neurones avec L connexions potentielles chaque individu : génotype = vecteur de L gènes qui codent les connexions chaque gène possède 3 allèles : 1 connexion avec poids wi=+1 -1 connexion avec poids wi=-1 ? connexion flexible, adaptable par apprentissage exemple de génotype : (1,1,-1,?,-1,......) le réseau de neurones confère fitness seulement si les connexions ont une configuration particulière : toutes égales à +1 génotype optimal : (1,1,1, ...,1) mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

7 évolution: algorithme génétique
générer une population initiale (n=0) de N individus: N génotypes de la forme (1,-1,1,?,...,-1) [gènes tirés au hasard] évolution pour chaque individu apprentissage : adapter les connexions flexibles (?) fitness : évaluer l'adéquation à l'environnement nouvelle génération : n n+1 sélection: choisir les N individus de la génération suivante avec des probabilités proportionnelles à leurs fitness cross-over: on apparie les genomes; le nouvel individu a ses premiers gènes hérités de son "père" et les derniers de sa "mère" (le point de coupure étant tiré au hasard) mutation: chaque gène est transformé en un des deux autres allèles avec probabilité Pmut mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

8 apprentissage dans le modèle H&N
rappel : configuration "correcte" : apprentissage : on tire au hasard les poids des connexions flexibles "?“ +1 ou -1 G : nombre maximal d'essais permis g : nombre d'essais vraiment effectués (g £ G) on arrête dès que l'on trouve la configuration +1 pour tous les "?" ou si g atteint G le nombre d'essais g détermine la qualité F (fitness) de l'individu (1,1,....,1) mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

9 fitness dans le modèle H&N
définition : si en G tirages on ne trouve pas la configuration : si le génotype contient au moins un "-1" F=1 probabilité de sélection: (1,1,....,1) mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

10 description des résultats
au niveau de chaque individu : P = nombre d’allèles « 1 » du génome Q=nombre d’allèles « ? » R=nombre d’allèles « -1 » P+Q+R=L pour décrire la population fitness F population optimale : p=1, q=r=0 fitness > 1 seulement si r=0, p+q=1 mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

11 résultats sans apprentissage : fitness "plate"
dans ce modèle : pas de phénotype -> seul l'apprentissage confère fitness évolution "chercher une aiguille dans une botte de foin“ l'apprentissage permet que des génotypes proches de l'optimum aient une probabilité de sélection importante avec apprentissage : paysage de fitness ~ lame de rasoir mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

12 critique du modèle H&N l'apprentissage accélère-t-il l'évolution ?
oui ... par rapport à une recherche aléatoire (non darwinienne) de l'optimum ["recherche d'une aiguille dans une botte de foin"] mais : ce modèle ne permet pas de comparer des populations avec et sans apprentissage car la fitness des individus incapables d'apprendre (avec Q=0) est minimale par construction (à l’exception de ceux avec P=L à la naissance). l'apprentissage guide-t-il l'évolution ? le modèle ne répond pas à cette question pas de voies d'évolution alternatives mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

13 modèle HN généralisé x1 xN x0= -1 w1 wN w0
on “évalue” la fitness sur le phénotype : un réseau de neurones perceptron = le réseau de neurones le plus simple entrées : poids des connexions : sortie (ex. +1=mangeable, -1=poison) classification de "référence" (optimale) = “professeur” de poids w0 w1 wN x0= -1 x1 xN w = (w1,w2) x1 mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

14 perceptrons adaptables
à chaque génération n on génère un ensemble de M exemples xm apprentissage : déterminer les poids w des connexions flexibles (codées par les allèles "?") initialiser : on tire au hasard (+1 ou -1) les poids des Q connexions flexibles du perceptron m = 0 pour m=1 à M si sign(w.xm)=sign(w*.xm)  m = m+1 autrement on apprend xm * [on modifie autant de poids flexibles que nécessaire pour changer le signe de la sortie] fitness : proportionnelle à m/M : fraction d'exemples bien classés mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

15 paysage de fitness modèle HN perceptrons avec M=100 mars 2004
- Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

16 résultats chemins évolutifs : l'apprentissage ralentit l'évolution
évolution des genotypes mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

17 mais ... environnement fixe : question :
la capacité d’apprentissage se perd ! question : que se passe-t-il dans un environnement variable ? mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

18 environnement variable
deux états de la nature (deux perceptrons professeur qui s’alternent) poids optimaux : temps total d'apprentissage : G fréquence de changement : 2f temps d’apprentissage dans chaque environnement : T~G/2f mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

19 évolution T~G/2f Tc=51 T=30 T=112 mars 2004
- Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

20 paysages de fitness deux chemins évolutifs suivant la fréquence des changements 2f=1 (T long) f=10 (T court) on a le temps de s'adapter on ne s'adapte pas : on est performant la moitié du temps mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

21 conclusion l'apprentissage ralentit l'évolution
si l'environnement est fixe, la capacité d'apprentissage se perd si l'environnement est variable, il y a deux alternatives : variation lente : on s'adapte à l'environnement, la capacité d'apprentissage a une valeur adaptative (confère "fitness") variation rapide : on se spécialise (quitte à être mal adapté une fraction du temps) on perd la capacité d'apprendre mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

22 Merci de votre attention !
références modèle de Hinton et Nowlan How learning guides evolution, Complex Systems 1 (1987) Approximation analytique de Fontanari et Meir The effect of learning on the evolution of asexual populations, Complex Systems 4 (1990) critique, et modèle d’émergence de l’apprentissage A model for the interaction of learning and evolution. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 63 (N°1) (2001) A model for the emergence of adaptive subsystems. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 65, vol./1(2003) 27-56 Merci de votre attention ! mars 2004 - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution