Évolution de second ordre dans un algorithme évolutionnaire V. Lefort Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion J’aime pas le titre du 4) mais je trouve pas de nom qui veule dire « l’évo de 2nd ordre c’est top, et on en a ! » Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion Séminaire LIRIS – Axe 1 – 25/04/2007

Évolution = variations + sélection Phénotype : Sélection Génotype : Variations Évolution : boucle « infinie » composée de 2 processus : la sélection, qui s’applique au niveau du phénotype, et la variation, qui a lieu au niveau du génotype Séminaire LIRIS – Axe 1 – 25/04/2007

Évolution de second ordre Évolution « de premier ordre » : Évolution de second ordre : L ’évolution « de premier ordre » (évolution classique) ne considère qu’il n’y a que l’évolution de l’individu, mais que les processus évolutifs (sélection et reproduction) restent identiques. On sait maintenant qu’il existe une évolution « de 2nd ordre » qui consiste en une évolution de l’individu ET de ses processus évolutifs, ceux-ci étant aussi contrôlés de manière génétique. Détails à l’oral : exemple sur la régulation des taux de mutation, dans un sens ou l’autre, et de manière fine (locale ou globale) -> hot spots, super-mutants… La structure du génome aussi évolue, des génomes des virus très petits et compacts aux génomes des mammifères très longs et peu codants. « Modification de l’évolution par l’évolution elle-même » Séminaire LIRIS – Axe 1 – 25/04/2007

Évolution de 2nd ordre – 2 Les processus évolutifs varient sur un individu sans modification de son propre phénotype mais vont influencer la façon dont ses descendants seront créés L’évolution de 2nd ordre subit une sélection indirecte à moyen et long terme On ne s’intéresse donc plus à l’individu mais à ses descendants Séminaire LIRIS – Axe 1 – 25/04/2007

Sélection de l’évolution de 2nd ordre Robustesse Faire varier les processus évolutifs est assez « simple » : il suffit de muter une des protéines qui intervient dans le processus, ou de changer la structure du génome en déplaçant par exemple des gènes, en dupliquant les génomes… Mais cette variation doit pouvoir être sélectionnée, et donc il faut que les variations soient visibles. Or, sur l’individu même, on ne constate pas de différence phénotypique. Par contre les descendants vont être créés de manière différente. On défini, sur la descendance d’un individu, 3 choses : la variabilité (écart-type de la distribution ou « étalement »), la neutralité (individus ne subissant pas de mutations ou des mutations neutres) et l’évolvabilité (individus plus adaptés). En modifiant les processus évolutifs, on va modifier cette distribution des descendants, et donc augmenter ou diminuer l’évolvabilité et la neutralité qui seront sélectionnées. On va donc faire une sélection indirecte de l’évolution de 2nd ordre sur les lignées et non plus sur les individus. On peut remarquer que la distribution correspond à peu près à une gaussienne (les individus ayant mutés) avec un dirac (les individus n’ayant pas subi de mutations). Faire varier le nombre de mutations ne va donc que modifier l’importance relative de l’une ou l’autre des fonctions, sans en changer la forme générale. Sélection indirecte sur les lignées Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion On va maintenant voir ce que cette évolution de 2nd ordre pourrait apporter à un AE Séminaire LIRIS – Axe 1 – 25/04/2007

La boucle évolutive des AE Variation Sélection INSPIRATION BIOLOGIQUE Les Aes sont tous basés sur le même principe, qu’E. Lutton a déjà détaillé. Ce qui est important c’est que les variations vont modifier uniquement la fitness des individus mais pas les processus évolutifs. Les processus évolutifs sont conservés tout au long de l’évolution Séminaire LIRIS – Axe 1 – 25/04/2007

Opérateurs de sélection et de variation Des individus doubles Individu Dépend de la représentation choisie Génotype Opérateurs de sélection et de variation Dépend du problème à résoudre Phénotype Il faut par contre insister sur le fait que dans les Aes normaux, les individus sont doubles : un génotype (qui dépend de la représentation choisie : par exemple une chaîne binaire, ou une suite d’instructions…) et un phénotype qui correspond à une solution potentielle (celle-ci dépendant du problème à résoudre). Sur cet individu double sont appliqués différents opérateurs : les opérateurs de sélection, puis les opérateurs de variation. Séminaire LIRIS – Axe 1 – 25/04/2007

L’apport de l’évolution de 2nd ordre Adaptation de la représentation au problème Adaptation des taux Or, dans un AE, pour qu’il soit efficace, il faut un ajustement entre trois paramètres : le problème, la représentation et les opérateurs. Seuls les deux derniers sont choisis par le créateur de l’algorithme, mais sans connaissance exacte du problème, pas forcément les plus adaptés. De plus, les choix optimaux dépendent du stade de l’évolution (phase d’exploration ou d’exploitation…). Modifier les processus permettraient : De modifier les taux, ou au moins le nombre de mutations que subit un génome lors des reproductions D’adapter la représentation au problème, en terme d’épistasie ou de complexité D’adapter la représentation aux opérateurs (ou vice-versa) pour contrôler l’effet des opérateurs (neutre, plus ou moins bons) L’évolution de 2nd ordre permettrait donc de favoriser les individus évolvables, et donc de faciliter les futures évolutions, en adaptant dynamiquement les processus. Adaptation de la représentation aux effets des opérateurs Pour favoriser l’évolvabilité ! Séminaire LIRIS – Axe 1 – 25/04/2007

Permettre l’évolution de 2nd ordre Taux dynamiques : Pour diminuer/augmenter les effets en fonction des stades de l’évolution Permettent uniquement de jouer sur la variabilité Nouveaux opérateurs : Permettent d’adapter les opérateurs au problème et à la représentation Mais pas de façon dynamique Modification de la représentation : La représentation ne doit pas être contrainte par le phénotype Elle peut alors évoluer pour s’adapter aux taux et aux opérateurs ! Différentes solutions sont possibles pour introduire de l’évolution de 2nd ordre. La première est de mettre des taux dynamiques (comme pour les ES) MAIS on ne modifie alors qu’un des cotés du triangle, en ne jouant que sur la variabilité (on va augmenter artificiellement la neutralité pour diminuer la variabilité, qu’elle soit « bonne » ou non)-> on ne fait que modifier le rapport entre la gaussienne des individus mutés (qui ne change pas) et le dirac des individus non mutés. L’autre solution serait de modifier les opérateurs, mais si la représentation n’est pas adaptée au problème, on ne pourra pas la modifier. De plus il est très difficile de mettre au point des opérateurs réellement dynamiques dans leur fonctionnement. Dernière solution : modification dynamique de la représentation. Selon les modifications on pourra rendre certaines mutations neutres, ce qui revient à diminuer les taux de mutations, et en fonction de la structure de la solution, les opérateurs n’auront pas les mêmes effets. Enfin la représentation pourra s’adapter au mieux au problème pour prendre en compte la structure de l’espace de recherche et s’y adapter. Séminaire LIRIS – Axe 1 – 25/04/2007

Modifications de la représentation Utilisation des zones non codantes pour « absorber » les mutations Ordre des gènes variable pour faire correspondre liens de proximité (sur le génome) et liens épistatiques Fonction à minimiser : (x1-x4)²+x3x2 Fitness : Individu 1 5 2 0.1 5 0.2 Différentes modifications nous semblent donc intéressantes : insérer des zones non codantes, qui vont pouvoir absorber certaines mutations; mettre un ordre des gènes variable, de manière à adapter les liens de proximité et les liens épistatiques; et enfin dissocier le génotype du phénotype de manière à créer des réseaux de neutralité : une modification de la structure de la représentation ne doit pas modifier le phénotype de l’individu (sinon ce serait de la sélection de 1er ordre) mais uniquement la façon dont les descendants vont être créés. ATTENTION : ils ne s’agit pas de caractéristiques choisies par l’utilisateur avant le début de l’évolution mais elles doivent pouvoir évoluer dynamiquement !! (si pas de variation, pas d’évolution) Individu 2 1 0.1 2 1 0.2 Enfant 1 5 2 2 1 20 Enfant 2 1 0.1 0.1 5 16.01 Séminaire LIRIS – Axe 1 – 25/04/2007

Dissociation phénotype – génotype Différents génotypes doivent pouvoir conduire au même phénotype Insertion d’un « protéome » Les modifications du génotype peuvent modifier sa structure ET/OU le protéome (et donc le phénotype) Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion C’est dans cet esprit que nous avons créé l’algorithme RBF-Gene Séminaire LIRIS – Axe 1 – 25/04/2007

Des individus à 3 niveaux Génotype Le génotype sera une série linéaire de bases (pour nous des lettres). On y détectera LOCALEMENT les gènes (par des bases spécifiques). Le niveau intermédiaire sera composé d’éléments de solution, chaque morceau provenant d’un gène, défini entièrement par la séquence du gène sans autre information (la place du gène, leur nombre…). Le « protéome » peut donc être de taille variable. Enfin le phénotype correspondra simplement à une solution potentielle, en remettant tous les bouts de solutions ensemble. Phénotype « Protéome » Séminaire LIRIS – Axe 1 – 25/04/2007

Domaine d’application : régression Notre problème : la régression. Revient à trouver une courbe qui passe près des points. Décomposition facile en « briques » de bases : les gaussiennes. Séminaire LIRIS – Axe 1 – 25/04/2007

Notre phénotype : une fonction Nos protéines : des gaussiennes à 3 paramètres le centre (ou moyenne) dans l’espace de recherche l’écart-type la « hauteur » (ou le poids dans la combinaison linéaire) Notre phénotype : la combinaison linéaire de gaussiennes équivalent à un réseau de neurones RBF Seule la séquence d’un gène doit permettre de connaître les trois paramètres d’une protéine μ w σ Séminaire LIRIS – Axe 1 – 25/04/2007

Le mapping génome - protéines FE… B EFDGGCDFGHEG A …D Code génétique 1 σ H G μ F E h D C Stop B Start A Value Parameter Base σ : 1 = 000102 μ : 1 = 01102 h : 1 = 1012 Le transparent magique (pas encore animé… mais il le sera). Là encore, faudra changer « neurone » en gaussienne si on zappe les neurones. Gaussienne G1 Séminaire LIRIS – Axe 1 – 25/04/2007

Les opérateurs Switch Délétion Insertion Translocation Délétion large Notre génotype est maintenant libérée des contraintes de structure, encore faut-il qu’elle puisse évoluer. D’où des opérateurs de 3 types : Les opérateurs locaux : modifier localement les gènes ou les séquences non codantes, taux A LA BASE Les opérateurs globaux : modifient la structure à grande échelle en déplaçant/supprimant/dupliquant des zones de manière aveugle, taux AU GENOME Le crossover : permettant l’échange d’information entre individus, taux A LA REPRODUCTION Duplication Séminaire LIRIS – Axe 1 – 25/04/2007

Exemple (jouet) de fonctionnement 472 bases 200 bases Séminaire LIRIS – Axe 1 – 25/04/2007

Quelques indicateurs Séminaire LIRIS – Axe 1 – 25/04/2007

Résultats sur des benchmarks Abalone Boston Housing Algorithme Résultats RBF-Gene 2.027 (± 0.118) Prévision par la moyenne 3.224 Régression linéaire 2.192 Arbre de décision 2.731 Arbre M5 2.039 Algorithme Résultats RBF-Gene 22.24 (± 7.97) Stagewise 25.7 LARS 25.5 Lasso 25.8 LM 23.8 LARS avec Cp 14.2 GBM additive 16.5 GBM two-way 14.1 On a d’abord testé l’algorithme sur des benchmarks pour s’assurer de sa convergence vers des solutions satisfaisantes, notre but n’étant clairement pas de faire un algorithme de régression, mais d’étudier l’évolution de 2nd ordre en appliquant nos idées à la régression. L’application n’est donc pas le but mais un moyen (??? Je trouve pas le terme qui veut dire qu’on a pris ca « juste comme ca » parce que c’était simple) d’utiliser notre algorithme. On peut voir que sur ces deux benchmarks nos résultats sont plus que satisfaisants. Notre algorithme fonctionne donc. Minimum obtenu : 11.17 Notre algorithme, sans être le meilleur, converge donc vers des solutions satisfaisantes. Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion Grr, j’aime vraiment pas ce titre… Bref : On va maintenant s’intéresser à la présence (ou non) d’évolution de second ordre et on va rechercher dans quelle(s) caractéristique(s) elle apparaît. Séminaire LIRIS – Axe 1 – 25/04/2007

Effet de l’évolution de 2nd ordre Taille du génome finale : ne dépend pas de la taille initiale mais du taux de mutations locales ATTENTION Animation !! Une des méthodes d’adaptation est la modification de la taille. Ainsi on peut voir que la taille finale des génomes (qui est non contrainte) s’adapte aux paramètres (surtout le taux de mutations locales). Si on change la taille initiale des génomes (figure 1), sans changer les autres paramètres, les simulations convergent vers une même taille finale, que la taille initiale soit plus faible ou plus importante que la taille de stabilisation. Cette taille finale dépend du taux des mutations locales (fig 2) : plus les mutations sont fortes et plus la taille du génome est faible. De cette façon le nombre de mutations que le génome va subir est régulé par la modification de la taille en fonction du taux (et sans perte de résultats). L’algorithme peut donc dynamiquement faire varier les taux de manière indirecte. Séminaire LIRIS – Axe 1 – 25/04/2007

Mode d’étude L’évolution de 2nd ordre intervient à moyen et long terme On s’intéresse donc à la distribution des descendants du meilleur individu Robustesse Séminaire LIRIS – Axe 1 – 25/04/2007

Rôle des séquences non codantes Le contenu des séquences non codantes ne modifie pas l’évolvabilité La taille des zones non codantes modifie l’évolvabilité est optimale après évolution L’optimum se trouve pour la taille des zones non codantes évoluées (rapport de 1) Séminaire LIRIS – Axe 1 – 25/04/2007

Rôle de l’ordre des gènes Comparaison des descendants : avec ou sans modification de l’ordre des gènes avec ou sans crossover En l’absence de crossover, pas d’influence sur l’évolvabilité Si présence de crossover, un ordre des gènes aléatoire diminue l’évolvabilité l’ordre évolué favorise donc les échanges entre les individus Séminaire LIRIS – Axe 1 – 25/04/2007

Évolution de l’évolvabilité On observe de plus en plus d’enfants moins bons au cours du temps, ce qui est normal : on se rapproche de l’optimum et donc on a de plus en plus de chances de « retomber ». Par contre, contrairement à toute attente, on a de + en + d’enfants meilleurs !! On a donc une hausse de l’évolvabilité, avec une variabilité toujours aussi forte et une neutralité qui diminue. Séminaire LIRIS – Axe 1 – 25/04/2007

Plan de la présentation Principes de l’évolution de second ordre Évolution et algorithmes évolutionnaires L’algorithme RBF-Gene Sélection indirecte de la structure génétique Conclusion Là aussi j’hésite entre conclusion et discussion ou un truc du genre…. Séminaire LIRIS – Axe 1 – 25/04/2007

Conclusion L’évolution de 2nd ordre Notre algorithme : un phénomène biologique connu permet d’augmenter l’évolvabilité des individus présente donc un intérêt pour un AE Notre algorithme : permet à cette évolution de 2nd ordre de s’exprimer a montré que cette évolution pouvait apparaître sans sélection directe : taille des séquences non codantes ordre des gènes Séminaire LIRIS – Axe 1 – 25/04/2007

Intérêts de l’évolution de 2nd ordre ? De nombreux avantages : Auto-adaptation de la représentation aux taux et aux opérateurs Paramétrage aisé (larges plages de fonctionnement) Structure qui s’adapte dynamiquement Modèle proposé facilement extensible à d’autres problèmes / types de représentation Y a-t-il des conséquences négatives ? L’évolution de second ordre risque-t-elle de perturber l’évolution de 1er ordre ? En évolution artificielle, seule la fitness finale nous intéresse Limites des approches (trop) bio-inspirées ? Séminaire LIRIS – Axe 1 – 25/04/2007