Paysages de Fitness et Neutralité

Présentation au sujet: "Paysages de Fitness et Neutralité"— Transcription de la présentation:

1 Paysages de Fitness et Neutralité
Philippe Collard Projet TEA Laboratoire I3S Université de Nice-Sophia Antipolis/CNRS

2 Paysages de Fitness et Neutralité
Origine Biologique du concept de neutralité Neutralité = ? Comment mesurer la neutralité ? Les paysages de fitness sont-ils neutres ? Des modèles pour étudier la neutralité Comment exploiter le concept de neutralité? In recent years, a new view of evolutionary search dynamics based upon neutral selection has arisen to challenge the traditional ‘hill- climbing’ paradigm. This new view has been prompted by research in molecular evolution that suggests a large proportion of mutations at a molecular level are selectively neutral. A revaluation is needed of the idea that populations evolve by converging upon local optima in the fitness landscape. Much of the inspiration for the investigation of neutral landscapes came from research into the structure of RNA folding landscapes in molecular biology (Huynen, Stadler & Fontana 1996). The discovery of neutral features in the search spaces of several real world problems, such as evolving neural nets and hardware evolution, has further established the validity of this approach (Harvey & Thompson 1996).

3 Origines Biologiques Théorie neutraliste de l’évolution Kimura 1983
Evolution moléculaire Correspondance génotype/phénotype très redondante Large proportion de mutations sélectivement neutres Moteur principal de l'évolution ? sélection adaptative rôle des forces stochastiques (dérive génétique) Dans la nature les populations ne sont pas fixées sur un optimum local Correspondance génotype/phénotype très redondante (i.e non injective) Dans la nature les populations ne sont pas fixer sur un optimum local, même si certains traits persistes la population peut évoluer Many proteine structure map onto the same tertiary structure, and since the fitness is primarily a function of the structure, such sequences possess the same fitness The mapping from RNA sequences to their secondary structures exhibits a large degree of redundancy i.e., there are typically many sequences that realize a given structure. The set of all sequences folding into a given molecule are referred to as the ``neutral network''. It turns out that the graph-theoretic structure of neutral nets is of some importance for the understanding of evolution and evolutionary optimization. Théorie neutraliste de l'évolution A la fin des années 60, avec l'accumulation des données moléculaires, une nouvelle théorie sur l'évolution du polymorphisme dans les populations a vu le jour. Jusque là, on pensait que l'évolution était un processus quasi-déterministe, impliquant des progrès évolutifs sous l'effet de la sélection naturelle. Motoo Kimura a été le principal artisan de cette nouvelle théorie appelée théorie neutraliste de l'évolution. Il a mis l'accent sur le fait que la plupart des régions géniques étaient soumises à une sélection purificatrice, pour proposer que la majeure partie du polymorphisme observé concernait des séquences fonctionnellement et sélectivement équivalentes et donc neutres du point de vue évolutif. Cette théorie minimise le rôle de la sélection adaptative comme principal facteur d'évolution et met en avant le rôle de forces stochastiques (dérive génétique, effet fondateur) comme moteur principal de l'évolution. Selon cette vue, la sélection existe, mais concerne une faible part du polymorphisme total. Ainsi, l'évolution ne va pas systématiquement choisir le meilleur allèle et éliminer les autres, mais plutôt tolérer la présence d'un grand nombre d'allèles fonctionnellement équivalents dans la population. La population sera donc le plus souvent polymorphe, et ce polymorphisme peut être considéré comme un polymorphisme de transition entre 2 fixations. Le fait qu'un allèle soit fréquent ne signifie pas qu'il soit mieux adapté, mais simplement que sa fréquence a fluctué sous l'action du hasard pour atteindre sa fréquence actuelle. Il aurait tout aussi bien pu s'agir d'un autre allèle. On peut brièvement résumer les principaux résultats de Kimura : La probabilité qu'un nouveau mutant sélectivement neutre se répande dans la population et finisse par se fixer est égale à sa fréquence initiale. Pour une population diploide de N individus, cette probabilité est donnée par La consanguinité augmente dans la population et l'hétérozygotie décroît d'un facteur 1/2Ne par génération, où Ne est la taille efficace de la population. Si un nouvel allèle est produit à un taux v par génération, le temps moyen entre 2 fixations est indépendant de la taille de la population, et est donné par 1/v. Il faut en moyenne 4Ne générations pour qu'un allèle destiné à se fixer se fixe effectivement. Si chaque mutation est unique est conduit à l'émergence d'un nouvel allèle (théorie des allèles infinis), la fréquence des homozygotes à l'équilibre (F) est ? et la fréquence des hétérozygotes (H) à l'équilibre est ? Pour des mutations sélectivement neutres, le taux d'évolution (k) des populations en terme de substitution d'allèles est égal au taux de mutation v. Pour des mutants sélectivement avantagés, ce taux n'est plus indépendant de la taille de la population. où s est l'avantage sélectif des nouveaux mutants, et v et le taux de mutation en faveur des mutants avantagés. Le temps de fixation pour des mutations avantageuses est en général plus rapide que pour les mutations neutres, car 4Nes > 1. Cependant, toute mutation peut être perdue par dérive génétique, quel que soit son avantage sélectif. Remarques Ces résultats reposent sur plusieurs hypothèses telle que celle de l'accumulation constante des mutations (théorie des horloges moléculaires) la constance de la taille des populations. Il y a donc autant d'allèles perdus par dérive génétique que de nouveaux allèles produits par mutation. Cet état est appellé équilibre mutation-dérive. Il est rarement atteint dans la réalité. Le processus de fixation peut êre extrémement long, 4Ne générations peut représenter plus de générations que la durée d'une espèce, si bien qu'il peut ne jamais y avoir de fixation dans de grandes populations. Les fixations sont vraisembalablement concentrées aux moments où l'espèce compte peu d'individus, comme à son commencement, pendant le processus même de spéciation. Bien que la grande majorité du polymorphisme observé soit vraisemblablement neutre, cela ne signifie pas forcément que la faible quantité de mutations adaptatives ne joue pas un rôle important dans l'évolution, notamment lors de spéciations. Sélection purificatrice Hypothèse selon laquelle la sélection agirait principalement (mais pas uniquement) par l'élimination des mutations désavantageuses, impliquant la conservation des mutations neutres. Selon ce principe, la grande majorité des mutations observées seraient donc sélectivement neutres. Ce principe a été a la base de la théorie neutraliste de l'évolution. Some central questions in this context are: Can we characterize the emergence of a ``giant component'' in neutral networks? When does there exist a path composed by successive point mutations that connects any two sequences in a neutral net? Supposing (2), under which conditions are there ``many'' independent such paths in the net, allowing for (important) redundancy? Can we characterize the Hamming-length of these paths?

4 Neutralité = Redondance + Opérateur neutre
Ensemble de neutralité (ES) Ensemble de génotypes d’iso-fitness Réseau de neutralité (RN) Connections intra ES par opérateur neutre RN de taille suffisamment importante $ «Portes» entre les RN Une large proportion du paysage peut être approchée par exploration d’un réseau Augmente la probabilité d’atteindre un niveau de fitness donnée à partir d’une pop aléatoire Il n’existe pas de définition ni très précise ni très formelle de la neutralité. Ce que l’on souhaite par imitation de ce que l’on rencontre en biologie moléculaire Ce que l’on espère c’est que ces caractéristiques correspondent à des paysages pour lesquelles une large proportion …

5 Du Grimpeur au Nageur … Ou comment s’échapper d’un optimum local grâce aux mutations ? The most fundamental open question is the relationship between the structure of a fitness landscape and the behaviour of an evolutionary algorithm acting upon it Si l’on revient maintenant sur la Métaphore géographique des paysages de fitness (ie. Espace génotypique vs. fitness) elle n’incite pas à prendre en considération les ensembles d’iso-fitness, ni à considérer une dynamique sur ces ensembles. Par exemple, on ne voit pas très bien l’intérêt de suivre une courbe de niveau (en particulier lorsque l’on se rapproche d’un maximum local) Autant elle a un intérêt pour représenter la relation de cause a effet entre les variations au niveau génotypique et les variations de fitness induite via la notion de paysage au relief doux ou rugueux, Autant elle peut être trompeuse pour supporter notre intuition d la neutralité Tout au moins il faut adapter cette métaphore pour relater la dynamique : Attention le grimpeur est myope mais le nageur est aveugle ! Si l’on considère maintenant que la taille des ensembles de neutralité est importante, on peut supposer l’existence de chemins (voir de plateaux) qui permettrait de changer de bassin d’attraction et ainsi de s’extraire d’un maximum local. Implicitement on suppose qu’une mutation au niveau génotypique induit une variation de fitness (ou tout au moins qu’il n’y a a priori pas d’intérêt à suivre une courbe de niveau) On s’intéresse alors à la corrélation entre les variations entre les niveaux génotypique et phénotypique (ou bien fitness) c’est la notion de paysage rugueux Does formation of new species alway imply a (tempory) reduction in fitness ?

6 Marche adaptative sur un paysage de fitness avec neutralité
Succession de phases Gain de fitness Dérive aléatoire Une première vision simplifiée d’une marche adaptative sur un PdeF avec neutralité pourrait être celle-ci : Une succession de phases entre gain progressif de fitness et dérive aléatoire à fitness quasi-constante pour atteindre une zone de l’espace d’où l’on pourra de nouveau progresser… Un bonne métaphore pour la dynamique serait de considérer un grimpeur myope (recherche locale) et un nageur aveugle (dérive aléatoire neutre) Fig 2 An adaptive walk on a fitness landscape with neutrality. Random neutral drift allows the discovery of areas of genotype space where further increases in fitness can be achieved. Diagram adapted from Schuster [2]

7 Neutralité et dynamique évolutionniste
Longues périodes de stabilité (phénotypique) Dérive dans un réseau de neutralité Effet d’un opérateur neutre (mutation) Ponctuées par de rapide augmentation de fitness Découverte inopinée d’un meilleur mutant Effet de mutation adaptative rare Mutation = opérateur neutre ? Rôle du croisement ? Convergence prématurée ! En fait si l’on examine la dynamique évolutionniste sur un paysage neutre, on observe des équilibres ponctués. C’est à dire une alternance de Longues périodes de stabilité (phénotypique) pendant lesquelles la population dérive dans un RN sous l’effet de mutations neutres Ponctuées par de rapide augmentation de fitness qui résultat de la Découverte inopinée d’un meilleur mutant (les mutations adaptatives sont rares) Le problème classique de convergence prématurée vers un optimum local par perte de diversité disparaît, ou du moins il doit être reformuler EP explique l’absence de formes intermédiaires dans certaines lignées de fossiles The new view proposes population clusters that wander across layers of uniform fitness under the influence of random mutation and genetic drift. Eventually an individual will chance upon a rare transition point to a more fit level, giving their offspring a distinct selective advantage that will eventually result in a rise in average population fitness. We have also argued that the role of recombination is obscure and may amount to little more than macro-mutation. Given this scenario, the perceived “problem” of premature convergence dissappears and search for high-fitness genotypes becomes dominated by the waiting for drift and mutation to find portals to higher neutral networks Donne une explication à la theorie des équilibres ponctués C’est la dynamique des équilibres ponctués (VERIFIER SI ELLE NE PEUT PAS ETRE EXPLIQUER AUTREMENT !!!!!!) Punctuated equilibrium From Wikipedia, the free encyclopedia. Punctuated equilibrium is a theory of evolution which postulates that changes such as speciation occur very quickly, with long periods of little change (equilibria) in between. This accords well with what some perceive as the relative lack of intermediate forms in the fossil record in some evolutionary lines. Simulations provide some insight into how this might work: the equilibrium periods show a gradual accumulation of neutral mutations, and the jump occurs when some beneficial combination of them reaches a certain threshhold percentage (1/e2). On the other hand, speciation could also be triggered by classical means such as separation of populations. A recent study on some trout that had been separated, in fact, showed that after only a few generations the two populations tended not to interbreed due to minor behavioral differences. Thus, even if they were remixed, the two groups would probably diverge genetically. This is much faster than anyone expected separation to occur. The theory was proposed by Niles Eldredge and Stephen Jay Gould in the 1970s. It relies heavily on Ernst Mayr's concept of peripatric speciation. The theory of punctuated equilibrium is usually contrasted with phyletic gradualism, though critics, notably Richard Dawkins, have argued that phyletic gradualism is merely a straw man. The actual differences between the various evolution theorists are not as large as the proponents of punctuated equilibrium have suggested, and the current debate is often more a debate on the relative degree of punctualism and gradualism than one between two fully different extremes.

8 Intérêt de la neutralité pour la recherche ou l’optimisation
Donne un moyen de maintenir une certaine diversité génotypique sans risque de perdre les fitness Potentialité pour s’échapper de certains optima locaux Avant de poursuivre cette présentation, on peut déjà avoir une idée de l’intérêt pour nous d’exploiter ce concept. Donne un moyen de maintenir une certaine diversité génotypique sans risque de perdre la fitness : c’est un bonne outil pour gérer le compromis exploitation/exploration Offre une Potentialité pour s’échapper de certains optima locaux Neutrality provides a way to vary the search distribution without the risk of fitness loss One of the main attractions of neutral networks from search and optimisation point of view is that they may offer a potential ‘escape route’ from many local optima

9 Comment mesurer la neutralité ?
Redondance Nombre et Taille des RN Distribution des génotypes selon la fitness (DOS) Connectivité intra RN Proportion de mutations neutres vs. Fitness nombre de mutations neutres par génotype (neutral degree) (Barnett) inter RN Percolation (théorie des graphes) Taux d’innovation (neutral random walks) Evolvability (Smith 2002) Le terme réseau n’est justifier que si il existe une connectivité Perpetual Innovation along the neural net: A random walk is performed on a neural net et le nombre de phenotypes (fitness) différentes (jamais rencontrées) proches (a une distance de 1bit) du réseaux est comptabilisé The algo works as follows: an initial chromosome is chosen, la fitness de tous ses 1bit voisins est calculée et le nombre de fitness « innovantes » est compté. On recommence à partir d’un des voisins neutres tirés au hasard. The neutral degree of a genotype g is defined to be the number of neutral mutations of g Idée de la percolation : from any point in the genotype space it is likely that a required genotype wil be in relatively close proximity Un chemin neutre peut fournir des informations sur la connectivité d’un RN. A chaque étape, on cherche un voisin (neutre) tel que la distance du point de départ augmente

10 Densité d’Etats Distribution des configurations selon les valeurs de fitness Représente la taille des ensembles d’iso-fitness Indique la probabilité d’atteindre un niveau de fitness donné Distribution Normale (binomiale) Unitation, Paysage NK SAT, max-CSP, TSP Mesure utilisée en Physique des Etats Solides SAT = problème de satisfiabilité

11 DOS : Paysage NK N=16 K=12 Donne la fitness d’une pop initiale aléatoire La probabilité d’obtenir « par change » une solution de bonne fitness est très faible D’une certaine manière la neutralité diminue quand on s’approche des valeurs de fitness élevées Quelle est le delta de fitness significatif ? Fitness bruité -> redondance Obtention analytique (unitation) , par enumération pour les pb de petite taille sinon par échantillonnage Pb : échantillonner quand une énumération exhaustive n’est pas possible (méthode d’échantillonnage basée sur un algo de metropolis)

12 Intérêts et Limites du D.O.S
Mesure indépendante du voisinage codage, voisinage, opérateur Permet de « situer » une population initiale aléatoire La « queue » de la distribution est un indice de difficulté Extension : prise en compte le dynamique Distribution des Coûts de Processus (Hao & Belaidouni) Indépendant du codage au sens ou un code de gray est équivalent à un codage direct des entiers Problem with a very fast decay of n(f) should be very hard to solve, because the probability to find a better solution decays also very fast

13 Les paysages académiques sont-ils neutres ?
Fonctions de De Jong Redondance induite par la modalité Redondance Unitation : redondance NK : redondance Redondance + Mutation neutre Royal Road When using a fonction to optimize a function of n variables, a common strategy would be to use m bits to code for each variable on a genotype of length nm; the encoding of each variable to m-bits precision could be in binary or using a Gray code. In such a case every locus on the genotype is functional – a change of a bit normally changes the value of the function that is being optimised. Fitness functions typically used in testing GA fall in this category (eg. De Jong test suites functions, NK)

14 Fonction Royal Road (Holland, Forrest, Mitchell 95)
N = 3 blocs * 10 bits sopt= s3 =******************** s2 =********** ********** +1 s1 = ******************** +1 4 réseaux de neutralité fitness 3 : 1 fitness 2 : ~ 3.103 fitness 1 : ~ 3.106 fitness 0 : ~ 109 3 blocks de 10 bits 1 seul optimum de fitness 3 3069 genotypes de fitness 2 de fitness 1 Les autres de fitness 0

15 Fonction Royal Road Crutchfield & al. 99
Mutation Positive (adaptative) : rare ******************** Négative (délétère) : rare ******************** Neutre : les plus fréquentes ******************** Pop 250 Probabilité de mutation 0.005 Mutation positive : adaptative RARE Mutation négative : délétère, défavorable RARE Mutation neutre : NOMBREUSES, les plus fréquentes Max et mean fitness vs. générations

16 Fonction Royal Road fitness vs. générations
Max et mean fitness vs. générations on observe des équilibres ponctués. C’est à dire une alternance de Longues périodes de stabilité (phénotypique) pendant laquelle la population dérive dans un RN sous l’effet de mutations neutres Ponctuées par de rapide augmentation de fitness qui résultat de la Découverte inopinée d’un meilleur mutant (les mutations adaptatives sont rares) 1 seul optimum de fitness 3 3069 génotypes de fitness 2 de fitness 1 Les autres de fitness 0

17 Fonction Royal Road Population vs. générations
Population=(P0,P1,P2,P3) Pi = proportion de chaînes de fitness i Pi= proportion de chaînes de fitness i dans la pop courante P3=1-P0-P1-P2 This example illustrates the general qualitative dynamics of epochal evolution. It is important to note that the architecture of neutral subbasins and portals is such that a highertness subbasin is always reachable from the current best-tness subbasin. Metastability is a result of the fact that the connections (portals) to higher-tness subbasins are very rare. These portals are generally only discovered after the population has diffused through most of the subbasin. Additionally, at each innovation, the fitness distribution expands into a new dimension of the simplex. Initially, when all members have fitness 0, the population is restricted to a point. After the first innovation it moves on a one-dimensional line, after the second it moves within a two-dimensional plane, and finally it moves into the interior of the full three-dimensional simplex. One sees that, when summarizing the population with tness distributions, the number of components needed to describe the population grows dynamically each time a higher-tness subbasin is discovered. We will return to this observation when we describe the connection of our analytical approach to the theory of statistical mechanics.

18 Les paysages « réels » sont-ils neutres ?
Evolution of neural network controllers in robotic Silicon chip electronic circuit evolution (FPGA) (Harvey ICES96) Circuit de reconnaissance de la parole (Thompson 2001) Evolving circuit designs directly onto a FPAGA for the purpose of signal recognition I. Harvey « Through the labyrinth evolution finds a way: a silicon ridge » Evolution de genotype sous la forme de RNA qui détermine

19 Des modèles pour étudier la Neutralité
Modèle basé sur les fonctions Royal Road Labyrinthe en Terrasses Modèle basé sur les paysages NK (random) NKp ‘probabilistic NK’ NKq ‘quantised NK’ Within the field of evolutionary computation, one major task has been the definition of the class of problems on which evolutionary search strategies outperform other techniques. This task is necessary in order to establish the value of applying evolutionary algorithms to search and optimisation problems. One approach has been to define general models of search space landscapes and observe and analyse the behaviour of a range of different search strategies upon them. Several of these models involving neutrality have been proposed based upon Kauffman’s well-known NK landscape model (Kauffman 1993).

20 Terraced Labyrinth fitness function Crutchfield & al. 99
Fitness déterminée par un arbre Nœud : réseau de neutralité Schéma Fitness associée Constellation : zone de transition mutuellement exclusives sur un même nœud Branche : portail entre réseaux adjacents instanciation d’une constellation Sous-nœud : réseau de meilleure fitness spécialisation de schéma Labyrinthe en terrasses : généralise les fonctions Royal Road Paysage déterministe pour lequel la fitness est déterminée par un arbre Tree representation of a Terraced Labyrinth fitness function. The nodes of the tree represent subbasins of genotypes with equal fitness. They are represented by strings that have 's for the free bits. The fitness f of the genotypes in the subbasins is indicated as well The constellation c inside each node indicates the subset of bits that needs to be set correctly in order to move up a level in the tree to a higher-tness subbasin. The portal congurations that connect subbasins to higher-tness subbasins are shown as branches.

21 Labyrinthe en terrasses
8 7 6 00000**111**110 6 Let's illustrate our class of fitness functions by a simple example that uses bit-strings of length L = 15. Les constellations sont les sous-chaînes soulignées les portails des instanciations de constellation représentés par les couleurs et les branches The example is illustrated in Fig. 3. Initially, when no constellation is set correctly the strings have fitness 1. The first constellation, consists of the bits 1 through 5. This constellation can be set to two different portal configurations: either or When p= or p = the genotypes obtain fitnesses 2 and 3, respectively. Once constellation c = 1, say, there is a constellation c1, consisting of bits 9 Generally, the hierarchical ordering of constellations and their connections via portals can be most easily represented as a tree Each tree node represents a subbasin of equal-fitness genotypes. The tree branches represent the portals that connect a lower-tness subbasin to a higher-tness subbasin. The tness and structure of genotypes within a subbasin are also shown at each node. Stars (*) indicate the free bits within a subbasin. The constellations at each node indicate which subset of bits needs to be set to a portal conguration in order to proceed further up the tree. Thus, setting a constellation to a portal conguration leads one level up the tree, while mutating one or more of the constrained bits leads down the tree. In fact, a single point-mutation might lead all the way back to the root node. 11111*** 4 11111*** 5 00000**111***** 4 11111********** 3 00000********** 2 *************** 1

22 Labyrinthe en terrasses et mutations
Mutation adaptative rare Contrôlée par la taille des constellations Mutation neutre Fréquente (muter sur une constellation) diminue quand la fitness augmente Mutation délétère augmente avec la fitness 1 seule mutation peut « ramener » à la racine Par exemple si on mute le premier bit de la chaîne optimale, la fitness revient à 1

23 Des modèles pour étudier la Neutralité
Modèle basé sur les fonctions Royal Road Labyrinthe en Terrasses Modèle basé sur les paysages NK (random) NKp ‘probabilistic NK’ NKq ‘quantised NK’ L’idée est ici d’introduire un paramètre qui permet de régler le degrés de neutralité Différentes approches pour modéliser la neutralité

24 Paysages NK Kauffman 1993 N = longueur du chromosome
K = degré d’épistasie Fitness additive S des contributions de chaque gène Contribution d’un gène dépend Allèle du gène Allèles de K autres gènes K=0 : fitness linéaire (smooth landscape) K=N-1 : fitness aléatoire (rugged landscape) EPISTASIE : une mutation peut induire de grand changement sur la fitness K=N-1 : fitness aléatoire (rugged landscape) There are a large number of local optima (pour K grand et1 seul pour K=0) The average length of an adaptive walks to local optima is short and scales as N Any given genotype can climb to only a small fraction of the local optima Conversely, only a small fraction of genotypes can climb to any given optimum (including the global one) A significant feature of these landscapes is that finding th global optimum falls into th class of NP-complete problems

25 Paysages NK : K=2 Kauffman 1993 DOS binomiale
Paysages non déterministe. La table des contributions est générer de façon aléatoire. Table de correspondance entre chaque configuration possibles (allèle du gène courant et allèles du voisinage) et la contribution du gène (2 k+1 entrées) La fitness est un réel entre 0 et 1 PAS DE MUTATION NEUTRE (ou très rare) DOS binomiale Mutations neutres très rares

26 Paysages NKp Barnett 1998 Paysages NK + neutralité
p=probabilité qu’une contribution soit nulle p=0 : paysage NK (pas de neutralité) P=1 : paysage plat La probabilité qu’une mutation soit neutre augmente avec p Si p est grand (proche de 1) l’épistasie diminue ( a la limite on a un paysage plat) p=probabilité qu’une contribution (entrée dans la table) soit nulle

27 Paysages NKp : K=2 Barnett 1998

28 DOS : N=16 K=12 p=0.8 La taille des réseaux de neutralité diminue quand la fitness augmente

29 NKp : proportions des mutations neutres N. Geard & al. (CEC 2002)
Pour le NKq comme q=2, il y 9 niveaux de fitness possibles Pour le NKp la fitness a ete discretiser pour pouvoir faire des comparaisons Le degré de neutralité diminue quand la fitness augmente

30 Innovation le long d’un RN Huynen 1996, Barnett 1998
On comptabilise le nombre de phénotypes « innovants » rencontrés dans le voisinage du chemin aléatoire neutre (neutral walks) sur le RN Barnett : Random walks are performed on neutral networks (“neutral walks”) and previously unseen phenotypes (“innovations”) accumulated. The rate of discovery of innovations is then compared to the discovery rate for random walks on the landscape not constrained to a neutral network. Since we are not dealing with phenotypes (in the sense of an intermediate mapping between genotype and fitness) we identify phenotype directly with fitness and consider an innovation to be the discovery of a genotype of previously un-encountered fitness. We thus say that a neutral network has the constant innovation property if: (I) the rate of discovery of innovations remains approximately constant for a reasonably large number of steps - what Huynen terms “perpetual innovation” (II) the rate of discovery is comparable with that of an unconstrained random walk.

31 N=20 K=4 pop=1000 mutation=0.001 p=0 p=0.99 Barnett
Population dynamics on an NKp Landscape: N = 20, K = 4, p=0, population = 1000, mutation rate= per locus. Abscissa is number of generations. Initial population is 1000 identical genotypes of fitness ~ zero. p=0.99

32 Paysages NKq Newman & Engelhardt 1997
Les contributions à la fitness sont des entiers dans [0..q] (quantised NK) Intuitivement on construit un paysage NK en « terrasses » La probabilité qu’une mutation soit neutre diminue avec q Le nombre de réseaux de neutralité augmente exponentielle avec N Percolation dans les plus grands réseaux de neutralité Relate to the intutive idea of a terraced NK landscape Idée : on discrétise l’espace des fitness Le nombre de réseaux de neutralité augmente de facon exponentielle avec N Quand q est grand on retrouve le NK The largest neutral networks percolate, which is to say they fill the sequence space roughly uniformly, in such a way that no sequence is more than a certain distance from a member of the percolating network

33 Paysages NKq : K=2 q=2 Newman & Engelhardt 1997
Si q=2 il y a N+1 niveaux de fitness (et donc réseaux de neutralité)

34 DOS : N=16 K=12 q=2

35 NKq : proportion des mutations neutres N. Geard & al. (CEC 2002)
Pour le NKq comme q=2, il y 9 niveaux de fitness possibles Pour le NKp la fitness a été discrétisée pour pouvoir faire des comparaisons

36 Comparaisons : NKp, NKq N. Geard & al. (CEC 2002)
Distribution des mutations neutres Quand la fitness augmente : Le nombre de mutations négatives augmente Le nombre de mutations positives diminue NKp Le nombre de mutations neutres diminue avec la fitness NKq Le nombre de mutations neutres est maximum pour la fitness moyenne Equipe australienne N=8 Pour chaque génotype la fitness de tous les mutants (1 bits) est calculée Les résultats sont moyennés sur 20 paysages

37 Meilleure fitness atteinte vs. Neutralité N=20 K=4
Random hill-climber moyenné sur 10 simulations Stratégie : sélectionner un 1-mutant au hasard jusqu’à trouver une meilleure solution ou une solution équivalente Le processus de recherche s’arrête sur un réseau de neutralité qui ne percolate pas The maximum fitness attained by a random hill-climber averaged over ten simulations with N=20, K=4, A=2 (taille de l’alphabet) et q=2, as a function of the neutrality parameter q Stratégie : sélectionner un one-mutant voisin au hasard jusqu’à trouver une meilleure solution ou une solution équivalente (ie on diffuse dans le réseau de neutralité jusqu’à trouver une « porte» vers un niveau supérieur Le processus de recherche s’arrete sur un reseau de neutralité qui ne percolate pas RAPPEL : plus q est petit plus il y de neutralité Bilan : la neutralité aide la population a atteindre de grande valeur de fitness

38 Meilleure fitness atteinte vs. Neutralité N=20 K=4
q RAPPEL : plus q est petit plus il y de neutralité Bilan : la neutralité aide la population a atteindre de grande valeur de fitness

39 Comment exploiter le concept de neutralité en Evolution artificielle ?
Etudier la neutralité intrinsèque Redondance (DOS) Connectivité (intra/inter) Neutralité synthétique Introduire de la redondance codage bruit dans le calcul de la fitness Méta codage (stratégies d’évolution) Concevoir des opérateurs neutres Exploiter les symétries Meta codage : des info sur la façon de muter dans le chromosome

40 Neutralité synthétique
Spécifique Choix du codage Choix des opérateurs Neutre Recombinaison Indépendante du problème Neutralité synthétique minimale

41 Voyageur de commerce 24 villes concentriques
Concevoir un Opérateur neutre Exploiter les symétries du problème « Compatible » avec le croisement (PMX)

42 Voyageur de commerce Opérateur neutre et Symétrie
Inconvénient : l’ordre de parcourt des villes est inversé

43 Voyageur de commerce solution optimale

44 Neutralité synthétique
Spécifique Choix du codage Choix des opérateurs Neutre recombinaison Indépendante du problème Neutralité synthétique minimale

45 Neutralité synthétique minimale P. Collard & al. (EA 99)
Dualité : neutralité synthétique minimale Mapping génotype/phénotype f : W  R Mapping étendu F : {0,1}x W  R F(0x) = f(x) F(1x) = f(x)

46 Neutralité synthétique minimale
Redondance F : {0,1} * W  R F(x)=F(x) Invariance de la Densité d’Etats Contraction de la distance Hamming d(0000,1111)=l d(00000,10000)=1 d(0000,0011)= l/2 d(00000,11100)= l/2 Opérateur neutre : mirroring x  x

47 Neutralité synthétique minimale Etude expérimentale
200 bits 100 chromosomes 1000 générations Mutation 0.5 par chromosome Mirroring 0.02 Croisement 0.7 Tournoi

48 Trajectoire du centroïde sans neutralité
Une illustration de la convergence prématurée

49 Neutralité synthétique d’ordre 1 Trajectoire du centroïde

50 Neutralité synthétique d’ordre 1 Mean/max fitness

51 Neutralité synthétique d’ordre 1 Proportion cumulée des génotypes

52 Conclusion Peu de résultats théoriques ou empiriques sur la structure des paysages neutres Résultats sur des paysages simples ou idéalisés Etudier le rôle du croisement Etudier la neutralité intrinsèque Concevoir des opérateurs neutres At present, there is still a fundamental lack of both empirical data and theoretical understanding concerning the structure of neutral landscapes. Many of the analytical results have been obtained from simplified or idealised landscapes. The extent to which these results apply to the more complex landscapes likely to be found in real world problems has not yet been demonstrated. The goal of this study was to broaden knowledge of landscapes with neutrality by investigating structural properties of the NKp landscape model (Barnett 1997, 1998) and the NKq landscape model (based on Newman & Engelhardt 1997) using Kauffman’s original NK model for comparison. Initially, Kauffman’s simulations pertaining to NK landscapes were replicated. Next, these simulations were extended to the neutral NKp and NKq landscapes. A series of comparative simulations were carried out to investigate the performance of several different search algorithms on a variety of neutral and non-neutral landscapes. Finally, a simulation was developed to investigate the role of crossover in maintaining genetic diversity in a population evolving on a neutral landscape. It was found that hill-climbing algorithms are generally capable of finding better individual solutions, but population-based algorithms tend to find higher average solutions. It was also found that crossover allows a population on a neutral landscape to maintain a much higher level of genetic diversity on a neutral layer than a population using mutation alone. Furthermore, populations using crossover suffer a less dramatic loss of diversity when a new fitness level is discovered, and recover diversity more rapidly.

53 Conclusion Tthere is still a fundamental lack of both empirical data and theoretical understanding concerning the structure of neutral landscapes Many of the analytical results have been obtained from simplified or idealised landscapes The extent to which these results apply to the more complex landscapes likely to be found in real world problems has not yet been demonstrated The goal of this study was to broaden knowledge of landscapes with neutrality by investigating structural properties of the NKp landscape model (Barnett 1997, 1998) and the NKq landscape model (based on Newman & Engelhardt 1997) using Kauffman’s original NK model for comparison. Initially, Kauffman’s simulations pertaining to NK landscapes were replicated. Next, these simulations were extended to the neutral NKp and NKq landscapes. A series of comparative simulations were carried out to investigate the performance of several different search algorithms on a variety of neutral and non-neutral landscapes. Finally, a simulation was developed to investigate the role of crossover in maintaining genetic diversity in a population evolving on a neutral landscape. It was found that hill-climbing algorithms are generally capable of finding better individual solutions, but population-based algorithms tend to find higher average solutions. It was also found that crossover allows a population on a neutral landscape to maintain a much higher level of genetic diversity on a neutral layer than a population using mutation alone Furthermore, populations using crossover suffer a less dramatic loss of diversity when a new fitness level is discovered, and recover diversity more rapidly. At present, there is still a fundamental lack of both empirical data and theoretical understanding concerning the structure of neutral landscapes. Many of the analytical results have been obtained from simplified or idealised landscapes. The extent to which these results apply to the more complex landscapes likely to be found in real world problems has not yet been demonstrated. The goal of this study was to broaden knowledge of landscapes with neutrality by investigating structural properties of the NKp landscape model (Barnett 1997, 1998) and the NKq landscape model (based on Newman & Engelhardt 1997) using Kauffman’s original NK model for comparison. Initially, Kauffman’s simulations pertaining to NK landscapes were replicated. Next, these simulations were extended to the neutral NKp and NKq landscapes. A series of comparative simulations were carried out to investigate the performance of several different search algorithms on a variety of neutral and non-neutral landscapes. Finally, a simulation was developed to investigate the role of crossover in maintaining genetic diversity in a population evolving on a neutral landscape. It was found that hill-climbing algorithms are generally capable of finding better individual solutions, but population-based algorithms tend to find higher average solutions. It was also found that crossover allows a population on a neutral landscape to maintain a much higher level of genetic diversity on a neutral layer than a population using mutation alone. Furthermore, populations using crossover suffer a less dramatic loss of diversity when a new fitness level is discovered, and recover diversity more rapidly.

54 N=15 Tree representation of a Terraced Labyrinth tness function. The nodes of the tree represent subbasins of genotypes with equal tness. They are represented by strings that have 's for the free bits. The fitness f of the genotypes in the subbasins is indicated as well The constellation c inside each node indicates the subset of bits that needs to be set correctly in order to move up a level in the tree to a higher-tness subbasin. The portal congurations that connect subbasins to higher-tness subbasins are shown as branches.

55 Paysages NKp Barnett 1998 ‘Probabilistic NK’
Capture some of the lethal mutations in biology Le paramètre de neutralité p a peu d’effet sur la corrélation We introduce the NKp family of landscapes (a variant on NK landscapes) which possess the remarkable property that varying the degree of neutrality has minimal effect on the correlation structure. Barnet explique ce resultat qui peut paraître de prime abord paradoxal, par deux effets opposés de la neutralité sur la corrélation 1: le nombre important de génotypes de même fitness devrait augmenter la corrélation 2: les génotypes de fitness élevée sont de + en plus rares (quand p augmente)

56 Distributions des mutations neutres N. Geard & al. (CEC 2002)
Pour le NKq comme q=2, il y 9 niveaux de fitness possibles Pour le NKp la fitness a ete discretiser pour pouvoir faire des comparaisons

57 Epistasie vs. Neutralité
Mesurer l’effet d’une mutation sur le fitness Principe de causalité Effet neutre Expérience en Robotique (T. Smith 2002) Ajouter de la neutralité et Diminuer l’épistasie favorise l’évolution GasNet = neural network = contrôleur de robot

58 Frozen accidents 8 7 6 00000**111**110 6 Frozen accident / Phenotypic structural constraints Since different portals of the same constellation are mutually exclusive, their subbasins are separated by a fitness barrier Des qu’un réseau est atteint, il peut être très difficile, voir impossible, de revenir sur les choix antérieurs ; les réseaux de même niveau (de même constellation) sont séparés par une « barrière de fitness » On ne peut pas parler de paysage trompeur (au sens ou un réseau de meilleure fitness conduirait à un opt local) car le choix entre des portails de même constellation n’est pas diriger par la fitness mais résulte d’une dérive dans un réseau de neutralité. Conclusion, ne pas penser « naïvement » que la diffusion dans des réseaux de neutralité permet d’éviter les minima locaux The subbasin-portal architecture, whose population dynamics we are analyzing, suggests a natural explanation for the occurrence and longevity of frozen accidents Generally speaking, frozen accidents refer to persistent phenotypic characters that are selected out of a range of possible, structurally distinct alternatives by specic random events in the evolutionary past One imagines an arbitrary event, such as a sampling uctuation, promoting one or another phenotype, which then comes to dominate the population and thereby excludes alternatives that could be equally or even more t in the long term. Within the class of Terraced Labyrinth tness functions frozen accidents occur via a simple mechanism. In particular, a given evolutionary path through the fitness-function tree can be regarded as a sequence of frozen accidents. Since different portals of the same constellation are mutually exclusive, their subbasins are separated by a fitness barrier. Across a wide range of parameter settings, the crossing of such fitness barriers takes much longer than the discovery of new portals, via neutral evolution, in the current subbasin. Once evolution has taken a certain branch up the tree, it is therefore unlikely, that it will ever return. That is, once a subbasin B~{ is discovered, the further course of evolution is restricted to the subtree with its root at ~{. In this way, the genotypic constellations up to ~{ become installed in the population. The alternative evolutionary paths are not merely a case of genetic book-keeping. Dierent portals of a constellation c~{ may be associated with very dierent phenotypic innovations. Once a particular phenotypic innovation has occurred, the phenotype determines which range of future phenotypic inno- vations can occur. This contingency|how evolutionary futures depend on current phenotypic constraints|goes under the name of structural phenotypic constraints. In the Terraced Labyrinth this phenomenon is reected in the possibility that tness-function trees have very dissimilar subtrees. For instance the subtrees rooted at nodes 1 and 2 in Fig. 3 are very dissimilar. This dissimilarity reects the fact that evolutionary futures starting from the phenotype corresponding to node 1 are very dierent from those starting from the phenotype associated with node 2. 11111*** 4 11111*** 5 00000**111***** 4 00000********** 2 11111********** 3 *************** 1

59 Concevoir des Opérateurs neutres
Unitation / Inversion Inversion / croisement Par exemple l’inversion pour l’unitation Idée : exploiter les symétries du problème L’op neutre doit « travailler » en harmonie avec l’op de recombinaison La conception d’op neutre peut (doit) être vue comme une opportunité de spécialiser l’AG en introduisant (exploitant) des connaissances sur le problème (structure de l’espace de recherche)

60 Questions Echantillonnage pour le dos Stratégie d’évolution
Smith 2002 evolvability