Pierre Collet : Intelligence Artificielle 1 Optimisation Stochastique Avancée Pierre Collet Laboratoire des Sciences de l’Image, de l’Informatique et de la Télédétection Equipe Fouille de Données et Bioinformatique Théorique

Pierre Collet : Intelligence Artificielle 2 Algorithmes Génétiques  Conçus par John Holland puis développés par David Goldberg non seulement dans le but d’obtenir de bons résultats, mais surtout pour comprendre le mécanisme évolutionnaire.  Représentation de la solution comme une chaîne de bits (tout entier ou réel peut se coder en binaire)  Opérateurs génétiques simples (mutation d’un 0 en 1 et inversement), croisement par échange de gènes (et pas par une opération entre les gènes comme avec les entiers).  Sélection par roulette (proportionnelle à la fitness)  Remplacement générationnel ou steady-state (2 parents font un enfant, qui remplace un individu avec plein de variantes : l’un des deux parents si l’enfant est meilleur, un vieil individu, un mauvais individu, …).

Pierre Collet : Intelligence Artificielle 3 Théorème des Schémas  La théorie des schémas a été introduite en 1975 par John Holland pour fournir une explication théorique à la performance des algorithmes évolutionnaires.  Un schéma correspond à un ensemble de génomes représentés avec des 0, 1 et * (qui signifie 0 ou 1).  Exemple de schéma : S=(*,*,0,1,*,1,0)‏  On définira :  d(S) la distance entre le premier et le dernier gène fixé (ici 4).  o(S) l'« ordre » du schéma, c.-à-d. le nb de gènes fixés (ici 4).  eval(i) l'évaluation d'un individu.  eval(S,t) la moyenne des évaluations de tous les individus représentés par S au temps t.  F(t) l'évaluation de l'ensemble de la population au temps t.  N(t) la taille de la population au temps t.  N(S,t) le nb d'individus correspondant au schéma S au temps t.

Pierre Collet : Intelligence Artificielle 4 Boucle évolutionnaire : sélection  Avec une sélection proportionnelle à la fitness (roulette), un individu a la probabilité eval(i)/F(t) d'être sélectionné.  Si on met en place une étape de sélection qui, pour chaque individu, le sélectionne suivant la probabilité ci-dessus, le nb d'individus suivant le schéma S au temps t+1 vaut : N(S,t+1) = N(S,t). N(t). eval(S,t)/F(t)‏ c.à-d. le nb d'individus correspondant à S au temps t, fois N(t) fois la probabilité de sélectionner un individu. Mais, F(t)/N(t)= la fitness moyenne de la population F(t). donc l'équation se récrit : N(S,t+1)=N(S,t). eval(S,t)/F(t).  Interprétation : le nb d'individus correspondant à S grandit comme la fitness de S au temps t / la fitness totale de la population. Sur le long terme, les bons schémas prolifèrent de manière exponentielle alors que les mauvais disparaissent.

Pierre Collet : Intelligence Artificielle 5 Evolution du schéma S par croisement  Si m est la longueur du génome, et d(S) la longueur entre le premier et le dernier gène fixe connu (déterminant la taille du schéma), alors, la probabilité qu'un croisement détruise le schéma est de d(S)/(m – 1).  Inversement, la probabilité de survie d'un schéma est de : p sc (S) >= 1 – p c. d(S)/(m – 1).  L'inégalité provient du fait qu'on peut avoir de la chance, et qu'un croisement ne modifie pas le schéma.  Après sélection et croisement, le nb d'individus correspondant à un schéma sera estimé par : N(S, t+1)=N(S,t). eval(S, t) / F(t). (1 – p c. d(S)/(m – 1))‏

Pierre Collet : Intelligence Artificielle 6 Evolution du schéma S par mutation  Soit pm la probabilité de muter un gène. Comme les mutations sont indépendantes les unes des autres, la probabilité de survie du schéma S est de : p ms (S) = (1 – p m ) ^ o(S)‏  Mais comme pm est proche de 0, on peut se ramener à : p ms (S) = 1 – o(S)p m  Finalement, l'estimation du nb de schéma correspondant à S au temps t+1 est de : N(S,t+1) >~ N(S,t) eval(S,t)/F(t) (1 – p c.d(S)/(m–1) – o(S)p m )‏

Pierre Collet : Intelligence Artificielle 7 Interprétations (rapides) du th. des schémas  Un schéma court, d'ordre faible (building block) de valeur > à la moyenne, va se multiplier de manière exponentielle dans la population là où un schéma de valeur < à la moyenne va disparaître de manière exponentielle.  En évaluant un individu, on évalue tous les schémas auxquels il appartient (paraléllisme implicite). Malheureusement, Dorigo [93] montre qu'il y a m 3 schémas utiles dans la population...  Un individu appartient à 2 m schémas différents (1 schéma d'ordre 1,... m schémas d'ordre m), soit (2/3) m schémas possibles.  Pour un alphabet de taille K, c'est (2/(K+1)) m, ce qui est maximal pour K = 2  Donc la représentation binaire est optimale !

Pierre Collet : Intelligence Artificielle 8 Malheureusement...  Et si l'optimum ne se trouve pas dans les schémas les plus performants ? (problèmes trompeurs, Goldberg89)‏  Whitley 1990 :  000=28, 001=26, 010=22, 011=0, 100=14, 101=0, 110=0, 111=30  f(0**)>f(1**), f(*0*)>f(*1*) et f(**0)>f(**1), et de même à l'ordre 2 !  L'argument de l'alphabet minimal est faux (Antonisse 89).  La performance observée  performance moyenne (dépend de la variance de la performance dans le schéma, Radcliffe–Surry 91–95).  La performance de la population croît aussi ! ... et tous les codages parmi les 2 m ! possibles ne peuvent pas être tous aussi performants !  Cadre mathématique flou (Rochet 98). ...

Pierre Collet : Intelligence Artificielle 9 Problème de représentation d'entiers  Utiliser une représentation binaire crée des optima locaux.  Falaises de Hamming : très difficile de passer de 7 à 8 par mutation.  Le croisement binaire donne des résultats bizarres :  8 x 7 donne une valeur entre 0 et 15.  8 x 0 donne soit 8 soit 0 !  Pour améliorer les choses, utilisation d'un code de Gray.  Moins d'optima locaux, mais la mutation d'un bit reste incontrôlée.

Pierre Collet : Intelligence Artificielle 10 Ex : run de 9000 individus sur F6 Fonction de Schaffer (Surry & Radcliffe 1996) par Hart (FOGA 4)‏ Représentation : Binaire Gray Dedekind IsoDedekind Optima locaux concentriques, optimum global en 0,0

Pierre Collet : Intelligence Artificielle 11 Conclusion  Pas d'optimisation en boîte noire  Il n'y a pas de codage universel  La représentation et les opérateurs sont fortement couplés  On peut construire des opérateurs indépendants de la représentation, mais les opérateurs spécifiques sont plus performants.