Université Mustapha Stambouli de Mascara Faculté des Sciences Exactes - Département d’Informatique Thèse de Doctorat de 3ème cycle Optimisation des algorithmes évolutionnaires par hybridation pour la résolution des problèmes multi-objectifs Présentée par Mr. Boukhari Noureddine Directeur de Thèse Pr. DEBBAT Fatima - Université de Mascara, Algérie Madame la Présidente, madame la directrice de la thèse, Messieurs les membres du jury, Je tiens tout d’abord à vous remercier pour l’intérêt que vous avez bien voulu porter à notre travail de recherche en acceptant de faire partie de ce jury J’ai le plaisir de présenter aujourd’hui devant vous ma thèse de doctorat intitulée « optimisation des algorithmes évolutionnaires par hybridation pour la résolution des problèmes multi-objectifs ». Co-Encadreur Pr. Monmarché Nicolas - Université de Tours, France 19/12/2020

Plan Introduction générale : Contexte et Problématique Optimisation Optimisation multi-objectifs Les algorithmes évolutionnaires EA Les algorithmes évolutionnaires dans l’optimisation multi-objectifs Contribution 1 : algorithme hybride pour résoudre les problèmes d’optimisations continus (ES-NM) Contribution 2 : algorithme hybride pour résoudre les problèmes d’optimisations multi-objectifs (MODE-OBL) Conclusions et Perspectives Le plan de ma présentation sera structuré comme suite : Tout d’abord, nous présenterons une introduction générale qui porte sur le contexte et la problématique de notre thèse. Suivi par l’exposition des problèmes d’optimisations , et plus particulièrement l’optimisations multi-objectifs. Après nous mettrons l'accent sur les algorithmes évolutionnaires et leurs apport dans l’optimisation multi-objectifs Ensuite, nous présenterons nos contributions principales pour les problèmes d’optimisation complexes, notamment l’optimisation mono et multi-objectifs Enfin, nous terminerons par quelques pistes de réflexion, ainsi que les travaux futurs à envisager comme perspectives.

L’optimisation évolutionnaire Introduction Générale Contexte L’optimisation évolutionnaire Sous domaine de l’intelligence artificielle (AI) qui reposent sur les principes et l'inspiration de l'évolution biologique de la nature. Intelligence artificiel ⊂ Optimisation ⊂ Algorithmes inspiré de la nature Actuellement, les problèmes d’optimisation sont omniprésents et deviennent de plus en plus complexes. L’objectif de l’optimisation est de minimiser le temps de calcul, le coût ou maximiser la qualité et l’efficacité des solutions. La résolution d’un problème d’optimisation difficile, qui comporte un grand nombre de solutions sous-optimales, justifié le recours à des méthodes métaheuristiques puissante. Les algorithmes d'optimisation évolutionnaires sont des approches émergentes, et robustes qui reposent sur les principes et l'inspiration de l'évolution biologique de la nature.

L’optimisation évolutionnaire Introduction Générale Contexte L’optimisation évolutionnaire Avantages Propriétés Système évolue une population d’individue stochastique. échantillonner plusieurs solutions candidates en une seule exécution de simulation adoption de l'idée de la survie du plus apte. Avantages de l’optimisation évolutionnaire Scalabilité Robustesse Adaptabilité Flexibilité Exemples d’algorithmes Stratégie évolutionnaire (ES), Algorithme génétique (GA), Algorithme différentiel (DE), etc. De nos jours, la plupart des nouveaux algorithmes développés sont inspirés de la nature et se sont avérés être un moyen efficace pour traiter les problèmes d'optimisation complexes du monde réel. Les principaux avantages sont : La scalabilité (ou l’évolutivité), La flexibilité, La robustesse, L’adaptabilité, Ces systèmes ont des propriétés communes : mécanismes stochastiques inspirés de l'évolution biologique échantillonner plusieurs solutions candidates en une seule exécution de simulation adoption de l'idée de la survie du plus apte qui permet de conserver les meilleures solutions candidates De nombreux algorithmes ont été développés, tels que : ES, GA, DA, et autres.

Développements récents dans les applications … Introduction Générale Contexte Développements récents dans les applications … Grâce à ces caractéristiques, les chercheurs ont réussi d’appliquer et d’adapter l’optimisation évolutionnaire dans un large éventail de problèmes d'application. Parmi les applications , nous pouvons citer : la planification, les applications réseau, les télécommunications, optimisation du portefeuille en finance et autres. Domaine d’application de l’optimisation évolutionnaires…

Problématique Introduction Générale Problématique Nombreux problèmes du monde réel impliquent une optimisation, qui consiste à atteindre les meilleurs résultats possibles avec plus d’un objectif à optimiser. => Problèmes d'optimisation complexes multi-objectifs Problèmes d'optimisation multi-objectifs MOOP Fortement polynomial & NP-difficile Exemples : Portefeuille d’investissement : Max les rendement/Min les Risks Réseau de télécommunication : Max la couverture, Mini les interférences, Min le cout, Max QoS (fiabilité, latence), etc. Les Problèmes académiques multi-objectifs: Sac a dos, voyageur de commerce… etc. Dans notre vie quotidienne, nous sommes constamment confrontés à une prise de décision à critères multiples dans de nombreux domaines différents. En fait, de nombreux problèmes du monde réel dans un large éventail d'applications, comme l'ingénierie, impliquent la tâche difficile d'optimiser simultanément plusieurs objectifs contradictoires au même temps. Par exemple, un gestionnaire de portefeuille d’investissement devra tenir compte à la fois de la maximisation des rendements et de la minimisation des risques lorsqu'il prend une décision d'investissement. C'est le cas du compromis risque-rendement, dans lequel un investissement ne peut générer des rendements plus élevés que s'il est soumis à un risque plus élevé. Les deux objectifs sont donc en conflit. Ces problèmes sont appelés : Problèmes d'optimisation multi-objectifs (MOOP) En fonction de leurs caractéristiques, ils peuvent être Fortement polynomial et difficile à résoudre (NP-hard).

Problématique - Méthodes de résolutions Introduction Générale Problématique Problématique - Méthodes de résolutions Différents types de méthodes pour résoudre ces problèmes : La résolution exacte qui est limitée aux problèmes de petites tailles. La Résolution approchée qui est un : Schéma de résolution global pouvant être appliqué sans variation majeure à différents type de problèmes. Et elle permet de trouver des solutions optimales ou quasi optimales dans des délais de fonctionnement raisonnables. => Ces techniques constituent un apport intéressant pour l’optimisation complexe mono et multi-objectifs. => Les techniques hybride constituent un apport intéressant pour l'optimisation mono et multi-objectifs.

Motivations Introduction Générale Problématique Les méthodes de recherche modernes pour l'optimisation Les meilleures solutions trouvées pour les applications académiques et réelles Une grande variété d'approches hybrides dans la littérature Domaines nécessitant des travaux futurs… Les méthodes de recherche modernes pour l'optimisation prennent en compte les méthodes hybrides employant un algorithme évolutif et des optimiseurs locaux travaillant ensemble Les meilleures solutions trouvées pour les applications académiques et réelles sont obtenues par des algorithmes hybrides L’hybridation est une tendance observée dans de nombreux travaux réalisés sur les métaheuristiques ces dix dernières années. permet de tirer profit des avantages cumulés de différentes métaheuristiques

Introduction Générale Objectif Notre Objectif Proposer et développer des schémas hybrides qui optimisent les performances des AE multi-objectifs Notre objectif est l’amélioration et l’optimisation des algorithmes évolutionnaires pour la résolution des problèmes complexes , et spécialement les problèmes multi-objectifs. Comme montre la figure, l’amélioration des algorithmes d’optimisations peut se faite a différentes manières, différentes niveaux et différentes techniques…. [Talbi, 2013]

Optimisation Pourquoi l’optimisation ? 𝑀𝑖𝑛𝑖𝑚𝑖𝑠𝑒𝑟 𝑓 0 𝑥 tel que f0 : Rn R: fonction objective, 𝑥=(𝑥1,…..,𝑥𝑛): variable de décision. un processus de recherche des conditions qui donnent le maximum ou le minimum d'une fonction. L'optimisation peut être définie comme le processus de recherche des conditions qui donnent le maximum ou le minimum d'une fonction. Dans la vie quotidienne, l’être humain est souvent confronté à des problèmes dans des domaines différents y compris le transport, la médecine, l’industrie, la télécommunication…etc. Quel que soit le domaine du problème confronté, ce dernier doit surement avoir une solution permettant d’en résoudre. Le domaine de l’optimisation est un domaine très important, il est situé au carrefour de la recherche opérationnelle, mathématique et informatique. Son importance s’explique par la grande difficulté posée par les problèmes d’optimisation d’une part, et par le nombre important des applications pratiques. L’optimisation consiste à parcourir l’espace de recherche afin d’en extraire une solution optimale parmi un ensemble fini de solutions, d’une taille souvent très grande ou son énumération exhaustive est une tâche fastidieuse.

Méthodes d’optimisation Citation de différentes techniques d’optimisation

Méthodes d’optimisation Méthodes d’optimisation globale Méthodes d’optimisation locale Local minimum Global minima Local minima Dans cette étude, nous allons nous intéressés au Méthodes d’optimisation stochastique evolutionnaire . Différents algorithmes de recherche intelligents existes : Ces algorithmes utilisent dans leurs recherche ces algorithmes se basent sur l’exploitation et/ou l’exploration de l’espace de recherche. Les Algorithmes Évolutionnaires offrent un bon compromis entre exploration et exploitation. Intensification : Exploiter le passé de la recherche pour focaliser la recherche sur des zones prometteuses de l’espace de recherche Diversification : Explorer de nouvelles zones de l’espace de recherche

Optimisation multi-objectifs Concepts : nécessité d'optimiser plusieurs fonctions d'objectifs. Dans de nombreuses applications pratiques, les objectifs sont en conflits. l'amélioration d'un objectif peut en détériorer plusieurs autres. Example : Transport : maximiser le niveau de service , minimiser le cout. Finance : maximiser les revenues, minimiser le risque. … Avec des objectifs multiples, il existe une possibilité de conflit, et un moyen simple de traiter le problème est de construire une fonction objectif globale comme une combinaison linéaire des fonctions objectives multiples en conflit.

Optimisation multi-objectifs Trouver X qui minimise f1 (X), f2 (X),…., fk (X) sujet à X ER  Rn ou Rn  Rp Ou f1 , f2,…., fk désignent les fonctions objectives à minimiser simultanément. un ensemble de solutions non dominées Problèmes nécessitant la considération de plusieurs objectifs contradictoires «pas d’optimum unique » et surface de compromis « arbitrage final de l’utilisateur » Pour les problèmes multi-objectifs , on recherche un ensemble de solutions non dominées le « front de Pareto », solutions parmi lesquelles on ne peut décider si une solution est meilleure qu’une autre. Solutions non dominées : solutions parmi lesquelles on ne peut décider si une solution est meilleure qu’une autre. La relation de dominance c’est une relation d’ordre partiel : réflexive, symétrique , transitive L’ensemble de solutions qui appartient au front de Pareto s’appelle Pareto optimale c’est a dire il existe aucun point dans l’espace objective qui domine un point du front de Pareto

Les méthodes d’optimisation multi-objective Méthode Agrégation Méthode ε-contrainte Méta-heuristique Combination linéaire de différentes objectifs 𝑖 λ 𝑖 𝑓 𝑖 Plusieurs simulations a la fois Intéressante pour des problèmes a deux objectifs et de petite taille Incapable de générer des solutions d’un front non convexe Ne supporte pas le parallélisme Solutions générer sont mal distribution sur le front Pareto Transformer le PMO en un P. mono-objective convertir (m − 1) des m objectifs du problème en contraintes et d’optimiser séparément l’objectif restant. appliquée plusieurs fois en faisant varier le vecteur ε pour trouver un ensemble de points Pareto optimaux. elle diminue la zone réalisable par paliers. Le vecteur ε doit être choisi judicieusement appliquées avec sucées sur un grand nombre de problèmes académiques et réels un mécanisme d’évolution de la population Une seule simulation a la fois Adapter a des données a grande échelle Génération un grand nombre de solution dans un délai raisonnable Introduction du parallélisme tableau récap sur les méthodes d’optimisations multi-objectifs existées dans la littérature En raison de la complexité de calcul dans le processus de recherche de solutions d'optimisation multi-objectifs, les méthodes traditionnelles regroupent les objectifs en un seul Trois représentants des techniques traditionnelles sont résumés : pour des problèmes complexes à grande échelle du monde réel, avec une dimension et des modalités élevées et un manque de connaissances préalables sur l'intrinsèque des problèmes, les méthodes classiques ont des difficultés de convergence et génèrent des solutions Pareto-optimales. la méthode de la somme pondérée peut être sensible à la forme du front Pareto optimal (problème de non convexité) Les méthodes classiques nécessitent plusieurs exécutions d'optimisations pour obtenir une approximation de l'ensemble de Pareto-optimal, ce qui entraînera une surcharge de calcul élevée. Par contre les méthode bio inspiré (meta-heuristque) utilisent un mécanisme d’évolution de la population permettant, grâce à des opérateurs prédéfinis, d’éliminer certains individus et d’en créer de nouveaux. Les algorithmes évolutifs peuvent surmonter les difficultés susmentionnées et se sont imposés comme une alternative aux méthodes classiques pour résoudre des problèmes d'optimisation multi-objectifs.

Les algorithmes évolutionnaires AE Le problème n’est pas tellement de générer une solution, mais de connaître sa qualité Le principe est de simuler l’évolution d’une population d’individus auxquels on applique différents opérateurs génétiques et que l’on soumet à chaque génération à une sélection. inspirés du concept de sélection naturelle élaboré par Charles Darwin (The Origin of Species, 1859). Les lois de variation, croisements et mutations, sont empruntées à Mendel et à la génétique moderne. Les individus les plus adaptés tendent à survivre plus longtemps et à se reproduire plus aisément.

Le métaphore darwinien Le vocabulaire est calqué sur celui de l’évolution et de la génétique. On parle des Individus (solutions potentielles), Population, Gènes (variables), Chromosomes, Parents, Croisement, Mutations,

Les operateurs d’évolution Mutation Exploiter le passé de la recherche pour focaliser la recherche sur des zones prometteuses de l’espace de recherche Par ex., croisement de deux bonnes solutions en conservant les parties communes (même affectation des variables) . Croisement Explorer de nouvelles zones de l’espace de recherche Naïf : affectation aléatoire des variables Intelligent : affectation aléatoire biaisée par la fréquence d’apparition des valeurs des les solutions visitées. Sélection Les Algorithmes Évolutionnaires offrent un bon compromis entre exploration et exploitation.

Schéma général commun Population

Pseudo code général d’un AE Les Algorithmes Évolutionnaires offrent un bon compromis entre exploration et exploitation.

Paradigme du calcule évolutionnaire 1964, Rechenberg presente les strategies evolutionnaires 1965, L. Fogel evolutionary programming 1975, Holland genetic algorithms 1992, Koza genetic programming 1995 presente l’évolution differentiel

Les AE dans l’optimisation multi-objectifs Trouver une approximation du front de Pareto est un problème bi-objectif dont les objectifs sont: Minimiser la distance des vecteurs générés au front optimal de Pareto, Maximisez la diversité de l'approximation du front de Pareto obtenue. La résolution d’un problème d’optimisation multi-objectif conduit à l’obtention d’une multitude de solutions et seul un nombre réduit de ces solutions va être retenue. Ce choix délicat des solutions est basé sur la relation de dominance. Cette relation existe entre la solution considérée et les autres solutions.

Les AE dans l’optimisation multi-objectifs Éléments clés d'un MOEA 1- Affectation de fitness 2- Élitisme : Explications des éléments clés de MOEA avec des schéma de chaque élément

Les AE dans l’optimisation multi-objectifs Éléments clés d'un MOEA 3- Diversité : Partage de fitness Hyper-grille Regroupement Explications des éléments clés de MOEA avec des schéma de chaque élément

Les AE dans l’optimisation multi-objectifs Éléments clés d'un MOEA 1- Affectation de fitness 2- Élitisme : 3- Diversité : Explications des éléments clés de MOEA avec des schéma de chaque élément

Les AE dans l’optimisation multi-objectifs Approche des algorithmes évolutionnaires multi-objectives (1) MOEA basés sur la domination : (2) MOEA basés sur des indicateurs : (3) MOEA basés sur la décomposition : (4) MOEA hybrides Explication de chaque approche avec des exemples

Avantages et inconvénients des AE Traduction du tableau qui cite les avantage et inconvenants des AE et l’apport de l'hybridation sur les AE pour perfectionner et optimiser les AE multi-objectif (convergence et distribution) Le grand avantage que les algorithmes évolutionnaires apportent au monde est Qu’ils sont appliqués dans tous les disciplines, de ce fait, de nombreux travaux sont actuellement en cours d’élaboration dans le cadre d’optimisations multi-objectifs en mixant les différentes techniques de recherches pour avoir les meilleurs performances, et c’est l’objectif de notre travail qui vise à proposer une approche hybride d’optimisation multi-objectifs.

Contributions Contributions Deux versions d’AE amélioré ES et DE Hybrid evolution strategy with simplex method Algorithm (ES-NM) Hybrid mult-iobjective differential evolution with opposition-based learning (MODE-OBL) Problème d’Optimisation multi-objective Problème d‘Optimisation Continu Dans ce travail, nous allons présenter deux nouvelles variantes hybrides des AE : Hybrid evolution strategy with simplex mehod (ES-NM) pour la résolution des problèmes d'optimisation continus, Hybrid multiobjective differential evolution et Bees Algorithm based on Negative Selection (MODE-OBL) pour la résolution des problèmes multi-objectifs. Application : optimisation d’un portefeuille d’investissement Application : optimisation d’un large échelle portefeuille d’investissement

Contribution I Contribution I Algorithme hybride pour résoudre les problèmes d’optimisations continus (ES-NM) Maintenant on va présenté la première contribution.

Les stratégies évolutionnaires ES Développer par Rochenberg & Schwefel en 1965 à Berlin Algorithme stochastique à base de la population Accentuer sur la mutation pour créer des progéniture Résumé technique des stratégie évolutionnaire Représentation Vecteur à valeur réel Sélection des parents Aléatoire uniforme Recombinaison Discret ou intermédiaire Mutation Perturbation gaussienne Sélection de survie (μ, λ) ou (μ+λ) propriété L’auto-adaptation de pas de mutation On a investi nos efforts dans l’algorithme des stratégies évolutionnaires qui date 1965 développer par Rosenbrock et Schwefel Perturbation gaussienne expliquer distribution naturelle (shema)

Mutation & contrôle de paramètre des ES z valeurs tirées de la distribution normale N(,) La moyenne μ est mis à 0 La variation  est appellée le pas de mutation Ref. Hans-Goerg Beyer 2001

Pseudo code de l’Algorithme ES Ajouter les équations de mutation x et sigma  x1,…,xn,   x’i = xi + N(0,) Mechanism principal : changer la valeur par l’ajout d’une perturbation gaussienne (bruit aleatoire) x’i = xi + N(0,) L’ideé:  fait partie di chromosome  x1,…,xn,   ,  subit aussi une mutation ’ La mutation du pas  est co-evoluer avec la solution x

Les limites des stratégies évolutionnaires Convergence prématurée et lente Contrôle des paramètres L’élitisme Les fonctions multimodaux No Free Lunch Theorem Les limites des ES explorartion exploitation Difficulté de grimper les fonctions multimodaux

hybridation La combinaison des AE avec la recherche locale nommée "memetic algorithms" (Moscato, 1989).  Algorithme basé sur la population + méthodes heuristiques Améliorer à la fois la qualité des solutions calculées et la robustesse des solveurs

Simplex Non linéaire : Nelder-Mead Method Pourquoi? Méthode indirect Méthode direct Méthode stochastique Besoin de calculer le gradient non applicable aux problèmes ayant plusieurs optima locaux Ex: Méthode de descente , méthode de Newton… Méthode sans gradient Conçu comme des optimiseurs globaux Efficace dans le domaine continu Ex : Nelder-Mead Method, Powell’s Method… Exploration aléatoire Stratégie de voisinage Efficace dans les problèmes discrets Ex: Recherche Tabu, recuit simulé

Simplex Non linéaire : Nelder-Mead Method Présentation de NM Méthode de recherche directe adaptée à une optimisation sans contrainte (Nelder & Mead 1965) Utilise des propriétés géométriques de l'espace à N dimensions Simple à mettre en œuvre

Simplex Non linéaire : Nelder-Mead Method Les opérations NM Ref. Stephan Vogel 2011

Simplex Non linéaire : Nelder-Mead Method Procédure Nelder-Mead

Modèle d’hybridation Approche collaborative Adaptation Critère de contraction Regroupement Recherche locale Réinitialisation Si la meilleure solution n'a pas été améliorée après la recherche locale, une réinitialisation de l'ensemble de la population est utilisée pour donner aux algorithmes plus d'occasions de trouver l'optimum global

Hybrid evolution strategy – Simplex Nelder Mead (ES-NM) Trois phases principales : ES explore l’espace de recherche pour rapprocher aux zones les plus prometteuses. Regrouper les solutions similaires dans des clusters. Simplex non linéaire (Nelder-Mead) commence par les meilleures solutions trouvé par ES de chaque cluster, afin de découvrir de nouvelles solutions de meilleure qualité. L'organigramme de l’algorithme proposé ES-NM est présentés dans la figure suivante : Trois phases principales : ES explore l’espace de recherche pour rapprocher aux zones les plus prometteuses (exploration) Regrouper les solutions similaires dans des clusters selon leurs centre de masse. Ensuite la recherche simplex non linéaire est introduit, en commençant par les meilleures solutions trouvé de chaque cluster, afin de découvrir de nouvelles solutions de meilleure qualité. (exploitation). Organigramme de l’algorithme proposé : evolution strategy Nelder-MEAd (ES-NM)

Pseudo-code de ES-NM

Résultats expérimentaux et discussion Configuration Expérimentale Résultats expérimentaux et discussion Trois expériences : Ensemble de Tests 1 : comparaison entre SA-ES, ES-NM (sr) et ES-NM (ar) implémenté sur 15 benchmarks selon : La précision : meilleures, pire, moyenne pour 20 exécutions. Un critère d'arrêt 5000 fonctions dévaluations. le test statistique Wilcoxon rank-sum test. Ensemble de Tests 2 : comparaison entre SA-ES, PSO, DE, ICA, GA avec ES-NM sur 15 benchmarks exécutés 20 fois indépendamment dans 10, 30 et 50 dimensions respectivement : La qualité de solution : meilleure, pire, moyenne Un critère d'arrêt 10000 itérations. Ensemble de Tests 3 : Application en problème de portefeuille Front de pareto généré (risque/rendement). Trois expériences sont réalisées : La première est la comparaison entre le SA-ES, ES-NM(sr), et le ES-NM(ar) implémenté dans ce travail sur 15 benchmarks selon 3 mesures de performance : La précision moyenne pour vérifier la qualité des solutions obtenues. Le nombre moyen d'évaluations de fonction pour évaluer la vitesse de convergence. La deuxième expérience compare les résultats SA-ES, PSO, DE, ICA, GA avec ES-NM sur 15 benchmarks exécutés 20 fois indépendamment dans 10, 30 et 50 dimensions respectivement : La qualité de solution : meilleure, pire, moyenne Un critère d'arrêt 10000 itérations. le test statistique Wilcoxon rank-sum test. Les valeurs de p obtenues à partir de ce test statistique peuvent être considérées comme des preuves solides contre l'hypothèse nulle si la valeur de P est inferieur a 0.05.

Jeu de fonctions de test Configuration Expérimentale Jeu de fonctions de test Afin d’évaluer les performances de ES-NM, nous adoptons un ensemble de 15 benchmarks continues présentant une gamme variée de propriétés telles que les fonctions : unimodales, multimodales, séparables, non séparables et multidimensionnelles avec des espaces de recherche topologique différents. La combinaison de ces caractéristiques détermine la complexité de ces benchmarks et elles représentent certains des aspects clés des problèmes du monde réel.

Paramétrage des algorithmes Configuration Expérimentale Paramétrage des algorithmes Ref. Boukhari et al, 2019

Précision de ES-NM (ar) par rapport à ES-NM (sr) et SA-ES BA1 Le tableau suivant montre les résultats de précision de ES-NM(ar) par rapport à ES-NM (sr) et SA-ES. Les valeurs en gras indiquent les meilleures performances pour chaque fonction. On remarque nettement que le ES-NM est meilleur par rapport à ES-NM et SA-ES pour la plupart des fonctions complexes.

Suite de tableau de comparaison

Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 10 D (Boukhari et al., 2019) On remarque la même chose pour le HFBA concernant les critères le Nombre moyen d'évaluations de fonctions et de temps de calcul moyen par rapport FA et BA1. HFBA a atteint le plus petit NFE dans 16 des 20 benchmarks.

(Boukhari et al., 2019) suite du tableau Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 10 D (Boukhari et al., 2019) suite du tableau Si on compare ES-NM par rapport à SA-ES en termes de qualité de solution moyenne, ES-NM excelle de manière significative sur la majorité de fonctions.

Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA. Le tableau montre les valeurs (P-valeur) résultantes pour chaque comparaison par paire en 10D (Boukhari et al., 2019) Dans Le tableau suivant Le HFBA est capable de réduire le NFE total à 6,83% et 65,81% par rapport aux algorithmes BA1 et FA respectivement. Le temps de calcul du HFBA est également inférieur de 18,46 % et 58,29 % à celui du BA1 et du FA.

Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 30 D (Boukhari et al., 2019)

(Boukhari et al., 2019) suite du tableau Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 30 D (Boukhari et al., 2019) suite du tableau Si on compare ES-NM par rapport à SA-ES en termes de qualité de solution moyenne, ES-NM excelle de manière significative sur la majorité de fonctions.

Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA. Le tableau montre les valeurs (P-valeur) résultantes pour chaque comparaison par paire en 30 D (Boukhari et al., 2019)

Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 50D (Boukhari et al., 2019)

Résultats de comparaison obtenus par ES-NM, SA-ES, PSO, DE, ICA, GA en 50D (Boukhari et al., 2019) suite du tableau

Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA Comparaison de Wilcoxon-Test pour ES-NM, SA-ES, PSO, DE, ICA et GA. Le tableau montre les valeurs résultantes pour chaque comparaison par paire en 50 D (Boukhari et al., 2019)

Optimisation du portefeuille Configuration Expérimentale Optimisation du portefeuille Description du problème : Introduit par Markowitz dans les années 50 (Nobel 1990) Utilise la moyenne et la variance du prix historique normalisé des actifs pour mesurer le rendement et le risque attendus du portefeuille. Formulation du problème : Risque Rendement La représentation mathématique de l'optimisation de portefeuille a été introduite par Markowitz dans les années 50 et il a été récompensé par un prix Nobel d'économie en 1990 Où p(t) est le cours de clôture , p(t-1) le cours de clôture de la veille, et M(t) le rendement mensuel - Où n est le nombre d'actifs dans le portefeuille et la dimension du problème - wi est le poids de l'actif iéme - sigma 2 représente le risque de portefeuille et sigma ij représente la covariance entre l'actif i et l'actif j. - rp est le rendement du portefeuille, tandis que ri est le rendement individuel de l'actif i .

Optimisation du portefeuille : Data set et configuration Configuration Expérimentale Optimisation du portefeuille : Data set et configuration Comparaison MODE-OBL, NSGA-II, MOEA/D-DE 100 jours de cours de clôture de 100 et de 500 actions ont été téléchargés (P-N Suganthan, 2017) et utilisés comme données de stock historiques et aussi utilisés comme données de test dans la simulation. Des expériences sont menées sur 100 et 500 stocks la taille des chromosomes est de 100 et 500, respectivement Nombre de fonction d’évaluation est de 100 000 et 300 000 les algorithmes sont exécutés 25 fois avec une initialisation aléatoire. Où p(t) est le cours de clôture , p(t-1) le cours de clôture de la veille, et M(t) le rendement mensuel À l'exception de MODE-OBL, deux autres algorithmes évolutifs multi-objectifs sont également testés sur ce problème d'optimisation de portefeuille pour comparaison en raison de leur supériorité respectée par rapport aux métriques GD et IGD dans différents problèmes de benchmarks testés précédemment

Résultat et comparaison Optimisation du portefeuille Résultat et comparaison Deux expériences sont réalisées : La première est la comparaison entre le SA-ES, ES-NM(sr), et le ES-NM(ar) implémenté dans ce travail sur 15 benchmarks selon 3 mesures de performance : La précision moyenne pour vérifier la qualité des solutions obtenues. Le nombre moyen d'évaluations de fonction pour évaluer la vitesse de convergence. La deuxième expérience compare les résultats SA-ES, PSO, DE, ICA, GA avec ES-NM sur 15 benchmarks exécutés 20 fois indépendamment dans 10, 30 et 50 dimensions respectivement : La qualité de solution : meilleure, pire, moyenne Un critère d'arrêt 10000 itérations. le test statistique Wilcoxon rank-sum test. Les valeurs de p obtenues à partir de ce test statistique peuvent être considérées comme des preuves solides contre l'hypothèse nulle si la valeur de P est inferieur a 0.05.

Synthèse de la 1ière Contribution Comparaison hybridizing ES with the NM simplex method significantly improves the performance of the algorithm for all test cases the proposed approach proved their adaptability and ability to surpass the convergence difficulties get trapped by the original ES variant. the proposed variant ES-NM is competent to provide effective solutions and jump many local minimums and converge to global minimum in 2, 5, 10 functions ES-NM still gets stuck in local minimum for some test functions F3, F4, F6 as well as other algorithms

Contribution II Algorithme hybride pour résoudre les problèmes d’optimisations multi-objectifs (MODE-OBL) La 2ème contribution consiste à proposer une nouvelle approche nommée : hybrid multi-objective differentiel evolution with opposition based learning.

Algorithme différentielle multi-objectif Motivation : - Concevoir un algorithme évolutionnaire multi-objective efficace - complexité élevé - manque de diversité - manque de répartissement Idée : - Optimiser la population initiale par une technique d’apprentissage - hybrider l’algorithme différentielle multi-objective avec la méthode d'apprentissage par opposition Objectif : - Étendre l’algorithme différentiel basé sur le classement de mutation vers un algorithme évolutionnaire multi-objective. - Améliorer la diversité des solutions de l'algorithme différentielle. - Réduire la complexité de MODE.

Algorithme différentielle multi-objectif Motivation : - Concevoir un algorithme évolutionnaire multi-objective efficace - complexité élevé - manque de diversité - manque de répartissement Idée : - Optimiser la population initiale par une technique d’apprentissage - hybrider l’algorithme différentielle multi-objective avec la méthode d'apprentissage par opposition Objectif : - Étendre l’algorithme différentiel basé sur le classement de mutation vers un algorithme évolutionnaire multi-objective. - Améliorer la diversité des solutions de l'algorithme différentielle. - Réduire la complexité de MODE.

Algorithme différentiel DE Développer par Storm & Price en 1995 AE stochastique à base de la population Accentuer sur la mutation basé sur la différence aléatoire pour créer des progéniture Résumé technique des stratégie évolutionnaire Représentation Vecteur à valeur réel Sélection des parents Aléatoire uniforme Recombinaison/Croisement Binomiale, exponentielle Mutation Vi = X r1 + F. (Xr2 - X r3 ) Sélection de survie Survie de la solution la plus adaptée propriété Deux paramètres F, CR Auto-adaptation Simple, rapide, robuste On a investi nos efforts dans l’algorithme differentiel qui date 1995 développer par Storn & Price Les principales caractéristiques guident la recherche avec des informations sur la distance et la direction de la population actuelle Moins de paramètres à régler Capacité d'auto-organisation la taille des pas de mutation est influencée par les différences entre les individus de la population actuelle DE est un schéma pour générer des vecteurs de paramètres d'essai Mutation : Ajouter la différence de deux vecteurs au troisième pour former un vecteur mutant

Algorithme différentiel Notation : DE/x/y/z x : vecteur cible (rand ou best). y : nombre de vecteur de différence utilisé (1, 2, 3) z : déterminer les point de croisement (binomiale ou exponentielle) Algorithme différentiel

Mutation basé sur le classement Dans la nature, les bonnes espèces contiennent toujours de bonnes informations et, par conséquent, elles ont plus de chances d'être utilisées pour guider d'autres espèces. Les parents des opérateurs de mutation sont sélectionnés proportionnellement en fonction de leur classement dans la population actuelle. DE-RMO (Gong & Cai, 2013) (Guo et al,.2018) Habituellement, les parents vecteurs en DE sont choisis au hasard dans la population, cependant, comme les bonnes espèces de la population ont des informations bonnes et précieuses, ils sont plus susceptibles de guider les autres individus dans la population. Simple Aucun nouveau paramètres a ajouter ou a ajuster Améliorer les performances globales dans les problèmes d'optimisation à grande échelle. (Guo et al,.2018) Probabilité de sélection

Mutation basé sur le classement de MODE-RMO

Apprentissage par opposition OBL Technique d’apprentissage et de recherche intelligente. Introduit par Tizhoosh en 2005 Une solution candidate et son opposé ont une probabilité égale d'être plus proche de l'optimum global. Extensions dans les algorithmes génétiques, les réseaux de neurones et de l'apprentissage par renforcement Soit 𝑥 ∈[𝑎,𝑏] un nombre réel. Son opposé, 𝑥 Est définit comme suit : 𝑥 = a + b - x en l'absence de connaissances a priori, il n'est pas possible que nous puissions faire la meilleure estimation initiale. Logiquement, nous devrions regarder dans toutes les directions simultanément, ou plus concrètement, dans la direction opposée. Cependant, il est naturel d'affirmer que si nous commençons par une estimation aléatoire, qui est très éloignée de la solution existante, il est plus logique qu’elle se trouve à l'emplacement opposé

Algorithme hybride proposé Deux phases majeurs basé sur MODE-RMO 1- Population initiale optimiser par OBL 2- Saut de génération basé sur l'opposition OBL peut obtenir des candidats de départ plus adaptés même en l'absence de connaissances a priori et augmenter la probabilité de détecter de meilleures régions.

Algorithme hybride proposé Diviser la population NP en deux parties , la première moitié de la population p1 est générer par une distribution aléatoire et la moitié restante de la population p2 est initialisée en termes de opposition. Et la populations résultante c’est l’union entre les deux population générées

Expérimentations NSGA-II (Deb, et al., 2002) Comparaison NSGA-II (Deb, et al., 2002) NSDE (Angira & Babu, 2005) MOEA/D-DE (H. Li & Zhang, 2009) MOPSO (Carlos A. Coello Coello & Lechuga, 2002) MODE-RMO (Gong & Cai, 2013) MODE-OBL (Boukhari et al., 2020) 1 - NSGA-II(Deb, Pratap, et al., 2002) le classement Pareto et la distance de surpopulation comme opérateurs 2 – NSDE est une extension de l'évolution différentielle de base pour répondre à l'optimisation multi-objective. Il adopte les techniques de tri, de classement et d'élitisme non dominées trouvées dans NSGA-II, mais la principale différence entre elles est que le NSDE utilise l'opérateur de mutation d'évolution différentielle au lieu de l'opérateur SBX. 3 - (H. Li & Zhang, 2009) c’est un algorithme évolutionnaire qui décomposent n'importe quel MOP donné en un certain nombre de sous-problèmes à objectif unique. Chaque sous-problème est optimisé simultanément pendant le processus de recherche évolutive. MOEA/D-DE utilise le croisement DE/rand/1 avec mutation polynomiale. 4 - MOPSO (Carlos A. Coello Coello & Lechuga, 2002) étendu à partir de l'algorithme d'optimisation des essaims de particules (PSO), et il combine essentiellement les caractéristiques fortes de PSO. 5 - MODE-RMO (Gong & Cai, 2013) 6 - MODE-OBL (Boukhari et al., 2020)

Résultats expérimentaux et discussion Configuration Expérimentale Résultats expérimentaux et discussion Deux expériences : Ensemble de Tests 2 : comparaison entre NSGA-II, NSDE, MOEA/D-DE, MOPSO, MODE-RMO avec MODE-OBL sur 12 benchmarks multi-objectifs exécutés 30 fois indépendamment : La qualité de solution : moyenne, écart-type. le test statistique Wilcoxon rank-sum test. Ensemble de Tests 2 : Application en problème de portefeuille Front de pareto généré (risque/rendement).

Expérimentations Les problèmes de tests multi-objectifs S (scalabilité), M (le nombre de fonctions objectives), K (paramètre scalaire), N (le nombre de variables de décision), SP (séparable), NS (non-séparable). (Deb, et al 2005) Un total de 12 problèmes de tests de références ont été choisis pour tester les performances d'optimisation de l'algorithme hybride proposé MODE-OBL en termes de convergence vers le vrai front de Pareto ainsi que la capacité à maintenir un ensemble de solutions diverses. Les problèmes de test utilisés comprenaient des problèmes ZDT (E. Zitzler, et al 2000) et DTLZ (Deb, et al 2005). Pour les problèmes de test, ils peuvent posséder deux, trois ou cinq fonctions objectives et avoir un nombre évolutif de variables de décision. Ces problèmes ont été choisis car ils couvrent différentes caractéristiques de l'optimisation multi-objectifs, à savoir le front de Pareto convexe, le front de Pareto non convexe, le front de Pareto discret, la multimodalité et la non-uniformité de la distribution des solutions.

Expérimentations Paramétrage et Indicateurs de performance multi-objective Distance générationnelle (GD) Distance générationnelle inversée (IGD)

Résultats de comparaison Résultats obtenus par les algorithmes pour les problèmes ZDT (02 objectives)

Résultats de comparaison Résultats obtenus par les algorithmes pour les problèmes DTLZ (03 objectives)

Résultats de comparaison Résultats obtenus par les algorithmes pour les problèmes DTLZ (03 objectives)

Résultats de comparaison Résultats obtenus par les algorithmes pour les problèmes DTLZ (05 objectives)

Résultats de comparaison Résultats obtenus par les algorithmes pour les problèmes DTLZ (05 objectives)

Optimisation du portefeuille : Data set et configuration Configuration Expérimentale Optimisation du portefeuille : Data set et configuration Comparaison MODE-OBL, NSGA-II, MOEA/D-DE 100 jours de cours de clôture de 100 et de 500 actions ont été téléchargés (P-N Suganthan, 2017) et utilisés comme données de stock historiques et aussi utilisés comme données de test dans la simulation. Des expériences sont menées sur 100 et 500 stocks la taille des chromosomes est de 100 et 500, respectivement Nombre de fonction d’évaluation est de 100 000 et 300 000 les algorithmes sont exécutés 25 fois avec une initialisation aléatoire. Où p(t) est le cours de clôture , p(t-1) le cours de clôture de la veille, et M(t) le rendement mensuel À l'exception de MODE-OBL, deux autres algorithmes évolutifs multi-objectifs sont également testés sur ce problème d'optimisation de portefeuille pour comparaison en raison de leur supériorité respectée par rapport aux métriques GD et IGD dans différents problèmes de benchmarks testés précédemment

Optimisation un portefeuille de finance a grande échelle

Optimisation un portefeuille de finance a grande échelle Expérience 01 : frontière de Pareto générée par un problème de 100 stocks Expérience 02 : frontière de Pareto générée par un problème de 500 stocks Une meilleure compréhension de la nature des solutions trouvées peut être obtenue en analysant les figures suivants . Les graphiques présentés dans ces figures montrent les frontières efficaces. Comme on peut le voir sur ces graphiques, les meilleurs résultats (Risk/Return) sont générés par MOEA/D-DE sur 500 titres et quasi-cohérents avec les résultats obtenus par MODE-OBL sur 100 titres. Bien que NSGAII soit le moins performant, il peut toujours générer des fronts distribués et satisfaisants. Les expériences menées sur les problèmes d'optimisation de portefeuille avec 100 et 500 actions montrent que notre hybridation basé sur la mutation de classement de l'algorithme différentiel multi-objectif combiné à l'apprentissage basé sur l'opposition a présenté une excellente performance par rapport à deux autres algorithmes multi-objectifs et constitue une solution potentielle pour ce type de problèmes.

Synthèse de la 2ème Contribution Algorithme différentiel hybride pour l’optimisation multi-objective Synthèse de la 2ème Contribution MODE-OBL fournit des résultats compétitifs par rapport aux algorithmes d’optimisations multi-objectifs. Cette efficacité est obtenue en incorporant la technique d’apprentissage par opposition OBL (initialisation et évolution) MOE-OBL est une très bonne alternative si le nombre d’objective est supérieur à 2. MODE-OBL est une meilleure option dans des data set de grande échelle. En général, la méthode proposée MODE-OBL fournit des résultats compétitifs par rapport aux algorithmes d’optimisation multi-objectifs étudiées dans ce travail. Cette efficacité est obtenue en incorporant la technique d’apprentissage par opposition OBL dans le processus d’initialisation et d’évolution. D’après les expériences, MODE-OBL est une très bonne alternative si le nombre d’objectives et supérieur a deux. MODE-OBL est une meilleure option aussi dans le cas ou le volume de données est importants. Ce travail a fait l’objet d’un article (qui viens d’être accepter).

Conclusions Deux approches hybrides des AE ont été développée : Un algorithme mémétique formant une nouvelle version améliorée des ES appelé ES-NM intégrant une méthode directe de recherche locale pour les problèmes d'optimisation continue. meilleurs résultats que ES standard et d’autres AE, notamment en termes de précision et de vitesse de convergence. La technique OBL à été introduit dans l’algorithme MODE. L’objectif été de réduire la complexité et de perfectionner la version standard en terme de convergence et de distribution. Cet algorithme a été appelé MODE-OBL MODE-OBL présente des résultats très compétitifs dans la résolutions des MOP. Pour conclure ce travail, Deux approches hybrides des AE ont été développée et présentées dans cette thèse : Un algorithme mémétique formant une nouvelle version améliorée des ES appelé ES-NM intégrant une méthode directe de recherche locale pour les problèmes d'optimisation continue. la technique d’apprentissage par opposition à été introduire dans l’algorithme différentielle comme un phase de diversification. L’objectif été de surmonter l'inconvénient de manque de solutions tout au long du front de Pareto et améliorer la convergence et la répartition des solutions obtenues des solutions pour la prochaine génération. Cet algorithme a été appelé MODE-OBL. Il présente une bonne alternative pour résoudre les problèmes multi-objectives surtout si le nombre d’objective à optimiser est supérieur à deux et de grande échelle.

Perspectives futures Améliorations possibles : Introduire des techniques d’apprentissage et de l'intelligence artificielle Hybridation avec d’autres méta-heuristiques récentes introduire le parallélisme a plusieurs niveau. Tester la performance de MODE avec d’autres operateur de sélection et de dominance Applications possibles : Étudier la possibilité d’appliquer ces algorithmes à d’autres problèmes du monde réel (télécommunication, segmentation d’image etc.) Étendre les problèmes multi-objectifs à d’autres problèmes sous contraintes. Des extensions possibles peuvent être apportées au travail présenté dans cette thèse : Introduire des techniques d’apprentissage et de l'intelligence artificielle (logique floue, régression) afin d’améliorer encore les performances de ces algorithmes. Appliquer les algorithmes développées à d’autres problèmes du monde réel (télécommunication, bio-informatique, segmentation d’image etc.) Entendre les variantes développées en hybridation avec d’autres métaheuristiques recentres et introduire le parallélisme a plusieurs niveau.

Publications Revues scientifiques internationales Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. (2019). An Efficient Hybrid Evolution Strategy Algorithm with Direct Search Method for Global Optimization. International Journal of Organizational and Collective Intelligence, 9(3), 63-78. doi:10.4018/ijoci.2019070104 (Indexed In: INSPEC) Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. (in press). Solving Mono and Multi-objective Problems Using Hybrid Evolutionary algorithm and Nelder-Mead Method. International Journal of Applied Metaheuristic Computing (IJAMC), 12(3)2022. (Indexed In: SCOPUS, Web of Science Emerging Sources Citation Index (ESCI), INSPEC) Conférences internationales Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. (2018). A Study on Selfadaptation in the Evolutionary Strategy Algorithm. 6th IFIP International Conference on Computational Intelligence and Its Applications (CIIA), May 2018, Oran, Algeria. pp.150-160, ⟨10.1007/978-3-319-89743-1_14⟩. Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. “An Adaptive Hybrid Evolution Strategy Algorithm with Nelder-Mead Method for Global Optimization”. In Proceedings of the third International Conference on Multimedia Information Processing (CITIM'2018). October 09-10, 2018, Mascara, Algeria.

Publications Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. (2018d). An Adaptive Hybrid Algorithm for solving unconstrained Optimization problems. In Proceedings of the third International Symposium on Informatics and its Applications (ISIA'2018). November 6-7, 2018, M’sila, Algeria. Chapitres de Livres Boukhari, N., Debbat, F., Monmarché, N., & Slimane, M. (2018). A Study on Selfadaptation in the Evolutionary Strategy Algorithm. IFIP Advances in Information and Communication Technology, A Springer series in computer science. Series Print ISSN 1868 4238,https://doi.org/10.1007/978-3-319-89743-1_14 En soumission An Adaptive Evolutionary Algorithm with Simplex Method and Opposition-based Learning for Solving Portfolio Optimization Problem. (Informatica journal). An Adaptive Hybrid Multi-Objective Differential Evolution based ranking mutation with opposing-based learning for solving multi-objective problems. (ASSA journal).