Heuristiques, métaheuristiques et systèmes de voisinage Application à des problèmes théoriques et industriels de type TSP et ordonnancement. Présenté par Laurent Deroussi LIMOS CNRS UMR 6158 Equipe Modélisation et Aide à la Décision - META-Bermudes - Lille - 07/02/2003 -

Améliorer la performance Préambule [Lin & Kernighan, 1973] "An Effective Heuristic Algorithm for the Traveling Salesman Problem" Améliorer la performance des métaheuristiques Méthodes de résolution Systèmes de voisinage

Sommaire I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

INTRODUCTION Systèmes de voisinage Performance des systèmes de voisinage ? Construction de systèmes de voisinage efficaces ? Robustesse ?

INTRODUCTION Algorithmes stochastiques Méthodes délaissées par la littérature Avantage : efficacité. Inconvénients : lenteur, paramétrage.

I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

Problème d’optimisation combinatoire II. OPTIMISATION COMBINATOIRE Problème d’optimisation combinatoire Ω : espace des solutions (fini) c : Ω  R Rechercher une solution ω* de Ω telle que :

Méthodes de résolution II. OPTIMISATION COMBINATOIRE Méthodes de résolution Principales méthodes de résolution Méthodes exactes Méthodes approchées Séparation / évaluation Méthodes de coupe … Heuristiques de construction Méthodes de recherche locale Métaheuristiques Méthodes hybrides …

Méthodes de résolution II. OPTIMISATION COMBINATOIRE Méthodes de résolution Méthodes à voisinage Méthodes de recherche locale Métaheuristiques méthodes de recherches locales itérées, recuit simulé, méthode tabou, … Méthodes hybrides métaheuristiques / recherche locale, métaheuristiques / métaheuristiques, …

II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

Généralités Quelques définitions III. SYSTEMES DE VOISINAGE Généralités Quelques définitions Système de voisinage (SdV) (Hao et al., 1999) Minimum global Minimum V-local

Généralités Notion de performance III. SYSTEMES DE VOISINAGE Généralités Notion de performance Un SdV est performant s’il permet d’obtenir rapidement des minima locaux de bonne qualité. Deux notions antagonistes : Rapidité Qualité

Opérateurs internes aux SdV III. SYSTEMES DE VOISINAGE Opérateurs internes aux SdV Guidage Restriction du SdV aux voisins les "plus prometteurs" ω

Opérateurs internes aux SdV III. SYSTEMES DE VOISINAGE Opérateurs internes aux SdV Couplage Réunion de plusieurs SdV ω

Construction de SdV performants III. SYSTEMES DE VOISINAGE Construction de SdV performants Proposition d’une méthodologie Méthodologie en trois étapes : recensement des mouvements de base "pertinents", guidage des mouvements de base, couplage des mouvements guidés.

Construction de SdV performants III. SYSTEMES DE VOISINAGE Construction de SdV performants Avantages de la méthodologie proposée Recensement des mouvements de base "pertinents" s’appuyer sur les propriétés propres à chacun des mouvements Guidage des mouvements de base améliorer le temps d’exécution avec une perte de qualité raisonnable pour les minima locaux Couplage des mouvements guidés obtenir des minima locaux de meilleure qualité avec une perte raisonnable en temps d’exécution

Justification théorique du couplage III. SYSTEMES DE VOISINAGE Justification théorique du couplage Théorème de caractérisation des minima globaux (finie) Soit V le couplage de V1 et V2 , alors, on a :

Evaluation des SdV Existant : étude des paysages III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages Plat lisse Vallée lisse Plat rugueux Vallée rugueuse

Evaluation des SdV Existant : étude des paysages III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages Evaluation de nombreux critères : la distribution de la fonction coût, la rugosité du paysage, le nombre de minima locaux, la distribution des minima locaux dans l’espace de recherche, la structure des bassins d’attraction des minima locaux, …

Evaluation des SdV Existant : étude des paysages III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages + Connaissance très pointue de l’espace de recherche + Très utile pour l’étude d’un problème particulier - Mise en œuvre délicate - Difficilement applicable pour vérifier le caractère générique de la méthodologie proposée

Evaluation des SdV Combinatoire et profondeur des SdV III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire et profondeur des SdV Deux notions antagonistes : Rapidité Qualité Combinatoire : taille des Sdv Profondeur : Proximité entre et

Evaluation des SdV Combinatoire des SdV III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire des SdV Combinatoire : nombre moyen de solutions voisines Cas particulier des SdV "homogènes"

Evaluation des SdV Profondeur des SdV III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Méthode de recherche locale associée à V Domaine d’attraction d’un minimum local ωV

Evaluation des SdV Profondeur des SdV III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Profondeur (première définition) : qualité moyenne des minima locaux MAIS est inconnu, minima locaux plus ou moins accessibles.

Evaluation des SdV Profondeur des SdV III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Profondeur : qualité moyenne des minima locaux, pondérée par la taille de leur domaine d’attraction On montre que :

Evaluation des SdV Profondeur des SdV Evaluation absolue III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Evaluation absolue Evaluation relative minimum global, meilleure borne inférieure, meilleure borne supérieure.

Evaluation des SdV Combinatoire et profondeur du couplage Soit III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire et profondeur du couplage Soit , le couplage de k SdV Vi , alors Combinatoire : Vrai Profondeur : Faux en général

Evaluation des SdV profondeur du couplage en théorie L’inégalité III. SYSTEMES DE VOISINAGE Evaluation des SdV profondeur du couplage en théorie L’inégalité n’est vérifiée que si la méthode de recherche locale HV vérifie certaines propriétés concernant la politique d’exploration (i.e. l’ordre dans lequel les voisins sont explorés) en pratique Vérifier expérimentalement que le couplage a un effet positif sur la profondeur

Evaluation des SdV Politique d’exploration 4 3 10 2 11 7 13 9 ω 1 8 12 III. SYSTEMES DE VOISINAGE Evaluation des SdV Politique d’exploration 4 3 10 2 11 13 7 9 ω 1 8 12 6 5

Etude expérimentale Voyageur de commerce à 9 villes SdV comb prof III. SYSTEMES DE VOISINAGE Etude expérimentale Voyageur de commerce à 9 villes SdV comb prof temps 2-opt 27 0.77% 39 s EP1 insertion 63 2.62% 49 s couplage 90 0.45% 45 s 1.78% EP2 1.90% 0.07%

Etude expérimentale Voyageur de commerce à 9 villes III. SYSTEMES DE VOISINAGE Etude expérimentale Voyageur de commerce à 9 villes + Amélioration significative de la profondeur + Hausse modérée du temps d’exécution - Influence de la politique d’exploration - Caractère imprévisible de la politique d’exploration

II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

Conception du système de voisinage IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Mouvements de base Mouvements retenus Mouvement 2-opt Mouvement de Or (insertion généralisée) Mouvement LK Mouvements non retenus Mouvement de permutation

Conception du système de voisinage IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Guidage des mouvements Basé sur l’ensemble des "meilleurs" voisins de chaque ville TSP symétrique euclidien TSP asymétrique Propriétés du plan euclidien Distance Distance

Conception du système de voisinage IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Méthodes de résolution Méthode existante :  algorithme du kangourou (KA) Nouvelle métaheuristique :  variante du kangourou (ISKA) "Improved Solution Kangaroo Algorithm" Algorithmes stochastiques  Comportement moyen

RESULTATS POUR LE TSP SYMETRIQUE IV. VOYAGEUR DE COMMERCE RESULTATS POUR LE TSP SYMETRIQUE Comparaison KA / ISKA

RESULTATS POUR LE TSP SYMETRIQUE IV. VOYAGEUR DE COMMERCE RESULTATS POUR LE TSP SYMETRIQUE Synthèse ISKA : est plus performant que KA, trouve une solution optimale pour 10 des 12 instances testées, concurrence les méthodes de la littérature ILK (Johnson, 1997) GLS (Merz, 1997) GLS + FLS (Voudouris, 1999)

LE TSP ASYMETRIQUE Approches possibles Heuristiques dédiées au ATSP, IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Approches possibles Heuristiques dédiées au ATSP, Heuristiques adaptées du STSP au ATSP, Transformation du ATSP en STSP.

LE TSP ASYMETRIQUE Espace de recherche IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Espace de recherche La transformation du ATSP en STSP double le nombre de villes ! ΩS ΩA Pour n=5 villes ΩS=181440 ΩA=24

LE TSP ASYMETRIQUE Espace de recherche IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Espace de recherche Transformation  pénalisation de certaines arêtes. Subdivision de ΩS en trois sous-espaces. Optimisation multi-critères hiérarchisés.

LE TSP ASYMETRIQUE Système de voisinage multiple IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple La réutilisation de ISKA fournit des résultats corrects. MAIS Problèmes de comportement dans ISKA

LE TSP ASYMETRIQUE Système de voisinage multiple IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple Certains mouvements sont parfois inefficaces Exemple : Solution admissible non 2-opt

LE TSP ASYMETRIQUE Système de voisinage multiple Solutions : IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple Solutions : Adaptation du système de voisinage selon le sous-espace exploré Conception du mouvement "zéro-insertion"

LE TSP ASYMETRIQUE Résultats IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Résultats 27 instances de la TSPLIB (17 – 443 villes) 25 solutions optimales Robustesse ? RBG443  0% entre 1 et 14 minutes RBG323  entre 1.2% et 1.8% en 25 minutes

LE TSP Conclusion Apport de la méthodologie ? IV. VOYAGEUR DE COMMERCE LE TSP Conclusion Apport de la méthodologie ? + Très bons résultats obtenus - Domination du mouvement LK

LE TSP Perspectives TSP symétrique IV. VOYAGEUR DE COMMERCE LE TSP Perspectives TSP symétrique Utiliser LKH avec d’autres métaheuristiques TSP asymétrique Améliorer le calcul des bornes inférieures du ATSP Adapter LKH pour la ATSP

II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

LE PROBLEME Définition Job Shop avec transport Machine Station L/U V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Définition Job Shop avec transport Machine Station L/U Pièces Véhicule

LE PROBLEME Complexité V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Complexité Résolution conjointe de deux problèmes NP-complets : Job Shop Problem, Vehicle Scheduling Problem.

Simulation à événements discrets V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Couplage heuristique / simulation Makespan Méthode de résolution Simulation à événements discrets Système de voisinage Solution évaluer

Conception du système de voisinage V. SYSTEMES FLEXIBLES DE PRODUCTION Conception du système de voisinage Mouvements de base Mouvements retenus Mouvement d’insertion Mouvement de permutation

Conception du système de voisinage V. SYSTEMES FLEXIBLES DE PRODUCTION Conception du système de voisinage Guidage Permutation : temps de calcul divisé par 3, aucune perte de qualité. Insertion : temps de calcul divisé par 5, perte sensible de qualité (1%).

ETUDE EXPERIMENTALE Jeux d’essai [Ulusoy & Bilge, 1993] 40 instances : V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Jeux d’essai [Ulusoy & Bilge, 1993] 40 instances : 4 machines, 2 véhicules 10 jeux de données : 5 à 8 pièces, 13 à 23 opérations 4 topologies

ETUDE EXPERIMENTALE Jeux d’essai Exemple d’une topologie M1 M2 M3 M4 V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Jeux d’essai Exemple d’une topologie M1 M2 M3 M4 LU

ETUDE EXPERIMENTALE Méthodes de résolution V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Méthodes de résolution méthode de recherche locale itérée, recuit simulé, méthode hybride.

ETUDE EXPERIMENTALE Résultats : comparaison avec la littérature V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Résultats : comparaison avec la littérature Les trois méthodes sont toujours au moins aussi bonnes que le meilleur résultat de la littérature. 23 nouvelles bornes supérieures (sur 40 instances) Instance Littérat. Résult. Ex24 113 108 Ex71 118 111 Ex31 105 99 Ex72 85 79 Ex44 126 121 Ex104 164 159

ETUDE EXPERIMENTALE Résultats : comparaison des méthodes V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Résultats : comparaison des méthodes Méthode hybride retrouve 100% des meilleures bornes supérieures, temps d’une réplication : de 19 à 46 secondes, robustesse. Minimum Moyenne Maximum Résultats moyens pour les 40 instances 108,48 (0 %) 108,85 (0.34 %) 109,73 (0.93 %)

II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

CONCLUSION Déterminer un bon paramétrage a priori, Concevoir un système de voisinage performant, Pratique 3 problèmes : TSP, ATSP, SFP 4 méthodes : KA, ILS, SA, SALS Théorique Proposition d’outils mathématiques

PERSPECTIVES Etudier l’effet du couplage sur le paysage. Application de la méthodologie : à d’autres problèmes, avec d’autres méthodes. Méthodes à individus vs. méthodes à population ? Méthodes stochastiques vs. méthodes déterministes ?

FIN (Lourenzo, Martin & Stützle, 2001) "Iterated Local Search" "When designing a metaheuristic, it is preferable that it be simple, both conceptually and in practice. Naturally, it also must be effective, and if possible general purpose. … … The ideal case is when the metaheuristic can be used without any problem-specific knowledge. … … Problem-specific knowledge must now be incorporated into metaheuristics in order to reach the state of the art level. … … We run the risk of loosing both simplicity and generality."