Heuristiques, métaheuristiques et systèmes de voisinage Application à des problèmes théoriques et industriels de type TSP et ordonnancement. Présenté.

Présentation au sujet: "Heuristiques, métaheuristiques et systèmes de voisinage Application à des problèmes théoriques et industriels de type TSP et ordonnancement. Présenté."— Transcription de la présentation:

1 Heuristiques, métaheuristiques et systèmes de voisinage Application à des problèmes théoriques et industriels de type TSP et ordonnancement. Présenté par Laurent Deroussi LIMOS CNRS UMR 6158 Equipe Modélisation et Aide à la Décision - META-Bermudes - Lille - 07/02/2003 -

2 Améliorer la performance
Préambule [Lin & Kernighan, 1973] "An Effective Heuristic Algorithm for the Traveling Salesman Problem" Améliorer la performance des métaheuristiques Méthodes de résolution Systèmes de voisinage

3 Sommaire I INTRODUCTION II OPTIMISATION COMBINATOIRE
III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

4 I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

5 INTRODUCTION Systèmes de voisinage
Performance des systèmes de voisinage ? Construction de systèmes de voisinage efficaces ? Robustesse ?

6 INTRODUCTION Algorithmes stochastiques
Méthodes délaissées par la littérature Avantage : efficacité. Inconvénients : lenteur, paramétrage.

7 I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES

8 Problème d’optimisation combinatoire
II. OPTIMISATION COMBINATOIRE Problème d’optimisation combinatoire Ω : espace des solutions (fini) c : Ω  R Rechercher une solution ω* de Ω telle que :

9 Méthodes de résolution
II. OPTIMISATION COMBINATOIRE Méthodes de résolution Principales méthodes de résolution Méthodes exactes Méthodes approchées Séparation / évaluation Méthodes de coupe … Heuristiques de construction Méthodes de recherche locale Métaheuristiques Méthodes hybrides …

10 Méthodes de résolution
II. OPTIMISATION COMBINATOIRE Méthodes de résolution Méthodes à voisinage Méthodes de recherche locale Métaheuristiques méthodes de recherches locales itérées, recuit simulé, méthode tabou, … Méthodes hybrides métaheuristiques / recherche locale, métaheuristiques / métaheuristiques, …

11 II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE
I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

12 Généralités Quelques définitions
III. SYSTEMES DE VOISINAGE Généralités Quelques définitions Système de voisinage (SdV) (Hao et al., 1999) Minimum global Minimum V-local

13 Généralités Notion de performance
III. SYSTEMES DE VOISINAGE Généralités Notion de performance Un SdV est performant s’il permet d’obtenir rapidement des minima locaux de bonne qualité. Deux notions antagonistes : Rapidité Qualité

14 Opérateurs internes aux SdV
III. SYSTEMES DE VOISINAGE Opérateurs internes aux SdV Guidage Restriction du SdV aux voisins les "plus prometteurs" ω

15 Opérateurs internes aux SdV
III. SYSTEMES DE VOISINAGE Opérateurs internes aux SdV Couplage Réunion de plusieurs SdV ω

16 Construction de SdV performants
III. SYSTEMES DE VOISINAGE Construction de SdV performants Proposition d’une méthodologie Méthodologie en trois étapes : recensement des mouvements de base "pertinents", guidage des mouvements de base, couplage des mouvements guidés.

17 Construction de SdV performants
III. SYSTEMES DE VOISINAGE Construction de SdV performants Avantages de la méthodologie proposée Recensement des mouvements de base "pertinents" s’appuyer sur les propriétés propres à chacun des mouvements Guidage des mouvements de base améliorer le temps d’exécution avec une perte de qualité raisonnable pour les minima locaux Couplage des mouvements guidés obtenir des minima locaux de meilleure qualité avec une perte raisonnable en temps d’exécution

18 Justification théorique du couplage
III. SYSTEMES DE VOISINAGE Justification théorique du couplage Théorème de caractérisation des minima globaux (finie) Soit V le couplage de V1 et V2 , alors, on a :

19 Evaluation des SdV Existant : étude des paysages
III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages Plat lisse Vallée lisse Plat rugueux Vallée rugueuse

20 Evaluation des SdV Existant : étude des paysages
III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages Evaluation de nombreux critères : la distribution de la fonction coût, la rugosité du paysage, le nombre de minima locaux, la distribution des minima locaux dans l’espace de recherche, la structure des bassins d’attraction des minima locaux, …

21 Evaluation des SdV Existant : étude des paysages
III. SYSTEMES DE VOISINAGE Evaluation des SdV Existant : étude des paysages + Connaissance très pointue de l’espace de recherche + Très utile pour l’étude d’un problème particulier - Mise en œuvre délicate - Difficilement applicable pour vérifier le caractère générique de la méthodologie proposée

22 Evaluation des SdV Combinatoire et profondeur des SdV
III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire et profondeur des SdV Deux notions antagonistes : Rapidité Qualité Combinatoire : taille des Sdv Profondeur : Proximité entre et

23 Evaluation des SdV Combinatoire des SdV
III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire des SdV Combinatoire : nombre moyen de solutions voisines Cas particulier des SdV "homogènes"

24 Evaluation des SdV Profondeur des SdV
III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Méthode de recherche locale associée à V Domaine d’attraction d’un minimum local ωV

25 Evaluation des SdV Profondeur des SdV
III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Profondeur (première définition) : qualité moyenne des minima locaux MAIS est inconnu, minima locaux plus ou moins accessibles.

26 Evaluation des SdV Profondeur des SdV
III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Profondeur : qualité moyenne des minima locaux, pondérée par la taille de leur domaine d’attraction On montre que :

27 Evaluation des SdV Profondeur des SdV Evaluation absolue
III. SYSTEMES DE VOISINAGE Evaluation des SdV Profondeur des SdV Evaluation absolue Evaluation relative minimum global, meilleure borne inférieure, meilleure borne supérieure.

28 Evaluation des SdV Combinatoire et profondeur du couplage Soit
III. SYSTEMES DE VOISINAGE Evaluation des SdV Combinatoire et profondeur du couplage Soit , le couplage de k SdV Vi , alors Combinatoire : Vrai Profondeur : Faux en général

29 Evaluation des SdV profondeur du couplage en théorie L’inégalité
III. SYSTEMES DE VOISINAGE Evaluation des SdV profondeur du couplage en théorie L’inégalité n’est vérifiée que si la méthode de recherche locale HV vérifie certaines propriétés concernant la politique d’exploration (i.e. l’ordre dans lequel les voisins sont explorés) en pratique Vérifier expérimentalement que le couplage a un effet positif sur la profondeur

30 Evaluation des SdV Politique d’exploration 4 3 10 2 11 7 13 9 ω 1 8 12
III. SYSTEMES DE VOISINAGE Evaluation des SdV Politique d’exploration 4 3 10 2 11 13 7 9 ω 1 8 12 6 5

31 Etude expérimentale Voyageur de commerce à 9 villes SdV comb prof
III. SYSTEMES DE VOISINAGE Etude expérimentale Voyageur de commerce à 9 villes SdV comb prof temps 2-opt 27 0.77% 39 s EP1 insertion 63 2.62% 49 s couplage 90 0.45% 45 s 1.78% EP2 1.90% 0.07%

32 Etude expérimentale Voyageur de commerce à 9 villes
III. SYSTEMES DE VOISINAGE Etude expérimentale Voyageur de commerce à 9 villes + Amélioration significative de la profondeur + Hausse modérée du temps d’exécution - Influence de la politique d’exploration - Caractère imprévisible de la politique d’exploration

33 II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE
I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

34 Conception du système de voisinage
IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Mouvements de base Mouvements retenus Mouvement 2-opt Mouvement de Or (insertion généralisée) Mouvement LK Mouvements non retenus Mouvement de permutation

35 Conception du système de voisinage
IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Guidage des mouvements Basé sur l’ensemble des "meilleurs" voisins de chaque ville TSP symétrique euclidien TSP asymétrique Propriétés du plan euclidien Distance Distance

36 Conception du système de voisinage
IV. VOYAGEUR DE COMMERCE Conception du système de voisinage Méthodes de résolution Méthode existante :  algorithme du kangourou (KA) Nouvelle métaheuristique :  variante du kangourou (ISKA) "Improved Solution Kangaroo Algorithm" Algorithmes stochastiques  Comportement moyen

37 RESULTATS POUR LE TSP SYMETRIQUE
IV. VOYAGEUR DE COMMERCE RESULTATS POUR LE TSP SYMETRIQUE Comparaison KA / ISKA

38 RESULTATS POUR LE TSP SYMETRIQUE
IV. VOYAGEUR DE COMMERCE RESULTATS POUR LE TSP SYMETRIQUE Synthèse ISKA : est plus performant que KA, trouve une solution optimale pour des 12 instances testées, concurrence les méthodes de la littérature ILK (Johnson, 1997) GLS (Merz, 1997) GLS + FLS (Voudouris, 1999)

39 LE TSP ASYMETRIQUE Approches possibles Heuristiques dédiées au ATSP,
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Approches possibles Heuristiques dédiées au ATSP, Heuristiques adaptées du STSP au ATSP, Transformation du ATSP en STSP.

40 LE TSP ASYMETRIQUE Espace de recherche
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Espace de recherche La transformation du ATSP en STSP double le nombre de villes ! ΩS ΩA Pour n=5 villes ΩS= ΩA=24

41 LE TSP ASYMETRIQUE Espace de recherche
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Espace de recherche Transformation  pénalisation de certaines arêtes. Subdivision de ΩS en trois sous-espaces. Optimisation multi-critères hiérarchisés.

42 LE TSP ASYMETRIQUE Système de voisinage multiple
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple La réutilisation de ISKA fournit des résultats corrects. MAIS Problèmes de comportement dans ISKA

43 LE TSP ASYMETRIQUE Système de voisinage multiple
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple Certains mouvements sont parfois inefficaces Exemple : Solution admissible non 2-opt

44 LE TSP ASYMETRIQUE Système de voisinage multiple Solutions :
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Système de voisinage multiple Solutions : Adaptation du système de voisinage selon le sous-espace exploré Conception du mouvement "zéro-insertion"

45 LE TSP ASYMETRIQUE Résultats
IV. VOYAGEUR DE COMMERCE LE TSP ASYMETRIQUE Résultats 27 instances de la TSPLIB (17 – 443 villes) 25 solutions optimales Robustesse ? RBG443  0% entre 1 et 14 minutes RBG323  entre 1.2% et 1.8% en 25 minutes

46 LE TSP Conclusion Apport de la méthodologie ?
IV. VOYAGEUR DE COMMERCE LE TSP Conclusion Apport de la méthodologie ? + Très bons résultats obtenus - Domination du mouvement LK

47 LE TSP Perspectives TSP symétrique
IV. VOYAGEUR DE COMMERCE LE TSP Perspectives TSP symétrique Utiliser LKH avec d’autres métaheuristiques TSP asymétrique Améliorer le calcul des bornes inférieures du ATSP Adapter LKH pour la ATSP

48 II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE
I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

49 LE PROBLEME Définition Job Shop avec transport Machine Station L/U
V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Définition Job Shop avec transport Machine Station L/U Pièces Véhicule

50 LE PROBLEME Complexité
V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Complexité Résolution conjointe de deux problèmes NP-complets : Job Shop Problem, Vehicle Scheduling Problem.

51 Simulation à événements discrets
V. SYSTEMES FLEXIBLES DE PRODUCTION LE PROBLEME Couplage heuristique / simulation Makespan Méthode de résolution Simulation à événements discrets Système de voisinage Solution évaluer

52 Conception du système de voisinage
V. SYSTEMES FLEXIBLES DE PRODUCTION Conception du système de voisinage Mouvements de base Mouvements retenus Mouvement d’insertion Mouvement de permutation

53 Conception du système de voisinage
V. SYSTEMES FLEXIBLES DE PRODUCTION Conception du système de voisinage Guidage Permutation : temps de calcul divisé par 3, aucune perte de qualité. Insertion : temps de calcul divisé par 5, perte sensible de qualité (1%).

54 ETUDE EXPERIMENTALE Jeux d’essai [Ulusoy & Bilge, 1993] 40 instances :
V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Jeux d’essai [Ulusoy & Bilge, 1993] 40 instances : 4 machines, 2 véhicules 10 jeux de données : 5 à 8 pièces, 13 à 23 opérations 4 topologies

55 ETUDE EXPERIMENTALE Jeux d’essai Exemple d’une topologie M1 M2 M3 M4
V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Jeux d’essai Exemple d’une topologie M1 M2 M3 M4 LU

56 ETUDE EXPERIMENTALE Méthodes de résolution
V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Méthodes de résolution méthode de recherche locale itérée, recuit simulé, méthode hybride.

57 ETUDE EXPERIMENTALE Résultats : comparaison avec la littérature
V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Résultats : comparaison avec la littérature Les trois méthodes sont toujours au moins aussi bonnes que le meilleur résultat de la littérature. 23 nouvelles bornes supérieures (sur 40 instances) Instance Littérat. Résult. Ex24 113 108 Ex71 118 111 Ex31 105 99 Ex72 85 79 Ex44 126 121 Ex104 164 159

58 ETUDE EXPERIMENTALE Résultats : comparaison des méthodes
V. SYSTEMES FLEXIBLES DE PRODUCTION ETUDE EXPERIMENTALE Résultats : comparaison des méthodes Méthode hybride retrouve 100% des meilleures bornes supérieures, temps d’une réplication : de 19 à 46 secondes, robustesse. Minimum Moyenne Maximum Résultats moyens pour les 40 instances 108,48 (0 %) 108,85 (0.34 %) 109,73 (0.93 %)

59 II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE
I INTRODUCTION II OPTIMISATION COMBINATOIRE III SYSTEMES DE VOISINAGE IV VOYAGEUR DE COMMERCE (TSP) V SYSTEMES FLEXIBLES DE PRODUCTION VI CONCLUSION ET PERSPECTIVES Hhh

60 CONCLUSION Déterminer un bon paramétrage a priori,
Concevoir un système de voisinage performant, Pratique 3 problèmes : TSP, ATSP, SFP 4 méthodes : KA, ILS, SA, SALS Théorique Proposition d’outils mathématiques

61 PERSPECTIVES Etudier l’effet du couplage sur le paysage.
Application de la méthodologie : à d’autres problèmes, avec d’autres méthodes. Méthodes à individus vs. méthodes à population ? Méthodes stochastiques vs. méthodes déterministes ?

62 FIN (Lourenzo, Martin & Stützle, 2001) "Iterated Local Search"
"When designing a metaheuristic, it is preferable that it be simple, both conceptually and in practice. Naturally, it also must be effective, and if possible general purpose. … … The ideal case is when the metaheuristic can be used without any problem-specific knowledge. … … Problem-specific knowledge must now be incorporated into metaheuristics in order to reach the state of the art level. … … We run the risk of loosing both simplicity and generality."