La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE.

Présentations similaires


Présentation au sujet: "Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE."— Transcription de la présentation:

1 Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE

2 Méthodes de descente

3 Michel Bierlaire3 Directions de descente Problème : min f : IR n IR f continûment différentiable Idée : – On démarre dun point x 0 – On génére des vecteurs x 1, x 2,… tels que la valeur de f décroit à chaque itération : f(x k+1 ) < f(x k ) k=1,2,…

4 Méthodes de descenteMichel Bierlaire4 f(x)=c 3 < c 2 f(x)=c 2 < c 1 f(x)=c 1 Directions de descente x0x0 x4x4 x3x3 x2x2 x1x1

5 Méthodes de descenteMichel Bierlaire5 Directions de descente Soit x IR n tel que f(x) 0. Condidérons la demi-droite x = x – f(x) Théorème de Taylor (1 er ordre) f(x+s) = f(x) + f(x) T s + o(¦¦s¦¦) avec s = x -x f(x )= f(x) + f(x) T (x -x) + o(¦¦x -x¦¦) = f(x) – ¦¦ f(x)¦¦ 2 + o( ¦¦ f(x)¦¦) = f(x) – ¦¦ f(x)¦¦ 2 + o( )

6 Méthodes de descenteMichel Bierlaire6 Directions de descente f(x ) = f(x) – ¦¦ f(x)¦¦ 2 + o( ) Si est petit, on peut négliger o( ) Donc, pour positif mais petit, f(x ) < f(x) Théorème : Il existe tel que, pour tout ]0, [ f(x- f(x)) < f(x)

7 Méthodes de descenteMichel Bierlaire7 Directions de descente Gradient = plus forte pente Question : y a-t-il dautres directions de descente que - f(x) ? Appliquons le même raisonnement avec d 0.

8 Méthodes de descenteMichel Bierlaire8 Directions de descente Condidérons la demi-droite x = x + d Théorème de Taylor (1 er ordre) f(x+s) = f(x) + f(x) T s + o(¦¦s¦¦) avec s = x -x f(x )= f(x) + f(x) T (x -x) + o(¦¦x -x¦¦) = f(x) + f(x) T d + o( ¦¦d¦¦) = f(x) + f(x) T d + o( )

9 Méthodes de descenteMichel Bierlaire9 Directions de descente f(x ) = f(x) + f(x) T d + o( ) Si est petit, on peut négliger o( ) Pour avoir f(x ) < f(x), il faut f(x) T d < 0 Théorème : Soit d tel que f(x) T d < 0. Il existe tel que, pour tout ]0, [ f(x+ d) < f(x)

10 Méthodes de descenteMichel Bierlaire10 Directions de descente Définition : Soit f:IR n IR, une fonction continûment différentiable, et x un vecteur de IR n. Le vecteur d IR n est appelé direction de descente de f en x ssi f(x) T d < 0

11 Méthodes de descenteMichel Bierlaire11 Méthodes de descente Algorithme de base : Soit x 0 IR n. Poser k=0. Tant que f(x k ) 0 – Choisir d k tel que f(x k ) T d k < 0 – Choisir k > 0 – Poser x k+1 = x k + k d k

12 Méthodes de descenteMichel Bierlaire12 Méthodes de descente Notes : Il y a beaucoup de choix possibles En général, on choisit k tel que f(x k + k d k ) < f(x k ) mais il y a des exceptions Il ny a aucune garantie de convergence pour lalgorithme de base

13 Méthodes de descenteMichel Bierlaire13 Choix de la direction Ecrivons d k = -D k f(x k ) où D k est une matrice n x n La condition f(x k ) T d k < 0 sécrit f(x k ) T D k f(x k ) > 0 Si D k est définie positive, cette condition est toujours vérifiée. Le choix de la direction revient donc au choix dune matrice définie positive.

14 Méthodes de descenteMichel Bierlaire14 Choix de la direction Quelques exemples souvent utilisés Méthode de la plus forte pente – D k = I – x k+1 = x k – k f(x k ) Méthode de Newton – D k = ( 2 f(x k )) -1 – x k+1 = x k – k ( 2 f(x k )) -1 f(x k ) Attention: il faut que 2 f(x k ) soit inversible et déf. pos.

15 Méthodes de descenteMichel Bierlaire15 Choix de la direction Mise à léchelle diagonale - d ki > 0 pour tout i - Exemple : d ki = - D k =

16 Méthodes de descenteMichel Bierlaire16 Choix de la direction Méthode de Newton modifiée – D k = ( 2 f(x 0 )) -1 – x k+1 = x k – k ( 2 f(x 0 )) -1 f(x k ) etc…

17 Méthodes de descenteMichel Bierlaire17 Choix du pas 1. Règle de minimisation Problème à une seule variable 2. Règle dapproximation Minimisation prend du temps Section dor nécessite lunimodalité A-t-on besoin du minimum exact ? Idée : Choisir un pas qui diminue suffisamment la valeur de la fonction.

18 Méthodes de descenteMichel Bierlaire18 Choix du pas : approximation Démarche: – Voyons dabord ce que sont de « mauvais » pas. – Déterminons des règles empêchant les « mauvais » pas. Prenons – f(x) = x 2 – x * = 0

19 Méthodes de descenteMichel Bierlaire19 Choix du pas : approximation Algorithme – d k = (-1) k+1 – k = 2+3(2 -(k+1) ) – x k =(-1) k (1+2 -k ) Lorsque k est grand – d k = (-1) k+1 – k 2 – x k (-1) k

20 Méthodes de descenteMichel Bierlaire20 Choix du pas : approximation Algorithme – d k = (-1) k+1 – k = 2+3(2 -(k+1) ) – x k =(-1) k (1+2 -k ) Lorsque k est grand – d k = (-1) k+1 – k 2 – x k (-1) k

21 Méthodes de descenteMichel Bierlaire21 Choix du pas : approximation Problème : – très petites diminutions de f relativement à la longueur des pas Solution : – exiger une diminution suffisante de f

22 Méthodes de descenteMichel Bierlaire22 Choix du pas : approximation f(x k )+ f(x k ) T d k f(x k )+ 1 f(x k ) T d k 1 ]0,1[

23 Méthodes de descenteMichel Bierlaire23 Choix du pas : approximation On choisit k tel que f(x k + k d k ) f(x k )+ k 1 f(x k ) T d k 1 ]0,1[ Reprenons lexemple (k grand et impair) f(x)=x 2, x k = -1, d k =1, k =2, f(x)=2x f(-1+2 1) (-2 1) 1 1 – Impossible Lalgorithme sera rejeté par cette règle

24 Méthodes de descenteMichel Bierlaire24 Choix du pas : approximation Conditions dArmijo-Goldstein f(x k + k d k ) f(x k )+ k 1 f(x k ) T d k 1 ]0,1[

25 Méthodes de descenteMichel Bierlaire25 Choix du pas : approximation Algorithme de recherche linéaire Soient g( ), 1, ]0,1[, 0 > 0 Pour k=1,2,… – Si f(x k + k d k ) f(x k )+ k 1 f(x k ) T d k alors *= k STOP – k+1 = k

26 Méthodes de descenteMichel Bierlaire26 Convergence Concept de non orthogonalité Supposons que d k est déterminée de manière unique par x k. On dit que la suite (d k ) k=0,1,… est en relation gradient avec la suite (x k ) k=0,1,… si la propriété suivante est vérifiée : Pour toute sous-suite (x k ) k K qui converge vers un point non stationnaire, la sous- suite correspondante (d k ) k K est bornée et vérifie : lim sup {k,k K } f(x k ) T d k < 0

27 Méthodes de descenteMichel Bierlaire27 Convergence Notes : On peut souvent garantir a priori que (d k ) est en relation-gradient. En particulier, cest le cas si – d k = -D k f(x k ), et – les valeurs propres de D k sont bornées, i.e. pour c1 et c2 > 0, on a c 1 ¦¦z¦¦ 2 z T D k z c 2 ¦¦z¦¦ 2, z IR n, k=0,1,…

28 Méthodes de descenteMichel Bierlaire28 Convergence Théorème : Si (d k ) est en relation-gradient avec (x k ) Si le pas est choisi – soit par la règle de minimisation – soit par la règle dArmijo-Goldstein Alors tous les points limites de (x k ) sont stationnaires.

29 Méthodes de descenteMichel Bierlaire29 Critère darrêt En général, ces méthodes ne permettent pas de trouver la solution en un nombre fini ditérations. Quand arrête-t-on les itérations ? Critère 1: ¦¦ f(x k )¦¦ 0 petit. Problèmes : – Supposons =10 -3, et f(x) [10 -7,10 -5 ]. Il est probable que toutes les valeurs de x vérifieront la condition darrêt. – Par contre, si f(x) [10 5,10 7 ], cela narrivera peut-être jamais.

30 Méthodes de descenteMichel Bierlaire30 Critère darrêt Critère 2 : ¦¦r(x)¦¦, avec > 0 petit, avec r(x) i = ( f(x) i x i ) / f(x). r(x) est le gradient relatif en x. Ce critère est indépendant de changement dunités en f et en x. Attention si f ou x est proche de 0.

31 Méthodes de descenteMichel Bierlaire31 Critère darrêt Critère 3 : où > 0 est petit. tx i est une valeur typique de x i. tf est une valeur typique de f.


Télécharger ppt "Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE."

Présentations similaires


Annonces Google