La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE.

Présentations similaires


Présentation au sujet: "Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE."— Transcription de la présentation:

1 Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE

2 Variations sur Newton

3 Michel Bierlaire3 Variations sur Newton Convergence de la méthode de la plus forte pente Résolution dune équation non linéaire à une inconnue Résolution dun système déquations à plusieurs inconnues Convergence globale Méthodes sécantes ou quasi-Newton

4 Variations sur NewtonMichel Bierlaire4 Vitesse de convergence Exemple : f(x,y) = x 2 + y

5 Variations sur NewtonMichel Bierlaire5 Vitesse de convergence

6 Variations sur NewtonMichel Bierlaire6 Vitesse de convergence Notes : La direction du gradient est perpendiculaire aux courbes de niveaux. La représentation précédente nest pas à léchelle.

7 Variations sur NewtonMichel Bierlaire7 Variations sur Newton Convergence de la méthode de la plus forte pente Résolution dune équation non linéaire à une inconnue Résolution dun système déquations à plusieurs inconnues Convergence globale Méthodes sécantes ou quasi-Newton

8 Variations sur NewtonMichel Bierlaire8 Equation à une inconnue Problème : Soit f:IR IR continûment dérivable. Trouver x tel que f(x) = 0. Exemple : f(x) = x 2 – 3 x 0 = 1

9 Variations sur NewtonMichel Bierlaire9 Equation à une inconnue

10 Variations sur NewtonMichel Bierlaire10 Equation à une inconnue x 1 = x 0 + x f(x 0 ) = y / x x = y / f(x 0 ) = - f(x 0 ) / f(x 0 ) x 1 = x 0 - f(x 0 ) / f(x 0 ) x x0x0 x1x1 y

11 Variations sur NewtonMichel Bierlaire11 Equation à une inconnue Méthode de Newton : x k+1 = x k – f(x k ) / f(x k )

12 Variations sur NewtonMichel Bierlaire12 Equation à une inconnue A chaque itération, on remplace la fonction non-linéaire par un modèle local facile à calculer. M(x) = f(x 0 ) + f(x 0 )(x-x 0 ) Ce modèle – est linéaire – est tel que M(x 0 ) = f(x 0 )

13 Variations sur NewtonMichel Bierlaire13 Equation à une inconnue Convergence locale Idée générale – Si f(x) nest pas trop non-linéaire – Si x 0 est suffisament bon – Alors convergence rapide Définition : Une fonction g est continue au sens de Lipschitz sur X sil existe >0 tel que ¦g(x)-g(y)¦ ¦x-y¦ x,y X

14 Variations sur NewtonMichel Bierlaire14 Equation à une inconnue Théorème : Soit un intervalle ouvert D Soit f:D IR f continue au sens de Lipschitz sur D (constante ) Supposons que > 0, ¦f(x)¦, x D

15 Variations sur NewtonMichel Bierlaire15 Equation à une inconnue Si f(x)=0 possède une solution x* D Alors > 0 tel que – Si ¦x 0 – x*¦ < – Alors la suite (x k ) générée par x k+1 =x k – f(x k )/f(x k ) k=0,1,2,… existe et converge vers x*. – De plus, pour tout k ¦x k+1 -x*¦ ( /2 ) ¦x k -x*¦ 2

16 Variations sur NewtonMichel Bierlaire16 Equation à une inconnue Notes : Hypothèse principale : – f(x) a une borne inférieure strictement positive. – Si f(x*)=0, la méthode de Newton converge beaucoup plus lentement.

17 Variations sur NewtonMichel Bierlaire17 Equation à une inconnue x* = 1 f 1 (x*)=2 f 2 (x*)=0

18 Variations sur NewtonMichel Bierlaire18 Equation à une inconnue Note : Si f est linéaire, alors = 0. Donc ¦x k+1 -x*¦ ( /2 ) ¦x k -x 0 ¦ 2 devient ¦x k+1 -x*¦ 0 cest-à-dire x* = x k+1, pour tout k. Ainsi, x 1 = x*. Lorsque f est linéaire, la méthode de Newton pour la résolution déquations converge en une seule itération.

19 Variations sur NewtonMichel Bierlaire19 Variations sur Newton Convergence de la méthode de la plus forte pente Résolution dune équation non linéaire à une inconnue Résolution dun système déquations à plusieurs inconnues Convergence globale Méthodes sécantes ou quasi-Newton

20 Variations sur NewtonMichel Bierlaire20 Système déquations à plusieurs variables La méthode de Newton peut être utilisée pour résoudre un système de n équations à n inconnues. g(x) = 0 où g:IR n IR n est une fonction continûment différentiable. La méthode est alors x k+1 = x k – ( g(x k ) T ) -1 g(x k )

21 Variations sur NewtonMichel Bierlaire21 Système déquations à plusieurs variables Théoréme : Soit une fonction g:IR n IR n. Soit un vecteur x* tel que g(x*)=0. Supposons que g est continûment différentiable dans une sphère S, où S = {x t.q. ¦¦x-x*¦¦ }, > 0. Supposons que g(x*) est inversible.

22 Variations sur NewtonMichel Bierlaire22 Système déquations à plusieurs variables 1) Il existe tel que, si x 0 S, la suite (x k ) générée par x k+1 = x k – ( g(x k ) T ) -1 g(x k ) – est bien définie, – est contenue dans S – converge vers x*.

23 Variations sur NewtonMichel Bierlaire23 Système déquations à plusieurs variables 2) Sil existe L > 0, M > 0, > 0 tels que ¦¦ g(x)- g(y)¦¦ L¦¦x-y¦¦ ¦¦ ( g(x) T ) -1 ¦¦ M pour tout x,y dans S, alors ¦¦x k+1 -x*¦¦ ½ LM ¦¦x k -x*¦¦ 2, k

24 Variations sur NewtonMichel Bierlaire24 Système déquations à plusieurs variables Notes : L est la constante de Lipschitz La condition ¦¦ g(x)- g(y)¦¦ L¦¦x-y¦¦ impose que la fonction « ne soit pas trop non linéaire » La condition ¦¦ ( g(x) T ) -1 ¦¦ M impose que le problème « ne soit pas trop mal conditionné »

25 Variations sur NewtonMichel Bierlaire25 Variations sur Newton Convergence de la méthode de la plus forte pente Résolution dune équation non linéaire à une inconnue Résolution dun système déquations à plusieurs inconnues Convergence globale Méthodes sécantes ou quasi-Newton

26 Variations sur NewtonMichel Bierlaire26 Minimisation à une variable Appliquer la méthode de Newton à léquation f(x) = 0. Cela donne x k+1 = x k – f(x k )/f(x k )

27 Variations sur NewtonMichel Bierlaire27 Minimisation à une variable A chaque itération, on remplace la fonction non-linéaire par un modèle local facile à calculer. m k (x) = f(x k ) + f(x k )(x-x k )+½ f(x k )(x-x k ) 2 Ce modèle – est quadratique – est tel que m k (x k ) = f(x k )

28 Variations sur NewtonMichel Bierlaire28 Minimisation à une variable f(x)=-x 4 +12x 3 -47x 2 +60x m(x)=7x 2 -48x+81

29 Variations sur NewtonMichel Bierlaire29 m(x)=-17x x-375 Minimisation à une variable f(x)=-x 4 +12x 3 -47x 2 +60x m(x)=x 2 -20x+48

30 Variations sur NewtonMichel Bierlaire30 Méthode de Newton « pure » 1 variable : x k+1 = x k – f(x k )/f(x k ) n variables : x k+1 = x k – 2 f(x k ) -1 f(x k ) Rapide Mais ne fonctionne pas toujours

31 Variations sur NewtonMichel Bierlaire31 Convergence globale Problèmes de la méthode de Newton pure : La matrice 2 f(x k ) peut ne pas être définie positive. Elle peut ne pas être inversible. La méthode peut produire des itérés tels que f(x k+1 ) > f(x k ). La méthode se contente de résoudre f(x)=0. Elle peut donc converger vers des points critiques qui ne sont pas des minima.

32 Variations sur NewtonMichel Bierlaire32 Convergence globale Idée : modifier la méthode de Newton pour garantir la convergence globale, mais conserver sa forme pure près de la solution afin de maintenir sa rapidité.

33 Variations sur NewtonMichel Bierlaire33 Convergence globale Un algorithme globalement convergent est un algorithme qui converge vers un minimum local à partir de (presque) nimporte quel point de départ x 0. Attention : ne pas confondre convergence globale et minimum global.

34 Variations sur NewtonMichel Bierlaire34 Convergence globale Idée de Cauchy : Lorsque le pas de Newton nest pas défini, ou ne fait pas diminuer la valeur de la fonction, préférer la direction de la plus forte pente. A. Cauchy (1847) Analyse mathématique. Méthode générale pour la résolution des systèmes déquations simultanées. Comptes Rendus de lAcadémie des Sciences de Paris. Désavantages de la plus forte pente.

35 Variations sur NewtonMichel Bierlaire35 Convergence globale Recherche linéaire Newton « pur » : x k+1 = x k – 2 f(x k ) -1 f(x k ) Considérer la direction : d k = – 2 f(x k ) -1 f(x k ) Si 2 f(x k ) -1 nest pas déf. pos. : d k = – ( 2 f(x k )+ I) -1 f(x k ) Tel que d k est direction de descente

36 Variations sur NewtonMichel Bierlaire36 Convergence globale Recherche linéaire Algorithme de descente : x k+1 = x k + k d k On essaie dabord k =1. Si cela ne marche pas, on essaie des pas plus courts. Règle dArmijo-Goldstein

37 Variations sur NewtonMichel Bierlaire37 Convergence globale Région de confiance Idée : Si la direction de Newton nest pas satisfaisante, cest probablement parce que le modèle quadratique ne représente pas bien la fonction dans la région contenant le point de Newton. Au lieu de garder la même direction et de racourcir le pas, on choisit un pas plus petit et on détermine une nouvelle direction.

38 Variations sur NewtonMichel Bierlaire38 Convergence globale f(x)=-x 4 +12x 3 -47x 2 +60x m(x)=x 2 -20x+48 Région de confiance

39 Variations sur NewtonMichel Bierlaire39 Convergence globale Supposons que lon ait une idée de la « bonne » longueur de pas: k. Comment choisir d k ? Problème de région de confiance : min s m k (x k +s) sous contrainte ¦¦s¦¦ 2 k k définit la région dans laquelle on peut faire confiance au modèle m k

40 Variations sur NewtonMichel Bierlaire40 Convergence globale Notes : Ce problème doit être plus simple que le problème initial. Fonction objectif : quadratique Contrainte simple On na pas nécessairement besoin de la solution exacte du problème.

41 Variations sur NewtonMichel Bierlaire41 Convergence globale Théorème : Soit s( )= ( 2 f(x k )+ I) 1 f(x k ) La solution s* du problème de région de confiance min s m k (x k +s) sous contrainte ¦¦s¦¦ 2 k est le pas de Newton s*=s(0) si ¦¦s(0)¦¦ 2 k. Sinon, s*=s( ) pour le seul 0 tel que ¦¦s( ) ¦¦ 2 = k.

42 Variations sur NewtonMichel Bierlaire42 Convergence globale Résoudre le problème de région de confiance revient donc à perturber 2 f(x k ) pour la rendre suffisamment définie positive. Mise à jour du rayon : Soit k = m(x k )-m(x k +s*) f(x k )-f(x k +s*) Réduction effective Réduction prédite

43 Variations sur NewtonMichel Bierlaire43 Convergence globale Soit 0 < 1 2 < 1( 1 = 0.01, 2 = 0.9) Soit 0 < 1 2 < 1 ( 1 = 2 = 0.5) Si k 2, s* est très satisfaisant. – x k+1 = x k + s* – Le rayon est augmenté – k+1 [ k, [ – Souvent k+1 = 2 k Si k [ 1, 2 [, s* est satisfaisant. – Le rayon reste (plus ou moins) le même – k+1 [ 2 k, k ] – Souvent k+1 = k

44 Variations sur NewtonMichel Bierlaire44 Convergence globale Si k < 1, s* nest pas satisfaisant. – Le rayon est diminué. – x k+1 = x k – k+1 [ 1 k, 2 k ] – Souvent k+1 = k /2

45 Variations sur NewtonMichel Bierlaire45 Variations sur Newton Convergence de la méthode de la plus forte pente Résolution dune équation non linéaire à une inconnue Résolution dun système déquations à plusieurs inconnues Convergence globale Méthodes sécantes ou quasi-Newton

46 Variations sur NewtonMichel Bierlaire46 Méthodes quasi-Newton Résolution déquation à une inconnue Equations à plusieurs variables Minimisation à plusieurs variables

47 Variations sur NewtonMichel Bierlaire47 Méthodes quasi-Newton Résolution déquation à une inconnue Question : que se passe-t-il lorsque la dérivée nest pas disponible ? Idée : on remplace le modèle linéaire tangent par un modèle linéaire sécant.

48 Variations sur NewtonMichel Bierlaire48 Méthodes quasi-Newton xkxk x k +h k f(x k )+f(x k )(x-x k ) hkhk f(x k )+a k (x-x k ) a k =(f(x k +h k )-f(x k ))/h k

49 Variations sur NewtonMichel Bierlaire49 Méthodes quasi-Newton Pente de la sécante : a k = Le pas « quasi-Newton » est x k+1 = x k – f(x k )/a k Comment choisir h k ? hkhk f(x k +h k )-f(x k )

50 Variations sur NewtonMichel Bierlaire50 Méthodes quasi-Newton Si h k 0, alors a k f(x k ) Si h k est choisi suffisamment petit, a k est appelée une approximation de f(x k ) par différence finie. Problème : cela exige une évaluation supplémentaire de la fonction. On préfère choisir h k = x k-1 – x k

51 Variations sur NewtonMichel Bierlaire51 Méthodes quasi-Newton f(x)=x 2 -1

52

53 Variations sur NewtonMichel Bierlaire53 Méthodes quasi-Newton Notes : La méthode fonctionne bien Le modèle linéaire M k (x)=f(x k ) + (x-x k ) vérifie M k (x k-1 )=f(x k-1 ) et M k (x k )=f(x k ). x k-1 -x k f(x k-1 )-f(x k )

54 Variations sur NewtonMichel Bierlaire54 Méthodes quasi-Newton Résolution déquation à une inconnue Equations à plusieurs variables Minimisation à plusieurs variables

55 Variations sur NewtonMichel Bierlaire55 Méthodes quasi-Newton Equations à plusieurs variables Même idée : utiliser un modèle linéaire M k (x) = F(x k ) + A k (x-x k ) tel que M k (x k ) = F(x k ) M k (x k-1 )=F(x k-1 )

56 Variations sur NewtonMichel Bierlaire56 Méthodes quasi-Newton M k (x k-1 ) = F(x k ) + A k (x k-1 -x k ) Donc, il faut F(x k ) + A k (x k-1 -x k ) = F(x k-1 ) cest-à-dire A k (x k-1 -x k ) = F(x k-1 ) - F(x k ) Cette équation est appelée léquation sécante.

57 Variations sur NewtonMichel Bierlaire57 Méthodes quasi-Newton Posons d k = x k – x k-1 y k = F(x k ) – F(x k-1 ) Léquation sécante sécrit A k d k = y k. En n dimensions (n > 1), léquation sécante ne définit pas A k de manière unique. n équations pour n 2 inconnues

58 Variations sur NewtonMichel Bierlaire58 Méthodes quasi-Newton Parmi tous les A k qui vérifient léquation sécante, on choisira celui qui modifie le moins le modèle linéaire déjà utilisé. On veut donc choisir A k qui minimise M k (x)-M k-1 (x)

59 Variations sur NewtonMichel Bierlaire59 Méthodes quasi-Newton M k (x) – M k-1 (x) =F(x k )+A k (x-x k ) – F(x k-1 ) – A k-1 (x-x k-1 ) =F(x k )+A k (x-x k ) – F(x k-1 ) – A k-1 (x-x k-1 )+A k x k-1 -A k x k-1 =F(x k ) – F(x k-1 ) – A k (x k -x k-1 ) + (A k -A k-1 )(x-x k-1 ) =(A k -A k-1 )(x-x k-1 ) Posons x-x k-1 = d k + t, avec t tel que t T d k = 0 M k (x) – M k-1 (x) = (A k -A k-1 )d k + (A k -A k-1 )t Equation sécante

60 Variations sur NewtonMichel Bierlaire60 Méthodes quasi-Newton (A k -A k-1 )d k Léquation sécante nous impose A k d k = y k. Donc, le premier terme est (y k A k-1 d k ). Il ne dépend pas de A k. Aucune marge de manœuvre ici.

61 Variations sur NewtonMichel Bierlaire61 Méthodes quasi-Newton 2. (A k -A k-1 )t, avec t T d k = 0 On peut annuler ce terme en posant A k -A k-1 = u d k T, où u IR n. Reprenons léquation sécante : A k d k =y k (A k -A k-1 )d k = y k – A k-1 d k ud k T d k =y k -A k-1 d k

62 Variations sur NewtonMichel Bierlaire62 Cela donne A k -A k-1 = u d k T, avec u = et donc k-1 A k = A k-1 + d k T Méthodes quasi-Newton dkTdkdkTdk y k -A k-1 d k dkTdkdkTdk

63 Variations sur NewtonMichel Bierlaire63 Méthodes quasi-Newton Cest la mise à jour qui 1. vérifie léquation sécante 2. en minimisant les changements du modèle linéaire. Proposée par Broyden en 1965, on lappelle la mise à jour de Broyden.

64 F 1 (x,y)=x+y-3 F 2 (x,y)=x 2 +y 2 -9 Note : dès la 1 ière itération, F 1 (x,y)=0

65 Variations sur NewtonMichel Bierlaire65 Méthodes quasi-Newton Résolution déquation à une inconnue Equations à plusieurs variables Minimisation à plusieurs variables

66 Variations sur NewtonMichel Bierlaire66 Méthodes quasi-Newton Minimisation à plusieurs variables On remplace F(x) par f(x) F(x) par 2 f(x) Attention : le hessien doit être symétrique. Lapproximation sécante ne peut être utilisée telle quelle.

67 Variations sur NewtonMichel Bierlaire67 Méthodes quasi-Newton 1. Mise à jour de Powell On veut approximer 2 f(x k ) par H k. Léquation sécante est H k d k = y k avec – d k = x k -x k-1 – y k = f(x k )- f(x k-1 ).

68 Variations sur NewtonMichel Bierlaire68 Méthodes quasi-Newton Le modèle quadratique m k (x)=f(x k )+ f(x k ) T (x-x k )+½(x-x k ) T H k (x-x k ) vérifie – m k (x k ) = f(x k ) – m k (x k-1 )= f(x k-1 ) Utilisons la méthode de Broyden.

69 Variations sur NewtonMichel Bierlaire69 Méthodes quasi-Newton H k = H k-1 + d k T Si H k-1 est symétrique, H k ne le sera que si y k -H k-1 d k est multiple de d k. On doit trouver une matrice H k qui – vérifie léquation sécante et – soit symétrique. Construisons une suite de matrices. dkTdkdkTdk y k -H k-1 d k

70 Variations sur NewtonMichel Bierlaire70 Méthodes quasi-Newton H 1 = H k-1 + d k T H 1 vérifie léquation sécante. H 1 nest pas symétrique H 2 = ½ (H 1 + H 1 T ) H 2 est symétrique. H 2 ne vérifie pas léquation sécante. On lui applique donc la mise à jour de Broyden. dkTdkdkTdk y k -H k-1 d k

71 Variations sur NewtonMichel Bierlaire71 Méthodes quasi-Newton H 3 = H 2 + d k T H 3 vérifie léquation sécante. H 3 nest pas symétrique H 4 = ½ (H 3 + H 3 T ) etc… dkTdkdkTdk y k H 2 d k

72 Variations sur NewtonMichel Bierlaire72 Méthodes quasi-Newton On génère la suite suivante : H 2i+1 = H 2i + d k T H 2i+2 = ½ (H 2i+1 + H 2i+1 T ) Bonne nouvelle : elle converge ! dkTdkdkTdk y k – H 2i d k

73 Variations sur NewtonMichel Bierlaire73 Méthodes quasi-Newton Matrices symétriques Matrices vérifiant léquation sécante H1H1 H2H2 H3H3 H4H4 HkHk

74 Variations sur NewtonMichel Bierlaire74 Méthodes quasi-Newton Mise à jour sécante symétrique de Powell : H k = H k-1 + dkTdkdkTdk (y k H k-1 d k )d k T +d k (y k H k-1 d k ) T (d k T d k ) 2 d k T (y k H k-1 d k ) d k d k T

75 Variations sur NewtonMichel Bierlaire75 Méthodes quasi-Newton Malheureusement…. La matrice H k obtenue par la méthode de Powell peut ne pas être définie positive. Et cela même si H k-1 est définie positive, et quil existe des matrices – définies positives – symétriques – qui vérifient léquation sécante.

76 Variations sur NewtonMichel Bierlaire76 Méthodes quasi-Newton Ensemble des matrices définies positives Ensemble des matrices symétriques qui vérifient léquation sécante H k-1 HkHk

77 Variations sur NewtonMichel Bierlaire77 Méthodes quasi-Newton Truc : Si on veut imposer x 0, on pose x = y 2, y IR, y 0 Ici, on pose H k = J k J k T – J k IR nxn – J k non singulier Ainsi, H k sera définie positive.

78 Variations sur NewtonMichel Bierlaire78 Méthodes quasi-Newton Léquation sécante devient J k J k T d k =y k avec – d k = x k -x k-1 – y k = f(x k )- f(x k-1 ). Est-ce que cette équation possède une solution ?

79 Variations sur NewtonMichel Bierlaire79 Méthodes quasi-Newton Lemme Soient d k, y k IR, d k 0. Il existe une matrice non singulière J k IR nxn telle que J k J k T d k =y k si et seulement si d k T y k > 0.

80 Variations sur NewtonMichel Bierlaire80 Méthodes quasi-Newton Preuve : Condition nécessaire Supposons quil existe une matrice non singulière J k IR nxn telle que J k J k T d k =y k. Posons v k = J k T d k v k T v k = d k T J k J k T d k = d k T y k > 0. CQFD

81 Variations sur NewtonMichel Bierlaire81 Méthodes quasi-Newton Condition suffisante Supposons d k T y k > 0. On peut montrer quune solution est J k = L k-1 + où – H k-1 = L k-1 L k-1 T (facteurs de Cholesky) – v k = L k-1 T d k vkTvkvkTvk (y k -L k-1 v k )v k T d k T H k-1 d k ykTdkykTdk

82 Variations sur NewtonMichel Bierlaire82 Méthodes quasi-Newton On obtient la mise à jour suivante H k =H k-1 + Broyden Fletcher Goldfarb Shanno ykTdkykTdk ykykTykykT d k T H k-1 d k H k-1 d k d k T H k-1

83 Variations sur NewtonMichel Bierlaire83 Méthodes quasi-Newton Résumé : x k+1 = x k k D k f(x k ) Plus forte pente : D k = I – Règle dapproximation : Armijo- Goldstein

84 Variations sur NewtonMichel Bierlaire84 Méthodes quasi-Newton Résumé : x k+1 = x k k D k f(x k ) Newton : D k = [ 2 f(x k ) + I] -1 – Newton pure : k = 1, -> pas globalement convergent – Règle dapproximation : Armijo- Goldstein

85 Variations sur NewtonMichel Bierlaire85 Méthodes quasi-Newton Résumé : x k+1 = x k k D k f(x k ) quasi-Newton : D k = H k -1 – H 0 arbitraire, symétrique définie positive – H k =H k-1 + – Règle dapproximation : Armijo-Goldstein ykTdkykTdk ykykTykykT d k T H k-1 d k H k-1 d k d k T H k-1

86 Variations sur NewtonMichel Bierlaire86 Exemples : quadratique

87 Plus forte pente

88 Newton

89 BFGS avec H 0 =I

90 Variations sur NewtonMichel Bierlaire90 Exemples : « gentille » fonction

91

92 Plus forte pente

93 Newton

94 BFGS avec H 0 = 2 f(x 0 )

95 BFGS avec H 0 =I

96 BFGS avec H 0 =I (plus large)

97 Variations sur NewtonMichel Bierlaire97 Exemples : Rosenbrock ou « fonction banane »

98

99

100

101 Plus forte pente

102 Plus forte pente (zoom)

103 Plus forte pente (autre point de départ)

104 Plus forte pente (autre point de départ – zoom)

105 Newton

106 Newton (autre point de départ)

107 BFGS avec H 0 = 2 f(x 0 )

108 BFGS avec H 0 = 2 f(x 0 ) (autre point de départ)

109 BFGS avec H 0 =I

110 BFGS avec H 0 =I (zoom)

111 BFGS avec H 0 =I (autre point de départ)

112 Variations sur NewtonMichel Bierlaire112 Newton pure Importance du point de départ Soit Trois points critiques : c 1,c 2,c 3 On applique Newton pure à partir de x 0,y 0

113 Variations sur NewtonMichel Bierlaire113 Newton pure Si Newton converge vers c 1, (x0,y0) est rouge Si Newton converge vers c 2, (x0,y0) est bleu Si Newton converge vers c 3, (x0,y0) est vert

114

115

116


Télécharger ppt "Optimisation non linéaire sans contraintes Recherche opérationnelle GC-SIE."

Présentations similaires


Annonces Google