Chapitre 1 - Formulation générale. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.1 Problème d'optimisation: formulation. formulation traditionnelle min{f(x)} [xH] sous hj(x)0 [j=1, .., m] et hj(x)=0 [j=m+1, .., m+p] * format conventionnel (scientifique) : minimisation avec des contraintes d’inégalité ≤ optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.2 Classification. Classe A problèmes sans contraintes (m=p=0) A.1 problèmes quadratiques A.2 problèmes non linéaires optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Classe B problèmes à contraintes linéaires B.1 problèmes à contraintes égalité (m=0) B.1.a linéaires - quadratiques B.2.b non linéaires B.2 problèmes à contraintes inégalité B.2.a programmation linéaire (mn-p) B.2.b linéaires quadratiques B.2.c non linéaires à contraintes linéaires optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Classe C problèmes non linéaires C.1 problèmes à contraintes égalité (m=0) C.2 programmation non linéaire générale optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.3 Optimisation sans contraintes. Max ou min {J=f (x)} Max ou min {J=f (x1, . xn)} x x (x1,xn) (x1,xn) 1. Extremums locaux. * Problème unidimensionnel. approche directe ou indirecte optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * Problème bidimensionnel. Max {J = f(x1, x2)} (f dans C2 et non linéaire). * CN: f’x1(x1, x2)=0 et f’x2(x1, x2)=0 * conditions suffisantes : f”x1x1 f”x2x2 - (f”x1x2)2 > 0 et a) minimum local f”x1x1 > 0 b) maximum local f”x1x1 < 0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * Problème multidimensionnel. Max{J = f(x1, .., xn)} (f dans C2 et non linéaire). extremum local : f’i (x1, .., xn) = 0 i = 1, .., n minimum local : Di>0 (i=n) maximum local : Di<0 (i=2n+1) et Di>0 (i=2n) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
2. Méthodes des moindres carrés (MC) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * MC ordinaires. yi=xij+bi ou yi=xita+bi au sens du critère d’écart J=(yk-Xka)t(yk-Xka) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen formulation récursive : Pk-1=Pk-1-1+xkxkt et Qk=Qk-1+xkyk lemme d'inversion : Pk=Pk-1-Pk-1xk(1+xktPk-1xk)-1xktPk-1 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen formules de récurrence Kk=[Pk-1xk] [1+xktPk-1xk]-1 (1+xktPk-1xk) scalaire pas d’inversion matricielle optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * Interprétation stochastique des MC E[b]=0 E[b bt]=s2I E[b xt]=0 caractérisation statistique : optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen variance : = s2Pk MC => estimé non biaisé et consistant optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * MC pondérés yi => yi/si et xi => xi/si : optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Pk=Pk-1-KkxktPk-1 où Kk=Pk-1xk(sk2+xktPk-1xk)-1 covariance S=E[b bt] minimum => J=(yk-Xka')-1(yk-Xka')t optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.4 Conditions d’optimalité. x optimum local de min{f(x)} [xH] sous hj(x)0 [j=1, .., m] et hj(x)=0 [j=m+1, .., m+p] ? multiplicateurs de Lagrange * cas sans contraintes (m=p=0) x minimum local de f : f'(x)=0 f"0 * avec une contrainte linéaire (m=0 et p=1) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen optimalité : f'(x) colinéaire à h' f'(x)+mh'=0 : m (multiplicateur de Lagrange) lagrangien L(x, m)=f(x)+mh(x) L/m=0 : h(x)=0 que si et seulement si x est réalisable x minimum local: il existe un scalaire m avec (x,m) point critique de L optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * contrainte linéaire d’inégalité (m=p=1) h(x)=0 m=0 h(x) 0 : f’(x) vers l’intérieur => m >0 : m+p variables additionnelles optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen théorème de Karush, Kuhn et Tücker: x optimum local du système (+ hypothèse de qualification) il existe m dans Rm+p tel que: - mj0, j=[1, m] - hj(x)0, j=[1, m] hm+j(x)=0, j=[1, p] - mjhj(x)0, j=[1, m] - f’(x)+ mjh’j(x) =0 j=[1, m+p] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Remarques: * m=0 : (x,m) ~ système d’équations * f quadratique et h affine système linéaire * m>0 : m j =0 ? problème combinatoire optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.5 Problèmes avec contraintes. 1. Pénalités et barrières. P(x)=f(x)+cMax{0, hj(x)}2] (c>0) pénalisation extérieure : min{f(x)} [xH] sous hj(x)0 [j=1, .., m] et hj(x)=0 [j=m+1, .., m+p] remplacé par min{P} sans contrainte optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen x admissibles : minimum de B dans le domaine admissible et proche de la solution du système technique de pénalisation intérieure (barrière) : remplacer la minimalisation de f par celle de B optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Méthodes de directions admissibles. chaque itération : ensemble des j tels que hj(x)=0 (ensemble des contraintes actives en x) gradient ou Newton : direction devant suivre ces contraintes optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1.6 Conseils. minimiser f(x) résoudre f’(x)=0 résoudre F(x)=0 minimiser F(x)2 plus avantageux ? éléments d’orientation du choix: * gradient : programmation très longue choix d'une méthode intuitive souvent incapable de résoudre le problème posé optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen stratégie : petit nombre de résolutions: méthode intuitive plusieurs résolution: méthodes de descente * type Newton :si mémoire suffisante car convergence quadratique * gradient conjugué et de plus grande pente : très lentes optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * conseillé : code de bibliothèque (algorithme préprogrammé) * code performant :analyse des résultats, détection et correction des imperfections du modèle structure de blocs souple car modification rapide optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen importance des facteurs d’échelle uj : unité de xj 1/uj : unité de f’j(x) x+=x-mf’(x) non correct chaque fj’(x) multiplié par facteur d’échelle approprié problème défini à partir des x changement de variables sans dimension du type yj=xj/uj puis résolution par rapport aux yj optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen règle: Tj incrément d’une fonction du problème (par exemple, l'IP) j=[1, n] m ajouté à la jème coordonnée du vecteur des commandes tous les Tj du même ordre de grandeur j optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
Chapitre 2 - Programmation linéaire. Méthode du simplexe. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen programmation linéaire: solution numérique de problèmes d’optimisation à critères et contraintes linéaires méthode du simplexe : trouver un point de départ admissible puis un autre plus proche du critère et ainsi de suite optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen solutions : * aucune, * finie, * infinie (non bornée), * nombre infini de solutions solution (si elle existe) d’un problème de programmation linéaire : toujours en un point extrémal d'une région admissible (base de la méthode du simplexe) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2.1. Forme standard de programmes linéaires. 1. Position du problème. problème linéaire : Max{J}=cjxj sous aijxj=bi xj et xj0 (i=1, .., n) forme matricielle : Max{J}=CTx sous A x=b et x 0 x optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen forme standard: x 0 et A x=b autres contraintes : variables d’écart ou de surplus aijxjbi devient aijxj+xn+i=bi, xn+i 0 : variable d’écart aijxjbi devient aijxj-xn+i=bi, xn+i0 : variable de surplus variables non contraintes (non négatives) forme standard non négative avec des variables additionnelles : xk<0 xk>0 avec xk=x'k-x"k, x'k 0 et x"k 0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Théorèmes de base de programmation linéaire. * solution admissible : satisfait aux équations standard * matrice de base : matrice inversible m colonnes de A * solution de base : vecteur obtenu à partir de (n-m) variables de A =0 d'une matrice de base puis résolution du système de m variables * solution admissible : solution de base à variables 0 solution admissible non dégénérée : solution admissible ayant m variables xi>0 * solution optimale : solution admissible minimisant J optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen théorèmes (sans démonstration) * minimum de J en un point extrémal dans la région admissible minimum si plus d’un point extrémal : J=Jmin en tous points d'un segment sur les deux point extrêmes * x point extrémal dans la région admissible si et seulement si x solution admissible optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3. Systèmes d’équations linéaires et équivalents. matrice de base B : m premières colonnes du système précédent A x=b => [B : M]x=b optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen [B-1][B : M]x=[B-1]b => [I : B-1M]x=[B-1 b] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen tous les termes du second membre 0 : solution admissible départ : méthode de pivot avec pivot aijxj où aij0 B non singulière aij0 → élément (1,1) opération de pivot réalisée à partir de ce terme redémarrage avec a22x2 jusqu’à ammxm forme canonique de la méthode du simplexe optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2.2 Algorithme du simplexe. méthode du simplexe : procédure en deux phases 1ère : trouver une solution admissible 2nde : solution point de départ vers solution optimale ou un optimum non borné méthode du simplexe : -J+c1x1+…cnxn=0 ajouté aux contraintes optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen algorithme du simplexe ( forme canonique) : solution de base : J=J', x1=b1, .., xm=bm, xm+1=xm+2= .. =xn=0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen solution admissible (b10, .. , bm0) : forme canonique admissible test d’optimalité : solution admissible optimale (coût J' minimal) si tous les cm+1, .. , cn, (IP relatifs) 0 pour j={(m+1), .., n} maximum changement du signe de cj ou Max{J}=min{-J} solution admissible : solution optimale unique si cj>0 pour toutes variables non de base optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen passage d’une solution de base à une autre: * programme linéaire système canonique à solution de base pas toujours compatible avec contraintes 0 et coefficients tous négatifs xj=0 pour j [(m+1),(m+n)], xi=bi pour i [1,m] et J=J' * inspection du signe des cj avec solution minimale si cj0 * test d’optimalité non vérifié nouveau pivot xs un seul cj <0 xs avec cj=cs plusieurs cj<0 cs=min{cj}<0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * pivot xr xs choisi parmi les pivots xi ayant ais positif * nouveau système canonique avec nouvelle solution admissible examen des signes des nouveaux cj optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2.3 Forme révisée de l'algorithme du simplexe. seules informations nécessaires : * cs<0 nouvelle colonne Ps=(a1s, .., ams)t et variables nouveau pivot arsxs optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen souvent : plus de colonnes que de lignes perte de temps calcul et de mémoire en conservant Pj avec js approche plus efficace : forme révisée de la méthode du simplexe programme linéaire min{J}=c1x1+ .. +cnxn sous P1x1+ .. +Pnxn=b, avec xi0 pour i={1, .., n}. Pj=(a1j .. amj)t : j ème colonne de matrice des coefficients A optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen B=[Pj1, ..Pjm] : matrice de base, xB=(xj1, .., xjm)t0 variables de base p=(p1, .., -pm)=cB.B-1 : vecteur des multiplicateurs du simplexe associés à la base B optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen résumé de la méthode du simplexe sous forme révisée multiplicateurs du simplexe facteurs de coût relatifs cj→cj-p Pj=cj-piaij * règle de sélection cs=min(cj) cj<0 * cs>0 : solution optimale stop et optimum optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen un ais0 : stop solution optimale non bornée optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * par transformation de pivot sur ars (m+1) 1ères colonnes : inverse de la nouvelle matrice de base solution de base : (xB)i=(xB)-qais (ir) avec (xB)r= q puis retour à l'étape initiale optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2.4 Programmation convexe. 1. Programmation de Kuhn - Tücker. programmation convexe : résolution de problèmes plus généraux formulation mathématique : min{J}=f(x) sous gi(x)0, hk(x)=0 et xj0, pour i[1, m], k[1, p] et j[1, n] gi et hk : fonctions non linéaires convexes continues f : fonction non linéaire concave continue optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen théorème de Kuhn-Tücker: s'il existe x tel que gi(x)0 et hk(x)=0 pour i[1, m],k[1, p], il existe des multiplicateurs ai0 et bk quelconques et un vecteur x' solution de ces équations avec min{J} satisfaisant à application : - ai0 et bk arbitraires - formation de F, (m+n+p) équations pour l’extremum optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Programmation convexe séparable. méthode de Kuhn-Tücker : programmation convexe avec inverse non vérifié 0xjhj résolution par linéarisation par morceaux optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3. Programmation quadratique. problème quadratique : Max{J}=xtC x sous A x=b et x0 résolution Aj et Cj j-èmes colonnes de A et de C avec yj= yj=Cjtxo-po Aj solution x=xo minimale s’il existe p=po et y=yo avec: A xo=b xo0 yj=Cjtxo-po Aj0 j[1, n] yj=0 si xjo>0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
Chapitre 3 – Méthodes de descente. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3.1 Schéma général des méthodes de descente. méthodes directes: itération en 2 étapes * étape 1 :recherche d'une direction de descente; * étape 2 :recherche linéaire du pas m optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3.2 Calcul du pas m. m déterminé par tâtonnements avec pas d’essai m0 calcul de f(x+md) puis recherche de m pour pas satisfaisant f(x+md)=q(m) pas optimal qui minimise q(m)? optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3.3 Calcul de la direction. 1. Méthode du gradient ou de plus grande pente. d=-f’(x) nouvel estimé x+= x - mf’(x) méthode de plus grande pente optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Gradient conjugué. * première itération, d=-f’(x), * itérations suivantes, d+=-f’(x+)+md avec m>0 f quadratique et m bien choisi : solution en n itérations fondamental: direction dépendant de l’itération précédente optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3. Méthodes de type Newton. méthode de Newton : trouver d à partir de f’(x)+f"(x)d=0 d= -f"(x)-1f’(x) (recherche linéaire le long de d) dérivées secondes + système linéaire : calculs lourds optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen quasi-Newton d=-Hf’(x), (H: estimation de f"(x)-1) * première itération : H=I, soit d= -f’(x); * autres : formules de récurrence de quasi-Newton nouvelle estimation H+ optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
Chapitre 4 – Filtrage optimal de Wiener. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.1 Introduction. entrée x(n) = signal désiré s(n) + bruit ou interférence w(n) filtre ôtant l’interférence et préservant s(n) estimateur : filtre linéaire de RI h(n) de sortie ~ signal désiré d(n) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen diagramme de l’estimateur: optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen trois cas possibles : * d(n)=s(n): filtrage, * d(n)=s(n+D) (D>0):prédiction, * d(n)=s(n-D) (D>0): lissage filtre optimum critères de comparaison et mise en oeuvre d'une technique opérationnelle théorie de Wiener ou de Kalman (commande des systèmes stochastiques ou déterministes) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen théorie de Wiener: applicable uniquement aux processus stationnaires au sens large et à moyenne nulle théorie de Kalman : applications aux systèmes non stationnaires à CI non nulles théorie de Wiener: filtre minimisant la variance de l'erreur résiduelle équation de Wiener-Hopf optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Wiener IP=eqm entrée et signal désiré stationnaires eqm minimum : filtre de Wiener approche stochastique filtre de Wiener: connaissance a priori des statistiques des signaux présents suppose grand nombre de réalisations de séquences nécessaires hypothèse de séquences ergodiques mesure directe difficile des moyennes des signaux: statistiques utilisées indirectement optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.2 Filtres de Wiener. but : coefficients optimum de la RI du filtre rendant minimale une fonction donnée filtrage de Wiener : concept général pour des applications avec estimation linéaire d’une séquence désirée d’un signal à partir d’une autre séquence applications des filtres de Wiener : prédiction linéaire, lissage, estimation de FT et égalisation de canaux (déconvolution) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen filtre de Wiener: * transversal causal pour signaux discrets réels puis étendu aux signaux complexes avec étude de filtres non contraints : RI souvent non causale et à durée infinie * signaux aléatoires avec filtre utilisant des statistiques obtenues par une moyenne d’ensemble * algorithmes adaptatifs : moyennes temporelles et pas d’ensemble processus ergodiques optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen filtre linéaire discret W(z) avec estimation du signal désiré d(n) avec excitation x(n) x(n) et d(n): échantillons d’un processus aléatoire de longueur infinie optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen e(n) : erreur d’estimation e(n) petit filtre performant problème: poids donnant e(n) minimum? sélection des poids par optimisation d'un IP approprié fonction de coût = eqm, fonction ou surface de performance choix de l'eqm: - solution mathématique, - minimum (maximum) unique pour poids optimum avec sélection sans ambiguïté optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen eqm donné: nombre d’extremum lié à structure du filtre RII : beaucoup d’extremum RIF : extremum global unique ici, étude limitée aux seuls filtres RIF x=E[e(n)2] :eqm quadratique satisfaisant aux 2 conditions généralisation : xp=E[e(n)p] (p entier) p>2 pair : un seul extremum p impair : cas mathématiquement difficile à traiter à cause du signe de e(n) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.3 Filtre de Wiener transversal à coefficients réels. x(n) et d(n) : processus stationnaires à valeurs réelles optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen poids w0, w1, .., wN-1 réels vecteurs poids et d’entrée : w=[w0, w1, .., wN-1]t et x(n)=[x(n) x(n-1) .. x(n-N+1)]t sortie : y(n)=wix(n-i)=wtx(n)=xt(n)w (wtx(n)) e(n)=d(n)-y(n)=d(n)-wtx(n)=d(n)-xt(n)w x=E[e(n)2]=E[{d(n)-wtx(n)}{d(n)-xt(n)w}] = x=E[d2(n)]-wtE[x(n)d(n)]-E[d(n)xt(n)]w +wtE[x(n)xt(n)]w optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen vecteur intercorrélation p=E[x(n)d(n)]=[p0 p1 .. pN-1]t matrice autocorrélation x=E[d2(n)]-2wtp+wtR w optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen wo xmin=0 x=E[d2(n)]-2piwi+wiwmrim rki=E[x(n-k)x(n-i)]=fxx(i-k) symétrie fxx(k)=- fxx(k) et rki=rik équations de Wiener - Hopf ( ou normales) : R wopt=P optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen solution : wopt=R-1 P si R est inversible min=E[d2(n)]-wopt P+=E[d2(n)]-wopttR wopt optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.4 Principe d’orthogonalité. données réelles : x=E[e2(n)]=E[d2(n)] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen E[2eopt(n) x(n-i)]=0 principe d’orthogonalité : ajustement optimal des poids erreur d’estimation non corrélée avec échantillons d’entrée utilisés pour estimation corollaire utile : optimalité sortie yopt(n) décorrélée de eopt(n), car E[eopt(n) yopt(n)]=E[eopt(n)wopt,ix(n-i)]= wopt,iE[eopt(n) x(n-i)]=0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen sortie optimisée du filtre de Wiener et erreur d’estimation orthogonales à l'optimalité orthogonalité ou orthogonal : référence à des paires de variables aléatoires non corrélées entre elles optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen principe d’orthogonalité dérivation alternative de R wopt=P et de xmin=E[d2(n)]-wopttR wopt xmin=E[eopt2(n)]=E[eopt(n){d(n)-yopt(n)}]=E[eopt(n)d(n)] =E[{d(n)- wopt,ix(n-i)}d(n)]=E[d2(n)]-wopt,ipi : forme développée de xmin=E[d2(n)]-woptt R wo E[d2(n)]=E[eopt2(n)]+E[yopt2(n)]+E[eopt(n)yopt(n)] xmin=E[d2(n)]-E[yopt2(n)] eqm minimum: différence entre eqm de sortie désirée et eqm d'estimée optimale de sortie optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.5 Extension aux valeurs complexes. transmission de données : PSK( déphasage) et QAM (modulation d’amplitude en quadrature) bande de base : 2 composantes séparées (parties réelle et imaginaire) x(n), d(n), {w} et e(n) complexes x=E[e(n)2]= E[e(n)e*(n)] : fonction quadratique des poids du filtre wopt : dx/dwi =0 avec wi complexes dérivées conventionnelles non applicables optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen pour chaque poids : deux variables indépendantes calcul séparé des dérivées partielles devant être nulles pour wopt w=wR+jwI optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen wix=E[e(n)wie*(n)+e*(n)wie(n)] wie(n)=-x(n-i)wiwi et wie*(n)=-x*(n-i)wiwi* wix=-2E[e(n)x*(n-i)] wopt : wix=0 et E[eo(n)x*(n-i)]=0 principe d’orthogonalité pour signaux complexes optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen x(n)= [x*(n) x*(n-1) . x*(n-N+1)]h w=[w0* w1* . ..wN-1*]t= [w0 w1 .. wN-1]h E[eopt*(n)x(n-i)]=E[eopt*(n)x(n)]=0 E[x(n){d*(n)-xh(n)wopt}]=0 équations normales (Wiener - Hopf) complexes : R wopt=P avec R=E[x(n)xh(n)] et P=E[x(n)d*(n)] xmin=E[d2(n)]-wopthP=E[d2(n)]-wopthR wopt optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 4.6 Filtres de Wiener non contraints. contraintes : causalité et RIF filtre de Wiener W(z) causal ou non et/ou RII z=1 z*=z-1 coefficients réels: W*(1/z*)=W(z-1) z et W(z-1)=W*(z) si z=1 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 1. Eqm d’un filtre de Wiener. x=E[d2(n)]+ E[y2(n)]-2E[y(n)d(n)] =fdd(0)+fyy(0)-2 fyd(0) où fxy(n)=E[x(n)y(n)] TZI : optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen x(n) et y(n) liés : fyd(z)=W(z)2fyd(z), W(z)2=W(z)W*(z) et W*(z)=W(z-1) eqm d’un filtre général de Wiener de FT W(z) C : cercle unité optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. FT optimale. FT optimale d'un filtre de Wiener non contraint (RI entre n=- et n=+) principe d'orthogonalité signaux réels : E[eopt(n)x(n-i)] (iZ) donné par optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen E[x(n-m)x(n-i)]=fxx(i-m) et E[x(n-m)x(n-i)]= fdx(i) TZ : Fxx(z)Wopt(z)= Fdx(z) équation de Wiener - Hopf de filtres de Wiener non contraints optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen filtre de Wiener non contraint optimum : Wo(z)=Fdx(z)/ Fxx(z) réponse en fréquence optimale : Wo(jw)= Fdx(jw)/ Fxx(jw) rapport entre DSP croisée entre d(n) et de x(n) et celle de x(n) à w=wi séquence d'étapes de filtrage et de moyenne : optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen information de phase filtres pour uniquement fréquences positives signaux filtrés di(n) et xi(n) à valeurs complexes E[di(n)xi*(n)] proportionnel à Fdx(jwi) énergie moyenne de x(n) proportionnel à Fxx(jwi) Wopt(jwi) : rapport de ces deux quantités et aussi le poids transversal optimal d'un filtre de Wiener à un retard d'entrée et de sortie désirée respectivement xi(n) et di(n) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen eqm minimum : Wopt(jw)= Fdx(jw)/ Fxx(jw) dans z=1 : Fdx*(z)= Fdx(z)et Fxx*(z)= Fxx(z) Wopt(z)2=Wopt(z)Wopt*(z)=Wopt(z)Fdx(z)/Fxx(z) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
Chapitre 5 - Filtre optimal en treillis. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen treillis : implémentation de prédicteurs linéaires prédicteur linéaire direct : estimation de x(n) à partir de la combinaison linéaire des x(n-1), x(n-2), .. , x(n-m) prédicteur linéaire rétrograde : x(n-m) estimé par combinaison linéaire des x(n-1), x(n-2), .. , x(n-m+1) équations d’actualisation de l’ordre : prédiction linéaire d’ordre (m+1) obtenue comme combinaison linéaire des prédictions directe et rétrograde d’ordre m autre développement: algorithme de Levinson-Durbin débouchant sur les structures en treillis de FT arbitraires RIF et RII optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 5.1 Prédiction linéaire directe et rétrograde. 1. Prédiction linéaire directe (avance). optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen filtre transversal entrée xm(n-1)=[x(n-1) x(n-2) x(n-m)]t et poids am=[am,1 am,2 am,m]t estimé de x(n) x(n) : processus stochastique stationnaire poids am,1 am,2 am,m : optimum au sens des MC calculés en minimisant Pmf=E[fm²(n)] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen équation de Wiener-Hopf : R am,opt=r : substitution directe de d(n) par x(n) et x(n) par xm(n-1) où R=E[xm(n-1)xmt(n-1)], r=E[x(n)xm(n-1)] hypothèse : poids toujours optimum R am=r Pmf=E[x²(n)]-rtam=E[x²(n)]-rtR-1r minimum : poids vérifiant cette équation optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen r=[r(1) r(2) r(m]t optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Prédiction linéaire rétrograde. optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen entrée xm(n-1)=[x(n-1) x(n-2) x(n-m)]t poids gm=[gm,1 gm,2 gm,m]t estimé de x(n-m) poids du prédicteur linéaire rétrograde optimum poids gm,1 gm,2 gm,m optimum du prédicteur obtenus en minimisant la fonction Pmb=E[bm²(n)] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen équation de Wiener-Hopf : R gm=rb substitution de d(n) par x(n-m) et de x(n) par xm(n) rb=E[x(n-m)xm(n)] différent du prédicteur direct rb=[r(m) r(m-1) r(1)]t même forme que r avec éléments en ordre inversé poids optimisés : Pmb=E[x²(n-m)]-rbtgm= E[x²(n-m)]-rbtR-1rb optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3. Relations entre prédicteurs direct et rétrograde. dans R am=r : r(k)=E[x(n)x(n-k)] et optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen x(n) stationnaire au sens large : poids optimum d’un prédicteur direct d’ordre m prédicteur rétrograde correspondant mais pris dans l’ordre inversé optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 5.2 Filtres d’erreur de prédiction. 1. Introduction. prédicteur direct : équivalent à filtre transversal ayant m retards x(n) estimé à partir des x(n-1), x(n-2), . , x(n-m) filtre d’erreur de prédiction directe d’ordre m pour x(n) : entrée x(n) et sortie fm(n) (erreur de prédiction directe) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen relation entre prédicteur direct et filtre d’erreur de prédiction directe optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen filtre d’erreur de prédiction rétrograde d’ordre m pour x(n) : entrée x(n) et sortie bm(n) relation entre prédicteur rétrograde et filtre d’erreur de prédiction rétrograde: optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Propriétés des erreurs de prédiction. * Propriété 1 Pmb=Pmf=Pm * Propriété 2 E[fm(n)x(n-k)]=0 * Propriété 3 E[bm(n)x(n-k)]=0 * Propriété 4 kq, E[bk(n)bq(n)]=0 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 3. Structure du treillis. structure en treillis : implémentation directe des équations d’actualisation et structure des filtres en treillis: début par erreur de prédiction directe pour optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen où km+1=am+1,m+1 a’m,i=am+1,i+ km+1am,m+1 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen combinaison linéaire des x(n-1), , x(n-m-1) : combinaison linéaire de x(n-1), , x(n-m) et bm(n-1) passés de x(n) et de l’erreur de prédiction rétrograde a’m,i et km+1 : minimum d'erreur d'estimation de optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen z(n)=[xmt(n-1) bm(n-1)]t, wz=[a’m,1 a’m,2 .. a’m,m]t , xm(n-1) fm+1(n)=x(n)-wztz(n) équation de Wiener-Hopf correspondante Rzzwz=Pxz wz qui minimise fm+1(n) propriété 3 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen a’m=R-1r=am optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen fm+1(n)=fm(n)-km+1bm(n-1) procédure similaire: bm+1(n)=bm(n-1)-k’m+1fm(n) optimum : k’m+1= km+1 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen km+1 : coefficient de corrélation partielle (PARCOR) entre erreurs directe fm(n) et rétrograde bm(m-1) important : km+11 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen équations d’actualisation de l’ordre : fm+1(n)=fm(n)-km+1bm(n-1) bm+1(n)=bm(n-1)-km+1fm(n). initialisation des récursivités : f0(n)=b0(n)=x(n) implémentation des récursivités : filtre (prédicteur) en treillis optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen propriété 2 Pm+1=E[fm+1(n)x(n)] fm+1(n) et x(n) Pm+1=E[fm²(n)]- km+1E[fm(n)bm(n-1)] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen avec PARCOR proche de 1 : réduction significative de l’erreur de prédiction et PARCOR petit : peu d’effet de réduction d’erreur correct : PARCOR assez grand (en amplitude) dans les premiers étages puis décroissant vers zéro dans les étages suivants optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 5.3 Algorithme de Levinson-Durbin. 1. Algorithme de Levinson-Durbin. R am=r : coefficients am,i d’un prédicteur transversal directement liés à R optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen dérivation de l’algorithme de Levinson-Durbin : optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen Algorithme de Levinson-Durbin _________________________ données r(0), r(1), .., r(M) nécessaires aM,1, aM,2, .., aM,M et k1, k2, .., kM ______________________________ P0=r(0) pour m=1 à (M-1) k1=r(1)/P0 a1,1=k1 am+1,i=am,i-km+1am,m+1-i am+1,m+1=km+1 P1=(1-k1²)P0 Pm+1=(1-km+1²)Pm fin optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen environ M² produits et autant d’additions pour résolution d’un système linéaire de M équations : M3 produits et additions structure symétrique de Toeplitz de R: processus x(n) stationnaire matrice de Toeplitz + symétrique : tous les éléments le long d’une même diagonale identiques hypothèse de stationnarité de x(n) R toujours de Toeplitz optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Extension de l’algorithme de Levinson-Durbin. extension à un estimateur à processus associés (sans hypothèse de stationnarité) équation normale (de Wiener-Hopf) R w=P où R=E[x(n)xt(n)] et P=E[x(n)d(n)] résolution en trois étapes optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * étape 1 : algorithme de Levinson PARCOR k1, k2, .., kN-1 et eqm P0, P1, .., PN-1 en même temps obtenus optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen * étape 2 : construction et résolution des équations normales pour la partie linéaire de l’estimateur du processus associé en treillis coefficients c=(L-1)tw * étape 3 : w=Ltc équation de Wiener-Hopf pour c : Rbbc=Pdb avec Rbb=E[b(n)bt(n)] et Pdb=E[d(n)b(n)] optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen propriété 4 Rbb diagonale d’éléments P0,.., PN-1, eqm d’erreurs de prédiction rétrograde b0(n),.., bN-1(n) Rbb=diag(P0, P1, .., PN-1) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen algorithme de Levinson-Durbin étendu. ______________________ données nécessaires : R et P w=R-1P ________________________ P0=r(0) k1=r(1)/P0 P1=(1-k1²)P0 w0,0=c0 a1,1=k1 w1,0=c0-a1,1c1 w1,1=c1 optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen pour m=1 à (N-2) am+1,i=am,i-km+1am,m+1-i am+1,m+1=km+1 Pm+1=(1-km+1²)Pm wm+1,i=wm,i-am,m+1-icm+1 wm+1,m+1=cm+1 fin optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 5.4 Structures en treillis tout pôle et tout zéro. 1. Treillis tout pôle. treillis pour implémenter un filtre tout pôle: optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen treillis : filtre à erreur de prédiction directe toujours à phase minimale zéros de HfM(z) de filtre à erreur de prédiction avec amplitude <1 la FT HfM(z) de systèmes à phase minimale, toujours un système de filtre à erreur de prédiction HfM(z) HfM(z) : filtre à erreur de prédiction excitation de F(z)=1/ HfM(z) par fM(n)d’ordre M de x(n) sortie q: x(n) F(z) = FT entre fM(n) et x(n) mise à jour d’ordre : fm(n)=fm+1(n)+km+1bm(n) avec bm+1(n)=bm(n-1)-km+1fm(n) optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen 2. Treillis tout zéro. treillis pour G(z): w=Ltc z=[1 z-1 z-2 .. z-(N-1)]t, multiplication à droite de w=(Ltc)t par z et enfin remplacement de (N-1) par M optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen toute FT W(z) d’un RIF d’ordre arbitraire M réalisable comme combinaison linéaire de FT Hb0(z), Hb1(z), .., HbM(z) de filtres à erreur de prédiction rétrograde optimisation et filtrage de Wiener 2004-2005 A. Thieltgen
optimisation et filtrage de Wiener 2004-2005 A. Thieltgen