Chapitre 1 - Introduction. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 1.1 Filtres adaptatifs. 1. Structures de filtrage adaptatif. la plus commune : structure transversale filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 sommateur linéaire (combiner) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 filtres RII : application limitée (instabilité) eqm d'un RII: coefficients du filtre  plusieurs minimum locaux   étude RIF RIF (et combiner): eqm  minimum unique treillis meilleurs que transversaux dans certaines applications MCM pour treillis  algorithme efficace filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2. Approche stochastique (théorie de Wiener).   adaptativité  algorithmes de type LMS Wiener : optimalité des coefficients par minimisation de l'eqm (formulation statistique) LMS (least mean square)  gradient stochastique convergence dépendant fortement de DPS de xk entrée: signal blanc  convergence rapide fréquences pas assez excitées  modes convergents très lentement possible: N>plusieurs 100 ou même 1000 retards  filtres coûteux  algorithme de TFR (convolutions temporelles  domaine fréquentiel) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 3. Approche déterministe (méthode des MCM).   MCM déterministes : algorithmes à convergence plus rapide que LMS, moins sensibles à DPS de xk plus complexes et mauvaise stabilité numérique formulation : estimation par bloc des MCM (codage prédictif linéaire des signaux de la parole) préférence adaptatif  actualisation itérative des coefficients filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 * algorithme RLS standard lemme d'inversion matricielle implémentation : manipulations de matrices ( N²) * algorithme RLS –QRD (décomposition QR) manipulation de matrices mais structures régulières (réseaux systoliques) plus robuste aux erreurs numériques    * algorithmes RLS rapides résolvent le problème des MCM avec des calculs  N algorithmes RLS: - treillis (actualisations d’ordres et temporelles) transversaux rapides : moins de calculs par itération mais instabilité numérique filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 4. Formes réelles et complexes.   xk et dk complexes (transmission de données) bande de base : 2 composantes séparées  parties réelle et imaginaire d'un signal à valeurs complexes implémentation fréquentielle : signaux complexes, même avec signaux réels  formulation en termes de variables complexes filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 5. Applications.   automatique, communications, traitement de signaux radar ou sonar, annulation d'interférences et d’échos, régulation active de bruit, ingénierie médicale, etc.. actualisation de coefficients à partir de mesures: minimisation de l’écart entre sortie courante et réponse désirée filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 classes d'applications adaptatives : - modélisation (identification) - modélisation inverse (déconvolution) prédiction linéaire annulation d'interférences filtrage adaptatif : nécessaire si incertitudes ou variations des caractéristiques du signal filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 1.2 Retour sur les méthodes de MCM. 1. Formulation de base. RIF ordre N, poids w(k) (réel), entrée xk (durée infinie), sortie actuelle yk , sortie désirée dk yk=wtxk=w xkt, xk et dk stochastiques  ek=dk-yk stochastique critère (IP) : eqm (MSE) x=E{ek2} 0  w but : "meilleur" wopt minimisant eqm meilleur estimé : wtxk=yk=dk  k filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2. Equations normales. x=E{ek2}  x=E{dk2}-2wtRe(E{dk*xk})+wtE{xkxkh}w* D=E{dk2} :puissance moyenne de dk, P=E{dk*xk} : vecteur d'inter corrélation entre dk et xk, R=E{xkxkh} : matrice d'auto corrélation des entrées D, P et R invariants: dk et xk stationnaires  statistiques d’ordres 1 et 2 invariantes filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 processus à valeurs réelles x=D-2wtP+wtR w optimum wopt minimisant eqm si et seulement : wxw=wopt=0=x/wj w=wopt Hw définie positive * point critique pour chaque composante de w * point critique: courbures dans la direction >0  wopt minimum local pour x filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 test de la dérivée seconde  ZtHZ ZZ>0 w x=wD-2w(wtP)+w(wtR w*) wD=0 même approche  w(wtR w)=2R w  wx=-2P+2R w 1ère condition d'optimalité  R wopt=P (équations normales ou de Wiener-Hopf ou de Yule-Walker) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2nde condition : Hw défini positif hij=x=D-2(wtP)+(wtR w*) hij=2rij  i, j  Hw=2R  courbure de l'eqm en wopt w optimum : R wopt=P R définie positive R inversible : équations normales  wopt=R-1P R définie positive: R-1 existe et wopt unique filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 3. Significations de R et de P. i0 et j(N-1) : (a) R matrice de Toeplitz (rij=rpqsi i-j=p-q), (b) xk réel  rj-i=ri-j : R symétrique xk complexe  R hermitienne (c) puissance moyenne : apparaît N fois sur diagonale principale (d) dans r(D): plus grand décalage D utilisé pour construire R  ± (N-1)  fenêtre de (2N-1) points de fonction d'auto corrélation totale stationnarité de d et de x  pi=E{dkxk-i}=E{dk+ixk}=ci ci = intercorrélation moyennée entre dk et xk  P : fenêtre de N points de ci filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   1.2 Propriétés de la solution. 1. Evaluation de l'eqm. x=D-2wtP+wtR w  solution R wopt=P xmin=D-2 wopttP+wopttR wopt=D-wopttP V=w-wopt : écart entre situations actuelle et optimale x=D-2(wopt+V)tP+(wopt+V)tR(wopt+V)= xmin+VtR V filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 eqm additionnel : Dx=x-xmin=VtR V  forme quadratique de V=w – wopt R définie semi positive  VtR V0  V0 Dx ne dépend que de xk  pénalisation quadratique  solution itérative pour aller de x à xmin et wopt filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2. Positivité de R.   V0 sans pénalisation? R définie positive  : (a)  V0 : Dx>0 (b) R de rang plein, (c) R inversible, (d) équations normales : solution unique wopt=R-1P filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 R définie positive ? R=E{xkxkt}  VtR V=Vt[E{xkxkt}]V=E{VtxkxktV} Vtxk=sk : sortie RIF d'ordre N de RI V et entrée xk  sk : sortie d'un filtre "différence" si V=0  x(k) Vtxk=sk=xktV  VtR V=E{sk²} sk² 0  VtR V 0 forme quadratique nulle ? sk² =0  k  VtR V =0: V avec Vtxk=sk=0  xk si  xk,  Vo tel que sk=0  R définie non positive sinon R définie strictement positive filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 3. Système propre de R.   décomposition de R  matrice modale système propre de coordonnées  RI et propriétés caractéristiques des algorithmes simples propriétés spécifiques de R : (a) entrées réelles : R symétrique (hermitienne si complexes)  rij=rji* pour i, j [1, N] (b) R semi définie positive  VhR V0 si VhV0 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 valeurs propres et vecteurs propres de R : (a) N vecteurs propres linéairement indépendants arbitraires  UihUi=Ui=1 (b) UihUj=0 pour ij (c) Ui : base du N-espace de produit scalaire UihUj=dij (d) xk réel  N vecteurs propres réels construits filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 clé : matrice modale Q=[U1 .. UN] vecteurs orthonormaux  QhQ=IN et Q-1=Qh QhR Q=L et QhL Q=R (L : matrice diagonale des li) avec Q : équations normales  "modes" scalaires découplés w=Q w' ou Qhw=w' : transformation des coordonnées du vecteur w (w' : poids découplé) Q: changement de direction mais pas longueur de w filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 R  QhL Q  si P'=QhP : R wo=P  L w’opt=P' N équations : lij w’opt,i=p'i (w’opt,i et p'i : éléments scalaires d'ordre i de w’opt et de P’) w’opt,i : fonction de li et de p'i li0 : w’opt,i=p’i/li li=0 : w‘opt,i indéterminé  pas d'unicité dans w’opt filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 autre forme découplée : xmin=D-p’i²/li V=w-wopt=Q V’  Dx=x-xmin=VhR V=  li v’i² : pénalisation quadratique par rapport à chaque terme de différence découplé v'i, li  degré de pénalisation li=0: aucune modification de Dx filtrage adaptatif A. Thieltgen 2004/2005

Chapitre 2 - Algorithme LMS et algorithmes associés. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2.1 Introduction. but de l'algorithme  LMS ("Least Mean Square") "gradient stochastique"  nature intrinsèque si xk et dk accessibles à chaque pas: meilleur choix solution wopt de R wopt=P  R et P puis wopt=R-1P wopt calculé autrement car : (a) R pas toujours inversible pendant l’adaptation (b) R-1 calculable mais précision numérique requise dépassant les possibilités du calculateur (c) autres méthodes plus efficaces filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2.2 Approche de recherche par gradient. R de rang plein : (a) wopt : choix unique (b) écart entre w et wopt  D x= x-xmin=VtR V (c) Dx>0 pour V0 estimation itérative de wopt : choix initial w(0)= w0 sauf si w0=wopt : x en w0 supérieure à xmin w1 tel que Dx (et donc x) diminue Dx0 : x amélioré mais w1wopt  itérations w2, w3, etc., réduction de Dx à chaque pas  Dx  0 et wn  wopt déplacement de wk à wk+1? gradient  bonne méthode filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 wk : Dx>0  wkwopt idée d’amélioration de w(k): aller vers wopt direction de wopt donnée par dérivée de x en wk dx/dw>0 : x diminue si pas dans direction négative  wk+1=wk-c dx/dw w(k) (c : petite constante positive) application répétée  wk  wopt et x  xmin cas général: gradient de x par rapport wj wk+1=wk-cwxw=w(k) (k0 et c>0 petit) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2.3 Approximation du gradient.   wx estimé à partir de {x, d} G(k)=w[ek²]=2ekw{wtxk}=-2ekxk G(k) ne dépend que de e et de xk Gk moyenné  gradient de x gradient wxw=w(k) remplacé par celui de l'eqm Gk  algorithme LMS (Widrow) : wk+1=wk-cGk=wk+mekxk (m>0 petit) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 wk actualisés pour chaque xk  LMS complet : yk=wtxk (sortie du filtre) ek=dk-yk (signal d'erreur) wk+1=wk+mekxk (actualisation du poids) algorithme LMS : (a) critère analytique basé sur un eqm (b) gradient  poids minimisant l'eqm (c) gradient approché à partir de données filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2.4 Convergence du LMS. m petit  approximation acceptable wxw=w(k)=-2P+2R wk + LMS  wk+1=(I-mR)wk+mP wk=Q w'k, R=Q L Qh, L=QhR Q et P'=QhP  wk+1=(I-m L)w'k+mP'  N équations découplées : w'i,k+1=(1-mli) w'i,k+ mp'i   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   1. Points de convergence.  w'i,k= {m 0k-1(1-mli)np’i}+(1-mli)kw'i,0 m petit avec 1-mli<1  w'i,k p’i/ li =w’i,0  2. Limites de la constante d'adaptation m.. solution compacte de w'i,k : 1-mli<1 0<m<lmax en pratique : mp m /10-2 à 10-3 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3. Constantes de temps adaptatives. durée pour w'i,k=w'i,0/e si w'i,k={m}+(1-mli)kw'i,0 et p'i=0 : tiLn(1-mli)=-1 mli<<1 avec 0<mli<<1  -1# ti(-mli) : ti#1/mli filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 4. Temps de convergence.   convergence: vitesse du mode le plus lent constante de temps de wk : t=Max{1/mli}= 1/mlmin facteur de convergence normalisé  m=2a/lmax 0<m< 2/lmax  0<a<1  t=lmax/(2 almin) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2.5 Effets d'une matrice R singulière. R non singulière   wopt unique R singulière?  au moins une li=0  p'i=0  w'i,k+1=(1-mli)w'i,k+ mp'i=w'i,k  coefficient découplé associé non commandé et non amorti filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 li=0  t infini  wk non convergent li=0 dans R associée à U (espace nul de R) R{gU}=gR U=0 R wopt=P ? wopt  wopt+ gU : équations normales encore vérifiées  wopt non unique  recherche des modes de l'espace nul inapplicable pour une (et non la) solution des équations normales   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2.6 Algorithmes de recherche par gradient approché. 1. Algorithme LMS complexe. xk, yk, dk wk complexes  LMS complexe  gradient de ek2 par rapport à wk complexe  LMS complexe : yk=xktwk ek=dk-yk wk+1=wk+mekxk* filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2. LMS normalisé. 0<m<2/lmax : intérêt limité  autre approche : limites pour lmax? <xktxk>=N lmax et R étant définie positive (li0)  <xktxk> lmax   m  m(k)=a/xktxk (0< a <2) LMS normalisé : yk=xktwk ek=dk-yk wk+1=wk+aekxk/(g+ xktxk) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3. LMS normalisé avec estimation de puissance récursive. stabilité accrue: normalisation d'actualisation du poids par estimation de la puissance pk du signal  yk=xktwk ek=dk-yk pk+1=(1-b) pk+N bxk² wk+1=wk+ aekxk/(g+ pk) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   4. Algorithmes accélérés.   adaptation plus directe vers xmin? yk=xktwk ek=dk-yk wk+1=wk+mekC xk C approximation de R-1 : temps de convergence réduit si lmax>>lmin  algorithmes de type Newton mais peu intéressants car : (a) "bon" choix de C dépend de R (b) C: matrice (N, N)  N2 produits et N(N-1) additions filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   5. Algorithme de Griffith. dk non connu?  ek non défini  pas de LMS Griffith : corrélation entre dk et xk accessible  wk+1=wk+mekxk=wk-mykxk+mdkxk E[wk+1]=E[wk]-mE[ykxk]+mP  algorithme de Griffith ou du vecteur P: yk=xktwk wk+1=wk- mykxk+mP idée : substituer P au comportement moyen de dkxk filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2.7 Versions modifiées du LMS. Bruit dans le gradient. 1. LMS à erreur signée. LMS réel : 2N produits - additions réels pour le calcul de yk et l’actualisation de wk à chaque itération * erreur signée : yk=xktwk ek=sign{dk-yk} wk+1=wk+mekxk (réduction des calculs aux dépens des performances) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 estimation bruitée du gradient instantané pour rechercher xmin qui se reporte dans des estimations bruitées du poids optimum même qualité que LMS : m inférieur éléments signés : yk=xktwk ek=dk-yk wi,k+1=wi,k+me(k)sgn{xk-i} signe-signe wi,k+1=wi,k+msign{ek}sgn{xk-i} filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2. Effets d'absence de coefficients. li nuls  modes ni commandés ni amortis : (a) pas de convergence vers solution unique (b) pas de convergence des mode découplés (c) modes découplés commandés par des termes du second ordre coefficients découplés croissant sans limites filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 LMS avec "fuite" : wk+1=(1-mg)wk-m^k=(1-mg)wk+ mekxk m et g 0 (LMS: g=0) et << 1  (1-mg) légèrement inférieur à 1 (1-mg) au 1er ordre: estimé de ekxk=0  wk+1=(1-mg)wk et wk+m=(1-mg)mwk, avec lim(wk+m)=0 absence de ekxk : wk tend à décroître (à "fuir") vers 0 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 w'k+1= {I-m(gI+L)}w'k+mP'  (a) g modifie R avec Rnouv=gI+Ranc, Lnouv=gI+Lanc et li, nouv=g+ li, anc (b) g>0 : li >0 (même avec entrées nulles) (c) ti limitées  convergence avec tmax=1/m lnouv,min 1/mg une complexité en plus dans l'actualisation et biais: wk=(R+gI)-1P ne vérifie pas R wopt=P à la convergence filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3. Désadaptation.   eqm minimum: gradient nul et wk=wopt gradient approché  bruit du gradient Nk=-WJ LMS: Nk=ekxk-(R wk-P) estimé de wk : bruit supérieur proche de wopt  "cliquetis" proche de la convergence réduction de bruit dans wk si m diminue sk: bruit dans wk wk=wopt+Vk  sortie : yk=xktwopt+xktVk=yopt,k+sk quantification: déréglage M inversement proportionnel à m et N M: comparaisons de taux de convergence filtrage adaptatif A. Thieltgen 2004/2005

Chapitre 3 – Algorithmes récursifs. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3.1 Recherche d’algorithmes récursifs. xk=N-1k-1ym-dm², (N-1)k(L-1) : reflète le nombre d'échantillons déjà utilisés xL: toutes les données de k=(N-1) à (L-1) xm et dm reçus avant (k-1) et wo,k calculé: après que xk et dk reçus  xk+1= xk+yk-dk2 but : construire wopt pas à pas jusqu'à ce que les données finales xL-1 et dL-1 reçues  wopt,L calculé  poids optimum global wopt filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3.2 Moindres carrés récursifs (RLS). 1. Formule d'actualisation. approche la plus simple : (a) actualisation de R par Rk+1=Rk+xkxkt (b) actualisation de P par Pk+1=Pk+dkxk (c) inversion de Rk+1 (d) calcul de wopt,k+1 par wopt,k+1=Rk+1-1Pk+1 R et P actualisés utilisés pour calculer wopt,k+1 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 procédure directe peu économique (N3+2N2+N produits et N3 pour inverser R par actualisation) "lemme ABCD" d'inversion matricielle (A+B C D)-1=A-1-A-1B(D A-1B+C-1)-1D A-1 avec A=Rk B=xk C=I D=xkt  Rk+1-1=Rk-1-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk ) optimal wopt,k+1=Rk+1-1Pk+1 obtenu en combinant Rk+1-1=Rk-1-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk ) et Pk+1=Pk+dkxk filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 wopt,k+1=Rk-1Pk-(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk )Pk+ dkRk-1xk-dk(Rk-1 xk xkt Rk-1)/(1+ xkt Rk-1 xk )xk simplification : Rk-1Pk=wopt,k (poids optimal de rang k) Zk=Rk-1xk (vecteur d'informations filtrées) yopt(k)=xktwopt,k (sortie a priori) q=xktZk (puissance d'entrée normalisée) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2. Interprétation des équations d'actualisation.   wopt,k+1: wopt,k + terme correctif fonction de xk et de dk trois facteurs: * erreur a priori eopt,k=dk-yopt,k yopt,k : prédiction de la sortie du filtre optimal mais donné par xk avec ancienne RI wk yopt : sortie a priori et eopt,k : erreur de prédiction * dépendance de l'actualisation de eopt,k yopt,k=dk: pas actualisation eopt=0 : nouvelle actualisation et si eopt0  correction dans l'actualisation actuelle filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 * Zk (vecteur d'informations filtrées) q : mesure de la puissance de xk normalisée par Rk-1 valeur moyenne de q = N q + Zk + eopt  actualisation du poids Rk définie non négative  (1+q) 1   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   3. Algorithmes de descente associés. RLS basé sur actualisation de wopt,k en utilisant juste la bonne dose pour générer le poids wopt,k+1 wopt,k+1 : ressemblance avec algorithmes de descente  * LMS accéléré wk+1=wk+mekC xk C : agit sur xk en modifiant direction ou longueur filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   * LMS normalisé constante d'adaptation variable dans le temps m=a/(g+xktxk) (0<a<2) g : empêche la formation d'un dénominateur nul  partie importante de l'actualisation  filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   4. Algorithme RLS.   procédure itérative d'actualisation de wopt,k : (i) nouveaux échantillons xk et dk reçus (ii) xk : décalage de xk dans le vecteur d'informations (iii) calcul de la sortie a priori yopt,k=wopt,kt xk (iv) calcul de l'erreur a priori eopt,k=dk-yopt,k (v) calcul de Zk=Rk-1xk (vi) calcul de q=xktZk (vii) calcul de v=1/(1+q) (viii) calcul de Z’k=vZk (ix) actualisation de wopt,k+1=wopt,k+eopt,kZ’k (x) actualisation de Rk+1-1=Rk-1-Z’kZ'kt filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 initialisation : * Rk et Pk d'après Rk+1=Rk+xkxkt et Pk+1=Pk+dkxk jusqu'à R de rang plein, puis calculé direct de Rk-1 ainsi que wk optimalité à chaque pas : N3 calculs (inversion initiale) * RN-1-1 initialisée par RN-1-1=hIN (h : grande constante positive)  imprécision simplicité et faible coût de calcul  une des plus communément utilisée   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   5. Coût de l'algorithme RLS. calculs nécessaire pour algorithme RLS: (a) O(1) [calculs requis non liés N] : (iv) et (vii) (b) O(N) [calculs proportionnels à N] : (iii), (vi), (viii) et (ix) (c) O(N2) : (v) et (x) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 RLS pour {xk, dk} : 2N2+4N produits + autant d'additions et une division  produits totaux CRLS=(L-N+1)2N2+(L-N+1)4N calcul de wopt : C=(L-N+1)N2+(L-N+1)N+N3+N taille d’inversion importante si L-N+1<N, pas si L>>N: RLS plus coûteux pour O(N) et O(N2) L>>N: coût d'inversion inférieur à O(N2)  méthode directe moins coûteuse en calculs que RLS filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 1<N<<L: typique en filtrage adaptatif raisons d’étude et d’utilisation du RLS : (a) meilleur comportement numérique qu’ inversion directe de R (b) RLS: estimé du poids à chaque échantillon, méthode directe: estimé du poids en fin de séquence (c) formulation récursive: voie pour techniques moins coûteuses   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   6. Algorithme RLS à pondération exponentielle.   Rk=N-1k-1rk-1-mxmxmt et Pk=N-1k-1rk-1-mxmdm r: facteur d'oubli ou de moyenne, constante>0, <1 mais l r=1: Rk et Pk identiques à RLS motivation: {x, d} changent sur L points de données Rk et Pk définis récursivement par filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 (a) RLS usuel: r=1 (b) même quantité de calculs par moyenne exponentielle (c) algorithme initialisé avec RN-1-1=hIN   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 3.3 Algorithmes RLS "rapides".   1. Approche. algorithmes "rapides": coût O(N) requis à chaque pas plus efficace : exploitation d’une propriété spécifique deux observations : * xk évolue vers xk+1 par incorporation de xk+1 (propriété non exploitée dans RLS) * Zk = Zk+1 dans RLS: actualisation de Rk-1 et produit par x(k) non nécessaires filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   2. Formule récursive.   décalage de x(k)  actualisation O(N) de Zk Z’k: résolution de Vk=wopt,k+1-wopt,k avec Rk+1wopt,k+1=Pk+1 récursivité de Rk et Pk  {Rk+xkxkt}wopt,k+Rk+1Vk=Pk+dkxk Rkwopt,k=Pk et yopt(k)=xktwopt,k  Rk+1Vk={dk-yopt,k}xk  Vk=eopt,k Rk+1-1xk Vk :actualisation de wopt,k dépendant directement de eopt(k) et Z'k=Rk+1-1xk={N-1kxmxmt}-1x(k) calcul de Z'k: Ak et Bk (prédicteurs direct et rétrograde)  filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005  prédiction de x(k) méthode de calcul récursif de Z'k  algorithme "rapide" pour calcul récursif de wopt,k+1 (a) calcul de yopt,k+1=xtwopt,k (b) eopt,k+1=dk+1-yopt,k+1 (c) Z'k vers Z'k+1 (d) wopt,k+1=wopt,k+eopt,k+1Z'k+1 (c) : étapes (i) à (ix) précédentes Z'k: majeure partie d'informations concernant xk pour actualiser wk Z'k+1 : transport de l'information directionnelle pour actualiser wk   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 3. Résultats.   (i) à (ix) et (a) à (d) : réduction de calculs atteinte (i), (ii), (iii), (v), (vii), (viii) et (ix) : N additions–produits à chaque pas conversion de Z'k+1 vers wopt,k+1: 2N additions–produits  9N additions–produits récursivités avec Cnouv=s1Canc+s2D et r=xt(k)E plus efficaces si s1 et/ou s2 =1 efficacité atteinte au détriment de stabilité filtrage adaptatif A. Thieltgen 2004/2005

Chapitre 4 - Structures en treillis et adaptation. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   4.1 Filtres adaptatifs en treillis. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 puissance d’erreur de prédiction minimale si coefficients du prédicteur optimum PARCOR optimum km de l’étage m d’un prédicteur en treillis : minimisation de xp,m=E[fm,n²+bm,n²] xp,m équivalent à Pmf=E[fm,n²] et Pmb=E[bm,n²] fonction de coût xp,m  utilisation des erreurs de prédiction avant et rétrograde dans LMS  écart d’ajustement plus faible obtenu filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 LMS : kn+1=kn- mp,m(n)[x^p,m(n)/km] x^p,m(n)=fm²(n)+bm²(n)  kn+1=kn+2 m p,m(n)[fm,nbm-1,n-1+bm,nfm-1,n]. convergence rapide: mp,m normalisé à la puissance du signal d’entrée de l’étage m du prédicteur estimation: Pm-1,n=bPm-1,n-1+0,5(1-b) x^p,m(p) pas normalisé : mp,m(n)=m p,o/(Pm-1,n+e) m p,o : paramètre non normalisé commun à tous les étages e : constante positive prévenant une instabilité de l’algorithme si Pm-1,n proche de 0 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 données : k1,n, k2,n, .., kN-1,n, et cn=[c0,n c1,n .. cN-1,n]t xn le plus récent et sortie désirée dn bn-1=[b0,n-1 b1,n-1 .. bN-1,n-1]t P0,n-1 P1,n-1 .. PN-1,n-1   nécessaires : k1,n+1, k2,n+1, .., kN-1,n+1, cn+1=[c0,n+1 c1,n+1 .. cN-1,n+1]t bn=[b0,n b1,n .. bN-1,n]t P0,n P1,n .. PN-1,n filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   partie treillis du prédicteur f0,n=b0,n=xn P0,n=bP0,n-1+0,5(1-b) [f0,n²+b0,n-1²] pour m=1 à (N-1) fm,n=fm-1,n-km,nbm-1,n-1 bm,n=bm-1,n-1-km,nfm-1,n km,n+1=km,n+2 mp,o/(Pm-1,n+e)[fm-1,nbm,n+bm-1,n-1fm,n] Pm,n=bPm,n-1+0,5(1-b) [fm,n²+bm,n-1²] fin filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 partie accumulateur linéaire yn=cntbn en=dn-yn mc=mc,odiag[(P0,n+e)-1, (P1,n+e)-1, .. , (PN-1,n+e)-1] cn+1=cn+1mcenbn   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   4.2 Discussion et simulations. estimateur en treillis de processus liés: adaptation simultanée de 2 ensembles de paramètres km: ne dépend que des statistiques de xk valeur optimale de c de l’accumulateur linéaire : dépend des km et wopt variation dans les km : réajustement obligatoire de c filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 LMS transversal: m  M=0.1 LMS en treillis: e=0,02, mp,o=0,001 et mc,o=0,1/N=0,0033  M=0.1 perturbation des PARCOR: impact significatif sur M  problème sérieux, encore plus si xk non stationnaire  PARCOR optimaux temporellement variables  adaptation continue des PARCOR aussi bien que de c  retard dans adaptation de c  augmentation supplémentaire de l’eqm  désadaptation supérieure filtrage adaptatif A. Thieltgen 2004/2005

Chapitre 5 - Autres algorithmes et structures.     Chapitre 5 - Autres algorithmes et structures. filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   5.1 Algorithme LMS/Newton. 1. Algorithme LMS/Newton. LMS/Newton: wk+1=wk-R-1^k (converge en une seule itération) w1=wopt conditions idéales : a) =1/2, b) connaissance de  à chaque pas c) connaissance de R-1 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 (a) non remplie : plus d'itérations pour converger (b) non réalisée : wk+1=wk-R-1k  algorithme idéal uniquement par (c) (R-1 supposée connue exactement) ek2 : estimé de   ^k=-2ekxk  wk+1=wk+2R-1ekxk similitude avec LMS accrue: R diagonale avec mR-1=I  wk+1=wk+2mR-1ekxk (algorithme LMS-Newton) convergence : 1/max>>0 convergence en un seul pas (sans bruit) : =1/2m filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 2. Propriétés de l'algorithme.   exemple comparatif entre le LMS et le LMS/Newton conditions idéales non bruitées: LMS  méthode de plus grande pente et LMS/Newton  méthode de Newton filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   m : rapport géométrique de relaxation du n-ème poids : Newton : r=1-m plus grande pente : rn=1-2n (équivalentes si les li toutes égales) eqm du mode n de courbe d'apprentissage : Newton : eqm=1/4n plus grande pente : (eqm)n=1/4n N=16, =0,05 et =0,01 : eqm =10 itérations pour LMS/Newton et de l'ordre de 100 pour le LMS filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 eqm : mesure de vitesse de convergence vers min max: mesure de capacité à rester proche de min cov[V'k]=mlmL-2cov[N’k]/4(1-mlm). cov[V'k]=4min= mlmxminL-1cov[N’k]/(1-mlm)  max=0Lln E[v’nk²]= (L+1)mlnxmin/(1-mln) <<1/2m  max ~mintr[R] filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   5.2 Algorithme de régression séquentielle (SER). LMS wk+1=wk+2ekxk LMS-Newton wk+1=wk+2mR-1ekxk régression séquentielle : calcul d’un estimé de R-1 approchant LMS/Newton estimation de R=E[xkxkt]: plus simple qu’estimer R-1 filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 x non stationnaire: mauvaise estimation de R  Qk=0k ak-mxmxmt (Rk + facteur d'échelle) a=2-1/longueur de la stationnarité de x (0<a<1) x stationnaire pour tout k:   1  R^k R^k connu  recherche d’algorithme SER filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 Qkwk+1=aQk-1wk+dkxk=[Qk-xkxkt]wk+dkxk dk=ek+xktwk  Qkwk+1=(Qkxkxkt)wk+(ek+xktwk)xk=Qkwk+ekxk  wk+1=wk+Qk-1ekxk filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 régression séquentielle =2-1/(longueur du signal stationnaire) Q0-1=(grande constante).I w0=valeur de départ du poids w1=w0+2mQ0-1e0x0 pour k≥1 S=Qk-1-1xk =+xkt S Qk-1={Qk-1-1-(S St)/g}/a wk+1=wk+2mlm(1-ak+1)Qk-1ekxk/(1-a) avec 0<<1/max ou m<<1   filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005   5.3 Filtres adaptatifs récursifs. mono-entrée yk=0Lanxk-n+1Lbnyk-n wk =[a0k a1k..aLk b1k..bLk]t et Uk=[xk xk-1..xk-L yk-1..yk-L]t ek=dk-wktUk LMS: ^k=-2ek[yk/a0k yk/aLkyk/b1k yk/bLk]t an,k=yk/an=xn-k+1Lbm an,k-m bn,k=yk/bn=yn-k+1Lbm bn,k-m filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 ^k=-2ek[a0,k aL,k b1k bLk] et LMS :wk+1=wk-M ^k   matrice diagonale M=diag[ .. 1..L ] LMS RII yk=wkUk an,k=xn-k+1Lbm an,k-m 0≤n≤L bn,k=yn-k+1Lbm bn,k-m 1≤n≤L ^k=-2(dk-yk)[a0,k aL,k b1k bLk] wk+1=wk-M ^k Ak(z)=0Lamk z-m et Bk(z)=1Lbmk z-m FT=z-n/[1-Bk(z)] filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 algorithmes HARF (hyperstable adaptative recursive filter) remplace nk et nk par xk-n et yk-n puis estimation de ^k par version lissée de ek (filtrage de ek) forme la plus simple: SHARF yk=wktUk ek=dk-yk nk=ek+1Ncn ek-n ^k=-2nk[xk xk-L yk-1 yk-L]t wk+1=wk-M ^k c : constantes lissant ek  k filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 SER (régression séquentielle) pour RII : remplacement de x par U + estimé RII du gradient  non récursif récursif ek=dk-wktxk ek=dk-wktUk ^k=-2ekxk ^k=-2ek[a0,k aL,k b1k bLk]t  =E[ek2]=E[dk2]+wtR w-2Ptw SER: R et P non fonction de w hypothèse non licite pour RII pendant la convergence après convergence avec entrées stationnaires  R et P constants (=0=2R wopt-2P pour w proche de wopt) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 valeurs révisées de R et de P et si R^kwk=P^k solution pour w  SER-RIF  wk+1=wk-Mlm(1-ak+1)Qk-1^k/(1-a)   M : permet des convergences différentes pour bi filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 SER complet : S=Qk-1-1xk =+Ukt S Qk-1={Qk-1-1-(S St)/g}/a an,k=xn-k+1Lbm an,k-m 0≤n≤L bn,k=yn-k+1Lbm bn,k-m 1≤n≤L ^k=-2(dk-yk)[a0,k aL,k b1k bLk] wk+1=wk-Mlm(1-ak+1)Qk-1^k/(1-a) filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 début : a0=b1=b2=0 système inconnu a0=1, b1=1,2 et b2=-0,6 entrée :bruit blanc  convergence vers ces valeurs avec =E[ek2]  0 traces de convergence typiques pour RII LMS et SER avec 800 pas pour le LMS et 600 pour le SER : filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005

filtrage adaptatif A. Thieltgen 2004/2005 stabilité : triangle  bi dans cette région paramètres de convergence : LMS : M=diag[ 0,05 0,005 0,0025 ] SER : M=diag[ 0,5 0,1 0,05 ] SER :début q0=1, =0,93, 10 échantillons stationnaires LMS: plus ou moins plus grande pente, erratique au fond du bol (typique des filtres RII) SER: mauvaise approximation d'un Newton si wk non proche de wopt proche de wopt : plus régulier que LMS  moins d'itérations pour valeur optimale filtrage adaptatif A. Thieltgen 2004/2005