Download - Chapitre 1 - Introduction
filtrage adaptatif A. Thieltgen 2004/2005
1
Chapitre 1 - Chapitre 1 - Introduction. Introduction.
filtrage adaptatif A. Thieltgen 2004/2005
2
1.1 Filtres adaptatifs.1.1 Filtres adaptatifs.
1. Structures de filtrage adaptatif.
la plus commune : structure transversale
wN-1(n) w1(n) w0(n)
+
- y(n)
d(n)
e(n)
x(n) z-1 z-1 z-1
algorithme d'adaptation
filtrage adaptatif A. Thieltgen 2004/2005
3
sommateur linéaire (combiner)
xN-1(n)
x1(n)
wN-1(n)
w1(n)
w0(n)
+
- y(n)
d(n)
e(n)
x0(n)
algorithme d'adaptation
filtrage adaptatif A. Thieltgen 2004/2005
4
filtres RII : application limitée (instabilité) eqm d'un RII: coefficients du filtre plusieurs minimum locaux étude RIF
RIF (et combiner): eqm minimum unique
treillis meilleurs que transversaux dans certaines applications
MCM pour treillis algorithme efficace
filtrage adaptatif A. Thieltgen 2004/2005
5
2. Approche stochastique (théorie de Wiener).
adaptativité algorithmes de type LMS Wiener : optimalité des coefficients par minimisation de l'eqm (formulation statistique)LMS (least mean square) gradient stochastiqueconvergence dépendant fortement de DPS de xkentrée: signal blanc convergence rapidefréquences pas assez excitées modes convergents très lentement possible: N>plusieurs 100 ou même 1000 retards filtres coûteux algorithme de TFR (convolutions temporelles domaine fréquentiel)
filtrage adaptatif A. Thieltgen 2004/2005
6
3. Approche déterministe (méthode des MCM). MCM déterministes : algorithmes à convergence plus rapide que LMS, moins sensibles à DPS de xk
plus complexes et mauvaise stabilité numériqueformulation : estimation par bloc des MCM (codage prédictif linéaire des signaux de la parole)
préférence adaptatif actualisation itérative des coefficients
filtrage adaptatif A. Thieltgen 2004/2005
7
* algorithme RLS standardlemme d'inversion matricielleimplémentation : manipulations de matrices ( N²)
* algorithme RLS –QRD (décomposition QR)manipulation de matrices mais structures régulières (réseaux systoliques)plus robuste aux erreurs numériques
* algorithmes RLS rapidesrésolvent le problème des MCM avec des calculs N
algorithmes RLS:- treillis (actualisations d’ordres et temporelles) transversaux rapides : moins de calculs par itération mais instabilité numérique
filtrage adaptatif A. Thieltgen 2004/2005
8
4. Formes réelles et complexes. xk et dk complexes (transmission de données) bande de base : 2 composantes séparées parties réelle et imaginaire d'un signal à valeurs complexes
implémentation fréquentielle : signaux complexes, même avec signaux réels formulation en termes de variables complexes
filtrage adaptatif A. Thieltgen 2004/2005
9
5. Applications. automatique, communications, traitement de signaux radar ou sonar, annulation d'interférences et d’échos, régulation active de bruit, ingénierie médicale, etc..
actualisation de coefficients à partir de mesures: minimisation de l’écart entre sortie courante et réponse désirée
filtrage adaptatif A. Thieltgen 2004/2005
10
classes d'applications adaptatives : - modélisation (identification)- modélisation inverse (déconvolution)- prédiction linéaire - annulation d'interférences
filtrage adaptatif : nécessaire si incertitudes ou variations des caractéristiques du signal
filtrage adaptatif A. Thieltgen 2004/2005
11
1.2 Retour sur les méthodes de MCM. 1.2 Retour sur les méthodes de MCM.
1. Formulation de base.
RIF ordre N, poids w(k) (réel), entrée xk (durée infinie), sortie
actuelle yk , sortie désirée dk
yk=wtxk=w xkt, xk et dk stochastiques ek=dk-yk stochastique
critère (IP) : eqm (MSE) =E{ek2} 0 w
but : "meilleur" wopt minimisant eqm
meilleur estimé : wtxk=yk=dk k
filtrage adaptatif A. Thieltgen 2004/2005
12
2. Equations normales.
=E{ek2} =E{dk2}-2wtRe(E{dk*xk})+wtE{xkxkh}w*
D=E{dk2} :puissance moyenne de dk,
P=E{dk*xk} : vecteur d'inter corrélation entre dk et xk,
R=E{xkxkh} : matrice d'auto corrélation des entrées
D, P et R invariants: dk et xk stationnaires statistiques
d’ordres 1 et 2 invariantes
filtrage adaptatif A. Thieltgen 2004/2005
13
processus à valeurs réelles =D-2wtP+wtR woptimum wopt minimisant eqm si et seulement :
ww=wopt=0=/wj w=wopt
Hw définie positive
* point critique pour chaque composante de w * point critique: courbures dans la direction >0 wopt
minimum local pour
filtrage adaptatif A. Thieltgen 2004/2005
14
test de la dérivée seconde ZtHZ ZZ>0
w=wD-2w(wtP)+w(wtR w*)
wD=0
même approche w(wtR w)=2R w
w=-2P+2R w
1ère condition d'optimalité R wopt=P (équations normales ou
de Wiener-Hopf ou de Yule-Walker)
P)Pw(ppwww
Pw twjnn
jj
t
filtrage adaptatif A. Thieltgen 2004/2005
15
2nde condition : Hw défini positif
hij==D-2(wtP)+(wtR w*)
hij=2rij i, j Hw=2R courbure de l'eqm en wopt
w optimum :R wopt=P
R définie positiveR inversible : équations normales wopt=R-1P
R définie positive: R-1 existe et wopt unique
ijk m
mkmkji
2
j
j
j
j
r2wrwww
termeème3
0w
pet0
w
d
filtrage adaptatif A. Thieltgen 2004/2005
16
3. Significations de R et de P.
i0 et j(N-1) : (a) R matrice de Toeplitz (rij=rpqsi i-j=p-q),
(b) xk réel rj-i=ri-j : R symétrique
xk complexe R hermitienne
(c) puissance moyenne : apparaît N fois sur diagonale principale(d) dans r(): plus grand décalage utilisé pour construire R ± (N-1) fenêtre de (2N-1) points de fonction d'auto corrélation totalestationnarité de d et de x pi=E{dkxk-i}=E{dk+ixk}=ci
ci = intercorrélation moyennée entre dk et xk P : fenêtre de N points de ci
filtrage adaptatif A. Thieltgen 2004/2005
17
1.2 Propriétés de la solution.1.2 Propriétés de la solution.
1. Evaluation de l'eqm. =D-2wtP+wtR w solution R wopt=P
min=D-2 wopttP+wopt
tR wopt=D-wopttP
V=w-wopt : écart entre situations actuelle et optimale
=D-2(wopt+V)tP+(wopt+V)tR(wopt+V)= min+VtR V
filtrage adaptatif A. Thieltgen 2004/2005
18
eqm additionnel : =-min=VtR V forme quadratique de
V=w – wopt
R définie semi positive VtR V0 V0 ne dépend que de xk
pénalisation quadratique solution itérative pour aller de à min et wopt
filtrage adaptatif A. Thieltgen 2004/2005
19
2. Positivité de R. V0 sans pénalisation?
R définie positive : (a) V0 : >0 (b) R de rang plein, (c) R inversible, (d) équations normales : solution unique wopt=R-1P
filtrage adaptatif A. Thieltgen 2004/2005
20
R définie positive ? R=E{xkxk
t} VtR V=Vt[E{xkxkt}]V=E{Vtxkxk
tV} Vtxk=sk :
sortie RIF d'ordre N de RI V et entrée xk sk : sortie d'un
filtre "différence" si V=0 x(k)
Vtxk=sk=xktV VtR V=E{sk²}
sk² 0 VtR V 0
forme quadratique nulle ? sk² =0 k VtR V =0: V avec Vtxk=sk=0 xk
si xk, Vo tel que sk=0 R définie non positive sinon R définie strictement positive
filtrage adaptatif A. Thieltgen 2004/2005
21
3. Système propre de R. décomposition de R matrice modale système propre de coordonnées RI et propriétés caractéristiques des algorithmes simples
propriétés spécifiques de R : (a) entrées réelles : R symétrique (hermitienne si complexes) rij=rji* pour i, j [1, N]
(b) R semi définie positive VhR V0 si VhV0
filtrage adaptatif A. Thieltgen 2004/2005
22
valeurs propres et vecteurs propres de R :
(a) N vecteurs propres linéairement indépendants arbitraires Ui
hUi=Ui=1
(b) UihUj=0 pour ij
(c) Ui : base du N-espace de produit scalaire UihUj=ij
(d) xk réel N vecteurs propres réels construits
filtrage adaptatif A. Thieltgen 2004/2005
23
clé : matrice modale Q=[U1 .. UN]
vecteurs orthonormaux QhQ=IN et Q-1=Qh
QhR Q= et Qh Q=R ( : matrice diagonale des i)
avec Q : équations normales "modes" scalaires découplés
w=Q w' ou Qhw=w' : transformation des coordonnées du vecteur w (w' : poids découplé)Q: changement de direction mais pas longueur de w
filtrage adaptatif A. Thieltgen 2004/2005
24
R Qh Q si P'=QhP : R wo=P w’opt=P'
N équations : ij w’opt,i=p'i (w’opt,i et p'i : éléments scalaires
d'ordre i de w’opt et de P’)w’opt,i : fonction de i et de p'i
i0 : w’opt,i=p’i/i
i=0 : w‘opt,i indéterminé pas d'unicité dans w’opt
filtrage adaptatif A. Thieltgen 2004/2005
25
autre forme découplée : min=D-p’i²/i
V=w-wopt=Q V’ =-min=VhR V= i v’i² :pénalisation quadratique par rapport à chaque terme de différence découplé v'i,
i degré de pénalisationi=0: aucune modification de
filtrage adaptatif A. Thieltgen 2004/2005
26
Chapitre 2 - Algorithme LMS et algorithmes associés. Chapitre 2 - Algorithme LMS et algorithmes associés.
filtrage adaptatif A. Thieltgen 2004/2005
27
2.1 Introduction.2.1 Introduction.
but de l'algorithme LMS ("Least Mean Square") "gradient stochastique" nature intrinsèque si xk et dk accessibles à chaque pas: meilleur choix
solution wopt de R wopt=P R et P puis wopt=R-1P
wopt calculé autrement car :
(a) R pas toujours inversible pendant l’adaptation (b) R-1 calculable mais précision numérique requise dépassant les possibilités du calculateur (c) autres méthodes plus efficaces
filtrage adaptatif A. Thieltgen 2004/2005
28
2.2 Approche de recherche par gradient.2.2 Approche de recherche par gradient. R de rang plein : (a) wopt : choix unique
(b) écart entre w et wopt =-min=VtR V
(c) >0 pour V0
estimation itérative de wopt : choix initial w(0)= w0
sauf si w0=wopt : x en w0 supérieure à xmin
w1 tel que x (et donc x) diminuex0 : x amélioré mais w1wopt itérations w2, w3, etc., réduction de x à chaque pas x 0 et wn wopt
déplacement de wk à wk+1? gradient bonne méthode
filtrage adaptatif A. Thieltgen 2004/2005
29
eqm
poids w wo w(k+1) w(k)
min
)k(wdw
d
w(k+1)=w(k)-c
)k(wdw
d
filtrage adaptatif A. Thieltgen 2004/2005
30
wk : >0 wkwopt
idée d’amélioration de w(k): aller vers wopt
direction de wopt donnée par dérivée de en wk
d/dw>0 : diminue si pas dans direction négative wk+1=wk-c
d/dw w(k) (c : petite constante positive)
application répétée wk wopt et min
cas général: gradient de par rapport wj wk+1=wk-cww=w(k) (k0 et c>0 petit)
filtrage adaptatif A. Thieltgen 2004/2005
31
2.3 Approximation du gradient.2.3 Approximation du gradient. w estimé à partir de {x, d}
G(k)=w[ek²]=2ekw{wtxk}=-2ekxk
G(k) ne dépend que de e et de xk
Gk moyenné gradient de gradient ww=w(k) remplacé par celui de l'eqm Gk
algorithme LMS (Widrow) :
wk+1=wk-cGk=wk+ekxk (>0 petit)
filtrage adaptatif A. Thieltgen 2004/2005
32
wk actualisés pour chaque xk LMS complet :
yk=wtxk (sortie du filtre)
ek=dk-yk (signal d'erreur)
wk+1=wk+ekxk (actualisation du poids)
algorithme LMS : (a) critère analytique basé sur un eqm (b) gradient poids minimisant l'eqm (c) gradient approché à partir de données
filtrage adaptatif A. Thieltgen 2004/2005
33
2.4 Convergence du LMS.2.4 Convergence du LMS.
petit approximation acceptableww=w(k)=-2P+2R wk + LMS wk+1=(I-R)wk+P
wk=Q w'k, R=Q Qh, =QhR Q et P'=QhP
wk+1=(I-)w'k+P'
N équations découplées : w'i,k+1=(1-i) w'i,k+ p'i
filtrage adaptatif A. Thieltgen 2004/2005
34
1. Points de convergence. w'i,k= {0
k-1(1-i)np’i}+(1-i)kw'i,0
petit avec 1-i<1 w'i,k p’i/ i =w’i,0
2. Limites de la constante d'adaptation ..
solution compacte de w'i,k : 1-i<1 0<<max
en pratique : p /10-2 à 10-3
filtrage adaptatif A. Thieltgen 2004/2005
35
3. Constantes de temps adaptatives.
durée pour w'i,k=w'i,0/e si w'i,k={}+(1-i)
kw'i,0 et p'i=0 :
iLn(1-i)=-1
i<<1 avec 0<i<<1 -1# i(-i) : i#1/i
filtrage adaptatif A. Thieltgen 2004/2005
36
4. Temps de convergence. convergence: vitesse du mode le plus lentconstante de temps de wk : =Max{1/i}= 1/min
facteur de convergence normalisé =2/max
0<< 2/max 0<<1 =max/(2 min)
filtrage adaptatif A. Thieltgen 2004/2005
37
2.5 Effets d'une matrice R singulière.2.5 Effets d'une matrice R singulière. R non singulière wopt unique
R singulière? au moins une i=0 p'i=0
w'i,k+1=(1-i)w'i,k+ p'i=w'i,k
coefficient découplé associé non commandé et non amorti
filtrage adaptatif A. Thieltgen 2004/2005
38
i=0 infini wk non convergent
i=0 dans R associée à U (espace nul de R) R{U}=R U=0 R wopt=P ? wopt wopt+ U : équations normales encore
vérifiées wopt non unique
recherche des modes de l'espace nul inapplicable pour une (et non la) solution des équations normales
0minavec
2i
*min*
min
max
filtrage adaptatif A. Thieltgen 2004/2005
39
2.6 Algorithmes de recherche par gradient approché.2.6 Algorithmes de recherche par gradient approché.
1. Algorithme LMS complexe. xk, yk, dk wk complexes LMS complexe
gradient de ek2 par rapport à wk complexe
LMS complexe :yk=xk
twk
ek=dk-yk
wk+1=wk+ekxk*
filtrage adaptatif A. Thieltgen 2004/2005
40
2. LMS normalisé.
0<<2/max : intérêt limité autre approche : limites pour max?
<xktxk>=N max et R étant définie positive (i0)
<xktxk> max (k)=/xk
txk (0< <2)
LMS normalisé : yk=xk
twk
ek=dk-yk
wk+1=wk+ekxk/(+ xktxk)
filtrage adaptatif A. Thieltgen 2004/2005
41
3. LMS normalisé avec estimation de puissance
récursive. stabilité accrue: normalisation d'actualisation du poids par estimation de la puissance k du signal
yk=xk
twk
ek=dk-yk
k+1=(1-) k+N xk²
wk+1=wk+ ekxk/(+ k)
filtrage adaptatif A. Thieltgen 2004/2005
42
4. Algorithmes accélérés. adaptation plus directe vers min?
yk=xktwk
ek=dk-yk
wk+1=wk+ekC xk
C approximation de R-1 : temps de convergence réduit si max>>min algorithmes de type Newton mais peu
intéressants car :(a) "bon" choix de C dépend de R(b) C: matrice (N, N) N2 produits et N(N-1) additions
filtrage adaptatif A. Thieltgen 2004/2005
43
5. Algorithme de Griffith.
dk non connu? ek non défini pas de LMS
Griffith : corrélation entre dk et xk accessible
wk+1=wk+ekxk=wk-ykxk+dkxk
E[wk+1]=E[wk]-E[ykxk]+P
algorithme de Griffith ou du vecteur P: yk=xk
twk
wk+1=wk- ykxk+P
idée : substituer P au comportement moyen de dkxk
filtrage adaptatif A. Thieltgen 2004/2005
44
2.7 Versions modifiées du LMS. Bruit dans le gradient.2.7 Versions modifiées du LMS. Bruit dans le gradient.
1. LMS à erreur signée. LMS réel : 2N produits - additions réels pour le calcul de yk et
l’actualisation de wk à chaque itération
* erreur signée : yk=xk
twk
ek=sign{dk-yk}
wk+1=wk+ekxk
(réduction des calculs aux dépens des performances)
filtrage adaptatif A. Thieltgen 2004/2005
45
estimation bruitée du gradient instantané pour rechercher min
qui se reporte dans des estimations bruitées du poids optimummême qualité que LMS : inférieur
éléments signés :yk=xk
twwk
ek=dk-yk
wi,k+1=wi,k+e(k)sgn{xk-i}
signe-signe wi,k+1=wi,k+sign{ek}sgn{xk-i}
filtrage adaptatif A. Thieltgen 2004/2005
46
2. Effets d'absence de coefficients.
i nuls modes ni commandés ni amortis :
(a) pas de convergence vers solution unique(b) pas de convergence des mode découplés (c) modes découplés commandés par des termes du second ordre
coefficients découplés croissant sans limites
filtrage adaptatif A. Thieltgen 2004/2005
47
LMS avec "fuite" : wk+1=(1-)wk-^
k=(1-)wk+ ekxk
et 0 (LMS: =0) et << 1 (1-) légèrement inférieur à 1(1-) au 1er ordre: estimé de ekxk=0
wk+1=(1-)wk et wk+m=(1-)mwk, avec lim(wk+m)=0
absence de ekxk : wk tend à décroître (à "fuir") vers 0
filtrage adaptatif A. Thieltgen 2004/2005
48
w'k+1= {I-(I+)}w'k+P'
(a) modifie R avec Rnouv=I+Ranc, nouv=I+anc
et i, nouv=+ i, anc
(b) >0 : i >0 (même avec entrées nulles)
(c) i limitées convergence avec max=1/ nouv,min 1/une complexité en plus dans l'actualisation et biais:
wk=(R+I)-1P ne vérifie pas R wopt=P à la convergence
filtrage adaptatif A. Thieltgen 2004/2005
49
3. Désadaptation. eqm minimum: gradient nul et wk=wopt
gradient approché bruit du gradient Nk=-WJ
LMS: Nk=ekxk-(R wk-P)
estimé de wk : bruit supérieur proche de wopt
"cliquetis" proche de la convergenceréduction de bruit dans wk si m diminue
sk: bruit dans wk wk=wopt+Vk sortie : yk=xk
twopt+xktVk=yopt,k+sk
quantification: déréglage M inversement proportionnel à m et N
M: comparaisons de taux de convergence
filtrage adaptatif A. Thieltgen 2004/2005
50
Chapitre 3 – Algorithmes récursifs.Chapitre 3 – Algorithmes récursifs.
filtrage adaptatif A. Thieltgen 2004/2005
51
3.1 Recherche d’algorithmes récursifs.3.1 Recherche d’algorithmes récursifs. k=N-1
k-1ym-dm², (N-1)k(L-1) : reflète le nombre
d'échantillons déjà utilisés L: toutes les données de k=(N-1) à (L-1)
xm et dm reçus avant (k-1) et wo,k calculé: après que xk et dk reçus
k+1= k+yk-dk2
but : construire wopt pas à pas jusqu'à ce que les données finales
xL-1 et dL-1 reçues
wopt,L calculé poids optimum global wopt
filtrage adaptatif A. Thieltgen 2004/2005
52
3.2 Moindres carrés récursifs (RLS).3.2 Moindres carrés récursifs (RLS).
1. Formule d'actualisation. approche la plus simple : (a) actualisation de R par Rk+1=Rk+xkxk
t
(b) actualisation de P par Pk+1=Pk+dkxk
(c) inversion de Rk+1
(d) calcul de wopt,k+1 par wopt,k+1=Rk+1-1Pk+1
R et P actualisés utilisés pour calculer wopt,k+1
filtrage adaptatif A. Thieltgen 2004/2005
53
procédure directe peu économique (N3+2N2+N produits et N3 pour inverser R par actualisation)
"lemme ABCD" d'inversion matricielle (A+B C D)-1=A-1-A-1B(D A-1B+C-1)-1D A-1 avec A=Rk
B=xk C=I D=xkt
Rk+1-1=Rk
-1-(Rk-1 xk xk
t Rk
-1)/(1+ xkt Rk
-1 xk )
optimal wwopt,k+1=Rk+1-1Pk+1 obtenu en combinant
Rk+1-1=Rk
-1-(Rk-1 xk xk
t Rk
-1)/(1+ xkt Rk
-1 xk ) et Pk+1=Pk+dkxk
filtrage adaptatif A. Thieltgen 2004/2005
54
wopt,k+1=Rk-1Pk-(Rk
-1 xk xkt Rk
-1)/(1+ xkt Rk
-1 xk )Pk+ dkRk-
1xk-dk(Rk-1 xk xk
t Rk
-1)/(1+ xkt Rk
-1 xk )xk
simplification :Rk
-1Pk=wopt,k (poids optimal de rang k)
Zk=Rk-1xk (vecteur d'informations filtrées)
yopt(k)=xktwopt,k (sortie a priori)
q=xktZk (puissance d'entrée normalisée)
(RLS)carrésmoindresdesrécursifalgorithme
Zq1
ydwwoptimalpoids k
k,optkk,opt1k,opt
filtrage adaptatif A. Thieltgen 2004/2005
55
2. Interprétation des équations d'actualisation. wopt,k+1: wopt,k + terme correctif fonction de xk et de dk
trois facteurs:* erreur a priori eopt,k=dk-yopt,k
yopt,k : prédiction de la sortie du filtre optimal mais donné par
xk avec ancienne RI wk
yopt : sortie a priori et eopt,k : erreur de prédiction
* dépendance de l'actualisation de eopt,k
yopt,k=dk: pas actualisation
eopt=0 : nouvelle actualisation et si eopt0 correction dans
l'actualisation actuelle
filtrage adaptatif A. Thieltgen 2004/2005
56
* Zk (vecteur d'informations filtrées)
q : mesure de la puissance de xk normalisée par Rk-1 valeur
moyenne de q = Nq + Zk + eopt actualisation du poids
Rk définie non négative (1+q) 1
filtrage adaptatif A. Thieltgen 2004/2005
57
3. Algorithmes de descente associés.
RLS basé sur actualisation de wopt,k en utilisant juste la bonne
dose pour générer le poids wopt,k+1
wopt,k+1 : ressemblance avec algorithmes de descente
* LMS accéléréwk+1=wk+mekC xk
C : agit sur xk en modifiant direction ou longueur
RLSLMSaccéléréorithmelga
:RCetxRx1
1q1
1m 1
kk
1k
tk
filtrage adaptatif A. Thieltgen 2004/2005
58
* LMS normaliséconstante d'adaptation variable dans le temps =/(+xk
txk)
(0<<2)
: empêche la formation d'un dénominateur nul partie importante de l'actualisation
filtrage adaptatif A. Thieltgen 2004/2005
59
4. Algorithme RLS. procédure itérative d'actualisation de wopt,k :
(i) nouveaux échantillons xk et dk reçus
(ii) xk : décalage de xk dans le vecteur d'informations
(iii) calcul de la sortie a priori yopt,k=wopt,kt xk
(iv) calcul de l'erreur a priori eopt,k=dk-yopt,k
(v) calcul de Zk=Rk-1xk
(vi) calcul de q=xktZk
(vii) calcul de v=1/(1+q)(viii) calcul de Z’k=vZk
(ix) actualisation de wopt,k+1=wopt,k+eopt,kZ’k
(x) actualisation de Rk+1-1=Rk
-1-Z’kZ'kt
filtrage adaptatif A. Thieltgen 2004/2005
60
initialisation :* Rk et Pk d'après Rk+1=Rk+xkxk
t et Pk+1=Pk+dkxk jusqu'à R de rang
plein, puis calculé direct de Rk-1 ainsi que wk
optimalité à chaque pas : N3 calculs (inversion initiale) * RN-1
-1 initialisée par RN-1-1=IN ( : grande constante positive)
imprécision
simplicité et faible coût de calcul une des plus communément utilisée
filtrage adaptatif A. Thieltgen 2004/2005
61
5. Coût de l'algorithme RLS.
calculs nécessaire pour algorithme RLS:(a) O(1) [calculs requis non liés N] : (iv) et (vii) (b) O(N) [calculs proportionnels à N] : (iii), (vi), (viii) et (ix) (c) O(N2) : (v) et (x)
filtrage adaptatif A. Thieltgen 2004/2005
62
RLS pour {xk, dk} : 2N2+4N produits + autant d'additions et
une division produits totaux CRLS=(L-N+1)2N2+(L-N+1)4N
calcul de wopt : C=(L-N+1)N2+(L-N+1)N+N3+N
taille d’inversion importante si L-N+1<N, pas si L>>N: RLS plus coûteux pour O(N) et O(N2)L>>N: coût d'inversion inférieur à O(N2) méthode directe moins coûteuse en calculs que RLS
filtrage adaptatif A. Thieltgen 2004/2005
63
1<N<<L: typique en filtrage adaptatifraisons d’étude et d’utilisation du RLS :(a) meilleur comportement numérique qu’ inversion directe de R(b) RLS: estimé du poids à chaque échantillon, méthode directe: estimé du poids en fin de séquence(c) formulation récursive: voie pour techniques moins coûteuses
filtrage adaptatif A. Thieltgen 2004/2005
64
6. Algorithme RLS à pondération exponentielle. Rk=N-1
k-1k-1-mxmxmt et Pk=N-1
k-1k-1-mxmdm
: facteur d'oubli ou de moyenne, constante>0, <1 mais l=1: Rk et Pk identiques à RLS
motivation: {x, d} changent sur L points de donnéesRk et Pk définis récursivement par
kk
k
1tkk
k1k1
1k,opt
kkk
k
1Nmm
mk1k
tkk
kk
1N
tmm
mk1k
xdP
xxRPRw
:)1k(pasauoptimalpoids
xdPdxP
xxRxxR
1k
filtrage adaptatif A. Thieltgen 2004/2005
65
(a) RLS usuel: =1(b) même quantité de calculs par moyenne exponentielle (c) algorithme initialisé avec RN-1
-1=IN
qZZ
R1
R
avecRdeionactualisat:ificationmodseule
Zq
ydww
tkk1
k1
k
1k
kk,optk
k,opt1k,opt
filtrage adaptatif A. Thieltgen 2004/2005
66
3.3 Algorithmes RLS "rapides".3.3 Algorithmes RLS "rapides".
1. Approche. algorithmes "rapides": coût O(N) requis à chaque pas
plus efficace : exploitation d’une propriété spécifiquedeux observations : * xk évolue vers xk+1 par incorporation de xk+1 (propriété non
exploitée dans RLS) * Zk = Zk+1 dans RLS: actualisation de Rk
-1 et produit par x(k)
non nécessaires
filtrage adaptatif A. Thieltgen 2004/2005
67
2. Formule récursive. décalage de x(k) actualisation O(N) de Zk
Z’k: résolution de Vk=wopt,k+1-wopt,k avec Rk+1wopt,k+1=Pk+1
récursivité de Rk et Pk
{Rk+xkxkt}wopt,k+Rk+1Vk=Pk+dkxk
Rkwopt,k=Pk et yopt(k)=xktwopt,k Rk+1Vk={dk-yopt,k}xk Vk=eopt,k
Rk+1-1xk
Vk :actualisation de wopt,k dépendant directement de eopt(k) et
Z'k=Rk+1-1xk={N-1
kxmxmt}-1x(k)
calcul de Z'k: Ak et Bk (prédicteurs direct et rétrograde)
filtrage adaptatif A. Thieltgen 2004/2005
68
1k1k1k'
1k
1k,opt1k
1k,opt1kk1k
1ktk1Nk1k,opt
t1k1k
t
1k
1k1kk
1k
1k
1k,opt1kk1k
kt
1k1k1k
1k"kk1k
ktk1k1k,opt
BMZionactualisat)ix(
1
MBBionactualisat)viii(
xBx)vii(
MFpartition)vi(
eAZ
eFaugmentévecteur)v(
eeprédictiondepuissance)iv(
xAxe)iii(
eZAAdeionactualisat)ii(
xAxe)i(
filtrage adaptatif A. Thieltgen 2004/2005
69
prédiction de x(k)méthode de calcul récursif de Z'k algorithme "rapide" pour
calcul récursif de wopt,k+1
(a) calcul de yopt,k+1=xtwopt,k
(b) eopt,k+1=dk+1-yopt,k+1
(c) Z'k vers Z'k+1
(d) wopt,k+1=wopt,k+eopt,k+1Z'k+1
(c) : étapes (i) à (ix) précédentes
Z'k: majeure partie d'informations concernant xk pour
actualiser wk
Z'k+1 : transport de l'information directionnelle pour actualiser
wk
filtrage adaptatif A. Thieltgen 2004/2005
70
3. Résultats. (i) à (ix) et (a) à (d) : réduction de calculs atteinte(i), (ii), (iii), (v), (vii), (viii) et (ix) : N additions–produits à chaque pasconversion de Z'k+1 vers wopt,k+1: 2N additions–produits
9N additions–produitsrécursivités avec Cnouv=1Canc+2D et =xt(k)E
plus efficaces si 1 et/ou 2 =1
efficacité atteinte au détriment de stabilité
filtrage adaptatif A. Thieltgen 2004/2005
71
Chapitre 4 - Structures en treillis et adaptation.Chapitre 4 - Structures en treillis et adaptation.
filtrage adaptatif A. Thieltgen 2004/2005
72
4.1 Filtres adaptatifs en treillis.4.1 Filtres adaptatifs en treillis.
cN-1
bN-1(n) b1(n) b0(n)
f1(n) f0(n) x(n)
1
2
e(n) y(n)
d(n)
c0 c1
+
-
N-1
filtrage adaptatif A. Thieltgen 2004/2005
73
puissance d’erreur de prédiction minimale si coefficients du prédicteur optimumPARCOR optimum m de l’étage m d’un prédicteur en treillis :
minimisation de p,m=E[fm,n²+bm,n²]
p,m équivalent à Pmf=E[fm,n²] et Pm
b=E[bm,n²]
fonction de coût p,m utilisation des erreurs de prédiction
avant et rétrograde dans LMS écart d’ajustement plus faible obtenu
filtrage adaptatif A. Thieltgen 2004/2005
74
LMS : n+1=n-p,m(n)[^p,m(n)/m]
^p,m(n)=fm²(n)+bm²(n)
n+1=n+2 p,m(n)[fm,nbm-1,n-1+bm,nfm-1,n].
convergence rapide: p,m normalisé à la puissance du signal
d’entrée de l’étage m du prédicteurestimation: Pm-1,n=Pm-1,n-1+0,5(1-) ^
p,m(p)pas normalisé : p,m(n)= p,o/(Pm-1,n+) p,o : paramètre non normalisé commun à tous les étages
: constante positive prévenant une instabilité de l’algorithme si Pm-1,n proche de 0
filtrage adaptatif A. Thieltgen 2004/2005
75
données : 1,n, 2,n, .., N-1,n, et cn=[c0,n c1,n .. cN-1,n]
t
xn le plus récent et sortie désirée dn
bn-1=[b0,n-1 b1,n-1 .. bN-1,n-1]t
P0,n-1 P1,n-1 .. PN-1,n-1
nécessaires :
1,n+1, 2,n+1, .., N-1,n+1,
cn+1=[c0,n+1 c1,n+1 .. cN-1,n+1]t
bn=[b0,n b1,n .. bN-1,n]t
P0,n P1,n .. PN-1,n
filtrage adaptatif A. Thieltgen 2004/2005
76
partie treillis du prédicteurf0,n=b0,n=xn
P0,n=P0,n-1+0,5(1-)[f0,n²+b0,n-1²]
pour m=1 à (N-1)fm,n=fm-1,n-m,nbm-1,n-1
bm,n=bm-1,n-1-m,nfm-1,n
m,n+1=m,n+2p,o/(Pm-1,n+)[fm-1,nbm,n+bm-1,n-1fm,n]
Pm,n=Pm,n-1+0,5(1-)[fm,n²+bm,n-1²]
fin
filtrage adaptatif A. Thieltgen 2004/2005
77
partie accumulateur linéaireyn=cn
tbn
en=dn-yn
c=c,odiag[(P0,n+)-1, (P1,n+)-1, .. , (PN-1,n+)-1]
cn+1=cn+1cenbn
filtrage adaptatif A. Thieltgen 2004/2005
78
4.2 Discussion et simulations.4.2 Discussion et simulations. estimateur en treillis de processus liés: adaptation simultanée de 2 ensembles de paramètresm: ne dépend que des statistiques de xk
valeur optimale de c de l’accumulateur linéaire : dépend des m
et wopt
variation dans les m : réajustement obligatoire de c
filtrage adaptatif A. Thieltgen 2004/2005
79
- +
e 0 ( n )
e (n )
d ( n )
y ( n )
x (n )
1N
0i
ii,00 zw)z(W
s y s tè m e à id e n t i f i e r
1N
0i
ii zw)z(W
a lg o r i th m e d 'a d a p ta t io n
f i l t r e a d a p ta t i f
filtrage adaptatif A. Thieltgen 2004/2005
80
filtrage adaptatif A. Thieltgen 2004/2005
81
filtrage adaptatif A. Thieltgen 2004/2005
82
LMS transversal: M=0.1LMS en treillis: =0,02, p,o=0,001 et c,o=0,1/N=0,0033
M=0.1perturbation des PARCOR: impact significatif sur M problème sérieux, encore plus si xk non stationnaire PARCOR optimaux temporellement variables adaptation continue des PARCOR aussi bien que de c retard dans adaptation de c augmentation supplémentaire de l’eqm désadaptation supérieure
filtrage adaptatif A. Thieltgen 2004/2005
83
Chapitre 5 - Autres algorithmes et structures. Chapitre 5 - Autres algorithmes et structures.
filtrage adaptatif A. Thieltgen 2004/2005
84
5.1 Algorithme LMS/Newton.5.1 Algorithme LMS/Newton.
1. Algorithme LMS/Newton. LMS/Newton: wk+1=wk-R-1^
k (converge en une seule
itération) w1=wopt
conditions idéales : a) =1/2,b) connaissance de à chaque pasc) connaissance de R-1
filtrage adaptatif A. Thieltgen 2004/2005
85
(a) non remplie : plus d'itérations pour converger(b) non réalisée : wk+1=wk-R-1k algorithme idéal
uniquement par (c) (R-1 supposée connue exactement)ek
2 : estimé de ^k=-2ekxk wk+1=wk+2R-1ekxk
similitude avec LMS accrue: R diagonale avec mR-1=I
wk+1=wk+2mR-1ekxk (algorithme LMS-Newton)
convergence : 1/max>>0
convergence en un seul pas (sans bruit) : =1/2m
filtrage adaptatif A. Thieltgen 2004/2005
86
2. Propriétés de l'algorithme. exemple comparatif entre le LMS et le LMS/Newton conditions idéales non bruitées: LMS méthode de plus grande pente et LMS/Newton méthode de Newton
filtrage adaptatif A. Thieltgen 2004/2005
87
m : rapport géométrique de relaxation du n-ème poids :
Newton : r=1-m
plus grande pente : rn=1-2n
(équivalentes si les i toutes égales)
eqm du mode n de courbe d'apprentissage :
Newton : eqm=1/4n
plus grande pente : (eqm)n=1/4n
N=16, =0,05 et =0,01 : eqm =10 itérations pour LMS/Newton et
de l'ordre de 100 pour le LMS
filtrage adaptatif A. Thieltgen 2004/2005
88
eqm : mesure de vitesse de convergence vers min
max: mesure de capacité à rester proche de min
cov[V'k]=m-2cov[N’k]/4(1-m).
cov[V'k]=4min=mmin-1cov[N’k]/(1-m)
max=0LnE[v’
nk²]=(L+1)nmin/(1-n)
<<1/2m max ~mintr[R]
filtrage adaptatif A. Thieltgen 2004/2005
89
5.2 Algorithme de régression séquentielle (SER).5.2 Algorithme de régression séquentielle (SER). LMS wk+1=wk+2ekxk
LMS-Newton wk+1=wk+2mR-1ekxk
régression séquentielle : calcul d’un estimé de R-1 approchant LMS/Newtonestimation de R=E[xkxk
t]: plus simple qu’estimer R-1
filtrage adaptatif A. Thieltgen 2004/2005
90
x non stationnaire: mauvaise estimation de R Qk=0
k k-mxmxmt (Rk + facteur d'échelle)
=2-1/longueur de la stationnarité de x (0<<1)
x stationnaire pour tout k: 1 R^k
R^k connu recherche d’algorithme SER
k
0
tnn
^k xx
1k1
R:resstationnaiconditions
k
0m
tmm
mk1kk1k
^k xx
1
1Q
1
1Ritérationsk
algorithmel'dedépartdepoint:xdwQ
xd1
1PwR:w
k
0mmm
mkkk
k
0mmm
mk1k
^kk
^kk
filtrage adaptatif A. Thieltgen 2004/2005
91
Qkwk+1=Qk-1wk+dkxk=[Qk-xkxk
t]wk+dkxk
dk=ek+xktwk Qkwk+1=(Qkxkxk
t)wk+(ek+xktwk)xk=Qkwk+ekxk
wk+1=wk+Qk-1ekxk
)xQ(x
)xQ)(xQ(1Q
xQx
QxxQQxxQ
xQxxQxQ
QxxQQQ
xeQ12
wwR1
1Q
k1
1k
tk
11kk
11k1
kk
11k
11kk
11k1
kk1
k
k1
1kk1
kk1
1k
11kk
1k
1k
11k
kk1
kk1k1^
k1k1
k
tk
tk
tkt
k
tk
tk
filtrage adaptatif A. Thieltgen 2004/2005
92
régression séquentielle =2-1/(longueur du signal stationnaire)
Q0-1=(grande constante).I
w0=valeur de départ du poids
w1=w0+2mQ0-1e0x0
pour k≥1S=Qk-1
-1xk
=+xkt S
Qk-1={Qk-1
-1-(S St)/}/
wk+1=wk+2m(1-k+1)Qk-1ekxk/(1-)
avec 0<<1/max ou m<<1
filtrage adaptatif A. Thieltgen 2004/2005
93
5.3 Filtres adaptatifs récursifs.5.3 Filtres adaptatifs récursifs. mono-entrée yk=0
Lanxk-n+1Lbnyk-n
wk =[a0k a1k..aLk b1k..bLk]t et Uk=[xk xk-1..xk-L yk-1..yk-L]t
ek=dk-wktUk
LMS: ^k=-2ek[yk/a0k yk/aLkyk/b1k yk/bLk]
t
n,k=yk/an=xn-k+1Lbmn,k-m
n,k=yk/bn=yn-k+1Lbmn,k-m
filtrage adaptatif A. Thieltgen 2004/2005
94
^k=-2ek[0,k L,k 1k Lk] et LMS :wk+1=wk-M ^
k
matrice diagonale M=diag[ .. 1..L ]
LMS RIIyk=wkUk
n,k=xn-k+1Lbmn,k-m
0≤n≤Ln,k=yn-k+1
Lbmn,k-m
1≤n≤L^
k=-2(dk-yk)[0,k L,k 1k Lk]
wk+1=wk-M ^k
Ak(z)=0Lamkz-m et Bk(z)=1
Lbmkz-m
FT=z-n/[1-Bk(z)]
filtrage adaptatif A. Thieltgen 2004/2005
95
+_
dk
Xk
z-1
xk
L,k
1
1-Bk(z)
1
1-Bk(z)
Ak(z)
1-Bk(z)
1
1-Bk(z)
1
1-Bk(z)
z-1
0,k
1,k
L,kz-1
z-1
z-11
1-Bk(z)xk n,k
filtrage adaptatif A. Thieltgen 2004/2005
96
algorithmes HARF (hyperstable adaptative recursive filter)remplace nk et nk par xk-n et yk-n puis estimation de ^
k par
version lissée de ek (filtrage de ek)
forme la plus simple: SHARFyk=wk
tUk
ek=dk-yk
k=k+1Ncnek-n
^k=-2k[xk xk-L yk-1 yk-L]t
wk+1=wk-M ^k
c : constantes lissant ek k
filtrage adaptatif A. Thieltgen 2004/2005
97
SER (régression séquentielle) pour RII : remplacement de x par U + estimé RII du gradient
non récursif récursifek=dk-wk
txk ek=dk-wktUk
^k=-2ekxk ^
k=-2ek[0,k L,k 1k Lk]t
=E[ek2]=E[dk
2]+wtR w-2Ptw
SER: R et P non fonction de whypothèse non licite pour RII pendant la convergenceaprès convergence avec entrées stationnaires R et P constants (=0=2R wopt-2P pour w proche de wopt)
filtrage adaptatif A. Thieltgen 2004/2005
98
valeurs révisées de R et de P et si R^kwk=P^
k solution pour w
SER-RIF wk+1=wk-Mm(1-k+1)Qk
-1^k/(1-)
M : permet des convergences différentes pour bi
filtrage adaptatif A. Thieltgen 2004/2005
99
SER complet : S=Qk-1
-1xk
=+Ukt S
Qk-1={Qk-1
-1-(S St)/}/
n,k=xn-k+1Lbmn,k-m
0≤n≤Ln,k=yn-k+1
Lbmn,k-m
1≤n≤L^
k=-2(dk-yk)[0,k L,k 1k Lk]
wk+1=wk-Mm(1-k+1)Qk-1^
k/(1-)
filtrage adaptatif A. Thieltgen 2004/2005
100
bruit blanc xk
système inconnu
modèle
k+
_
1 1-1,2z-1+0,6z-2
a0 1-b1z-1-b2z-2
filtrage adaptatif A. Thieltgen 2004/2005
101
début : a0=b1=b2=0
système inconnu a0=1, b1=1,2 et b2=-0,6
entrée :bruit blanc convergence vers ces valeurs avec =E[ek
2] 0
traces de convergence typiques pour RII LMS et SER avec 800 pas pour le LMS et 600 pour le SER :
filtrage adaptatif A. Thieltgen 2004/2005
102
triangle de stabilité
W800
W0
poids b1
poid
s b 2
0-2 2
LMS
filtrage adaptatif A. Thieltgen 2004/2005
103
W0W600
triangle de stabilité
SER
0-2 2poids b1
poid
s b 2
filtrage adaptatif A. Thieltgen 2004/2005
104
stabilité : triangle bi dans cette région
paramètres de convergence :LMS : M=diag[ 0,05 0,005 0,0025 ]
SER : M=diag[ 0,5 0,1 0,05 ]
SER :début q0=1, =0,93, 10 échantillons stationnaires
LMS: plus ou moins plus grande pente, erratique au fond du bol (typique des filtres RII)SER: mauvaise approximation d'un Newton si wk non proche de
wopt
proche de wopt : plus régulier que LMS moins d'itérations
pour valeur optimale