現(xiàn)代信號處理-第11講

第六章自適應處理技術信號處理中會遇到：信號非平穩(wěn)，且統(tǒng)計特性也未知若按四、五章的方法處理，需已知或先估計信號的統(tǒng)計特性，很難實時實現(xiàn)需對信號自適應處理，以適應信號非平穩(wěn)性要求1

、自適應處理的基本概念自適應處理是一類新的信號處理方法基本特點：不需已知或先估計待信號的統(tǒng)計特性，直接利用信號值，根據(jù)某種判據(jù)在觀察中不斷遞歸更新處理參數(shù)，逐步逼近某一最優(yōu)的處理結果非平穩(wěn)信號統(tǒng)計特性隨時間變化，對信號處理時其理論最優(yōu)解也應隨時間變化。采用自適應處理方法后，可通過處理參數(shù)的不斷遞歸來自動跟蹤信號統(tǒng)計特性的變化自適應處理方法更加符合信號非平穩(wěn)性的要求

441信號自適應處理的技術不斷發(fā)展，算法多種多樣總的來說，可從三個常用角度概括信號自適應處理方法：

(1)從自適應處理算法所采用的處理器結構看分為橫向(抽頭延遲線)結構和格形結構兩大類兩類處理器使用的結構都是FIR型的(2)從每輸入多少數(shù)據(jù)重復一次自適應計算看

分為每輸入一段數(shù)據(jù)重新計算一次的成批處理法和每輸入一個數(shù)據(jù)就根據(jù)新信息和舊處理結果計算出新結果的遞歸處理法前者僅是以前介紹的固定數(shù)據(jù)處理法的推廣，后者才是本章著重介紹的自適應處理方法(3)從逐次調(diào)節(jié)所用算法看

分成最小均方(LMS，LeastMeanSquare)法和最小二乘(LS，LeastSquare)法兩大類前者發(fā)展比較早，常以隨機梯度形式來實現(xiàn)，也稱隨機梯度法。算法簡單、易于實時實現(xiàn)，仍有廣泛應用，也在不斷發(fā)展中

遞歸的最小二乘(RLS，RecursiveLeastSquare)法計算量雖大，但收斂速度快，理論基礎系統(tǒng)，是一類有發(fā)展前景的自適應處理算法442自適應信號處理的應用范圍很廣：噪聲和回聲的抵消譜線的增強通道的均衡系統(tǒng)的辨識延遲時間的估計等2

、橫向結構的隨機梯度法本節(jié)介紹的自適應濾波方法，是使觀察信號的線性組合和期望信號之間的誤差的均方值最小，因此稱為最小均方(LMS)自適應濾波器LMS自適應濾波器常以隨機梯度形式實現(xiàn)

LMS自適應濾波器有橫向結構和格形結構兩種實現(xiàn)方式本節(jié)先介紹橫向結構隨機梯度法的基本算法和性能

443(1)基本算法自適應線性組合器是構成自適應數(shù)字濾波器的基本單元設線性組合器輸入為p個觀察值x(k)，x(k-1)，

，x(k-p+1)，相應的加權系數(shù)為w0，w1，

，wp-1記觀察矢量X(k)為：

X(k)=[x(k)x(k-1)

，x(k-p+1)]T加權系數(shù)矢量W為：W=[w0

w1

wp-1]T則線性組合器的輸出y(k)為：令d(k)為期望的輸出信號，定義誤差信號e(k)為：

444誤差的平方等于：

兩邊求均值，得到均方誤差為：

定義Rd(0)是期望信號d(k)的均方，RdX為d(k)和觀察矢量X(k)的互相關函數(shù)矢量：RdX=E[d(k)X(k)]，RX為X(k)的自相關函數(shù)矩陣：RX=E[X(k)XT(k)]，則：

結論：均方誤差E[e2(k)]是加權系數(shù)矢量W的二次函數(shù)自相關函數(shù)矩陣RX對稱正定，因此均方誤差是開口向上的p維拋物面，存在唯一的最小值調(diào)節(jié)加權系數(shù)可使均方誤差最小，相當于沿p維拋物面下降至最小值，因此可用梯度法求解該最小值

445對加權系數(shù)矢量W求導數(shù)，得到均方誤差函數(shù)梯度為：

求出最優(yōu)的加權系數(shù)矢量Wopt為：此問題的解是第四章中介紹過的維納濾波器的解最優(yōu)加權系數(shù)矢量Wopt稱為維納加權系數(shù)矢量將Wopt代入令

得到最小均方誤差為：

446準確求解最優(yōu)加權系數(shù)矢量Wopt，需已知先驗的統(tǒng)計知識RdX和RX，且要進行矩陣求逆和相乘運算，計算量很大信號自適應處理問題：在沒有先驗統(tǒng)計知識條件下，隨著每一次新的觀察值x(k+1)的輸入，采用自適應算法逐次更新加權系數(shù)矢量W，使它逐漸接近最優(yōu)值Wopt橫向結構的自適應處理框圖如下

447這種自適應算法的立足點：最優(yōu)化方法中的最速下降法根據(jù)最速下降理論，下一時刻的加權系數(shù)矢量W(k+1)應是現(xiàn)在的加權系數(shù)矢量W(k)加上均方誤差負梯度的比例項：

其中

稱為步長，也稱為收斂因子，是一個控制算法收斂速度和穩(wěn)定性的常數(shù)

要準確計算梯度十分困難，常用隨機梯度法來近似隨機梯度法用由單樣本求得的梯度來代替真實的梯度，即用e2(k)的梯度來近似E[e2(k)]的梯度：

e(k)的梯度為：

448加權系數(shù)矢量W(k+1)的遞推公式為：

輸入新的觀察值x(k+1)，X(k)更新為：X(k+1)=[x(k+1)x(k)

，x(k-p+2)]T重新計算的誤差函數(shù)為：e(k+1)=d(k+1)-y(k+1)=d(k+1)-WT(k+1)X(k+1)根據(jù)遞推式得到更新的加權系數(shù)矢量W(k+2)隨著新的觀察值的不斷加入，不斷遞推，可使加權系數(shù)矢量逐漸逼近于最優(yōu)解Wopt步長

大小不同，自適應的收斂過程也不同

過大，甚至會導致發(fā)散

449(2)算法性能每次的加權系數(shù)矢量是隨機變量，因此在均值意義上討論

k=0時有：

對兩邊取均值：

其中I為單位矩陣

k=1時，由E[W(1)]可推出：

4410不斷重復，迭代至k+1時，有：初始加權系數(shù)矢量是人為設定的，可?。篍[W(0)]=W(0)，因此有：RX是實值的對稱陣，可寫成特征值分解式：

其中

=diag(

1，

2，，

p)是對角陣，對角線上元素是RX的特征值

Q是各特征矢量組成的正交歸一陣，有：Q-1=QTQTQ=14411對于這些矩陣，可以證明存在下列恒等式和關系式：當

所有對角線上的元素均小于1，則有：

4412結論：當?shù)螖?shù)趨于無窮大時，加權系數(shù)矢量的均值收斂于維納解

收斂條件：所有對角線上的元素均小于1設

max是RX的最大特征值，則有：|1-2

max|<1要使迭代收斂，決定收斂速度的步長

應該滿足：算法收斂與否和初始值W(0)無關

4413設

min是RX的最小特征值，則可證明使收斂速度最快的步長

應取為：

max/

min越大，算法的收斂速度越差從算法收斂速度角度看，自相關矩陣RX特征值不宜太分散k

時，E[W(k+1)]收斂于Wopt，但由于W(k+1)是隨機變量，因此均值等于0并不意味著：k

時，W(k+1)

Wopt

W(k+1)與Wopt有偏差，意味著輸出的均方誤差變大，即E[e2(k)]不會收斂到其極小值E[e2(k)]min，而大于E[e2(k)]min將均方誤差的這一增大稱為失調(diào)M，記為：4414若過程是非平穩(wěn)的，則失調(diào)還應加上由于Wopt本身的變化所帶來的影響，此時失調(diào)可表示成：

3

、格形結構的隨機梯度法橫向結構隨機梯度法的優(yōu)點：結構簡單缺點：收斂速度慢為克服這一缺點，可采用格形結構的隨機梯度法濾波器格形結構已在第五章的Burg算法中介紹過，這里格形結構的隨機梯度法采用相同的前向和后向反射系數(shù)設計準則：使均方誤差最小

可證明，當

值較小時，穩(wěn)態(tài)失調(diào)等于：TrRX表示自相關矩陣RX的跡4415

在隨機梯度法的格形結構中，定義第m級的前向殘差fm(n)和后向殘差gm(n)為：

其中K(m)稱為反射系數(shù)，n表示時刻，xn為輸入信號

4416定義前向濾波器的傳遞函數(shù)為：其中p為濾波器階次

定義后向濾波器的傳遞函數(shù)為：4417

m=1時，有：A1(z)=A0(z)+K(1)z-1B0(z)=1+K(1)z-1于是有：A1(z-1)=1+K(1)z此時：B1(z)=K(1)A0(z)+z-1B0(z)=K(1)+z-1=z-1A1(z-1)

m=2時，有：A2(z)=A1(z)+K(2)z-1B1(z)=1+K(1)z-1+K(2)z-1(K(1)+z-1)=1+K(1)z-1+K(2)z-2+K(1)K(2)z-1則有：A2(z-1)=1+K(1)z+K(2)z2+K(1)K(2)z而：B2(z)=K(2)A1(z)+z-1B1(z)=K(2)(1+K(1)z-1)+z-1(K(1)+z-1)=z-2(1+K(1)z+K(2)z2+K(1)K(2)z)=z-2A2(z-1)依次類推，可以得到：

可見：若前向濾波器傳遞函數(shù)Am(z)的零點在單位圓內(nèi)(最小相位條件)，則后向濾波器傳遞函數(shù)Bm(z)的零點便在單位圓外4418將

代入

比較等式兩邊的系數(shù)得：

為使Am(z)是最小相位多項式，濾波器系數(shù)需滿足|am(m)|<1，因此反射系數(shù)滿足|K(m)|<1由于有：Fm(z)=Am(z)X(z)，則時域表達式為：4419定義前向濾波器Am(z)殘差能量為Fm

其中Rx(j)是平穩(wěn)信號xn的自相關函數(shù)

可證明，后向濾波器Bm(z)殘差能量Gm和Fm相等：

可見以下三種情況完全等價：前向濾波器Am(z)殘差能量Fm最小后向濾波器Bm(z)殘差能量Gm最小前、后向濾波器平均殘差能量(Fm+Gm)/2最小4420為確定前向濾波器Am(z)的系數(shù)am(k)，1

k

m，1

m

p，只需使殘差能量Fm最?。?/p>

此時最小殘差能量Fmmin為：m=p時，有：am(0)=1

4421寫成方程：

記：

則有：Rxap=epap=[1ap(1)

ap(p)]T

ep=[Fpmin

0

0]T

從第五章的分析中可知：這仍是線性預測的Yule-Walker方程

4422定義：

定義對角陣P為：

其中L的第m+1(1

m

p)行是后向濾波器Bm(z)的系數(shù)

其中

表示未知的數(shù)據(jù)

4423進一步可得到：(LRLT)T=LRLT=P

另一方面

記：Xp=[xn

xn-1

xn-p]T，gp=[g0(n)g1(n)

gp(n)]T，則有：

LXp=

gp進一步可推導出：由于P為對角陣，上式意味著：

結論：后向殘差gm(k)互相正交，不相關這說明：格形濾波器各級是解耦的，可獨立設計每一級

4424令w(n)為加權函數(shù)：定義誤差函數(shù)Em(k)和加權誤差函數(shù)分別為：

利用加權誤差函數(shù)相對K(m)最小，可求出最優(yōu)反射系數(shù)1981年Makhoul和Cosell推導出最優(yōu)反射系數(shù)為：

其中

是前、后向殘差的加權：0

14425很容易證明：|K(m)(n)|<1這就保證：|am(n)|<1，因此Am(z)滿足最小相位

若定義：

從Cm(n)和Dm(n)定義看，有：

與Burg算法不同點：Burg算法中

=0.5，現(xiàn)在的

是前、后向殘差的加權w(n)的選取原則：對近期的數(shù)值加較大的權，對過去的數(shù)值加較小的權

4426格形隨機梯度法自適應濾波器算法：

(1)時間初始化：對n<0，0

m

p，有fm(n)=gm(n)=0，Cm(n)=0，Dm(n)等于一很小正數(shù)；令n=0

(2)階次初始化：f0(n)=g0(n)=xn

(3)將m從等于0，1，

，到p-1進行遞歸計算：a.計算Cm(n)和Dm(n)：b.計算K(m+1)(n)：c.Burg遞推：d.計算fm+1(n)和gm+1(n)：fm+1(n)=fm(n)+K(m+1)(n)gm(n-1)gm+1(n)=gm(n-1)+K(m+1)(n)fm(n)

(4)取

(5)令n=n+1，若n等于數(shù)據(jù)總長度，則停止；若n小于數(shù)據(jù)總長度，則依次重復步驟(2)、(3)、(4)

這種濾波器的自適應準則仍然是使均方誤差Fm最小，因此也稱為自適應LMS格形濾波器優(yōu)點：收斂速度快，對舍入誤差不敏感44274

、橫向結構的最小二乘法若用一橫向結構濾波器對p個觀察值x(n)=s(n)+n(n)進行處理，其中s(n)為信號，n(n)為噪聲，可得到s(n)的預測值設n時刻橫向濾波器系數(shù)矢量W為：W=[w0

w1

wp-1]T，則有：

其中X(n)=[x(n)x(n-1)

x(n-p+1)]T為觀察矢量若預期的輸出信號為d(n)，則預測的誤差e(n)為：

最小二乘法要選取wk，0

k

p-1，使誤差平方和最小

4428最小二乘法與最小均方的區(qū)別：后者使E[e2(n)]

min，是均值意義下的最小化，而前者是單樣本時間意義上的最小化其中若R(n)非奇異，則有：這就是最小二乘法濾波器的參數(shù)公式

4429當考慮自適應處理情況，最小二乘法可用遞歸估計計算此時上述濾波器系數(shù)矢量W記為W(n)遞歸最小二乘估計(RLS)特點：由上一次濾波器系數(shù)矢量W(n-1)，根據(jù)本次新觀察值x(n)，得出本次系數(shù)矢量W(n)遞歸最小二乘估計中，上次W(n-1)=R-1(n-1)U(n-1)，本次W(n)=R-1(n)U(n)，若找到U(n)和U(n-1)、R(n)和R(n-1)的關系，就可得出W(n)和W(n-1)的遞歸關系式顯然，U(n)=U(n-1)+d(n)X(n)，R(n)=R(n-1)+X(n)XT(n)為便于遞推，需找到R-1(n)和R-1(n-1)的關系式

可證明：若p

p矩陣A是非奇異的，B是p階矢量，則有：令：A-1=R(n-1)，B=

X(n)

4430令：P(n)=R-1(n)

因W(n)=

P(n)U(n)=P(n)[U(n-1)+d(n)X(n)]=P(n)U(n-1)+

d(n)

P(n)

X(n)

W(n)=[P(n-1)-G(n)XT(n)P(n-1)]U(n-1)+d(n)G(n)=W(n-1)+G(n)[d(n)-XT(n)P(n-1)U(n-1)]

因此W(n)和W(n-1)的遞歸式為：

W(n)=W(n-1)+G(n)[d(n)-XT(n)W(n-1)]

4431傳統(tǒng)的RLS自適應算法：

(1)初始化：令W(0)=0，R(0)為單位陣I，則有：P(0)=I(2)n從1，2，

依次加1進行遞推處理：先更新觀察值矢量X(n)計算G(n)：計算W(n)：W(n)=W(n-1)+G(n)[d(n)-XT(n)W(n-1)]

計算P(n)：繼續(xù)遞推直至結束

與LMS自適應算法相比，RLS自適應算法收斂速度快：大約比LMS自適應算法快一個數(shù)量級一般而言，大約經(jīng)過2p次迭代，這種算法就可收斂只要過程各態(tài)歷經(jīng)，n

時，W(n)將收斂于維納解，而不象LMS自適應算法只是W(n)的均值收斂于維納解

RLS自適應算法的優(yōu)點以增大計算量為代價：LMS自適應算法所需的乘法次數(shù)約正比于p，而RLS自適應算法所需的乘法次數(shù)卻正比于p2

4432為適應非平穩(wěn)信號處理需求，可在橫向結構RLS自適應算法中引入遺忘因子

(<1)，此時P(n)和G(n)的公式修改為：4

、格形結構的最小二乘法最小二乘法既可用在橫向結構的濾波器上，也可用在格形結構的濾波器上一般而言，高效的最小二乘法大多以格形結構為基礎將用線性矢量空間概念來推導格形結構最小二乘法的算法

(1)線性矢量空間線性空間：其中各元素(矢量)滿足一定基本規(guī)律，如結合律、交換律、存在零矢量和負矢量、滿足加法性和乘法性等4433n時間的觀察矢量x(n)可表示為：x(n)=[x(1)x(2)

x(n)]T這里不失一般性，令時間的起點為1觀察矢量x(n)可被當作線性矢量空間的一個元素(矢量)下面介紹線性矢量空間的一些基本概念：兩矢量x(n)和

y(n)的內(nèi)積定義為：兩矢量內(nèi)積兩矢量的內(nèi)積是一個標量當兩矢量x(n)和

y(n)的內(nèi)積等于0，則稱這兩個矢量正交：x(n)

y(n)

兩個矩陣X和Y的內(nèi)積定義為：

兩個矩陣的內(nèi)積不再是一個標量，是一個矩陣內(nèi)積的一個重要性能是它的線性性質(zhì)以矩陣的內(nèi)積為例，有：4434一個矢量的范數(shù)是矢量與矢量本身內(nèi)積的開方：

矢量的范數(shù)從幾何上說，一個矢量的范數(shù)相當于這個矢量的長度兩個矢量之間的距離測度稱為Euclidean距離：

兩矢量x(n)和y(n)夾角的余弦為：

兩矢量夾角的余弦子空間子空間是線性空間的一個子集，仍然是一個線性空間若干個矢量張成的子空間是這些矢量及其線性組合的集合所構成的1個矢量所張成的子空間是該矢量所在的直線2個矢量所張成的子空間是這兩個矢量所決定的平面，

，

p個矢量所張成的子空間是這p個矢量所決定的p維空間等等4435矢量和子空間正交是指這個矢量和這個子空間內(nèi)的所有矢量均正交兩個子空間正交是指其中一個子空間內(nèi)的任一矢量和另一個子空間內(nèi)的所有矢量均正交

將由矩陣U的列矢量張成的子空間記為{U}，定義PUy(n)是矢量y(n)在子空間{U}上的投影子空間{U}上的投影矩陣為：U可以是矩陣，也可以是矢量

投影矩陣是一