自適應(yīng)信號(hào)處理(第六章一些改進(jìn)的自適應(yīng)算法)

第六章改進(jìn)的自適應(yīng)LMS算法

6.1LMS牛頓算法6.2歸一化LMS算法6.3變換域LMS算法6.4頻域LMS算法6.5簡(jiǎn)介其它LMS算法自適應(yīng)濾波器6.1LMS牛頓算法

當(dāng)濾波器的輸入信號(hào)為有色隨機(jī)過(guò)程時(shí)，特別是輸入信號(hào)為高度相關(guān)的情況，大多數(shù)自適應(yīng)濾波算法的收斂速度都要下降，對(duì)于典型的LMS算法，此問(wèn)題更加突出。LMS牛頓算法可以很好地解決這個(gè)問(wèn)題。它不僅可以提高收斂速度也不會(huì)太增加計(jì)算復(fù)雜度.

LMS牛頓算法公式推導(dǎo)：自適應(yīng)橫向?yàn)V波器的濾波系數(shù)矢量的二次方函數(shù)所構(gòu)成的均方誤差曲面，可由其均方誤差ξ(n+1)描述濾波特性，（6-1-1）

將(6-1-1)式和相應(yīng)的ξ(n)關(guān)系式相減，可以得到

(6-1-2)

式中，▽(n)=-2P+2Rw(n)是均方誤差MSE曲面上相當(dāng)于濾波系數(shù)w(n)點(diǎn)的梯度矢量。而ξ(n)表示自適應(yīng)濾波系數(shù)w(n)點(diǎn)的均方誤差值。

由于濾波器的均方誤差可以寫成：兩邊分別對(duì)w(n+1)的瞬時(shí)(n+1)值求偏導(dǎo)數(shù)，并令其等于零，經(jīng)整理后，得到

(6-1-3)

這就是牛頓方法迭代計(jì)算公式。在理想情況下，R和▽(n)精確已知，此算法可達(dá)最佳濾波結(jié)果，且在一次簡(jiǎn)單迭代運(yùn)算后就得最佳解，即：

(6-1-4)

實(shí)際應(yīng)用中，僅有效地估計(jì)自相關(guān)矩陣R和梯度矢量，這也適應(yīng)LMS算法的基本思想和原則，所以把和的估計(jì)值用到類似牛頓方法迭代計(jì)算公式中，如下式

(6-1-5)

這里,0<μ<1,應(yīng)用收斂因子μ是為了保證R與▽(n)的噪化估計(jì)也能使算法收斂.

當(dāng)輸入信號(hào)為平穩(wěn)隨機(jī)過(guò)程時(shí)，R的無(wú)偏估計(jì)值等于

(6-1-6)

因?yàn)楣乐档臄?shù)學(xué)期望為因此是無(wú)偏的。當(dāng)然，還有其他相關(guān)矩陣估計(jì)方法，這里不再贅述了.

為了避免求的逆，我們可以利用下列矩陣反演引理公式：

(6-1-7)其中，A和C為非奇異矩陣.如果我們選用,可以導(dǎo)出的計(jì)算公式：(6-1-8)

從每次迭代運(yùn)算所需乘法來(lái)看，上式計(jì)算的運(yùn)算量為O(),低于直計(jì)算的逆的運(yùn)算量O().

如果在式(6-1-5)中用LMS算法來(lái)估計(jì)梯度矢量，則LMS牛頓算法的濾波權(quán)系數(shù)更新公式將如下式：

(6-1-9)

(6-1-10)

初始條件選取為：

δ為小的正數(shù)

(6-1-11)式(6-1-8)~(6-1-11)組成了LMS牛頓算法。

小結(jié)：LMS梯度方向趨向于理想梯度方向，類似地，由相乘所生成的矢量的方向接近于牛頓的方向，所以LMS牛頓算法朝均方誤差曲面最小點(diǎn)方向的路徑收斂。而且算法的收斂特性表明與相關(guān)矩陣R的特征值擴(kuò)張無(wú)關(guān).一種快速LMS牛頓算法

直接計(jì)算式(6-1-9)中的來(lái)實(shí)現(xiàn)LMS牛頓算法。算法的基本思想是用自回歸（AR）模型來(lái)做輸入信號(hào)矢量的建模，即用階為0到M-1的預(yù)測(cè)器的反向預(yù)測(cè)誤差把矢量X(n)換成新矢量，即有

b(n)=Lx(n)(6-1-12)(6-1-13)

式中，L為下三角矩陣，它由預(yù)測(cè)器系數(shù)表示其元素，這里為第i階預(yù)測(cè)器的第j個(gè)系數(shù)，三角矩陣L的形式是

我們可以認(rèn)為，都是互不相關(guān)的，這意味著它們的相關(guān)矩陣是一個(gè)對(duì)角線矩陣，所以求它的逆矩陣比較容易，即

(6-1-14)可得到這是一種快速LMS牛頓算法.6.2歸一化LMS

基本思路：不希望用與估計(jì)輸入信號(hào)矢量有關(guān)的相關(guān)的矩陣來(lái)加快LMS算法的收斂速度，可用變步長(zhǎng)方法來(lái)縮短其自適應(yīng)收斂過(guò)程，變步長(zhǎng)μ(n)的更新公式寫成

(6-2-1)

式中，表示濾波權(quán)矢量迭代更新的調(diào)整量。為了達(dá)到快速收斂的目的，必須合適地選擇變步長(zhǎng)μ(n)的值，一個(gè)可能的策略是盡可能多地減小瞬時(shí)平方誤差，即用瞬時(shí)平方誤差作為均方誤差MSE的簡(jiǎn)單估計(jì)，這也是LMS算法的基本思想。瞬時(shí)平方誤差可以寫成

(6-2-2)

如果濾波權(quán)矢量的變化量,則對(duì)應(yīng)的平方誤差可以由上式得到

(6-2-3)

在此情況下，瞬時(shí)平方誤差的變化量定義為

(6-2-4)

把的關(guān)系式代入式(6-2-4)中，得到

(6-2-5)

這個(gè)步長(zhǎng)值μ(n)導(dǎo)致

出現(xiàn)負(fù)的值，這對(duì)應(yīng)于的最小點(diǎn)，相當(dāng)于平方誤差等于零。(6-2-6)

為了增加收斂速度，合適地選取μ(n)使平方誤差最小化，故將式(6-2-5)

對(duì)變系數(shù)μ(n)求偏導(dǎo)數(shù)，并令其等于零，求得：

為了控制失調(diào)量，考慮到基于瞬時(shí)平方誤差的導(dǎo)數(shù)不等于均方誤差MSE求導(dǎo)數(shù)值，所以以LMS算法的更新迭代公式作如下修正：

(6-2-7)

式中，μ為控制失調(diào)的固定收斂因子，γ參數(shù)是為避免過(guò)小導(dǎo)致步長(zhǎng)值太大而設(shè)置的。通常稱式(6-2-7)為歸一化LMS算法的迭代公式.

為了保證自適應(yīng)濾波器的工作穩(wěn)定，固定收斂因子μ的選取應(yīng)滿足一定的數(shù)值范圍?，F(xiàn)在我們來(lái)討論這個(gè)問(wèn)題。首先考慮到下列關(guān)系：

(6-2-8)

然后對(duì)收斂因子的平均值應(yīng)用更新LMS的方向e(n)x(n)是μ/2tr[R]，最后，將歸一化LMS算法的更新公式與經(jīng)典LMS算法更新公式相比較，可以得到收斂因子μ的上界不等式條件，如下：

0<μ(n)=μ/2tr[R]<1//2tr[R](6-2-9)

或0<μ<2

顯然，由式(6-2-7)與(6-2-9)可構(gòu)成歸一化LMS算法，其中0≤

γ≤1，選擇不同的γ值可以得到不同的算法.當(dāng)γ=0時(shí)，由式(6-2-7)可以寫成

(6-2-10)

這種算法是NLMS算法的泛化形式，其中隨機(jī)梯度估計(jì)是除以輸入信號(hào)矢量元素平方之和。所以步長(zhǎng)變化范圍比較大，可有較好的收斂性能。

在此情況下，算法的歸一化均方誤差NMSE可由式(6-2-10)得到

(6-2-11)

最佳濾波權(quán)矢量可由對(duì)w(n)求偏導(dǎo)數(shù)，并令其等于零，即由式

得到最佳濾波權(quán)系數(shù)：

(6-2-12)

式中，

(6-2-13)

上式可知，自相關(guān)矩陣和互相關(guān)量都含有歸一化因子，在穩(wěn)定狀態(tài)x(n)和d(n)時(shí)，假定自相關(guān)矩陣R’存在可逆性。同時(shí)，由式(6-2-11)可看出，當(dāng)且僅當(dāng)時(shí)，歸一化LMS算法的均方誤差可等于零。這需要對(duì)d(n)用輸入信號(hào)矢量線性組合進(jìn)行精確地建模。此時(shí)，最佳濾波權(quán)矢量變成合宜的線性權(quán)系數(shù)矢量。當(dāng)γ=1時(shí)，NLMS算法更新公式可以寫成

(6-2-14)

由此可得到NLMS算法的特殊形式：

(6-2-15)

或

(6-2-16)

此式表明等效步長(zhǎng)是輸入信號(hào)的非線性變量，它使變步長(zhǎng)由大逐步變小，加速了收斂過(guò)程，計(jì)算量較之LMS算法稍有增加.兩個(gè)改進(jìn)型LMS算法，均屬變步長(zhǎng)的LMS算法:6.2.1時(shí)域正交LMS（TDO-LMS）算法此算法是基于對(duì)平方誤差時(shí)間上的平均，即對(duì)下式取最小值，

(6-2-17)

按上式對(duì)權(quán)系數(shù)矢取偏導(dǎo)數(shù)，并令其為零，得到時(shí)域正交準(zhǔn)則下序列x(n)對(duì)d(n)進(jìn)行線性估計(jì)的最佳權(quán)系數(shù)矢量w0,即：

(6-2-18)

這意味著用時(shí)域正交LMS算法的權(quán)矢量更新運(yùn)算公式，可對(duì)線性估計(jì)的權(quán)矢量作自適應(yīng)調(diào)整，使其趨于最佳。Huffman的TDO-LMS更新公式：m=0,1,2,…n…

(6-2-19)當(dāng)m取足夠大時(shí)，上式可近似寫成

(6-2-20)與上面討論的歸一化LMS算法權(quán)矢量更新公式類似。6.2.2修正LMS（MLMS）算法

MLMS算法是在LMS算法中權(quán)矢量的較正量和梯度估計(jì)之間人為地引入一個(gè)時(shí)延，利用現(xiàn)時(shí)刻的梯度估計(jì)代替前一刻的梯度估計(jì)，即:

(6-2-21)

因?yàn)槭莣(n+1)的函數(shù)，而且可解。式(6-2-21)用瞬時(shí)梯度信息可表示為：

w(n+1)=w(n)+μe(n+1)x(n+1)

(6-2-22)代入式(6-2-22)得：將自適應(yīng)步長(zhǎng)是可變收斂因子，它隨著信號(hào)輸入功率變化可加快收斂速度,從而使用MLMS算法的性能有了很大的改進(jìn)，特別是步長(zhǎng)因子的值較大時(shí)。整理后得：

小結(jié)

歸一化LMS算法，時(shí)域正交LMS算法及修正LMS算法都是以輸入信號(hào)功率控制變步長(zhǎng)的LMS算法，利用梯度信息調(diào)整濾波器權(quán)系數(shù)使其達(dá)到最佳值這一點(diǎn)完全相同。但它們的自適應(yīng)過(guò)程較快，性能有了很大改進(jìn)。6.3變換域LMS算法1、適用條件：當(dāng)輸入信號(hào)具有高度的相關(guān)性時(shí)，采用變換域算法可以增加LMS算法的收斂速度。2、基本思路：先對(duì)輸入信號(hào)進(jìn)行一次正交變換以去其相關(guān)性或衰減其相關(guān)性，然后將變換后的信號(hào)加到自適應(yīng)濾波器實(shí)現(xiàn)濾波處理，從而改善了相關(guān)矩陣的條件數(shù)。酉變換Z-1自適應(yīng)算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉變換酉變換酉變換Z-1自適應(yīng)算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉變換酉變換3、變換域LMS（TRLMS）算法框圖4、TRLMS算法公式推導(dǎo)：

X(n)=Tx(n)

(6-3-1)

其中TTH=I,T*TH=I,T為變換陣，I為單位陣；“*”表示共軛。已知LMS自適應(yīng)濾波器的均方誤差MSE是:

(6-3-2)

式中：△w(n)=w(n)-w0,在變換域情況下，TRLMS算法的均方誤差MSE變?yōu)椋?/p>

(6-3-3)式中，代表變換域自適應(yīng)濾波器的權(quán)系數(shù)矢量。變換域自適應(yīng)濾波器的自相關(guān)矩陣RTR可由式(6-2-3)寫成：

(6-3-4)

如果濾波器中信號(hào)分量之間沒(méi)有相關(guān)性,則矩陣是一對(duì)角線矩陣,此時(shí)變換矩陣的列將含有R的正交特征矢量.

用歸一化LMS算法來(lái)更新變換域算法的系數(shù)。變換后信號(hào)分量Xi(n)用其功率實(shí)現(xiàn)歸一化，權(quán)系數(shù)的更新公式可寫成：其中為控制估計(jì)精度和跟蹤能力的平滑系數(shù)，

式(6-3-5)的矩陣形式表示為：

(6-3-7)式中是一個(gè)對(duì)角線矩陣，其元素是變換后信號(hào)分量功率估值加上常數(shù)γ的逆。當(dāng)μ取的合適時(shí)，TR-LMS的權(quán)系數(shù)收斂到下列最佳：

其是W0為自適應(yīng)濾波器權(quán)系數(shù)的最佳維納解。6.4頻域LMS自適應(yīng)濾波器前面我們學(xué)習(xí)的都是時(shí)域LMS自適應(yīng)濾波器，本節(jié)討論頻域自適應(yīng)濾波器算法。1、基本思路：本算法在自適應(yīng)濾波前把輸入信號(hào)變換到頻域，然后在頻域上實(shí)現(xiàn)自適應(yīng)濾波處理，仍用梯度下降法調(diào)整權(quán)系數(shù)。2、算法優(yōu)點(diǎn)：（1）和時(shí)域相比，處理數(shù)據(jù)量減少。因?yàn)轭l域變換都有快速算法，利用變換相乘代替了卷積運(yùn)算，加快了收斂過(guò)程。（2）與前述經(jīng)典梯度下降法相比，自適應(yīng)過(guò)程的收斂性有所改善。（3）頻域法容易進(jìn)行信號(hào)分塊處理。變換變換計(jì)算誤差時(shí)變?yōu)V波器W(k)逆變換自適應(yīng)算法X(k)Y(k)E(k)D(k)輸入信號(hào)x(n)輸出y(n)期望響應(yīng)d(n)計(jì)算誤差D(k)計(jì)算誤差3、頻域自適應(yīng)濾波器原理框圖

輸入信號(hào)x(n)和期望響應(yīng)d(n)分別形N點(diǎn)數(shù)據(jù)塊，然后做N點(diǎn)快速傅里葉變換(FFT)，每個(gè)FFT變換輸出組成N個(gè)復(fù)數(shù)點(diǎn)X(k)和D(k)，具有權(quán)系數(shù)矢量W(k)輸出為Y(k)，它等于

Y(k)=X(k)W(k)

（6-4-1）4、算法公式推導(dǎo)上式表明時(shí)域內(nèi)卷積等于其變換的乘積。其中第k個(gè)數(shù)據(jù)塊的頻域權(quán)系數(shù)矢量W(k)和輸入信號(hào)FFT系數(shù)的對(duì)角線矩陣X(k)分別定義如下：從圖上可看出，計(jì)算誤差E(k)等于是E(k)=D(k)-Y(k)(