信號(hào)分析與處理 課件 ch07自適應(yīng)濾波

自適應(yīng)濾波“電氣工程、自動(dòng)化專業(yè)系列教材信號(hào)分析與處理第七章01最優(yōu)波形估計(jì)1.最優(yōu)波形估計(jì)概述設(shè)信號(hào)x(k)為n維隨機(jī)列向量，現(xiàn)用m維觀測(cè)序列y(1),y(2),···,y(j)估計(jì)時(shí)刻時(shí)的信號(hào)x(k)，記為其中，8為jxm維向量。1.最優(yōu)波形估計(jì)概述觀測(cè)向量y(1),y(2),···,y(j)通常是隨機(jī)向量它們含有隨機(jī)觀測(cè)誤差，因此信號(hào)估計(jì)量x^(k|j)也是隨機(jī)向量。由于信號(hào)本身是隨時(shí)間變化的，在濾波理論中，稱此類估計(jì)為時(shí)變信號(hào)估計(jì)或波形估計(jì)。波形估計(jì)的實(shí)質(zhì)就是對(duì)隨機(jī)過(guò)程的估計(jì)，因此波形估計(jì)也稱為過(guò)程估計(jì)。1.最優(yōu)波形估計(jì)概述根據(jù)k和j的關(guān)系，波形估計(jì)可以分為以下3類:01當(dāng)k>j時(shí)，稱為預(yù)測(cè)，即用j時(shí)刻及其以前的觀測(cè)數(shù)據(jù)估計(jì)未來(lái)某時(shí)刻K的信號(hào)。02當(dāng)k=j時(shí)，稱為濾波，即用無(wú)時(shí)刻及其以前的觀測(cè)數(shù)據(jù)估計(jì)無(wú)時(shí)刻的信號(hào)。03當(dāng)k<j時(shí)，稱為平滑，即用現(xiàn)在時(shí)刻j及其以前的觀測(cè)數(shù)據(jù)估計(jì)k時(shí)刻的信號(hào)。平滑主要用于對(duì)已獲得觀測(cè)數(shù)據(jù)的事后分析。1.最優(yōu)波形估計(jì)概述在準(zhǔn)則函數(shù)g(·)取不同形式時(shí)，有不同的估計(jì)量x^(k|j)。最優(yōu)估計(jì)就是根據(jù)觀測(cè)數(shù)據(jù)按某種性能準(zhǔn)則確定函數(shù)g(·)，而由此得到的使性能準(zhǔn)則最優(yōu)的估計(jì)量x^(k|j)稱為信號(hào)x(k)的最優(yōu)估計(jì)量。最常用的性能準(zhǔn)則是最小估計(jì)誤差準(zhǔn)則。定義估計(jì)誤差為則估計(jì)誤差均方陣為1.最優(yōu)波形估計(jì)概述因此，式(7-5)實(shí)際上表明:估計(jì)量x^mv(k|j)各分量對(duì)被估計(jì)量x(k)各對(duì)應(yīng)分量的均方誤差之和為最小。這就是最小方差估計(jì)x^mv(k|j)為最優(yōu)的意義。該準(zhǔn)則稱為最小均方差(MinimumMean-SquareError，MMSE)準(zhǔn)則。1.最優(yōu)波形估計(jì)概述設(shè)x(k)和y(j)是聯(lián)合分布的，則即x(k)的最小方差估計(jì)x^mv(k|j)等于觀測(cè)y(j)條件下x(k)的數(shù)學(xué)期望。定理7-11.最優(yōu)波形估計(jì)概述最小方差估計(jì)有以下性質(zhì):定理7-101最小方差估計(jì)是無(wú)偏的，即E{x^mv(k|j)}=Ex(k)，由此可知02由于最小方差估計(jì)是無(wú)偏的，最小方差估計(jì)的估計(jì)誤差均方陣E{x~mv(k)x~Tmv(k)}等于估計(jì)誤差方差陣Var{x~mv(k)}，即1.最優(yōu)波形估計(jì)概述最小方差估計(jì)有以下性質(zhì):定理7-103任何其他估計(jì)的均方誤差陣或任何其他無(wú)偏估計(jì)的方差陣都大于最小方差估計(jì)的誤差方差陣，即最小方差估計(jì)具有最小的估計(jì)誤差方差陣。由于誤差方差陣是無(wú)偏估計(jì)的，也就是估計(jì)誤差的二階距表示誤差分布在零附近的密集程度，因此最小方差估計(jì)是一種最接近真值x(k)的估計(jì)。1.最優(yōu)波形估計(jì)概述設(shè)定理7-11.最優(yōu)波形估計(jì)概述被估計(jì)量x(k)在觀測(cè)y(j)=[yT(1)yT(2)yT(j)]T上的性最小方差估計(jì)元x^L(k|j))滿足以下無(wú)偏正交條件:由定理7-2可知，線性最小方差估計(jì)不僅是無(wú)偏估計(jì)，而且估計(jì)誤差與用于估計(jì)的所有觀測(cè)數(shù)據(jù)正交，這一結(jié)果稱為正交性原理。事實(shí)上，由正交性原理可以進(jìn)一步推出即估計(jì)誤差也正交于最優(yōu)估計(jì)量x^L(k|j)。定理7-21.最優(yōu)波形估計(jì)概述定理7-2正交性原理經(jīng)常作為定理使用，它是線性最優(yōu)估計(jì)理論中的重要定理。此外，正交性原理也為驗(yàn)證線性估計(jì)器是否工作于最優(yōu)狀態(tài)提供了理論依據(jù)。2.投影定理由正交性原理可知，線性最小方差估計(jì)的估計(jì)誤差與用于估計(jì)的所有觀測(cè)數(shù)據(jù)正交。從幾何的角度看，線性最小方差估計(jì)實(shí)際上就是被估計(jì)量在觀測(cè)子空間上的正交投影，圖7-1所示為向量x在線性子空間y上的投影。下面給出投影定理及其證明。在初等幾何中，一個(gè)點(diǎn)到一條直線的最短距離為垂直距離。與此對(duì)應(yīng)，從一個(gè)點(diǎn)到一個(gè)子空間的最短距離是點(diǎn)與子空間正交的距離。如果xεH，而M是向量空間H的有限維子空間，并且X不在子空間M內(nèi)，則最短距離問(wèn)題就是求使向量x-y的長(zhǎng)度最短的y(yεM)。2.投影定理設(shè)y1,y2,···,yn和x是歐幾里得空間中的元素，y是y1,y2,···,yn張成的線性子空間，則必定存在一個(gè)唯一的元素x^εy，使得證明:設(shè)x^是x在y上的正交投影，則定理7-3(投影定理)2.投影定理任取一向量zεy，且則有由式(7-17)和式(7-18)可知，x-x^任一yi(i=1,2,···,n)及它們的任何線性組合都是垂直的定理7-3(投影定理)2.投影定理因而有即式(7-20)表明:||x-x^||2是最小值，只有當(dāng)x-x^時(shí)，式(7-20)才取等號(hào)，即取最小值。定理7-3(投影定理)2.投影定理為了形象說(shuō)明投影定理的幾何意義，圖7-2所示為y是2維線性子空間時(shí)的投影定理示意圖。在圖中，x^表示x在y上的正交投影，z表示x在y上的任意非正交投影，則有x^,z,z-x^εy，x^=x-x^為正交投影誤差，且x-z>x^。其中，x^是各種投影誤差的最小值，只有在z=x^時(shí)，該式取等號(hào)，說(shuō)明正交投影是唯一的。定理7-3(投影定理)3.線性最優(yōu)濾波線性離散濾波器是一類應(yīng)用廣泛的濾波器。從應(yīng)用的角度出發(fā)，線性濾波器的數(shù)學(xué)分析和處理比較容易，而離散時(shí)間濾波器便于數(shù)字化實(shí)現(xiàn)。圖7-3所示為線性離散時(shí)間濾波器的原理框圖。濾波器的輸入序列為u(0),u(1),u(2)，···，濾波器的沖激響應(yīng)為w0,w1,w2,···。令y(k)代表濾波器在離散時(shí)刻k時(shí)的輸出，希望它是期望響應(yīng)d(k)的估計(jì)量。估計(jì)誤差的定義為期望響應(yīng)d(k)與濾波器輸出y(k)的差，即e(k)=d(k)-y(k)。對(duì)波器的要求是使估計(jì)誤差在某種統(tǒng)計(jì)意義下盡可能小。3.線性最優(yōu)濾波根據(jù)沖激響應(yīng)是有限長(zhǎng)的還是無(wú)限長(zhǎng)的，線性離散時(shí)間濾波器可以分為有限沖激響應(yīng)(FIR)濾波器和無(wú)限沖激響應(yīng)(ⅡR)濾波器，F(xiàn)濾波器是實(shí)際使用最為廣泛的線性濾波器。圖74所示為FIR濾波器的示意圖，F(xiàn)R濾波器有時(shí)也稱為線性橫向?yàn)V波器(LiearTransversalFilter)。估計(jì)誤差在某種統(tǒng)計(jì)意義下盡可能小的濾波器稱為這一統(tǒng)計(jì)意義下的最優(yōu)濾波器。采用最小均方差準(zhǔn)則的線性濾波器稱為線性最小均方差濾波器，常用的Wiener濾波器和Kalman濾波器都是線性最小均方差濾波器。3.線性最優(yōu)濾波線性離散時(shí)間濾波器的最優(yōu)設(shè)計(jì)問(wèn)題可以表述如下:給定輸入序列u(0),u(1),u(2)，···，設(shè)計(jì)一個(gè)線性離散時(shí)間濾波器，其輸出y(k)為期望響應(yīng)d(k)的一個(gè)估計(jì)量，并且使其估計(jì)誤差e(k)=d(k)-(k)的均方誤差E{|e(k)|2}為最小。當(dāng)輸入信號(hào)、期望響應(yīng)及濾波器系數(shù)均在實(shí)數(shù)域內(nèi)時(shí)，均方誤差E{|e(k)|2}=E{e2(k)}。如沒有特別指明，本章以下內(nèi)容均在實(shí)數(shù)域內(nèi)討論。02Wiener(維納)濾波1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程設(shè)接收信號(hào)x(k)由原始信號(hào)s(k)與一加性干擾v(k)的和構(gòu)成，即為了從x(k)中提取或恢復(fù)原始信號(hào)s(k)，需要設(shè)計(jì)一種濾波器，用于對(duì)x(k)進(jìn)行濾波，使其輸出y(k)在某一準(zhǔn)則下為s(k)的最優(yōu)估計(jì)量s^(k)。Wiener濾波器是一個(gè)線性時(shí)不變系統(tǒng)，設(shè)其沖激響應(yīng)為w(k)，輸入為x(k)=s(k)+v(k),輸出為y(k)=s^(k)，則有其中，沖激響應(yīng)w(i)按照最小均方差準(zhǔn)則確定，即1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程式中，e(k)為估計(jì)誤差，其定義式為式(7-21)中沒有指定的取值范圍，這是為了使該式適用于FIR、因果ⅡR和非因果ⅡR等不同情況。為了按式(7-23)所示的最小均方差準(zhǔn)則來(lái)確定Wiener濾波的沖激響應(yīng)，令J(k)對(duì)w(j)的導(dǎo)數(shù)等于零，即由此得到1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程式(7-26)稱為正交方程，它表明任何時(shí)刻的估計(jì)誤差都與用于估計(jì)的所有數(shù)據(jù)正交(參見7.1.1節(jié)的正交性原理)。將式(7-24)和式(7-21)代入正交方程(7-26)，得式中，Rsx(m)為s(k)與x(k)的相關(guān)函數(shù);Rx(m)為x(k)的自相關(guān)函數(shù)。二者的定義式分別為式(7-27)稱為Wiener濾波器的標(biāo)準(zhǔn)方程或Wiener-Hopf方程。如果已知Rsx(m))和Rx(m)，則可以通過(guò)求解此方程獲得Wiener濾波器的沖激響應(yīng)。1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程根據(jù)式(7-27)中的取值范圍，可以將Wiener濾波器分為以下3種情況:01FIRWiener濾波器，i從0到N-1取有限個(gè)整數(shù)值。02因果IIRWiener濾波器，i從0到+∞取無(wú)限個(gè)整數(shù)值。03非因果IIRWiener濾波器，i從-∞到+∞取所有整數(shù)值。Wiener濾波器可以用于信號(hào)的預(yù)測(cè)、濾波和平滑。2.FIRWiener(維納)濾波器Wiener濾波器的設(shè)計(jì)和計(jì)算可以歸結(jié)為根據(jù)已知的Rsx(m)和Rx(m)求解Wiener-Hopf方程，以得到?jīng)_激響應(yīng)或傳輸函數(shù)。需要指出的是，Wiener-Hopf方程的求解并不容易，但如果采用FIR濾波器獲取期望響應(yīng)的估計(jì)量，Wiener-Hopf方程的求解將大大簡(jiǎn)化，由此獲得的最優(yōu)濾波器稱為FIRWiener濾波器。設(shè)濾波器沖激響應(yīng)序列的長(zhǎng)度為N，沖激響應(yīng)向量為濾波器的輸入向量為則濾波器的輸出為2.FIRWiener(維納)濾波器由上可見，式(7-27)所示的Wiener-Hopf方程可以表示為其中，N維列向量是s(k)與x(k)的互相關(guān)函數(shù);N階方陣R是x(k)的自相關(guān)函數(shù)，即利用矩陣求逆的方法直接求解式(7-33)，可得wopt就是FIRWiener濾波器的沖激響應(yīng)Wiener濾波器的輸出s^(k)就是信號(hào)s(k)在輸入數(shù)據(jù)子空間上的正交投影，它是信號(hào)的最優(yōu)估計(jì)量。03Kalman(卡爾曼)濾波1.狀態(tài)估計(jì)與Kalman(卡爾曼)濾波20世紀(jì)60年代，Kalman等人提出了著名的Kaman濾波算法。Kalman濾波實(shí)際上是種數(shù)據(jù)處理的遞推算法，它克服了Wiener濾波需要所有歷史數(shù)據(jù)和求解困難的缺點(diǎn)，只需處理每一時(shí)刻獲得的最新觀測(cè)值，以遞推方式得到當(dāng)前時(shí)刻的信號(hào)估計(jì)量。Kalman濾波不僅可以應(yīng)用于平穩(wěn)過(guò)程，而且可以推廣到非平穩(wěn)過(guò)程，為隨機(jī)信號(hào)濾波的發(fā)展做出了重大貢獻(xiàn)，并得到了廣泛應(yīng)用。1.狀態(tài)估計(jì)與Kalman(卡爾曼)濾波Kalman濾波主要針對(duì)以下線性時(shí)變隨機(jī)系統(tǒng):1.狀態(tài)估計(jì)與Kalman(卡爾曼)濾波其中，Q(k)為對(duì)稱非負(fù)定矩陣;R(k)為對(duì)稱正定矩陣;δkj為克羅內(nèi)克(Kronecker)δ函數(shù)即初始狀態(tài)x(0)為隨機(jī)向量，且與w(k)和v(k)統(tǒng)計(jì)獨(dú)立:1.狀態(tài)估計(jì)與Kalman(卡爾曼)濾波Kalman濾波的基本思想:利用觀測(cè)數(shù)據(jù)對(duì)狀態(tài)變量的預(yù)測(cè)估計(jì)量進(jìn)行修正，以得到狀態(tài)變量的最優(yōu)估計(jì)量，即最優(yōu)估計(jì)量=預(yù)測(cè)估計(jì)量+修正量這里采用的最優(yōu)估計(jì)量是在最小方差準(zhǔn)則下得到的。2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程為了根據(jù)k時(shí)刻及其以前的觀測(cè)數(shù)據(jù)y(k)={y(1),y(2),···,y(k)}求得k時(shí)刻狀態(tài)x(k)的最優(yōu)線性估計(jì)量x^(k|k)，先研究狀態(tài)的一步預(yù)測(cè)估計(jì)量x^(k|k-1)。為此，假定根據(jù)觀測(cè)序列y(k-1)={y(1),y(2),···,y(k-1)}已求得了k-1時(shí)刻狀態(tài)x(k-1)的最優(yōu)濾波估計(jì)量x^(k-1|k-1)，在沒有獲得新的(k時(shí)刻的)觀測(cè)數(shù)據(jù)y(k)時(shí)，可以先根據(jù)已有觀測(cè)數(shù)據(jù)y(k-1)對(duì)k時(shí)刻狀態(tài)進(jìn)行預(yù)測(cè)估計(jì)，即求估計(jì)量x^(k|k-1)。下面推導(dǎo)x^(k|k-1)與已知的k-1時(shí)刻狀態(tài)的濾波估計(jì)量x^(k-1|k-1)之間的關(guān)系。2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程狀態(tài)的線性最小方差估計(jì)，按投影定理解釋，就是該狀態(tài)向量在線性觀測(cè)空間y上的正交投影。再根據(jù)投影定理中投影的線性運(yùn)算性質(zhì)，即知狀態(tài)估計(jì)也服從式(7-37)，對(duì)于預(yù)測(cè)估計(jì)量x^(k|k-1)，則有2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。根據(jù)式(7-52)和式(7-38)，濾波估計(jì)誤差為為使估計(jì)誤差達(dá)到最小，根據(jù)正交投影定理，x~(k|k)應(yīng)與y(k)正交，即有2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。把式(7-53)和式(7-38)代入式(7-54)，并考慮到x~(k|k)、x^(k|k)與v(k)的正交性，則有或2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。若令預(yù)測(cè)估計(jì)誤差的方差則根據(jù)式(7-55)和式(7-42)，濾波估計(jì)誤差達(dá)到最小的增益矩陣為2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差根據(jù)式(7-56)和式(7-53)，濾波估計(jì)誤差的方差為式中，預(yù)測(cè)估計(jì)誤差的方差2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差根據(jù)式(7-56)和式(7-53)，濾波估計(jì)誤差的方差為式中，預(yù)測(cè)估計(jì)誤差的方差而2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差考慮到x~(k-1|k-1)和w(k-1)具有正交性，可以得到若再對(duì)式(7-58)進(jìn)行簡(jiǎn)單的推導(dǎo)，P(k|k)還可寫成根據(jù)式(7-60)和式(7-57)，濾波增益的另一種表達(dá)式為2.Kalman(卡爾曼)濾波遞推算法綜上，離散Kalman濾波遞推算法可以歸納為表7-1。03濾波估計(jì)誤差的方差2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差在應(yīng)用上述Kalman濾波遞推公式進(jìn)行計(jì)算時(shí)，先要確定初始條件x^(0|0)和P(0|0)，然后隨著觀測(cè)數(shù)據(jù)的不斷到來(lái),依次按照x^(k|k-1)→P(k|k-1)→K(k)→x^(k|k)→P(k|k)的順序逐步遞推、求解狀態(tài)估計(jì)量x^(k|k)。2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差對(duì)上述Kalman濾波的說(shuō)明如下:01Kalman濾波算法以“預(yù)測(cè)一新觀測(cè)數(shù)據(jù)-校正”的方式遞推進(jìn)行，它不需要存儲(chǔ)任何歷史觀測(cè)數(shù)據(jù)，所以便于實(shí)時(shí)計(jì)算。02增益陣序列{K(k)}和誤差方差陣序列{P(k|k)}及{P(k|k-1)}等與觀測(cè)數(shù)據(jù)無(wú)關(guān)所以可將它們事先計(jì)算好并存儲(chǔ)起來(lái)，以進(jìn)一步加快實(shí)時(shí)計(jì)算速度。03由{P(k|k)}和{P(k|k-1)}可以獲知濾波性能的相關(guān)信息。2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差對(duì)上述Kalman濾波的說(shuō)明如下:04誤差方差陣與Q(k)、R(k)緊密相關(guān)，對(duì)于不同的Q(k)和R(k)，方差隨時(shí)間的傳播特性就不一樣。增大過(guò)程噪聲強(qiáng)度Q(k)或增加狀態(tài)方程中的不確定性因素，R(k|k-1)增大,但K(k)也隨之增大；這說(shuō)明，當(dāng)系統(tǒng)的不確定提高、一步預(yù)測(cè)估計(jì)的可信性下降時(shí)，Kalman濾波器能根據(jù)新的觀測(cè)數(shù)據(jù)加強(qiáng)對(duì)原估計(jì)量的校正，從而保證濾波估計(jì)量x^(k|k)與x(k)的接近度。當(dāng)R(k)較大時(shí)，說(shuō)明觀測(cè)誤差較大，觀測(cè)數(shù)據(jù)不可靠，校正應(yīng)減弱。由式(7-57)可知，當(dāng)R(k)增大時(shí)，K(k)的確是下降的。2.Kalman(卡爾曼)濾波遞推算法03濾波估計(jì)誤差的方差對(duì)上述Kalman濾波的說(shuō)明如下:05Kalman濾波估計(jì)是無(wú)偏估計(jì)?？梢宰C明:只要初始估計(jì)準(zhǔn)確，即初始估計(jì)滿足則式(7-62)對(duì)一切k成立。即濾波估計(jì)和預(yù)測(cè)估計(jì)都是無(wú)偏的。06新息序列{y~(k|k-1)}是一個(gè)零均值白噪聲序列。04自適應(yīng)濾波器的原理1.自適應(yīng)濾波器的基本概念一般來(lái)講，自適應(yīng)濾波器包括三個(gè)基本模塊:可調(diào)濾波器、性能評(píng)價(jià)和自適應(yīng)算法圖7-7所示為自適應(yīng)濾波器的原理圖?？烧{(diào)濾波器模塊通過(guò)對(duì)輸入信號(hào)進(jìn)行濾波，形成輸出信號(hào)。在實(shí)際使用中，可調(diào)濾波器模塊可以采用FIR濾波器或IR濾波器等來(lái)實(shí)現(xiàn)。通?？烧{(diào)濾波器模塊的結(jié)構(gòu)是預(yù)先確定的，但其參數(shù)是可以調(diào)整的。性能評(píng)價(jià)模塊采用某一性能準(zhǔn)則對(duì)濾波器的性能進(jìn)行評(píng)估，以確定是否與特定要求相符合。從應(yīng)用的角度出發(fā)，性能準(zhǔn)則不僅要反映濾波器的實(shí)際性能，還要便于數(shù)學(xué)處理和有利于實(shí)際系統(tǒng)的設(shè)計(jì)。自適應(yīng)算法根據(jù)性能評(píng)價(jià)結(jié)果、濾波器輸入和期望響應(yīng)等信息來(lái)確定如何修改濾波器參數(shù)，以改善濾波器的性能。1.自適應(yīng)濾波器的基本概念期望響應(yīng)對(duì)于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無(wú)監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時(shí)刻的期望響應(yīng)，從而可以計(jì)算期望響應(yīng)和實(shí)際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對(duì)有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡(jiǎn)化為圖7-8，即輸入信號(hào)x(k)在通過(guò)可調(diào)濾波器后產(chǎn)生輸出信號(hào))，對(duì)y(k)與期望響應(yīng)信號(hào)y(k)進(jìn)行比較，形成估計(jì)誤差e(k)，采用某種自適應(yīng)算法，對(duì)濾波器系數(shù)進(jìn)行調(diào)整，最終使估計(jì)誤差最小。期望響應(yīng)對(duì)于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無(wú)監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時(shí)刻的期望響應(yīng)，從而可以計(jì)算期望響應(yīng)和實(shí)際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對(duì)有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡(jiǎn)化為圖7-8，即輸入信號(hào)x(k)在通過(guò)可調(diào)濾波器后產(chǎn)生輸出信號(hào))，對(duì)y(k)與期望響應(yīng)信號(hào)y(k)進(jìn)行比較，形成估計(jì)誤差e(k)，采用某種自適應(yīng)算法，對(duì)濾波器系數(shù)進(jìn)行調(diào)整，最終使估計(jì)誤差最小。1.自適應(yīng)濾波器的基本概念在無(wú)監(jiān)督自適應(yīng)中，由于期望響應(yīng)不可知自適應(yīng)濾波器無(wú)法準(zhǔn)確計(jì)算出誤差，也無(wú)法根據(jù)所得誤差來(lái)改進(jìn)性能，因而無(wú)監(jiān)督型自適應(yīng)濾波器需要額外的信息來(lái)彌補(bǔ)期望響應(yīng)不可知所帶來(lái)的問(wèn)題。這些額外信息的形式取決于特定應(yīng)用，并且會(huì)對(duì)自適應(yīng)算法的性能和設(shè)計(jì)帶來(lái)很大的影響。本章只討論監(jiān)督型自適應(yīng)濾波器。1.自適應(yīng)濾波器的基本概念期望響應(yīng)對(duì)于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無(wú)監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時(shí)刻的期望響應(yīng)，從而可以計(jì)算期望響應(yīng)和實(shí)際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對(duì)有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡(jiǎn)化為圖7-8，即輸入信號(hào)x(k)在通過(guò)可調(diào)濾波器后產(chǎn)生輸出信號(hào))，對(duì)y(k)與期望響應(yīng)信號(hào)y(k)進(jìn)行比較，形成估計(jì)誤差e(k)，采用某種自適應(yīng)算法，對(duì)濾波器系數(shù)進(jìn)行調(diào)整，最終使估計(jì)誤差最小。對(duì)于自適應(yīng)濾波器，F(xiàn)IR濾波器和IR濾波器兩種形式都可以考慮，但FIR濾波器是實(shí)際應(yīng)用最廣泛的濾波器。原因很簡(jiǎn)單，F(xiàn)IR濾波器僅有可調(diào)零點(diǎn)，因此它沒有IR濾波器因?yàn)榧嬗锌烧{(diào)極點(diǎn)和零點(diǎn)而帶來(lái)的穩(wěn)定性問(wèn)題。然而，我們不能由此斷定自適應(yīng)FIR濾波器總是穩(wěn)定的。事實(shí)上，自適應(yīng)濾波器的穩(wěn)定性不僅取決于濾波器結(jié)構(gòu)本身，還取決于調(diào)整其系數(shù)的自適應(yīng)算法。圖7-9所示為自適應(yīng)FIR濾波器(線性橫向?yàn)V波器)的原理圖。2.均方誤差與下降算法期望響應(yīng)對(duì)于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無(wú)監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時(shí)刻的期望響應(yīng)，從而可以計(jì)算期望響應(yīng)和實(shí)際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對(duì)有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡(jiǎn)化為圖7-8，即輸入信號(hào)x(k)在通過(guò)可調(diào)濾波器后產(chǎn)生輸出信號(hào))，對(duì)y(k)與期望響應(yīng)信號(hào)y(k)進(jìn)行比較，形成估計(jì)誤差e(k)，采用某種自適應(yīng)算法，對(duì)濾波器系數(shù)進(jìn)行調(diào)整，最終使估計(jì)誤差最小。自適應(yīng)濾波器設(shè)計(jì)最常用的準(zhǔn)則仍然是使濾波器實(shí)際輸出與期望響應(yīng)之間的均方誤差最小化的最小均方差準(zhǔn)則?？紤]圖7-9所示的自適應(yīng)FIR濾波器，其輸入向量為加權(quán)向量(濾波器參數(shù)向量)為濾波器的輸出為則濾波器在飛時(shí)刻的估計(jì)誤差為2.均方誤差與下降算法定義均方誤差為準(zhǔn)則函數(shù)。由式(7-25)可知，準(zhǔn)則函數(shù)J(K)相對(duì)于濾波器參數(shù)向量w的梯度為定義梯度向量為2.均方誤差與下降算法根據(jù)式(7-68)，式(7-69)可以進(jìn)一步表示為如下向量形式:或式中最常用的自適應(yīng)算法形式為下降算法，下降算法采用迭代方式計(jì)算權(quán)向量:式中，w(k+1)和w(k)分別為k+1時(shí)刻和時(shí)刻的權(quán)向量;μ(k)為k時(shí)刻的更新步長(zhǎng);v(k)為k時(shí)刻的更新方向向量。2.均方誤差與下降算法下降算法式(7-73)有兩種主要實(shí)現(xiàn)方式:自適應(yīng)梯度算法和自適應(yīng)Newton(牛頓)算法。自適應(yīng)梯度算法包括最小均方(LeastMeanSquare，LMS)類算法，自適應(yīng)Newton算法則包括遞推最小二乘(RecursiveLeastSquares，RLS)算法及其各種變形和改進(jìn)算法。下面將介紹LMS算法和RLS算法。05最小均方(LMS)自適應(yīng)算法1.最速下降與最小均方(LMS)算法最常用的下降算法為梯度下降法，也稱為最速下降算法。在最速下降算法中，k時(shí)刻的更新方向向量v(k)取時(shí)刻的準(zhǔn)則函數(shù)J(K)的負(fù)梯度，即最速下降算法的統(tǒng)一形式為系數(shù)1/2的引入是為了數(shù)學(xué)上處理方便。將式(7-71)代入式(7-75)，可以得到權(quán)向量的更新方式:1.最速下降與最小均方(LMS)算法對(duì)上述更新方式進(jìn)行以下幾點(diǎn)說(shuō)明:01r-Rw(k)為誤差向量，由它確定權(quán)向量的更新方向。02參數(shù)μ(k)為時(shí)刻的更新步長(zhǎng)，由該參數(shù)決定更新算法的收斂速度。03若自適應(yīng)算法趨于收斂，則r-Rw(k)→0(當(dāng)k→∞時(shí))，即有也就是說(shuō)，權(quán)向量收斂于式(7-36)所指的Wiener濾波器。1.最速下降與最小均方(LMS)算法由上可知，如果可以精確獲得每一時(shí)刻k的梯度向量▽VJ(k)，而且步長(zhǎng)參數(shù)選擇合適，則由最速下降算法獲得的權(quán)向量將會(huì)收斂于最優(yōu)的Wiener解。但當(dāng)算法運(yùn)行于未知環(huán)境時(shí)，不可能獲得梯度向量的精確值，此時(shí)只能根據(jù)觀測(cè)數(shù)據(jù)，對(duì)梯度向量進(jìn)行估計(jì)。為了推導(dǎo)梯度向量▽VJ(k)的估計(jì)方法，最明顯的策略是利用式(7-70)，將數(shù)學(xué)期望項(xiàng)E{u(k)d(k)}和E{u(k)uT(k)}分別用它們各自的瞬時(shí)值u(k)d(k)和u(k)uT(k)代替，以得到真實(shí)梯度向量的估計(jì)量1.最速下降與最小均方(LMS)算法即瞬時(shí)梯度向量是對(duì)真實(shí)梯度向量的無(wú)偏估計(jì)。1.最速下降與最小均方(LMS)算法式(7-80)就是著名的最小均方(LMS)算法它是Widrow和Hof于20世紀(jì)60年代初提出的。為了便于理解和分析LMS算法，將式(7-80)進(jìn)一步表示為以下3個(gè)基本公式:01濾波輸出公式:02估計(jì)誤差公式:03權(quán)向量自適應(yīng)公式:1.最速下降與最小均方(LMS)算法在上述LMS算法中，由步長(zhǎng)參數(shù)從μ控制該算法達(dá)到最優(yōu)解的收斂速度。μ的取值大，則收斂速度較快。然而，如果μ的取值太大，算法會(huì)變得不穩(wěn)定，為了保證穩(wěn)定，μ的取值通常按照式(7-84)選擇式中，N為濾波器的長(zhǎng)度;Pin為濾波器抽頭輸入信號(hào)的功率，Pin可以根據(jù)輸入信號(hào)的采樣值來(lái)估計(jì)。1.最速下降與最小均方(LMS)算法為了實(shí)現(xiàn)上述LMS算法的遞推計(jì)算，需要初始值w(0)，如果對(duì)于濾波器抽頭權(quán)向量有足夠的先驗(yàn)知識(shí)，可以選擇一個(gè)合適的w(0)，否則可以設(shè)w(0)=0。綜上，自適應(yīng)FIR濾波器的基本LMS算法可以總結(jié)為表7-2。1.最速下降與最小均方(LMS)算法為了使LMS算法的數(shù)字實(shí)現(xiàn)穩(wěn)定,可以采用所謂的泄漏技巧(對(duì)應(yīng)著輸入?yún)?shù)leakage)。與基本LMS算法采用最小均方準(zhǔn)則不同，在泄漏LMS算法中，準(zhǔn)則函數(shù)的表達(dá)式為式中，a為一個(gè)正的控制參數(shù);e2(k)為估計(jì)誤差的平方;wT(k)w(k)為抽頭權(quán)向量w(k)中包含的能量。1.最速下降與最小均方(LMS)算法通過(guò)將上述準(zhǔn)則函數(shù)最小化，可以求得泄漏LMS算法抽頭權(quán)向量的更新方程:式中，a為正數(shù)，且滿足除了式(7-86)中的泄漏因子1-μ(k)a，泄漏LMS算法與基本LMS算法具有相同的數(shù)學(xué)形式。1.最速下降與最小均方(LMS)算法MATLAB(版本7)的濾波器設(shè)計(jì)工具箱提供了LMS算法實(shí)現(xiàn)函數(shù)，其調(diào)用格式為adaptfiltlms函數(shù)參數(shù)說(shuō)明如表7-3所示。2.歸一化最小均方(LMS)算法自適應(yīng)LMS算法簡(jiǎn)單，它既不需要計(jì)算輸入信號(hào)的相關(guān)函數(shù)，也不需要求矩陣的逆，因而得到了廣泛的應(yīng)用。但是，由于LMS算法采用梯度向量的瞬時(shí)估計(jì)，它有大的方差，以致不能獲得最優(yōu)濾波性能。此外，LMS自適應(yīng)濾波器收斂速度較慢。歸一化LMS(NomalizedLMS，NLMS)算法是一種常用的采用變步長(zhǎng)方法加快算法收斂的改進(jìn)LMS算法。2.歸一化最小均方(LMS)算法NLMS算法的權(quán)向量更新迭代公式為2.歸一化最小均方(LMS)算法MATLAB(版本7)的濾波器設(shè)計(jì)工具箱提供了NLMS算法實(shí)現(xiàn)函數(shù)，其調(diào)用格式為adaptfiltnlms函數(shù)參數(shù)說(shuō)明如表7-4所示。3.分塊最小均方(LMS)算法雖然LMS算法簡(jiǎn)單且易于實(shí)現(xiàn)，但是LMS算法針對(duì)一個(gè)樣點(diǎn)就調(diào)整一次濾波器權(quán)值計(jì)算量比較大。為了減小計(jì)算量，同時(shí)提升算法的穩(wěn)定性，在LMS算法的基礎(chǔ)上進(jìn)行改進(jìn)提出了塊處理LMS(BlockLMS，BLMS算法。BLMS算法針對(duì)一個(gè)包含若干樣點(diǎn)的數(shù)據(jù)塊才更新一次濾波器的權(quán)值。3.分塊最小均方(LMS)算法輸入數(shù)據(jù)序列經(jīng)過(guò)串一并變換器，被分成若干長(zhǎng)度為工的數(shù)據(jù)塊，然后將這些數(shù)據(jù)塊-次一塊地送入長(zhǎng)度為M的濾波器中，在收集到每一數(shù)據(jù)塊的輸出后，才進(jìn)行濾波器抽頭權(quán)值的更新。分塊LMS算法中濾波器的自適應(yīng)過(guò)程是逐塊進(jìn)行的，而不是像傳統(tǒng)LMS算法那樣逐個(gè)值進(jìn)行。假設(shè)長(zhǎng)度L的輸入數(shù)據(jù)塊表示為[u(k)u(k+1)..u(k+L-1)]T，可以按照下面的式子更新濾波器權(quán)值:3.分塊最小均方(LMS)算法在塊更新過(guò)程中，步長(zhǎng)參數(shù)被認(rèn)為是保持不變的，即μ(k)=μ(k+1)=···=μ(k+L-1)=μ,那么將上面的式子全部相加，中間的式子左右相消，就可以得出BLMS算法權(quán)值的更新公式為了表示方便，我們將式(7-89)中的變量替換為nL，則得到式(7-90)。06遞推最小二乘(RLS)白適應(yīng)算法1.最小二乘法最小二乘(LeastSquares)法是1795年著名數(shù)學(xué)家高斯(Gauss)為了解決行星軌道參數(shù)估計(jì)問(wèn)題而提出的。高斯認(rèn)為，在根據(jù)觀測(cè)數(shù)據(jù)推斷未知參數(shù)時(shí)，未知參數(shù)最合適的數(shù)值是這樣一個(gè)值，它使各項(xiàng)實(shí)際觀測(cè)值與計(jì)算值之間差值的平方乘以度量其精確度的數(shù)值以后的和最小。最小二乘法是目前應(yīng)用十分廣泛的估計(jì)方法。遞推最小二乘(RecursiveLeastSquares，RLS)算法是一類以最小二乘準(zhǔn)則為依據(jù)的迭代算法。與LMS算法相比，RLS算法收斂速度更快，但運(yùn)算量顯著增加。1.最小二乘法遞推最小二乘(RecursiveLeastSquares，RLS)算法是一類以最小二乘準(zhǔn)則為依據(jù)的迭代算法。與LMS算法相比，RLS算法收斂速度更快，但運(yùn)算量顯著增加?？紤]圖7-9所示的自適應(yīng)FIR濾波器，RLS算法的關(guān)鍵是使誤差二乘方時(shí)間平均最小化具體來(lái)講，就是要對(duì)初始時(shí)刻到當(dāng)前時(shí)刻所有誤差的平方進(jìn)行平均，使其結(jié)果最小化，再按照這一準(zhǔn)則確定自適應(yīng)濾波器的權(quán)向量，即RLS算法的準(zhǔn)則函數(shù)為其中1.最小二乘法式中，d(i)為期望響應(yīng);y(i)為FIR濾波器的輸出響應(yīng)，即對(duì)于跟蹤非平穩(wěn)輸入信號(hào)，常引入一個(gè)指數(shù)加權(quán)因子對(duì)式(7-91)進(jìn)行修正，即式中，指數(shù)加權(quán)因子λ(0<λ<1)稱為遺忘因子，其作用是對(duì)不同時(shí)刻的誤差加不同的權(quán)重，即新數(shù)據(jù)比舊數(shù)據(jù)更重要，舊數(shù)據(jù)的權(quán)值按指數(shù)規(guī)律衰減，越舊的數(shù)據(jù)對(duì)ε(k)的影響越小。1.最小二乘法按照式(7-94)最小化準(zhǔn)則確定最佳權(quán)向量。對(duì)式(7-91)求導(dǎo)，并令其等于零，可得式(7-95)即為最小二乘準(zhǔn)則所對(duì)應(yīng)的正交方程，經(jīng)整理，得到標(biāo)準(zhǔn)方程:根據(jù)式(7-93)，式(7-96)可以表示為1.最小二乘法定義則標(biāo)準(zhǔn)方程可以表示為該方程的解為