自適應(yīng)濾波課件

5.自適應(yīng)濾波5.1預(yù)備知識5.1.1自適應(yīng)濾波原理所謂自適應(yīng)濾波，就是用前一時刻已獲得的濾波器參數(shù)等結(jié)果，自動地調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號和噪聲未知的或隨時間變化的統(tǒng)計特性，從而實(shí)現(xiàn)最優(yōu)濾波。所謂最優(yōu)是以一定的準(zhǔn)則來衡量的，最常用的兩種準(zhǔn)則是最小均方誤差準(zhǔn)則和最小二乘準(zhǔn)則。自適應(yīng)濾波器的主要指標(biāo)是收斂速度、失調(diào)、計算復(fù)雜度、結(jié)構(gòu)模塊化和數(shù)值特征。15.自適應(yīng)濾波5.1預(yù)備知識5.1.1自適應(yīng)濾波原理所謂自5.1.2自適應(yīng)濾波器的組成、分類與結(jié)構(gòu)自適應(yīng)濾波器由數(shù)字結(jié)構(gòu)、自適應(yīng)處理器和自適應(yīng)算法三部分組成。數(shù)字結(jié)構(gòu)是指自適應(yīng)濾波器中各組成部分的聯(lián)系。自適應(yīng)處理器即前面介紹數(shù)字濾波器，所不同的是這里的數(shù)字濾波器是參數(shù)可變的。自適應(yīng)算法是用來控制自適應(yīng)濾波器參數(shù)的變化。自適應(yīng)濾波器分類25.1.2自適應(yīng)濾波器的組成、分類與結(jié)構(gòu)自適應(yīng)濾波器由數(shù)字結(jié)1.按數(shù)字結(jié)構(gòu)分類自適應(yīng)濾波器按其數(shù)字結(jié)構(gòu)可分為開環(huán)自適應(yīng)濾波器和閉環(huán)自適應(yīng)濾波器。自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號參考信號圖5.1開環(huán)自適應(yīng)濾波器31.按數(shù)字結(jié)構(gòu)分類自適應(yīng)濾波器按其數(shù)字結(jié)構(gòu)可分為開環(huán)自適應(yīng)濾自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號期望響應(yīng)誤差∑-+圖5.2閉環(huán)自適應(yīng)濾波器2.按自適應(yīng)處理器分類自適應(yīng)濾波器按其自適應(yīng)處理器可分為非遞歸自適應(yīng)濾波器和遞歸自適應(yīng)濾波器。4自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號期望響應(yīng)誤差∑-+圖53.按自適應(yīng)算法分類自適應(yīng)濾波器按其自適應(yīng)算法可分為LMS(最小均方)自適應(yīng)濾波器和RLS（遞歸最小二乘）自適應(yīng)濾波器等。5.1.3自適應(yīng)濾波應(yīng)用舉例1.自適應(yīng)預(yù)測2.自適應(yīng)干擾對消3.自適應(yīng)系統(tǒng)辨識53.按自適應(yīng)算法分類自適應(yīng)濾波器按其自適應(yīng)算法可分為LMS(5.2維納濾波器濾波定義:

所謂濾波,是指在含噪信號x(k)=s(k)+v(k)

或其矢量信號x(k)=s(k)+v(k)中盡可能排除噪聲v(k)或v(k)干擾，而將有用信號s(k)或s(k)分離或提取出來。若設(shè)計的對x(k)進(jìn)行濾波的濾波器能使其輸出y(k)盡可能逼近s(k)，成為s(k)的最佳估計,這種濾波器稱為最佳濾波器濾波、預(yù)測與平滑

設(shè)基于觀測過程x(k)或矢量觀測過程x(k)，對s(k+α)或s(k+α)作最優(yōu)估計，那么

若α=0，就是濾波問題。

若α>0，就是預(yù)測問題。

若α<0，就是平滑問題。65.2維納濾波器濾波定義:濾波、預(yù)測與平滑6維納濾波

設(shè)信號s(k)或s(k)及觀測過程x(k)或x(k)是廣義平穩(wěn)的,且已知其功率譜或自相關(guān)函數(shù)的知識，則基于觀測過程x(k)

或x(k)，按線性最小均方誤差估計準(zhǔn)則，對信號s(k)或s(k)

所作的最優(yōu)估計稱為維納濾波5.2.1正交性原理與維納-霍甫夫方程考慮如圖所示的一般線性時不變離散時間濾波器。設(shè)該濾波器的輸入x(n)=s(n)+v(n)是混有噪聲的觀測數(shù)據(jù)，其單位沖激響應(yīng)為h(n)，y(n)=是對信號s(n)的最佳估計。

估計誤差e(n)定義為期望響應(yīng)s(n)與濾波器輸出y(n)之差,即。h(n)圖一7維納濾波5.2.1正交性原理與維納-霍甫夫方程考慮如圖設(shè)計濾波器的過程可表述如下：設(shè)計線性離散時間濾波器的單位沖激響應(yīng)h(n),使濾波器輸出y(n),在給定輸入樣本x(0),x(1),…的情況下給出期望響應(yīng)s(n)的估計，并能使估計誤差的均方值為最小根據(jù)圖一，n時刻的濾波器輸出表示為：由于濾波器為物理可實(shí)現(xiàn)的，故h(n)必須是因果序列：又由于實(shí)際中只能得到有限個觀測數(shù)據(jù)，故（1）式可寫成：（1）（2）8根據(jù)圖一，n時刻的濾波器輸出表示為：由于濾波器為物理可實(shí)現(xiàn)的估計的均方誤差為式中為了書寫方便，令hi=h(m),xi=x(n-m),e=e(n),s=s(n),(3)為求出使E[e2]最小的hi，將上式對各hi求偏導(dǎo)數(shù)，并令其等于0，得得及(4)(5)式(4)或式（5）稱為正交方程9估計的均方誤差為式中為了書寫方便，令hi=h(m),xi=正交性原理及推論：1）正交性原理：要使估計的均方誤差最小，濾波系數(shù){hi}的選擇應(yīng)使估計誤差e與所有的觀測值xi正交，其中i=0,1,2….N-1。2）正交性原理的推論：要使估計的均方誤差最小，濾波系數(shù){hi}的選擇應(yīng)使估計誤差e與估計值正交，其中i=0,1,2….N-1。即(6)式(6)稱為維納-霍甫夫方程，它反映了相關(guān)函數(shù)與最佳單位脈沖響應(yīng)之間的關(guān)系。將i=0,1,2,…N-1分別代入（6）得N個方程組成的線性方程組，寫成矩陣形式10正交性原理及推論：即(6)式(6)稱為維納-霍甫夫方程，它反式中Rxx稱為x(n)的自相關(guān)陣,Rsx稱為s(n)與x(n)的互相關(guān)向量。(7)11式中Rxx稱為x(n)的自相關(guān)陣,Rsx稱為s(n)與x(由式(7)可解出最佳單位脈沖響應(yīng)為5.2.2維納-霍甫夫方程求解維納-霍甫夫方程的解就是維納濾波器的系數(shù)，也即FIR數(shù)字濾波器的單位脈沖響應(yīng)h(n)，此時維納濾波器的輸出是信號的最佳估計。相應(yīng)地，最佳的單位脈沖響應(yīng)叫做維納解。設(shè)計維納濾波器可以歸結(jié)為求維納解，也就是解維納-霍甫夫方程。下面介紹一種求維納解的方法，搜索法。首先將前面提到的單位脈沖序列h(n)表示為權(quán)系數(shù)w0,w1,…wN-1,由權(quán)系數(shù)組成的向量稱為權(quán)向量。則n時刻權(quán)向量表示為12由式(7)可解出最佳單位脈沖響應(yīng)為5.2.2維納-霍甫夫方n時刻及以前的數(shù)據(jù)組成的向量叫信號向量，表示為n時刻希望得到的輸出叫期望響應(yīng)，用d(n)表示，定義均方誤差性能函數(shù)為根據(jù)前面的分析，得對濾波器的輸出即期望響應(yīng)d(n)的估計為均方誤差性能函數(shù)表達(dá)式為13n時刻及以前的數(shù)據(jù)組成的向量叫信號向量，表示為n時刻希望得到上式P為互相關(guān)函數(shù)組成的N維列向量（8）（9）14上式P為互相關(guān)函數(shù)組成的N維列向量（8）（9）14令R為數(shù)據(jù)的自相關(guān)函數(shù)組成的N×N維矩陣（10）15令R為數(shù)據(jù)的自相關(guān)函數(shù)組成的N×N維矩陣（10）15將（9）式、（10）式代入（8）式可得均方誤差性能函數(shù)為：單權(quán)重情況:拋物線性能曲面16將（9）式、（10）式代入（8）式可得均方誤差性能函數(shù)為：單兩個權(quán)系數(shù):拋物面17兩個權(quán)系數(shù):拋物面17

個權(quán)系數(shù):一個維空間內(nèi)的超拋物面

“碗底”點(diǎn)對應(yīng)于均方誤差最小點(diǎn)，也就是最優(yōu)權(quán)系數(shù)矢量所在的點(diǎn)。對于一個二次性能方程，存在唯一全局最優(yōu)權(quán)矢量，沒有局部最優(yōu)點(diǎn)存在.將碗底所對應(yīng)的權(quán)向量表示為上式即為搜索目標(biāo)，即實(shí)現(xiàn)最優(yōu)濾波時的權(quán)系數(shù)。18個權(quán)系數(shù):一個維空間內(nèi)梯度法

很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)到最小均方誤差的權(quán)矢量。均方誤差性能曲面的梯度定義為：最優(yōu)權(quán)重矢量處梯度為零：19梯度法很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)最小均方誤差：與維納濾波器的最小均方誤差比較:20最小均方誤差：與維納濾波器的最小均方誤差比較:205.2.3誤差性能曲面的幾何性質(zhì)誤差性能函數(shù)將誤差性能函數(shù)改寫為如果令ε(w)為某固定值，在二維情況下，*式就是橢圓方程。該橢圓方程也叫等高線方程。圖1給出了不同均方誤差的橢圓曲線圖。*215.2.3誤差性能曲面的幾何性質(zhì)誤差性能函數(shù)將誤差性能函數(shù)2222下面以ε(w)=2εmin為例分析等高線的性質(zhì)。將ε(w)=2εmin代入*式得為了便于分析，現(xiàn)將等高線方程標(biāo)準(zhǔn)化，即通過坐標(biāo)系的平移、旋轉(zhuǎn)使等高線方程標(biāo)準(zhǔn)的橢圓方程。1）首先進(jìn)行坐標(biāo)系平移通過坐標(biāo)系平移，將原來w坐標(biāo)系的坐標(biāo)原點(diǎn)移至碗底位置成為v坐標(biāo)系，有將代入上式得**23下面以ε(w)=2εmin為例分析等高線的性質(zhì)。將ε(w)將上式代入**式得結(jié)合式得上式即為平移坐標(biāo)系v中的橢圓方程。與標(biāo)準(zhǔn)橢圓方程比較***24將上式代入**式得結(jié)合式得若橢圓方程為標(biāo)準(zhǔn)方程，則R矩陣必須為對角陣。下面通過旋轉(zhuǎn)來實(shí)現(xiàn)。2）進(jìn)行坐標(biāo)系旋轉(zhuǎn)對N階實(shí)對稱陣R存在正交陣Q使得上式中λi

是對角陣Λ的特征值也是稱陣R的特征值。若將上式兩邊同乘Q，有令上式寫為****25得若橢圓方程為標(biāo)準(zhǔn)方程，則R矩陣必須為對角陣。下面通過旋轉(zhuǎn)來即說明Q的各列是R的特征向量，分別對應(yīng)于Λ的對角線的一個元素。26即說明Q的各列是R的特征向量，分別對應(yīng)于Λ的對角線的一個元素將****式兩邊同乘QT=Q-1代入***式得令QTV=V′代入上式，整理得上式即為標(biāo)準(zhǔn)的橢圓方程N(yùn)維的均方誤差函數(shù)在平移坐標(biāo)系、主軸坐標(biāo)系中的表示分別為27將****式兩邊同乘QT=Q-1代入***式得令QTV=V′N維的均方誤差函數(shù)在主軸坐標(biāo)系中的表示式對權(quán)向量v’求導(dǎo)得性能曲面的梯度向量為由上式可得以下兩點(diǎn)結(jié)論：1）當(dāng)搜索點(diǎn)位于某一主軸上時，由于其它主軸上的分量為零，此時梯度向量就處在該軸上，大小為28N維的均方誤差函數(shù)在主軸坐標(biāo)系中的表示式對權(quán)向量v’由上式可均方誤差函數(shù)沿任一主軸的二階導(dǎo)為相應(yīng)特征值的兩倍29均方誤差函數(shù)沿任一主軸的二階導(dǎo)為相應(yīng)特征值的兩倍295.2.4舉例305.2.4舉例30313132323333343435353636373738385.3最速梯度法395.3最速梯度法39本節(jié)介紹最速梯度法求維納解。即沿著負(fù)梯度的方向移動搜索點(diǎn)。5.3.1權(quán)系數(shù)的迭代解

為了深刻理解梯度搜索法的基本概念，首先討論一維的情況。一個權(quán)（單變量）的性能表面是一條拋物線，如圖所示。w0w0(n)w0*w0(n+1)εminε(w0)一維最速下降法示意圖40本節(jié)介紹最速梯度法求維納解。即沿著負(fù)梯度的方向移動搜索點(diǎn)。5w0w0(n)w0*w0(n+1)εminε(w0)一維最速下降法示意圖用w0(n+1)

和w0(n)分別表示經(jīng)過n+1次迭代和n次迭代后w0的值，則一次迭代的調(diào)整量△w0為41w0w0(n)w0*w0(n+1)εminε(w0)一維最速根據(jù)梯度下降法的思路，應(yīng)有逐次迭代直至顯然，若調(diào)整量△w0足夠小，則在w0可展開成泰勒級數(shù)，取一次項(xiàng)，則***有**式和***式得***42根據(jù)梯度下降法的思路，應(yīng)有逐次迭代直至顯然，若調(diào)整量△w0足顯然上式要成立，△w0必須取負(fù)導(dǎo)數(shù)的方向，也即負(fù)梯度的方向，令式中>0稱為步長因子或收斂因子。將上式代入*式及***式得****43顯然上式要成立，△w0必須取負(fù)導(dǎo)數(shù)的方向，也即負(fù)梯度的方向****式即為權(quán)系數(shù)w0的迭代公式。將****式推廣至多維情況，得通用迭代公式式中是ε面上任一點(diǎn)的梯度。顯然，要由上式迭代得維納解w*，必須知道ε面上相應(yīng)點(diǎn)的梯度。因?yàn)闉榱吮阌诜治觯瑢⑸鲜礁膶憺?****44****式即為權(quán)系數(shù)w0的迭代公式。將****式推廣至多維情則上式梯度為將上式代入*****得5.3.2權(quán)系數(shù)的閉式解★下面將★式迭代解化為閉式解設(shè)正交陣Q為實(shí)對稱陣R的特征向量矩陣，則45則上式梯度為將上式代入*****得5.3.2權(quán)系數(shù)的閉式由于Q為正交陣，有QQT=QQ-1=I,所以上式兩邊同乘QT得46由于Q為正交陣，有QQT=QQ-1=I,所以上式兩邊同乘QT令w’(n)=QTw(n),則上式進(jìn)一步寫成在旋轉(zhuǎn)坐標(biāo)系中的最優(yōu)解將上式表示成展開形式47令w’(n)=QTw(n),則上式進(jìn)一步寫成在旋轉(zhuǎn)坐標(biāo)系中的上式為旋轉(zhuǎn)坐標(biāo)系中最優(yōu)權(quán)的表達(dá)式。48上式為旋轉(zhuǎn)坐標(biāo)系中最優(yōu)權(quán)的表達(dá)式。48將式表示成展開形式下面推導(dǎo)權(quán)系數(shù)的閉式解由上式，令n=0，得49將式表示成展開形式下面推導(dǎo)權(quán)系數(shù)的閉式解49令n=1，得令則上式寫為上式即為權(quán)系數(shù)的閉式解表達(dá)式50令n=1，得令5.3.3最速梯度法的收斂條件由于經(jīng)過多次迭代后，權(quán)向量將收斂于維納最優(yōu)解，即?？梢宰C明，僅當(dāng)滿足時，上式收斂才能保證。式中，為最大特征值，即為Λ

中的最大對角元素。

經(jīng)驗(yàn)公式515.3.3最速梯度法的收斂條件由于經(jīng)過多次迭代后，權(quán)向量5.3.4權(quán)系數(shù)的收斂規(guī)律平移坐標(biāo)系、主軸坐標(biāo)系中的權(quán)向量分別表示為主軸坐標(biāo)系中任一權(quán)系數(shù)為將及代入上式整理得525.3.4權(quán)系數(shù)的收斂規(guī)律平移坐標(biāo)系、主軸坐標(biāo)系中的權(quán)向穩(wěn)定條件:上式也是主軸坐標(biāo)系中的最優(yōu)解。收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長的選擇在主軸系統(tǒng)中參數(shù)沿著各個參數(shù)坐標(biāo)軸獨(dú)立收斂。各個坐標(biāo)軸的收斂速度被各自的幾何比r控制。需要注意的是，在自然坐標(biāo)系中各個參數(shù)w并不是獨(dú)立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進(jìn)行收斂分析的原因。53穩(wěn)定條件:上式也是主軸坐標(biāo)系中的最優(yōu)解。收斂速率濾波器參數(shù)的γ取不同值時權(quán)系數(shù)與迭代次數(shù)的關(guān)系曲線54γ取不同值時權(quán)系數(shù)與迭代次數(shù)的關(guān)系曲線54穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)γ取不同值時權(quán)系數(shù)的收斂情況55穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)γ取不同值收斂速度：幾個時間常數(shù)權(quán)系數(shù)衰減時間常數(shù)權(quán)系數(shù)衰減到初始值的需要花費(fèi)的時間。說明：收斂時間常數(shù)與步長因子和相應(yīng)特征值均成反比56收斂速度：幾個時間常數(shù)權(quán)系數(shù)衰減時間常數(shù)說明：收斂時間常數(shù)與(2)學(xué)習(xí)曲線時間常數(shù)即均方誤差與最小均方誤差的差值下降到初始差值的時所花費(fèi)的時間。57(2)學(xué)習(xí)曲線時間常數(shù)575.4最小均方（LMS）算法

最陡下降法在每次迭代時要求得到性能曲面梯度的估計值。

LMS方法使用一個特別方法估計這個梯度（這個梯度對于自適應(yīng)的線性組合器是有效的）

LMS方法的優(yōu)勢在于:(1)計算簡單方便

(2)不需要離線的梯度估計或者數(shù)據(jù)副本如果自適應(yīng)系統(tǒng)是一個自適應(yīng)線性組合器，并且輸入矢量和期望響應(yīng)在每次迭代時都可以得到，那么LMS方法通常是一個最好選擇。585.4最小均方（LMS）算法最陡下降法在每次5.4.1權(quán)系數(shù)的迭代解使用單次計算的估計誤差平方代替平方誤差的期望。LMS使用單次誤差代替誤差平均，造成梯度和權(quán)矢量成為圍繞真值的隨機(jī)變量。☆595.4.1權(quán)系數(shù)的迭代解使用單次計算的估計誤差平方代將☆式寫成展開式穩(wěn)定條件:60將☆式寫成展開式穩(wěn)定條件:605.4.2LMS權(quán)系數(shù)的收斂性分析最陡下降法LMS權(quán)向量的均值等于最速梯度法得到的權(quán)向量615.4.2LMS權(quán)系數(shù)的收斂性分析最陡下降法LMS權(quán)梯度估計噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)起伏。這意味著穩(wěn)態(tài)的均方誤差值在附近隨機(jī)的改變。這個偏移量的期望值稱為超量均方誤差MSE5.4.3均方誤差的收斂性分析及失調(diào)量超量均方誤差MSE對最小均方誤差的歸一化定義為失調(diào)量，用M表示說明步長因子和信號功率都對失調(diào)有影響62梯度估計噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)失調(diào)與收斂時間常數(shù)的關(guān)系實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個數(shù)往往需要作一個折中，因此這個方程很有用。若R的N個特征值相等，則有63失調(diào)與收斂時間常數(shù)的關(guān)系實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)5.6遞歸最小二乘（RLS）算法基本思想

把最小二乘法(LS)推廣為一種自適應(yīng)算法，用來設(shè)計自適應(yīng)的橫向?yàn)V波器，利用n-1時刻的濾波器抽頭權(quán)系數(shù)，通過簡單的更新，求出n

時刻的濾波器抽頭權(quán)系數(shù)。這樣一種自適應(yīng)的最二乘算法稱為遞歸(遞推)最小二乘算法,簡稱RLS算法。主要優(yōu)點(diǎn)：收斂速度快主要缺點(diǎn)：每次迭代需要的運(yùn)算量很大，對于N階橫向?yàn)V波器，其計算量在N2數(shù)量級。645.6遞歸最小二乘（RLS）算法基本思想64

基本方程

考慮指數(shù)加權(quán)的最小二乘法，其代價函數(shù)為式中,稱為遺忘因子,其作用是對離n時刻越近的誤差加越大的權(quán)重,而對離n時刻越遠(yuǎn)的誤差加越小的權(quán)重,即該參數(shù)對各個時刻的誤差具有某種遺忘作用。式(1a)中,誤差函數(shù)定義為式中d(i)表示i時刻的期望響應(yīng),e(i|n)表示用n時刻的權(quán)w(n)對i時刻的數(shù)據(jù)塊進(jìn)行估計所得的估計誤差。

65基本方程式中,稱為遺忘因子,其作用合并(1a)和(1b)

，令得記66合并(1a)和(1b)，令其解式中式(4)表明,

指數(shù)加權(quán)最小二乘問題(1)的解亦為維納解。下面考慮它的自適應(yīng)更新問題。根據(jù)上面的推導(dǎo)，可以得出

利用令67其解式中式(4)表明,指數(shù)加權(quán)最小二乘問題(1)的解亦為維定義則有利用式(7)、(8),易證68定義則有利用式(7)、(8),易證68再利用(3)、(5b)和(8)、(9a)得根據(jù)上式,有69再利用(3)、(5b)和(8)、(9a)得根據(jù)上式,有69濾波器增益矢量:誤差信號方程:輸入信號:初始化:權(quán)向量更新:下一時刻自相關(guān)矩陣逆更新:RLS自適應(yīng)方法

70濾波器增益矢量:誤差信號方程:輸入信號:初始化:權(quán)向量更新:5.自適應(yīng)濾波5.1預(yù)備知識5.1.1自適應(yīng)濾波原理所謂自適應(yīng)濾波，就是用前一時刻已獲得的濾波器參數(shù)等結(jié)果，自動地調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號和噪聲未知的或隨時間變化的統(tǒng)計特性，從而實(shí)現(xiàn)最優(yōu)濾波。所謂最優(yōu)是以一定的準(zhǔn)則來衡量的，最常用的兩種準(zhǔn)則是最小均方誤差準(zhǔn)則和最小二乘準(zhǔn)則。自適應(yīng)濾波器的主要指標(biāo)是收斂速度、失調(diào)、計算復(fù)雜度、結(jié)構(gòu)模塊化和數(shù)值特征。715.自適應(yīng)濾波5.1預(yù)備知識5.1.1自適應(yīng)濾波原理所謂自5.1.2自適應(yīng)濾波器的組成、分類與結(jié)構(gòu)自適應(yīng)濾波器由數(shù)字結(jié)構(gòu)、自適應(yīng)處理器和自適應(yīng)算法三部分組成。數(shù)字結(jié)構(gòu)是指自適應(yīng)濾波器中各組成部分的聯(lián)系。自適應(yīng)處理器即前面介紹數(shù)字濾波器，所不同的是這里的數(shù)字濾波器是參數(shù)可變的。自適應(yīng)算法是用來控制自適應(yīng)濾波器參數(shù)的變化。自適應(yīng)濾波器分類725.1.2自適應(yīng)濾波器的組成、分類與結(jié)構(gòu)自適應(yīng)濾波器由數(shù)字結(jié)1.按數(shù)字結(jié)構(gòu)分類自適應(yīng)濾波器按其數(shù)字結(jié)構(gòu)可分為開環(huán)自適應(yīng)濾波器和閉環(huán)自適應(yīng)濾波器。自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號參考信號圖5.1開環(huán)自適應(yīng)濾波器731.按數(shù)字結(jié)構(gòu)分類自適應(yīng)濾波器按其數(shù)字結(jié)構(gòu)可分為開環(huán)自適應(yīng)濾自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號期望響應(yīng)誤差∑-+圖5.2閉環(huán)自適應(yīng)濾波器2.按自適應(yīng)處理器分類自適應(yīng)濾波器按其自適應(yīng)處理器可分為非遞歸自適應(yīng)濾波器和遞歸自適應(yīng)濾波器。74自適應(yīng)處理器自適應(yīng)算法輸入信號輸出信號期望響應(yīng)誤差∑-+圖53.按自適應(yīng)算法分類自適應(yīng)濾波器按其自適應(yīng)算法可分為LMS(最小均方)自適應(yīng)濾波器和RLS（遞歸最小二乘）自適應(yīng)濾波器等。5.1.3自適應(yīng)濾波應(yīng)用舉例1.自適應(yīng)預(yù)測2.自適應(yīng)干擾對消3.自適應(yīng)系統(tǒng)辨識753.按自適應(yīng)算法分類自適應(yīng)濾波器按其自適應(yīng)算法可分為LMS(5.2維納濾波器濾波定義:

所謂濾波,是指在含噪信號x(k)=s(k)+v(k)

或其矢量信號x(k)=s(k)+v(k)中盡可能排除噪聲v(k)或v(k)干擾，而將有用信號s(k)或s(k)分離或提取出來。若設(shè)計的對x(k)進(jìn)行濾波的濾波器能使其輸出y(k)盡可能逼近s(k)，成為s(k)的最佳估計,這種濾波器稱為最佳濾波器濾波、預(yù)測與平滑

設(shè)基于觀測過程x(k)或矢量觀測過程x(k)，對s(k+α)或s(k+α)作最優(yōu)估計，那么

若α=0，就是濾波問題。

若α>0，就是預(yù)測問題。

若α<0，就是平滑問題。765.2維納濾波器濾波定義:濾波、預(yù)測與平滑6維納濾波

設(shè)信號s(k)或s(k)及觀測過程x(k)或x(k)是廣義平穩(wěn)的,且已知其功率譜或自相關(guān)函數(shù)的知識，則基于觀測過程x(k)

或x(k)，按線性最小均方誤差估計準(zhǔn)則，對信號s(k)或s(k)

所作的最優(yōu)估計稱為維納濾波5.2.1正交性原理與維納-霍甫夫方程考慮如圖所示的一般線性時不變離散時間濾波器。設(shè)該濾波器的輸入x(n)=s(n)+v(n)是混有噪聲的觀測數(shù)據(jù)，其單位沖激響應(yīng)為h(n)，y(n)=是對信號s(n)的最佳估計。

估計誤差e(n)定義為期望響應(yīng)s(n)與濾波器輸出y(n)之差,即。h(n)圖一77維納濾波5.2.1正交性原理與維納-霍甫夫方程考慮如圖設(shè)計濾波器的過程可表述如下：設(shè)計線性離散時間濾波器的單位沖激響應(yīng)h(n),使濾波器輸出y(n),在給定輸入樣本x(0),x(1),…的情況下給出期望響應(yīng)s(n)的估計，并能使估計誤差的均方值為最小根據(jù)圖一，n時刻的濾波器輸出表示為：由于濾波器為物理可實(shí)現(xiàn)的，故h(n)必須是因果序列：又由于實(shí)際中只能得到有限個觀測數(shù)據(jù)，故（1）式可寫成：（1）（2）78根據(jù)圖一，n時刻的濾波器輸出表示為：由于濾波器為物理可實(shí)現(xiàn)的估計的均方誤差為式中為了書寫方便，令hi=h(m),xi=x(n-m),e=e(n),s=s(n),(3)為求出使E[e2]最小的hi，將上式對各hi求偏導(dǎo)數(shù)，并令其等于0，得得及(4)(5)式(4)或式（5）稱為正交方程79估計的均方誤差為式中為了書寫方便，令hi=h(m),xi=正交性原理及推論：1）正交性原理：要使估計的均方誤差最小，濾波系數(shù){hi}的選擇應(yīng)使估計誤差e與所有的觀測值xi正交，其中i=0,1,2….N-1。2）正交性原理的推論：要使估計的均方誤差最小，濾波系數(shù){hi}的選擇應(yīng)使估計誤差e與估計值正交，其中i=0,1,2….N-1。即(6)式(6)稱為維納-霍甫夫方程，它反映了相關(guān)函數(shù)與最佳單位脈沖響應(yīng)之間的關(guān)系。將i=0,1,2,…N-1分別代入（6）得N個方程組成的線性方程組，寫成矩陣形式80正交性原理及推論：即(6)式(6)稱為維納-霍甫夫方程，它反式中Rxx稱為x(n)的自相關(guān)陣,Rsx稱為s(n)與x(n)的互相關(guān)向量。(7)81式中Rxx稱為x(n)的自相關(guān)陣,Rsx稱為s(n)與x(由式(7)可解出最佳單位脈沖響應(yīng)為5.2.2維納-霍甫夫方程求解維納-霍甫夫方程的解就是維納濾波器的系數(shù)，也即FIR數(shù)字濾波器的單位脈沖響應(yīng)h(n)，此時維納濾波器的輸出是信號的最佳估計。相應(yīng)地，最佳的單位脈沖響應(yīng)叫做維納解。設(shè)計維納濾波器可以歸結(jié)為求維納解，也就是解維納-霍甫夫方程。下面介紹一種求維納解的方法，搜索法。首先將前面提到的單位脈沖序列h(n)表示為權(quán)系數(shù)w0,w1,…wN-1,由權(quán)系數(shù)組成的向量稱為權(quán)向量。則n時刻權(quán)向量表示為82由式(7)可解出最佳單位脈沖響應(yīng)為5.2.2維納-霍甫夫方n時刻及以前的數(shù)據(jù)組成的向量叫信號向量，表示為n時刻希望得到的輸出叫期望響應(yīng)，用d(n)表示，定義均方誤差性能函數(shù)為根據(jù)前面的分析，得對濾波器的輸出即期望響應(yīng)d(n)的估計為均方誤差性能函數(shù)表達(dá)式為83n時刻及以前的數(shù)據(jù)組成的向量叫信號向量，表示為n時刻希望得到上式P為互相關(guān)函數(shù)組成的N維列向量（8）（9）84上式P為互相關(guān)函數(shù)組成的N維列向量（8）（9）14令R為數(shù)據(jù)的自相關(guān)函數(shù)組成的N×N維矩陣（10）85令R為數(shù)據(jù)的自相關(guān)函數(shù)組成的N×N維矩陣（10）15將（9）式、（10）式代入（8）式可得均方誤差性能函數(shù)為：單權(quán)重情況:拋物線性能曲面86將（9）式、（10）式代入（8）式可得均方誤差性能函數(shù)為：單兩個權(quán)系數(shù):拋物面87兩個權(quán)系數(shù):拋物面17

個權(quán)系數(shù):一個維空間內(nèi)的超拋物面

“碗底”點(diǎn)對應(yīng)于均方誤差最小點(diǎn)，也就是最優(yōu)權(quán)系數(shù)矢量所在的點(diǎn)。對于一個二次性能方程，存在唯一全局最優(yōu)權(quán)矢量，沒有局部最優(yōu)點(diǎn)存在.將碗底所對應(yīng)的權(quán)向量表示為上式即為搜索目標(biāo)，即實(shí)現(xiàn)最優(yōu)濾波時的權(quán)系數(shù)。88個權(quán)系數(shù):一個維空間內(nèi)梯度法

很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)到最小均方誤差的權(quán)矢量。均方誤差性能曲面的梯度定義為：最優(yōu)權(quán)重矢量處梯度為零：89梯度法很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)最小均方誤差：與維納濾波器的最小均方誤差比較:90最小均方誤差：與維納濾波器的最小均方誤差比較:205.2.3誤差性能曲面的幾何性質(zhì)誤差性能函數(shù)將誤差性能函數(shù)改寫為如果令ε(w)為某固定值，在二維情況下，*式就是橢圓方程。該橢圓方程也叫等高線方程。圖1給出了不同均方誤差的橢圓曲線圖。*915.2.3誤差性能曲面的幾何性質(zhì)誤差性能函數(shù)將誤差性能函數(shù)9222下面以ε(w)=2εmin為例分析等高線的性質(zhì)。將ε(w)=2εmin代入*式得為了便于分析，現(xiàn)將等高線方程標(biāo)準(zhǔn)化，即通過坐標(biāo)系的平移、旋轉(zhuǎn)使等高線方程標(biāo)準(zhǔn)的橢圓方程。1）首先進(jìn)行坐標(biāo)系平移通過坐標(biāo)系平移，將原來w坐標(biāo)系的坐標(biāo)原點(diǎn)移至碗底位置成為v坐標(biāo)系，有將代入上式得**93下面以ε(w)=2εmin為例分析等高線的性質(zhì)。將ε(w)將上式代入**式得結(jié)合式得上式即為平移坐標(biāo)系v中的橢圓方程。與標(biāo)準(zhǔn)橢圓方程比較***94將上式代入**式得結(jié)合式得若橢圓方程為標(biāo)準(zhǔn)方程，則R矩陣必須為對角陣。下面通過旋轉(zhuǎn)來實(shí)現(xiàn)。2）進(jìn)行坐標(biāo)系旋轉(zhuǎn)對N階實(shí)對稱陣R存在正交陣Q使得上式中λi

是對角陣Λ的特征值也是稱陣R的特征值。若將上式兩邊同乘Q，有令上式寫為****95得若橢圓方程為標(biāo)準(zhǔn)方程，則R矩陣必須為對角陣。下面通過旋轉(zhuǎn)來即說明Q的各列是R的特征向量，分別對應(yīng)于Λ的對角線的一個元素。96即說明Q的各列是R的特征向量，分別對應(yīng)于Λ的對角線的一個元素將****式兩邊同乘QT=Q-1代入***式得令QTV=V′代入上式，整理得上式即為標(biāo)準(zhǔn)的橢圓方程N(yùn)維的均方誤差函數(shù)在平移坐標(biāo)系、主軸坐標(biāo)系中的表示分別為97將****式兩邊同乘QT=Q-1代入***式得令QTV=V′N維的均方誤差函數(shù)在主軸坐標(biāo)系中的表示式對權(quán)向量v’求導(dǎo)得性能曲面的梯度向量為由上式可得以下兩點(diǎn)結(jié)論：1）當(dāng)搜索點(diǎn)位于某一主軸上時，由于其它主軸上的分量為零，此時梯度向量就處在該軸上，大小為98N維的均方誤差函數(shù)在主軸坐標(biāo)系中的表示式對權(quán)向量v’由上式可均方誤差函數(shù)沿任一主軸的二階導(dǎo)為相應(yīng)特征值的兩倍99均方誤差函數(shù)沿任一主軸的二階導(dǎo)為相應(yīng)特征值的兩倍295.2.4舉例1005.2.4舉例3010131102321033310434105351063610737108385.3最速梯度法1095.3最速梯度法39本節(jié)介紹最速梯度法求維納解。即沿著負(fù)梯度的方向移動搜索點(diǎn)。5.3.1權(quán)系數(shù)的迭代解

為了深刻理解梯度搜索法的基本概念，首先討論一維的情況。一個權(quán)（單變量）的性能表面是一條拋物線，如圖所示。w0w0(n)w0*w0(n+1)εminε(w0)一維最速下降法示意圖110本節(jié)介紹最速梯度法求維納解。即沿著負(fù)梯度的方向移動搜索點(diǎn)。5w0w0(n)w0*w0(n+1)εminε(w0)一維最速下降法示意圖用w0(n+1)

和w0(n)分別表示經(jīng)過n+1次迭代和n次迭代后w0的值，則一次迭代的調(diào)整量△w0為111w0w0(n)w0*w0(n+1)εminε(w0)一維最速根據(jù)梯度下降法的思路，應(yīng)有逐次迭代直至顯然，若調(diào)整量△w0足夠小，則在w0可展開成泰勒級數(shù)，取一次項(xiàng)，則***有**式和***式得***112根據(jù)梯度下降法的思路，應(yīng)有逐次迭代直至顯然，若調(diào)整量△w0足顯然上式要成立，△w0必須取負(fù)導(dǎo)數(shù)的方向，也即負(fù)梯度的方向，令式中>0稱為步長因子或收斂因子。將上式代入*式及***式得****113顯然上式要成立，△w0必須取負(fù)導(dǎo)數(shù)的方向，也即負(fù)梯度的方向****式即為權(quán)系數(shù)w0的迭代公式。將****式推廣至多維情況，得通用迭代公式式中是ε面上任一點(diǎn)的梯度。顯然，要由上式迭代得維納解w*，必須知道ε面上相應(yīng)點(diǎn)的梯度。因?yàn)闉榱吮阌诜治?，將上式改寫?****114****式即為權(quán)系數(shù)w0的迭代公式。將****式推廣至多維情則上式梯度為將上式代入*****得5.3.2權(quán)系數(shù)的閉式解★下面將★式迭代解化為閉式解設(shè)正交陣Q為實(shí)對稱陣R的特征向量矩陣，則115則上式梯度為將上式代入*****得5.3.2權(quán)系數(shù)的閉式由于Q為正交陣，有QQT=QQ-1=I,所以上式兩邊同乘QT得116由于Q為正交陣，有QQT=QQ-1=I,所以上式兩邊同乘QT令w’(n)=QTw(n),則上式進(jìn)一步寫成在旋轉(zhuǎn)坐標(biāo)系中的最優(yōu)解將上式表示成展開形式117令w’(n)=QTw(n),則上式進(jìn)一步寫成在旋轉(zhuǎn)坐標(biāo)系中的上式為旋轉(zhuǎn)坐標(biāo)系中最優(yōu)權(quán)的表達(dá)式。118上式為旋轉(zhuǎn)坐標(biāo)系中最優(yōu)權(quán)的表達(dá)式。48將式表示成展開形式下面推導(dǎo)權(quán)系數(shù)的閉式解由上式，令n=0，得119將式表示成展開形式下面推導(dǎo)權(quán)系數(shù)的閉式解49令n=1，得令則上式寫為上式即為權(quán)系數(shù)的閉式解表達(dá)式120令n=1，得令5.3.3最速梯度法的收斂條件由于經(jīng)過多次迭代后，權(quán)向量將收斂于維納最優(yōu)解，即。可以證明，僅當(dāng)滿足時，上式收斂才能保證。式中，為最大特征值，即為Λ

中的最大對角元素。

經(jīng)驗(yàn)公式1215.3.3最速梯度法的收斂條件由于經(jīng)過多次迭代后，權(quán)向量5.3.4權(quán)系數(shù)的收斂規(guī)律平移坐標(biāo)系、主軸坐標(biāo)系中的權(quán)向量分別表示為主軸坐標(biāo)系中任一權(quán)系數(shù)為將及代入上式整理得1225.3.4權(quán)系數(shù)的收斂規(guī)律平移坐標(biāo)系、主軸坐標(biāo)系中的權(quán)向穩(wěn)定條件:上式也是主軸坐標(biāo)系中的最優(yōu)解。收斂速率濾波器參數(shù)的收斂速度決定于自適應(yīng)步長的選擇在主軸系統(tǒng)中參數(shù)沿著各個參數(shù)坐標(biāo)軸獨(dú)立收斂。各個坐標(biāo)軸的收斂速度被各自的幾何比r控制。需要注意的是，在自然坐標(biāo)系中各個參數(shù)w并不是獨(dú)立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進(jìn)行收斂分析的原因。123穩(wěn)定條件:上式也是主軸坐標(biāo)系中的最優(yōu)解。收斂速率濾波器參數(shù)的γ取不同值時權(quán)系數(shù)與迭代次數(shù)的關(guān)系曲線124γ取不同值時權(quán)系數(shù)與迭代次數(shù)的關(guān)系曲線54穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)γ取不同值時權(quán)系數(shù)的收斂情況125穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定(不收斂)γ取不同值收斂速度：幾個時間常數(shù)權(quán)系數(shù)衰減時間常數(shù)權(quán)系數(shù)衰減到初始值的需要花費(fèi)的時間。說明：收斂時間常數(shù)與步長因子和相應(yīng)特征值均成反比126收斂速度：幾個時間常數(shù)權(quán)系數(shù)衰減時間常數(shù)說明：收斂時間常數(shù)與(2)學(xué)習(xí)曲線時間常數(shù)即均方誤差與最小均方誤差的差值下降到初始差值的時所花費(fèi)的時間。127(2)學(xué)習(xí)曲線時間常數(shù)575.4最小均方（LMS）算法

最陡下降法在每次迭代時要求得到性能曲