自適應數(shù)字濾波器

1、自適應數(shù)自適應數(shù)字濾波器字濾波器Adaptive Digital Filters內容提要內容提要n自適應濾波器概述自適應濾波器概述n數(shù)字濾波器數(shù)字濾波器n自適應處理器的結構自適應處理器的結構n自適應的諸多算法自適應的諸多算法n自適應原理應用自適應原理應用1 1 自適應濾波器概述自適應濾波器概述n自適應自適應(Adapt /Adaptation) (Adapt /Adaptation) n線性濾波線性濾波 n自適應自適應DFDF概述概述 1.1 1.1 自適應自適應概念：概念：n生物體的某些結構和功能經自然選擇發(fā)生生物體的某些結構和功能經自然選擇發(fā)生改變，以更好地適應環(huán)境而生存和繁殖。改變，以更

2、好地適應環(huán)境而生存和繁殖。n從生物體對環(huán)境的自適應推廣到人造的自從生物體對環(huán)境的自適應推廣到人造的自適應系統(tǒng)。適應系統(tǒng)。 1.1 1.1 自適應自適應自適應系統(tǒng)的特征自適應系統(tǒng)的特征 ：n能自動適應變化的環(huán)境和系統(tǒng)要求；能自動適應變化的環(huán)境和系統(tǒng)要求；n能通過訓練、學習某種功能去完成特定的濾波能通過訓練、學習某種功能去完成特定的濾波或判決任務；或判決任務；n自行設計；自行設計；n經少量訓練，就能外推至一個新的性能模型；經少量訓練，就能外推至一個新的性能模型；n在有限范圍內，能自我修復；在有限范圍內，能自我修復；n時變、非線性系統(tǒng)；時變、非線性系統(tǒng)；n系統(tǒng)復雜、分析困難。系統(tǒng)復雜、分析困難。1.

3、1 1.1 自適應自適應發(fā)展歷史發(fā)展歷史n1960年代以前年代以前 n1960年，年，B.Widrow提出自適應濾波的概念；提出自適應濾波的概念；發(fā)展很快發(fā)展很快1.2 1.2 線性濾波線性濾波n線性濾波線性濾波：假定輸入的有用信號與加性噪聲的某些：假定輸入的有用信號與加性噪聲的某些統(tǒng)計特性已知，然后設計線性濾波器，使其輸出中統(tǒng)計特性已知，然后設計線性濾波器，使其輸出中的噪聲的噪聲影響最小影響最小 n影響最小影響最?。阂罁骋唤y(tǒng)計準則，如誤差信號的均方：依據某一統(tǒng)計準則，如誤差信號的均方值最小。值最小。n最佳濾波最佳濾波：濾波器與輸入數(shù)據的統(tǒng)計特性相匹配。：濾波器與輸入數(shù)據的統(tǒng)計特性相匹配。n

4、先驗知識未知時的解決方法先驗知識未知時的解決方法： “ “猜測試驗法猜測試驗法” ” 和和自適應濾波器自適應濾波器 1.3 1.3 自適應自適應DFDF概述概述n概念：概念： 利用前一時刻已獲得的濾波器參數(shù)等利用前一時刻已獲得的濾波器參數(shù)等結果，自動地調節(jié)現(xiàn)時刻的濾波器參數(shù)，結果，自動地調節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應信號與噪聲未知的或隨時間變化的以適應信號與噪聲未知的或隨時間變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。 1.3 1.3 自適應自適應DFDF概述概述n最小均方誤差（最小均方誤差（LMSLMS）自適應自適應DFDF：以以均方誤差最小均方誤差最小為準則，能自動為準則

5、，能自動調節(jié)單位脈沖響應調節(jié)單位脈沖響應h(n),h(n),以達到最優(yōu)濾波的時以達到最優(yōu)濾波的時變最佳變最佳DFDF。1.3 1.3 自適應自適應DFDF概述概述n算法原理：算法原理： 從某一從某一初始條件初始條件出發(fā)，在平穩(wěn)環(huán)境下，出發(fā)，在平穩(wěn)環(huán)境下，算法經過若干次算法經過若干次迭代迭代，最終收斂于（某種，最終收斂于（某種統(tǒng)計意義上的）統(tǒng)計意義上的）最佳維納解最佳維納解。 1.3 1.3 自適應自適應DFDF概述概述n遞歸算法要考慮的一些因素遞歸算法要考慮的一些因素FRate of convergence FMisadjustment FTracking FRobustness FCompu

6、tation requirements FAlgorithm structure FNumerical properties 1.3 1.3 自適應自適應DFDF概述概述n目的目的 設計自適應設計自適應DFDF，可以不必預先知道信，可以不必預先知道信號與噪聲的自相關函數(shù)。號與噪聲的自相關函數(shù)。 1.3 1.3 自適應自適應DFDF概述概述n發(fā)展前景發(fā)展前景1 1、廣泛用于系統(tǒng)模型識別、廣泛用于系統(tǒng)模型識別2 2、通信信道的自適應均衡、通信信道的自適應均衡3 3、雷達與聲納的波束形成、雷達與聲納的波束形成4 4、消除心電圖中的電源干擾、消除心電圖中的電源干擾5 5、噪聲中信號的濾波、跟蹤、譜線增

7、強以、噪聲中信號的濾波、跟蹤、譜線增強以 及線性預測等。及線性預測等。1.3 1.3 自適應自適應DFDF概述概述n目前常見的自適應濾波器目前常見的自適應濾波器遞推最?。ㄟf推最小（RLSRLS）濾波器濾波器最小均方（最小均方（LMSLMS）濾波器）濾波器格型濾波器格型濾波器無限沖激響應（無限沖激響應（IIRIIR）濾波器）濾波器2 2 數(shù)字濾波器數(shù)字濾波器nDFDF的數(shù)學模型的數(shù)學模型nIIRIIR數(shù)字濾波器的特性數(shù)字濾波器的特性 nFIRFIR數(shù)字濾波器的特性數(shù)字濾波器的特性 2.1 DF2.1 DF的數(shù)學模型的數(shù)學模型n線性時不變數(shù)字濾波器用線性時不變數(shù)字濾波器用常系數(shù)線性常系數(shù)線性差分方

8、程差分方程來描述：來描述： 1101( )()()MNiiiiy na x n ib y n i2.1 DF2.1 DF的數(shù)學模型的數(shù)學模型n遞歸與非遞歸遞歸與非遞歸DFDF非遞歸非遞歸遞歸遞歸10( )()Miiy na x n i1100()()NMiiiib y nia x ni2.1 DF2.1 DF的數(shù)學模型的數(shù)學模型nDFDF的系統(tǒng)函數(shù)的系統(tǒng)函數(shù)1011( )( )( )1MiiiNiiia zY zH zXzb z2.1 DF2.1 DF的數(shù)學模型的數(shù)學模型nDFDF的單位取樣響應的單位取樣響應 對于非遞歸濾波器，除對于非遞歸濾波器，除b0=1外，其余外，其余bi=0(i=1,

9、2, N-1)。若脈沖傳遞函數(shù)。若脈沖傳遞函數(shù)H(z)已知，當輸入信已知，當輸入信號號x(k)為單位采樣脈沖，則此時濾波器的輸出為：為單位采樣脈沖，則此時濾波器的輸出為： 10( )( )* ( )( ) ()Niy nh nx nh i x ni2.1 DF2.1 DF的數(shù)學模型的數(shù)學模型nFIR和和IIR DFFIR DF:IIR DF: h(n)是無限長序列是無限長序列( ), 01( )0,h nnNh nelse2.2 IIR DF2.2 IIR DF的特性的特性nIIR DF:遞歸結構遞歸結構x(n)b0b1b2z-1z-1y(n)a1a2z-1z-1bMz-1a N-1aNz-1

10、z-1直接直接I I型型x(n)a1a2z-1z-1a N-1aNz-1z-1b0b1b2bMy(n)直接直接IIII型型x(n)11a21z-1z-1a112112a22z-1z-1a12221Ma2Mz-1z-1a1M2My(n).級聯(lián)型級聯(lián)型并聯(lián)型并聯(lián)型2.2 IIR DF2.2 IIR DF的特性的特性n若若IIR DF是因果、穩(wěn)定的，則是因果、穩(wěn)定的，則nH(z)是有理函數(shù)是有理函數(shù) 0( )0,0| ( )|nh nnh n10101( )( )1MiikiNikiia zH zh k zbz2.3 FIR DF2.3 FIR DF的特性的特性(1)系統(tǒng)的單位沖激響應系統(tǒng)的單位沖激

11、響應h(n)在有限個在有限個n值處不值處不為零。即為零。即h(n)是個是個有限長序列有限長序列。(2)系統(tǒng)函數(shù)系統(tǒng)函數(shù)|H(z)|在在|z|0處收斂，極點全部在處收斂，極點全部在z=0處處(即即FIR一定為一定為穩(wěn)定系統(tǒng)穩(wěn)定系統(tǒng))(3)結構上主要結構上主要是非遞歸結構是非遞歸結構，沒有輸出到輸，沒有輸出到輸入反饋。入反饋。2.3 FIR DF2.3 FIR DF的特性的特性nFIR DF:非遞歸結構非遞歸結構1. 1. 橫截型結構（直接型）橫截型結構（直接型）2. 2. 級聯(lián)型結構級聯(lián)型結構3. 3.快速卷積型結構快速卷積型結構4. 4.頻率抽樣型結構頻率抽樣型結構h(0)h(1)h(2)h(

12、N-1)h(N)Z-1Z-1Z-1Z-1x(n)y(n)倒下倒下h(0)h(1)h(N-1)h(N)Z-1Z-1Z-1Z-1y(n)x(n)橫截型結構橫截型結構級聯(lián)級聯(lián)型結構型結構L點DFTL點DFTL點IDFTX(k)H(k)Y(k)x(n)h(n)()()()()(nxnhnxnhny快速卷積型快速卷積型3 3 自適應處理器的結構自適應處理器的結構3.1 3.1 自適應濾波器的原理自適應濾波器的原理3.2 3.2 非遞歸自適應濾波器非遞歸自適應濾波器3.3 3.3 具有期望響應和誤差信號的非遞具有期望響應和誤差信號的非遞 歸自適應濾波器及性能函數(shù)歸自適應濾波器及性能函數(shù)3.4 3.4 梯度

13、法梯度法(gradient methods)(gradient methods) 3.5 3.5 誤差信號與輸入信號正交誤差信號與輸入信號正交 3.1 3.1 自適應濾波器的原理自適應濾波器的原理n開環(huán)自適應系統(tǒng)開環(huán)自適應系統(tǒng)n閉環(huán)自適應系統(tǒng)閉環(huán)自適應系統(tǒng)3.1 3.1 自適應濾波器的原理自適應濾波器的原理n閉環(huán)自適應系統(tǒng)的典型應用閉環(huán)自適應系統(tǒng)的典型應用 自適應預測器自適應預測器(adaptive predition) 3.1 3.1 自適應濾波器的原理自適應濾波器的原理自適應模擬自適應模擬(adaptive modeling)： 前向模擬前向模擬 3.1 3.1 自適應濾波器的原理自適應濾

14、波器的原理自適應干擾對消自適應干擾對消(adaptive interference cancelling ) 3.1 3.1 自適應濾波器的原理自適應濾波器的原理自適應陣處理自適應陣處理(adaptive array processing) 3.2 3.2 非遞歸自適應濾波器非遞歸自適應濾波器自適應線性組合器自適應線性組合器(adaptive linear combiner) 3.2 3.2 非遞歸自適應濾波器非遞歸自適應濾波器n單輸入系統(tǒng)單輸入系統(tǒng) 10( )( ) ()niiy kw k x ki3.2 3.2 非遞歸自適應濾波器非遞歸自適應濾波器n多輸入系統(tǒng)多輸入系統(tǒng) 011( )( )

15、 ( ).( )TnX kx k x kxk列向量列向量 011( ) ( ) ( ).( )TnW kw k w kwk10( )( )( )niiiy kw k x k( )( ) ( )( ) ( )TTy kX k W kW k X k矩陣表示矩陣表示 3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及性能函數(shù)及性能函數(shù) ( )( )( )e kd ky k誤差信號誤差信號 3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及性能函數(shù)及性能函數(shù) ( )( )( )( )( )TTe kd kXk Wd k

16、W X k22( )( )( )( )2 ( )( )TTTe kd kW X k Xk Wd k Xk W瞬時平方誤差瞬時平方誤差 若若e(k),d(k)和和X(k)為平穩(wěn)隨機序列，為平穩(wěn)隨機序列，X(k)和和d(k)是不是不相關的，則相關的，則e2(k)的期望為的期望為 22 ( )( ) ( )( ) ( ) 2 ( )( )TTTE e kE d kW E X k Xk W kE d k Xk W( )( ) ( )( ) ( )TTy kX k W kW k X k將將 代入，可得代入，可得 3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及

17、性能函數(shù)及性能函數(shù) 輸入相關矩陣輸入相關矩陣 200102012101121121011121 ( )( )( ) ( ) ( ) ( ) ( ). ( )( ) ( ) ( )( ) ( ) ( ). ( )( ).( ) ( )( ) ( )( ) ( ) .( )TnnnnnnRE X k XkE x kE x k x kE x k x kE x k xkE x k x kE x kE x k x kE x k xkE xk x kE xk x kE xk x kE xk主對角線是輸入分量的均方值，交叉項是輸入主對角線是輸入分量的均方值，交叉項是輸入分量之間的互相關值分量之間的互相關值

18、3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及性能函數(shù)及性能函數(shù) 期望響應與輸入分量之間的一組相關值期望響應與輸入分量之間的一組相關值 T01n-1=E ( )( )=E ( )( ) ( )( ). ( )( )d k X kd k xkd k x kd k xkP當當X(k)和和d(k)為平穩(wěn)時，為平穩(wěn)時，P和和P的元素都是固定的的元素都是固定的二階統(tǒng)計量。二階統(tǒng)計量。 均方誤差均方誤差 22TT=E ( )=E( )+-2e kd kW RW P W3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及性

19、能函數(shù)及性能函數(shù) 當輸入分量與期望分量是平穩(wěn)隨機過程時，上式的當輸入分量與期望分量是平穩(wěn)隨機過程時，上式的展開式中，展開式中，W的元素僅以一次或二次冪出現(xiàn)，均方的元素僅以一次或二次冪出現(xiàn)，均方誤差誤差Ee(k)是權向量是權向量W分量的二次函數(shù)。分量的二次函數(shù)。 3.3 3.3 具有期望響應和誤差信號的非具有期望響應和誤差信號的非 遞歸遞歸ADFADF及性能函數(shù)及性能函數(shù) 典型的二維均方誤差函數(shù)典型的二維均方誤差函數(shù) 超超拋拋物物面面 3.4 3.4 梯度法梯度法 (gradient methods) 權向量搜索性能表面最小值的自適應方法。權向量搜索性能表面最小值的自適應方法。 011.nwww

20、W 22RWP 220optRWP 設設1optWR P 則則矩陣形式的維納矩陣形式的維納- -霍夫方程霍夫方程 3.4 3.4 梯度法梯度法 (gradient methods) 最小均方誤差最小均方誤差 2min2111( )2( ) ()() 2TToptoptoptTTE d kW RWP WE d kR P R R PP R P 3.5 3.5 誤差信號與輸入信號正交誤差信號與輸入信號正交當當W=Wopt時，誤差信號與輸入信號向量正交。時，誤差信號與輸入信號向量正交。 ( )( )( )e kd kX k W( ) ( )( ) ( )( )( )Te k X kd k X kX k

21、 X k W ( )( )E e k X kPRW令令W=Wopt時，時， 則則 1optWR P1 ( )( )0E e k X kPRRP當濾波器的沖擊響應是最優(yōu)時，誤差信號與輸入當濾波器的沖擊響應是最優(yōu)時，誤差信號與輸入信號是正交的，即為不相關的。信號是正交的，即為不相關的。 4 4 自適應的諸多算法自適應的諸多算法n搜索性能表面的最速下降法搜索性能表面的最速下降法 n最小均方算法最小均方算法(LMS, Least Mean Square) n其它算法與其它算法與LMS算法比較算法比較 4.1 搜索性能表面的最速下降法搜索性能表面的最速下降法n平穩(wěn)信號自適應理論：平穩(wěn)信號自適應理論：自適

22、應信號處理中自適應信號處理中的性能表面具有不變的統(tǒng)計特性，從性能的性能表面具有不變的統(tǒng)計特性，從性能表面某點出發(fā)，向下運動至最小點附近，表面某點出發(fā)，向下運動至最小點附近，最后停止在這點。最后停止在這點。n 非平穩(wěn)信號自適應理論：非平穩(wěn)信號自適應理論：若非平穩(wěn)信號有若非平穩(wěn)信號有慢變化的統(tǒng)計特性，自適應過程不僅向下慢變化的統(tǒng)計特性，自適應過程不僅向下運動至最小點，而且當性能表面移動時，運動至最小點，而且當性能表面移動時，還要跟蹤它的最小點。還要跟蹤它的最小點。 4.1 搜索性能表面的最速下降法搜索性能表面的最速下降法F固定性能表面的數(shù)學性質固定性能表面的數(shù)學性質 F梯度搜索法的基本原理梯度搜索

23、法的基本原理 F最速下降法最速下降法F梯度估值梯度估值 F超量均方誤差與失調超量均方誤差與失調 固定性能表面的數(shù)學性質固定性能表面的數(shù)學性質 要研究性能表面的性質，首先要研究要研究性能表面的性質，首先要研究R的特的特征值和特征向量。征值和特征向量。 4.1 4.1 搜索性能表面的最速下降法搜索性能表面的最速下降法LRI QO齊次方程具有齊次方程具有非平凡解非平凡解的充分必要條件為：的充分必要條件為： det(R-I)=0 RQL=LQL 推廣可得推廣可得 固定性能表面的數(shù)學性質固定性能表面的數(shù)學性質0101101110,. ,.0nnnR Q QQQ QQ 上式還可寫成上式還可寫成 或或 R

24、QQ1RQ Q是在以是在以w0,w1, wn-1為相應坐標軸為相應坐標軸的的n+1維空間的維空間的超超拋物誤差表面拋物誤差表面，在，在三維誤差空間，三維誤差空間，是一個是一個拋物面拋物面。 固定性能表面的數(shù)學性質固定性能表面的數(shù)學性質n橢圓方程橢圓方程2TTW RWP Wc 1optVWR PW W 固定性能表面的數(shù)學性質固定性能表面的數(shù)學性質n歸納表征特征向量與特征值幾何意義的幾歸納表征特征向量與特征值幾何意義的幾何關系：何關系：min()()ToptoptW WRW W minTV RV minminmin()() ()( )TTTTTTVQ Q VQ VQ VVV 固定性能表面的數(shù)學性質

25、固定性能表面的數(shù)學性質梯度搜索法的基本原理梯度搜索法的基本原理F當輸入信號與期望響應是平穩(wěn)過程時，自適應線當輸入信號與期望響應是平穩(wěn)過程時，自適應線性組合器的均方誤差性能表面是性組合器的均方誤差性能表面是權的二次函數(shù)權的二次函數(shù)。F該二次型性能表面的該二次型性能表面的參數(shù)是未知的參數(shù)是未知的，它的解析表，它的解析表達式得不到。達式得不到。F可用在一段時間內，將可用在一段時間內，將誤差的平方求平均誤差的平方求平均來測量來測量或估計在誤差表面上的位置。或估計在誤差表面上的位置。F發(fā)展出一系列發(fā)展出一系列搜索性能表面并找尋最優(yōu)權向量搜索性能表面并找尋最優(yōu)權向量的的方法和算法。方法和算法。 用梯度估計

26、用梯度估計(gradient estimation )指明性能表面最指明性能表面最小值所在的方向。小值所在的方向。 在每一迭代周期讓權向量的所有分量發(fā)生改變。在每一迭代周期讓權向量的所有分量發(fā)生改變。 權向量在性能表面的負梯度方向上變化。權向量在性能表面的負梯度方向上變化。 梯度搜索法的基本原理梯度搜索法的基本原理梯度搜索法的基本原理梯度搜索法的基本原理n單個權的情況單個權的情況 一個權（單變量）一個權（單變量）的性能表面是一的性能表面是一條拋物線。條拋物線。 22min00min()()optoptr w ww w梯度搜索法的基本原理梯度搜索法的基本原理2 ()optdwwdw222ddw一

27、次導數(shù)一次導數(shù) 二次導數(shù)二次導數(shù) 問題是尋找最優(yōu)權問題是尋找最優(yōu)權wopt。即通過調整權，以使均。即通過調整權，以使均方誤差達到最小，方誤差達到最小， 梯度搜索法的基本原理梯度搜索法的基本原理尋優(yōu)的步驟尋優(yōu)的步驟: : 第一步：任選第一步：任選w(0)。并測量曲線在此點的斜率。并測量曲線在此點的斜率。 第二步：求第二步：求w(1)。第一步完成之后，再選一個第一步完成之后，再選一個 w(1)，讓它，讓它等于初值等于初值 w(0)加上一個正比于斜率負值的增量。加上一個正比于斜率負值的增量。 第三步：求第三步：求w(2)。由測量在由測量在w(1)的斜率，用第二步同樣的方的斜率，用第二步同樣的方法求出

28、下一個新值法求出下一個新值w(2) 。 以后各點重復進行，直到求到最優(yōu)權以后各點重復進行，直到求到最優(yōu)權 wopt 為止。在離散為止。在離散間隔間隔w(0),w(1),測量性能曲線的斜率所得到的值稱為梯度測量性能曲線的斜率所得到的值稱為梯度估值。估值。 最速下降法（最速下降法（steepest descent）主要特點：主要特點：每一步權的調整都在梯度的方向上。每一步權的調整都在梯度的方向上。 (1)( )( )W kW kk搜索二次型表面的張弛過程搜索二次型表面的張弛過程（relaxation process）：）： )(2)() 1(kVRkWkW)(2)(kWWRkWopt(2)( )2

29、optIR W kRW 變換到主軸坐標系去求解：變換到主軸坐標系去求解： 1 (1)(2) ( )VkQIR QVk112 ( )QIQRQRQ Vk(2) ( )IV k ( )2 (0)kV kIV上式的解為：上式的解為： 最速下降法（最速下降法（steepest descent）收斂的充分和必要條件：收斂的充分和必要條件： 最速下降法（最速下降法（steepest descent）lim20kkI當選擇當選擇，使其滿足：，使其滿足： 011lim(1 2)lim(1 2)lim(1 2)kkkkknkmax10梯度估值梯度估值 2min2( ( )( ( )( )( ( )( ) TCo

30、vkEkkkkIn min-最小均方誤差；最小均方誤差；n-樣本數(shù)；樣本數(shù)；I-單位矩陣。單位矩陣。 超量均方誤差與失調超量均方誤差與失調 n超量均方誤差（超量均方誤差（excess mean square error）產生：產生：當自適應過程引進當自適應過程引進噪聲噪聲，將使穩(wěn)態(tài)權向量解，將使穩(wěn)態(tài)權向量解 圍繞最小點隨機變化。這時，圍繞最小點隨機變化。這時，的穩(wěn)態(tài)值大的穩(wěn)態(tài)值大 于于 min ，產生超量均方誤差。，產生超量均方誤差。定義：定義：均方誤差減去最小均方誤差后的平均值。均方誤差減去最小均方誤差后的平均值。 意義：意義：提供了真實的與最優(yōu)性能的時間平均上差別提供了真實的與最優(yōu)性能的時

31、間平均上差別 的量度。的量度。min ( )excessMSEEk超量均方誤差與失調超量均方誤差與失調 n超量均方誤差（超量均方誤差（excess mean square error）近似式：近似式： 2min1()8avmsenexcessMSEPT n-權的個數(shù)；權的個數(shù)；min -最小均方誤差；最小均方誤差；P-擾動，估計梯度時引起的擾動，估計梯度時引起的的歸一化增量；的歸一化增量；Tmse-自適應時間常數(shù)；自適應時間常數(shù)； av-平均。平均。 超量均方誤差與失調超量均方誤差與失調 n失調（失調（misadjustment ）產生：產生：量度量度真實性能與最優(yōu)性能差別的量真實性能與最優(yōu)性

32、能差別的量。定義：定義：在自適應過程中，超量均方誤差與最小均方誤差在自適應過程中，超量均方誤差與最小均方誤差 之比。之比。 意義：意義：表征了由于梯度估值噪聲引起的自適應系統(tǒng)的性表征了由于梯度估值噪聲引起的自適應系統(tǒng)的性 能與最優(yōu)維納解性能間的差異。能與最優(yōu)維納解性能間的差異。m inexcessM SEM21()8avmsenMP T超量均方誤差與失調超量均方誤差與失調 n失調（失調（misadjustment ）近似式：近似式：n最小均方算法的推導最小均方算法的推導 n權向量的收斂性權向量的收斂性 n權向量解的噪聲權向量解的噪聲 n失調失調 4.2 最小均方算法最小均方算法(LMS,Lea

33、st Mean Square) 最小均方算法的推導最小均方算法的推導多輸入（并聯(lián)）形式多輸入（并聯(lián)）形式 非遞歸自適應濾波器的結構非遞歸自適應濾波器的結構 橫向濾波器結構形式橫向濾波器結構形式 ( )( )( )( )Te kd kXk W k最小均方算法的推導最小均方算法的推導誤差：誤差： X(k)輸入樣本向量。輸入樣本向量。該系統(tǒng)在自適應過程每次迭代時，其梯度估值為：該系統(tǒng)在自適應過程每次迭代時，其梯度估值為： 22( )( )(0)(0)( )2 ( )-2 ( ) ( )( )( )(1)(1)e ke kwwke ke k X ke ke kw nw n 最小均方算法的推導最小均方算

34、法的推導原理：原理：把下一時刻的權系數(shù)向量把下一時刻的權系數(shù)向量W(k+1)等于現(xiàn)時刻的權等于現(xiàn)時刻的權系數(shù)向量系數(shù)向量W(k)加上一項比例于負的均方誤差的梯度估值。加上一項比例于負的均方誤差的梯度估值。 (1)( )( )( )2( )( )W kW kkW ke k X k權向量的收斂性權向量的收斂性 經過多次迭代后，權向量的期望值經過多次迭代后，權向量的期望值EW(k)將將收斂于維納最優(yōu)解。即收斂于維納最優(yōu)解。即 PRWopt1權向量解的噪聲權向量解的噪聲若若N(k)表示第表示第k次迭代時梯度估值的噪聲向量，則次迭代時梯度估值的噪聲向量，則假如采用一個小的自適應增益常數(shù)假如采用一個小的自

35、適應增益常數(shù)，并且過程已，并且過程已收斂到穩(wěn)態(tài)權向量處收斂到穩(wěn)態(tài)權向量處Wopt附近，則附近，則梯度噪聲逼近于梯度噪聲逼近于此時，噪聲的協(xié)方差為：此時，噪聲的協(xié)方差為： ( )( )( )kkN k ( )( )2 ( )( )N kke k X k2( )( )( )4 ( )( )( )TTCov N kE N k NkE e k X k Xk假如權向量假如權向量 W(k)保持在最優(yōu)權附近，保持在最優(yōu)權附近，e2(k)與輸入與輸入信號向量近似不相關，所以上式可改寫為：信號向量近似不相關，所以上式可改寫為： 將上式轉換到主軸坐標系，令將上式轉換到主軸坐標系，令 則則權向量解的噪聲權向量解的噪

36、聲2min( ( )4 ( ) ( )( )4TCov N kE e k E X k XkRNQN1 11111min( )( )( )( ) ( )( )( )4TTCov N kCov QN kE QN kQN kQE N k NkQQCov N kQV失調失調n定義：定義：在自適應中，超量均方誤差與最小均方在自適應中，超量均方誤差與最小均方誤差之比。誤差之比。n意義：意義：是自適應過程跟蹤真正維納解接近程度是自適應過程跟蹤真正維納解接近程度的量度，自適應能力代價的量度。的量度，自適應能力代價的量度。 min( )excessMSEMtr R失調正比于自適應增益系數(shù)失調正比于自適應增益系數(shù)

37、，因此失調與自適應速率，因此失調與自適應速率必須折中考慮。必須折中考慮。 n牛頓法牛頓法 nLMS算法與最速下降法的比較算法與最速下降法的比較 n歸一化歸一化LMS算法算法 4.3 其它算法與其它算法與LMS算法比較算法比較 牛頓法牛頓法n基本思想：基本思想：通過求解函數(shù)的通過求解函數(shù)的零點零點（多項式的根）（多項式的根）一步就可以達到最佳解。一步就可以達到最佳解。n實際牛頓算法的迭代公式：實際牛頓算法的迭代公式： (1)(1 2) ( )2optw kw kw求函數(shù)的零點：求函數(shù)的零點： (1 20)1/2 ( )(1)( ) ( )f w kw kw kf w k ( ) ( )(1)(1

38、)( ) ( ) (1)f w kw kw kw kw kf w kf w k離散形式離散形式LMSLMS算法與最速下降法的比較算法與最速下降法的比較n最速下降法：最速下降法：采用采用精確的精確的梯度估值，故當?shù)荻裙乐?，故當?shù)鷶?shù)次趨近于無窮大以后，數(shù)次趨近于無窮大以后，nLMS算法：算法：利用利用帶噪聲的帶噪聲的梯度估值：梯度估值：因此最終的因此最終的 只能是接近最佳維納解只能是接近最佳維納解 ，產，產生生超量均方誤差超量均方誤差。 lim( )optkW kW-2 ( )( )e k X k)(kWoptW歸一化歸一化LMSLMS算法算法梯度估值梯度估值 與與X(k)的大小成正比，故提

39、出歸一化的大小成正比，故提出歸一化LMS算算法，即兩邊同時除以法，即兩邊同時除以 。 )()(2)(kXkek2)(kX5 5 自適應原理應用自適應原理應用n遞歸自適應濾波器遞歸自適應濾波器n自適應噪聲對消自適應噪聲對消n自適應陷波濾波器自適應陷波濾波器n非線性自適應濾波與盲均衡非線性自適應濾波與盲均衡5.1 5.1 遞歸自適應濾波器遞歸自適應濾波器n遞歸自適應濾波器的結構遞歸自適應濾波器的結構 n遞歸自適應濾波器的遞歸自適應濾波器的LMSLMS算法算法 遞歸自適應濾波器的結構遞歸自適應濾波器的結構n遞歸濾波器的結構遞歸濾波器的結構系統(tǒng)傳遞函數(shù)為：系統(tǒng)傳遞函數(shù)為： 1101( )()()mni

40、iiiy ka x kib y ki1011( )( )( )( )1( )( )( )miiiniiiY zA zH zX zB zA za zB zbz除零點外，除零點外，還有極點。還有極點。 n遞歸濾波器的結構遞歸濾波器的結構m-1i=0aiz-in-1i=0biz-i+遞歸數(shù)字濾波器結構圖x(k)y(k)遞歸自適應濾波器的結構遞歸自適應濾波器的結構n遞歸自適應濾波器的結構遞歸自適應濾波器的結構遞歸自適應濾波器的結構遞歸自適應濾波器的結構m-1i=0aiz-in-1i=0biz-i+遞歸自適應濾波器結構圖d(k)y(k)e(k)+-x(k)n遞歸自適應濾波器的特點：遞歸自適應濾波器的特點

41、：|具有遞歸濾波器的優(yōu)點；具有遞歸濾波器的優(yōu)點； |自適應過程中，如果極點移動出單位圓，濾波器自適應過程中，如果極點移動出單位圓，濾波器將變得不穩(wěn)定；將變得不穩(wěn)定；|它們的性能表面一般是非二次型的，還有可能具它們的性能表面一般是非二次型的，還有可能具有局部極小值；有局部極小值； 遞歸自適應濾波器的結構遞歸自適應濾波器的結構遞歸自適應濾波器的遞歸自適應濾波器的LMS算法算法( )( )( )Ty kWk U k11110111( )()( ) (),0( )()( ) (),1( )2( ( )( )( )( )( )( )(1)( )( )Tnijijnijijnnkx k ib kkjink

42、y k ib kkjinkd ky kkkkkW kW kMk 5.2 5.2 自適應噪聲對消自適應噪聲對消n自適應對消原理自適應對消原理 n信號分量泄漏到參考輸入中產生的影信號分量泄漏到參考輸入中產生的影響響 自適應對消原理自適應對消原理n定義：定義：對各種確知的以及隨機的干擾，用對消對各種確知的以及隨機的干擾，用對消的方法抑制干擾，把受污染的信號提取出來，稱的方法抑制干擾，把受污染的信號提取出來，稱為噪聲對消。為噪聲對消。n原理：原理： 自適應對消原理自適應對消原理假定：假定：s、n0和和 n1是零均值的平穩(wěn)隨機過程，是零均值的平穩(wěn)隨機過程， s、 n0及及 n1不相關。不相關。則自適應濾

43、波器的輸出則自適應濾波器的輸出y為為 n1的濾波信號。因的濾波信號。因此，自適應噪聲抵消，系統(tǒng)的輸出此，自適應噪聲抵消，系統(tǒng)的輸出z為為 0zsny22200220() 2 ()() E zE sE nyE s nyE sE ny0nyzs自適應對消原理自適應對消原理因為因為所以當所以當 E(n0-y)最小時，最小時，E(z-s)也最小，即自適應也最小，即自適應噪聲抵消。噪聲抵消。 Z理想情況理想情況：y= n0 ，則，則 z=s。自適應濾波器自動調節(jié)其。自適應濾波器自動調節(jié)其脈沖響應，將脈沖響應，將 n1加工成加工成 n0，與原始輸入信號，與原始輸入信號d中的中的n0相減，相減，輸出信號輸出

44、信號z中的噪聲可完全被抵消，而等于有用信號中的噪聲可完全被抵消，而等于有用信號s 。 Z極端情況極端情況：參考輸入與原始輸入完全不相關，此時濾參考輸入與原始輸入完全不相關，此時濾波器將波器將“自行關閉自行關閉”，因而并不增加輸出噪聲。，因而并不增加輸出噪聲。 22222000() 2 ()() E zE s nE yEy s nE s nE yn自適應濾波器能完成上述任務的必要條件：自適應濾波器能完成上述任務的必要條件： 參考輸入信號參考輸入信號n1必須與被抵消的信號（一般為噪聲）必須與被抵消的信號（一般為噪聲）n0相關。相關。 n使用噪聲對消技術比使用噪聲過濾技術具有使用噪聲對消技術比使用噪聲過濾技術具有增強增強信噪比信噪比等優(yōu)越性。等優(yōu)越性。 自適應對消原理自適應對消原理自適應對消原理自適應對消原理n單信道噪聲對消器的性能評