自適應濾波器原理第四講-NLMS算法

1、2022-5-8自適應信號處理1第四講 歸一化最小均方（NLMS)自適應濾波算法 Y.J.Pang自適應信號處理22022-5-8CONTENTnNLMS算法推導過程nNLMS算法穩(wěn)定性nNLMS算法在回聲消除中的應用自適應信號處理32022-5-8為什么歸一化？如何歸一化及歸一化的穩(wěn)定性回聲消除應用仿射投影濾波器應用自適應信號處理42022-5-8為什么歸一化？為什么歸一化？由第五章的傳統(tǒng)的LMS濾波器的標準形式)(*)()() 1(nenunwnw從上式可以看出n+1次迭代中應用于濾波器抽頭權向量的失調為w(n+1)-w(n)由以下三點影響： 1.步長參數 u （由設計者控制） 2.抽頭輸

2、入向量u(n) （由信息源提供） 3.實數據的估計誤差e（n）或復數據估計誤差e*（n）（n次迭代計算的結果） 可知失調與抽頭輸入向量u（n）成正比。我們在調整濾波器的權向量使濾波器達到穩(wěn)定狀態(tài)的過程中，應當使權向量以最小方式改變，這樣才能的得到最優(yōu)解。當u（n）較大時，出現梯度噪聲放大問題。歸一化：n+1次迭代時對抽頭權向量的失調相對于n次迭代時抽頭輸入向量u（n）的平方歐式范數進行歸一化。自適應信號處理52022-5-84.1.歸一化歸一化LMS濾波器作為約束最優(yōu)化問濾波器作為約束最優(yōu)化問題的解題的解 （1）在結構上，歸一化LMS濾波器與標準LMS濾波器完全一樣，都是橫向濾波器。區(qū)別在于權

3、值控制器的機理 ，如下圖橫向濾波器w(n）自適應控制算法+輸出信號y（n）期望響應d（n）誤差信號e(n）輸入向量u（n）自適應橫向濾波器框圖自適應信號處理62022-5-8最小化干擾原理最小化干擾原理：歸一化LMS濾波器設計準則表述為約束優(yōu)化問題。即給定抽頭輸入向量u（n）和目標響應d（n），確定更新的抽頭向量w（n+1），使得增量的歐式范數最小化，并受制于以下約束條件我們應用拉格朗日乘子法來解決這個約束優(yōu)化問題。代價函數為 其中Re.表示取實部運算，約束對代價函數的貢獻是實值的； 為復數拉格朗日乘子，*表示復共軛； 表示歐式范數的平方運算，其結果也是實值的。因此代價函數J（n）是實值的二次

4、函數，且表示為(1) )()1()1(nwnwnw(2) )()() 1(ndnunwH2)1(nw(3) )() 1()(*Re) 1()(2nunwndnwnJH)() 1()(*Re)() 1()() 1()(nunwndnwnwnwnwnJH自適應信號處理72022-5-8為了得到代價函數為最小的最優(yōu)更新權向量，推到如下：第一步；代價函數對w（n+1）求導，得：令其為零，得最優(yōu)解為第二步; 將第一步的結果帶入式（2）得)(*)() 1(2) 1(*)(nunwnwnwnJ)(*21)() 1(nunwnw2)(21)()( )()(21)()( )()(*21)( )() 1()(nu

5、nunwnunununwnununwnunwndHHHHH自適應信號處理82022-5-8對 求解得其中是誤差信號。第三步；由上兩步的結果，表示增量變化的最優(yōu)值。 故歸一化LMS算法抽頭權向量期望的遞歸結果為2)()(2nune)()()()(nunwndneH)(*)()(1)() 1() 1(2nenununwnwnw)(*)()(1)() 1(2nenununwnw自適應信號處理92022-5-8為了對一次迭代到下一次迭代抽頭權向量的增量變化進行控制而不改變向量的為了對一次迭代到下一次迭代抽頭權向量的增量變化進行控制而不改變向量的方向，引入了一個正的實數標度因子方向，引入了一個正的實數標

6、度因子 。故得到歸一化抽頭權向量的遞歸方程)(*)()()() 1(2nenununwnw以上便是解決了當u（n）較大時，造成的LMS濾波器的梯度噪聲放大的問題。而當而當u（n）較小時，不得不用較小的平方范數除以）較小時，不得不用較小的平方范數除以 ，以致有可能出現數值計，以致有可能出現數值計算困難。故將遞歸方程修改為；算困難。故將遞歸方程修改為； )(*)()()() 1(2nenununwnw其中.0自適應信號處理102022-5-84.2歸一化LMS濾波器的穩(wěn)定性)()()(nvnuwndH)()(nwwn)(*)()()()1(2nenununn)()(2nEnD期望響應d（n）多重回

7、歸模型控制 ，重寫如下加權誤差向量為 于是從w中減去式得到以均方偏差為基礎，進行穩(wěn)定性分析。對式兩邊取平方歐式范數，并取期望值得：)()(*)(Re2)()()() 1(2222nunenEnuneEnDnDu)()( )()()(nunnunwwnuHH其中是無干擾誤差信號自適應信號處理112022-5-8由式看做 為變量的一元二次函數 則當滿足如下條件歸一化LMS濾波器在均方誤差意義下是穩(wěn)定的。)(/)()(/ )(*)(Re20222nuneEnunenuE最優(yōu)步長參數為)(/)()(/)(*)(Re222nuneEnunenuEopt0u自適應信號處理122022-5-8特殊情況：復數

8、據 實數據)(/)()(/)(*)(Re222nuneEnunenuEopt)(/)()(/)()(Re222nuneEnunenuEopt為便于計算最優(yōu)步長提出三個假設：假設一假設一：從一次迭代到下一次迭代的輸入信號能量的波動足夠小滿足自適應信號處理132022-5-8)()()()()()()()()()(222222nuEneEnuneEnuEnenuEnunenEu從而得到簡化的最優(yōu)步長假設二假設二：無干擾誤差信號與期望響應d（n）的多重回歸模型干擾（噪聲）v(n)無關第五章中，干擾信號e（n）與無干擾信號有關。)( )()()()()(2nuEnvnunuEnenuE)()()(nv

9、nune)()()(2neEnenuEopt)()(22neEnuEopt最優(yōu)步長自適應信號處理142022-5-8假設三假設三：輸入信號u（n）的譜內容在比加權誤差向量每一個分量所占頻帶更寬的頻帶上基本上是平坦的，因此證實了如下近似：（低通濾波作用）)()( )()( )()()(2222nuEnDnuEnEnUnEnuET)()()(22neEnuEnDopt最優(yōu)步長自適應信號處理152022-5-84.3回聲消除中的步長控制 幾乎所有的談話都在存在回聲的情況下進行。根據是否可察覺是有所涉及的時延決定。語音與回聲之間時延較短，不容易察覺。（頻譜失真頻譜失真）時延較長，(超過幾十毫秒)，就能

10、感覺到?，F實生活中很常見；電話電路電話電路： 電路中的混合變換器的橋式電路，當平衡不好時，輸入與輸 出之間存在耦合現象，引起回聲。免提電話免提電話： 嘯叫聲。這是由于麥克風得到了揚聲器的語音信號和 機殼反射的回波信號。 聽到自己的延遲的聲音。經系統(tǒng)環(huán)繞-往返時間延遲造 成的 。 自適應信號處理162022-5-8回聲消除中的步長控制揚聲器-機殼-麥克風環(huán)境（LEM）橫向濾波器w（n）自適應和步長控制器期望響應d（n）u（n）遠處說話者的信號u(n)誤差信號e（n）+合成回聲y（n）回聲消除器 回聲控制系統(tǒng)的結構框圖回聲控制系統(tǒng)的結構框圖自適應信號處理172022-5-8步長控制多重回歸模型的干

11、擾v（n）誤差e（n）增大步長參數的上界下降可能過大回聲濾波器不穩(wěn)定1.本地說話者語音信號導致的干擾。（雙說話）2.永久的本地噪聲（汽車內的背景噪聲）3.需要長的濾波器長度，但不能滿足的話，不能考慮全部脈沖響應，而不能建模的那部分系統(tǒng)的剩余回聲成為本地噪聲4.定點數字信號處理器中的定點計算的量化噪聲。本地干擾大時，步長參數u可能很高（濾波器不穩(wěn)定）本地干擾小時，步長參數u很小 （降低了濾波器收斂速率）因此應用時變步長參數因此應用時變步長參數u（n）來代替不變參數）來代替不變參數u自適應信號處理182022-5-8)()()()(22neEnuEnDnopt對最優(yōu)步長的估計由上式可變?yōu)橄铝腥齻€獨

12、立的估計： 1.誤差信號功率估計，即Ee2(n) 2.輸入信號功率估計，即Eu2(n) 3.均方偏差的估計， 即D（n）（由于表征LEM環(huán)境的多重回歸模型 參數w未知）（人工時延方法人工時延方法） （凸組合思想表示一階遞歸凸組合思想表示一階遞歸 ） _22_2)() 1()1 () 1(nxnxnxr取值一般在0.9,0.999 內如圖中遠端說話者信號被延遲了MD個樣值。用自適應橫向濾波器模型，故對應的人工時延的參數向量w為0，可令將自適應濾波器趨向均勻地將加權誤差向量擴展到它的M個抽頭上。將均方偏差近似為1-DM.,0,1,2,3.k )()(nwnkk)()(201nwnDDDMKkMM自

13、適應信號處理192022-5-8 本地激勵引起的誤差信號e（n）增大時，步長參數減小，穩(wěn)定。系統(tǒng)卡滯，阻斷了濾波器的自適應和延遲系數。用LEM的附加檢測器來解決自適應信號處理202022-5-84.4 實數據時收斂過程的幾何考慮)1()()1()()(nununununTsamplen權向量調整量用于n+1次迭代的歸一化濾波器得1）調整量的方向與輸入向量u（n）的方向一致。2）調整量的大小取決于輸入向量u（n）與u（n-1）的樣值相關系數。對實數據，該系數為 是所有權向量 的集合，它作用于輸入向量u（n）以產生輸出y（n），同理兩個超平面的夾角就是輸入向量u（n）和u（n-1）的夾角。由空間理

14、論可知，1n) 1()() 1()(cosnunununuT)(nw自適應信號處理212022-5-8a）當 （即輸入向量u（n）與u（n-1）正交）時，歸一化LMS濾波器收斂速度最快。b）當 =0 或180（ 輸入向量u（n）與u（n-1）處于相同方向或相反方向）時，歸一化LMS濾波器的收斂速度最慢。為防止b）讓收斂速率基本上為常數，獨立于輸入向量u（n）與u（n-1）的夾角。我們使用放射投影濾波器。圖（a）權值空間內，w（n+1）與w（n）的連線正交與圖（b）正交于1nnn90自適應信號處理222022-5-8自適應信號處理232022-5-8自適應信號處理242022-5-8特點特點LM

15、S濾波器簡易，穩(wěn)定收斂速率慢自適應常數u有反功率量綱模型獨立性，性能有魯棒性歸一化LMS濾波器減輕了當u（n）過大時梯度噪聲收斂速率快于傳統(tǒng)LMS自適應常數沒有量綱的較LMS計算復雜均方意義上穩(wěn)定收斂仿射投影自適應濾波器歸一化LMS的推廣收斂性最好計算難度大自適應信號處理252022-5-84.5仿射投影濾波器 )() 1() 1(nwnwnw 1-0,1,2.Nk )() 1()(knunwkndH歸一化LMS濾波器為仿射投影自適應的一個特例，N=1,仿射投影自適應濾波器階數為N個約束個數的約束最優(yōu)準則。權值增量約束條件代價函數)() 1()(*Re)() 1()(102knunwkndnw

16、nwnJkNkN M 數據矩陣A(n),其埃爾米特轉置為： AH(n)=u(n),u(n-1),.u(n-N+1) N 1期望響應向量，它的埃爾米特轉置為： dH(n)=d(n),d(n-1,.d(n-N+1)自適應信號處理262022-5-8由上式重新寫代價函數：) 1()()(Re()() 1()(102HNknwnAndnwnwnJ對權向量微分：)()() 1(2) 1(*)(nAnwnwnwnJ)(21)() 1(nAnwnwH令其為0得由式 得 ) 1()()(dnwnAnH由式 (n)A(n)A 21)()()(HnwnAndH移項并求12( ( )( )( ) ( ( )( )(

17、 )( )HA n Ane ne nd nA n w n自適應信號處理272022-5-8代入式 并為保證權向量迭代控制的方向不變引入步長參數得到所期望的仿射投影濾波器的更新方程如下)()()()()() 1(1nenAnAnAnwnwHH將公式)()()()(nwnAndne代入上式得)()()()( )()()()() 1(11ndnAnAnAnwnAnAnAInwHHHH定義投影算子定義投影算子P=)()()()(1nAnAnAnAHH自適應信號處理282022-5-8仿射投影自適應濾波器的穩(wěn)定性分析以均方偏差D(n)的基礎上，得到)()()()()()1(1nenAnAnAnnHH)(

18、)()()()()()(Re2 )()()()()() 1(112nwwnAnunenAnAnEnenAnAneEnDnDHHuHH)()()()()()()()(Re2011nenAnAneEnenAnAnuEHHHH若穩(wěn)定須滿足)()()()()()()()(Re11nenAnAneEnenAnAnuEHHHHopt最優(yōu)步長自適應信號處理292022-5-8假設4：從一個迭代到下一次迭代，矩陣乘積A(n)AH(n)之逆的波動足夠小以使得最優(yōu)步長近似為)()()(Re2neEnenuEHopt假設5：無干擾誤差向量與干擾誤差向量不相關。在復數據中自適應信號處理302022-5-810210210210222)()()()()()()(NkNkNkNkoptkneEknuEknDkneEknuEneEnuE自適應信號處理312022-5-8仿射投影濾波器中的實際考慮1.在噪聲環(huán)境下，(A(n)AH(n)）-1 可能發(fā)生計算困難.正則化(防止近端噪聲過大防止近端噪聲過大)()()()()() 1(1nenAnAnAnwnwHH)()()()()()