自適應(yīng)信號處理 課件 ch03最小均方自適應(yīng)算法

自適應(yīng)信號處理最小均方自適應(yīng)算法第三章新工科建設(shè)：電子信息類系列教材01最陡下降算法最陡下降算法1信號是非平穩(wěn)的或者其統(tǒng)計特性未知，因此其誤差性能曲面的參數(shù)甚至解析表示式都是變化的或者是未知的，所以只能根據(jù)已知的測量數(shù)據(jù)，釆用某種算法自動地對性能曲面進行搜索，尋找最小點，從而得到最優(yōu)權(quán)向量。本章首先介紹最陡下降算法和牛頓算法這兩種搜索性能曲面的著名方法，然后介紹一種被廣泛使用的自適應(yīng)算法——最小均方(LMS)算法最陡下降算法的基本思想最陡下降算法1LMS算法克服了最陡下降算法和牛頓算法這兩種方法在每次迭代時都需要對梯度進行估計的弊端，它釆用了一種特殊的梯度估計方法。這種方法的主要特點是不需要離線方式的梯度估計值或重復(fù)使用輸入樣本數(shù)據(jù)，而只需在每次迭代時對數(shù)據(jù)做瞬時梯度估計。這種方法不僅對第2章中討論的橫向濾波器是有效的，而且可推廣到后面將講的自適應(yīng)格型濾波器。最后給出基于牛頓算法的LMS算法。最陡下降算法的基本思想最陡下降算法1最陡下降算法(steepestdescentmethod)就是沿性能曲面最陡方向向下調(diào)整權(quán)向量，搜索性能曲面的最小點的方法。性能曲面的最陡下降方向是曲面的負(fù)梯度方向，即性能曲面梯度向量的反方向。最陡下降算法是一種迭代搜索過程：首先從性能曲面上的某個初始權(quán)向量卬(0)出發(fā)，沿性能曲面在該點處的負(fù)梯度方向搜索至第1點用，(1)等于初始權(quán)向量沖(0)加上一個正比于負(fù)梯度的增量。用類似的方法，依次迭代可逐步搜索到性能曲面最小點。最陡下降算法的基本思想最陡下降算法最小均方誤差最陡下降算法2最陡下降算法最小均方誤差最陡下降算法2最陡下降算法最小均方誤差最陡下降算法2最陡下降算法最小均方誤差最陡下降算法202牛頓算法牛頓算法1牛頓算法的基本思想牛頓算法1牛頓算法的基本思想牛頓算法2最小均方誤差牛頓算法牛頓算法2最小均方誤差牛頓算法然而，牛頓算法有兩點缺陷：(1)如果性能曲面(w)并不準(zhǔn)確已知，其一階導(dǎo)數(shù)和二階導(dǎo)數(shù)必須通過估計獲得。(2)性能曲面可能不是二次型，此時迭代次數(shù)將跟初始權(quán)值的選取有關(guān)。對某些初始權(quán)值，牛頓算法可能得不到它的最佳點。在多維二次型誤差性能曲面上，牛頓算法是單權(quán)值牛頓算法的推廣。牛頓算法2最小均方誤差牛頓算法在有兩個權(quán)值二次型誤差性能曲面的情況下，權(quán)向量從任一初始位置。開始，在迭代一步之后即跳到最佳位置。牛頓算法的搜索一般并不在負(fù)梯度方向上，因為負(fù)梯度方向的搜索路徑必須與每條橢圓等高線正交。僅當(dāng)(0)處于橢圓主軸上時，牛頓算法的搜索路徑才和梯度方向重合。對于單權(quán)值的牛頓算法實際上就是收斂步長取為1/24的最陡下降算法(臨界阻尼狀態(tài))，自然地，權(quán)值的搜索方向即為負(fù)梯度方向。牛頓算法2最小均方誤差牛頓算法牛頓算法2最小均方誤差牛頓算法03LMS算法LMS算法LMS算法描述本節(jié)仍以自適應(yīng)橫向濾波器為基礎(chǔ)，探討一種廣泛使用的自適應(yīng)算法一最小均方(LMS)算法。這種算法是由Widrow和Ho任于1960年提出的，該算法由于簡單實用，因此成為線性自適應(yīng)濾波算法的參照標(biāo)準(zhǔn)。在最陡下降算法中，我們知道如果能夠精確測量每一次迭代的梯度向量，而且若收斂因子選取得合適，則最陡下降算法能夠使得抽頭權(quán)向量收斂于維納解(對于平穩(wěn)過程)。但是，梯度向量的精確測量需要知道抽頭輸入的相關(guān)矩陣以及抽頭輸入與期望響應(yīng)之間的互相關(guān)向量P，因此當(dāng)最陡下降算法應(yīng)用于未知環(huán)境時，梯度向量的精確測量是不可能的，必須根據(jù)可用數(shù)據(jù)對梯度向量進行估計。1LMS算法LMS算法描述對于最小均方誤差準(zhǔn)則下的自適應(yīng)橫向濾波器來說，若釆用一般的梯度估計方法推出自適應(yīng)算法，則需要分別取權(quán)值經(jīng)擾動后的兩個均方誤差估計(即在一段短時間內(nèi)的釆樣數(shù)據(jù)平均值)之差來作為梯度估訓(xùn)。而LMS算法則直接利用單次釆樣數(shù)據(jù)獲得的來代替均方誤差J，從而進行梯度估計，所以把這種梯度估計稱為瞬時梯度估計。1LMS算法LMS算法描述1LMS算法LMS算法描述1LMS算法LMS算法描述實現(xiàn)LMS算法的向量信號流可以看出，一個帶有反饋環(huán)節(jié)的閉環(huán)自適應(yīng)系統(tǒng)。該系統(tǒng)除利用輸入向量以外，還利用輸出誤差。的反饋信息來調(diào)整權(quán)向量的迭代過程。實現(xiàn)LMS算法時不需要平方、平均或微分運算，這就使得該算法可高效實現(xiàn)。梯度向量的每個分量都由單個數(shù)據(jù)樣本得到，無須擾動權(quán)向量，因而梯度估計必然含有一個較大的噪聲成分，也就是說這個自適應(yīng)過程是帶有噪聲的，它將不會嚴(yán)格地沿著性能曲面真實的最陡下降路徑搜索。但是，在自適應(yīng)過程中，由于存在著積分環(huán)路這樣的低通濾波作用，故隨著迭代的不斷進行，梯度噪聲將被平均。1LMS算法LMS算法的收斂性我們知道，合理地設(shè)置收斂因子對于平穩(wěn)隨機過程來說，利用最陡下降算法可以使抽頭權(quán)向量按照確定性軌跡沿著誤差性能曲面最終收斂于最優(yōu)解叫。而對于LMS算法，由于瞬時梯度估計存在梯度噪聲，使得LMS算法的權(quán)向量是以隨機方式變化的，因此LMS算法又稱為隨機梯度法。LMS算法最終所得的抽頭權(quán)向量將圍繞著誤差性能曲面的最小點隨機游動。下面考察LMS算法抽頭權(quán)向量的期望值的收斂問題。2LMS算法LMS算法的收斂性2LMS算法LMS算法的收斂性2LMS算法LMS算法的收斂性應(yīng)當(dāng)指出，上面的輸入向量去相關(guān)、平穩(wěn)性假設(shè)和收斂條件并不是LMS算法收斂的必要條件，釆用這樣做法僅是為了分析問題方便。對于某些特定的相關(guān)和非平穩(wěn)輸入的LMS算法的收斂問題，由于分析十分復(fù)雜，這里不再贅述，請讀者參閱其他文獻。2LMS算法LMS算法的收斂性由于在每步迭代過程中梯度估計值都是含有噪聲的，因此權(quán)值移動的軌跡是游弋(Erratic)的，即移動軌跡并不嚴(yán)格地與真實梯度方向一致。對于較大的值，由于每次迭代權(quán)值的調(diào)整大，因此游弋也較大，但它僅僅用了相當(dāng)于小軌跡一半的迭代次數(shù)就達到了與小日軌跡相同的等高橢圓上。如果讓自適應(yīng)過程繼續(xù)進行，則兩個軌跡最終將逼近的最小值區(qū)域，即“碗底”區(qū)域，并在該區(qū)域游動，得到一個帶有噪聲的權(quán)向量解。從中可以進一步觀察到LMS算法的收斂過程2LMS算法LMS算法的權(quán)向量噪聲上面分析了LMS算法權(quán)向量期望值的收斂問題。從上面的分析可以看出，在一定的收斂條件下，LMS算法權(quán)向量期望值收斂于最優(yōu)權(quán)向量。但是，由于LMS算法對梯度向量各分量的估計是根據(jù)單個數(shù)據(jù)樣本得到的，沒有進行平均，使得梯度估計中存在噪聲，因此使得LMS算法權(quán)向量是帶噪聲的，最終權(quán)向量不收斂于最優(yōu)值，而是在最優(yōu)值附近漂移，形成了最優(yōu)值上的權(quán)向量噪聲。下面來分析LMS算法最終權(quán)向量噪聲的統(tǒng)計特性。3LMS算法LMS算法的權(quán)向量噪聲3LMS算法LMS算法的期望學(xué)習(xí)曲線前面在介紹最陡下降算法過渡過程的時候講過均方誤差性能函數(shù)與迭代次數(shù)的關(guān)系，即為學(xué)習(xí)曲線?，F(xiàn)在我們來討論LMS算法的期望學(xué)習(xí)曲線，并給出相應(yīng)的時間常數(shù)。對于給定權(quán)向量網(wǎng)的橫向濾波器來說，均方誤差性能函數(shù)隨著迭代次數(shù)的變化。在最陡下降算法中，每次迭代都要精確計算性能函數(shù)的梯度向量，權(quán)向量準(zhǔn)確地按照誤差性能曲面的負(fù)梯度方向逐步收斂于最優(yōu)權(quán)向量，使得均方誤差性能函數(shù)最終達到最小值。4LMS算法LMS算法的期望學(xué)習(xí)曲線但LMS算法中由于釆用瞬時梯度估計，使得梯度估計存在噪聲向量，從而產(chǎn)生權(quán)向量噪聲，結(jié)果均方誤差在隨著迭代次數(shù)的增大而減小的過程中出現(xiàn)小的波動。為了了解LMS算法均方誤差隨著迭代次數(shù)變化的統(tǒng)計規(guī)律，我們來研究LMS算法中的動態(tài)特性，并將隨著迭代次數(shù)m的變化關(guān)系稱為期望學(xué)習(xí)曲線。4LMS算法LMS算法的期望學(xué)習(xí)曲線4LMS算法LMS算法的性能如前所述，梯度估計噪聲的存在使得收斂后的穩(wěn)態(tài)權(quán)向量在最優(yōu)權(quán)向量附近隨機起伏。這意味著穩(wěn)態(tài)均方誤差值總大于最小均方誤差，且在附近隨機地改變，。一個偏差權(quán)系數(shù)討的關(guān)系曲線，在穩(wěn)態(tài)情況下偏差權(quán)系數(shù)在最佳值附近隨機地發(fā)生偏移，從而引起隨機地偏離最低點現(xiàn)在定義自適應(yīng)過渡過程結(jié)束后的穩(wěn)態(tài)均方誤差的數(shù)學(xué)期望與最小均方誤差的差值為超量均方誤差。5LMS算法LMS算法的性能504LMS牛頓算法LMS牛頓算法非線性失真的定義1如前所述，LMS算法的基本思想就是在最陡下降算法中采用了瞬時梯度估計。如果將這種瞬時估計的基本原則應(yīng)用于牛頓算法中，就構(gòu)成了LMS算法。由于牛頓算法自身所具有的快速收斂的特點，使得LMS牛頓算法不僅可提高收斂速度，而且不會太增加計算復(fù)雜度。特別是當(dāng)濾波器的輸入信號為有色隨機過程時，如果輸入信號為高度相關(guān)的情況，則大多數(shù)自適應(yīng)濾波算法的收斂速度都要下降，對于上述典型的LMS算法，此問題更加突出。LMS牛頓算法可以很好地解決這個問題。下面仍以自適應(yīng)橫向濾波器為基礎(chǔ)，討論相應(yīng)的LMS牛頓算法。LMS牛頓算法非線性失真的定義1LMS牛頓算法非線性失真的定義1如前所述，LMS算法梯度估計的方向趨于理想梯度方向。類似地相乘所生成的向量接近于牛頓算法梯度估計的方向。所以LMS牛頓算法朝均方誤差性能曲面最小點方向的路徑收斂，而且算法的收斂特性表明與相關(guān)矩陣的特征值擴張無關(guān)。LMS牛頓算法非線性失真的定義1如前所述，LMS算法的基本思想就是在最陡下降算法中采用了瞬時梯度估計。如果將這種瞬時估計的基本原則應(yīng)用于牛頓算法中，就構(gòu)成了LMS算法。由于牛頓算法自身所具有的快速收斂的特點，使得LMS牛