數(shù)字信號(hào)處理研究生課程Cha1.ppt

第三章 自適應(yīng)數(shù)字濾波器,3.1 引言 3.2 LMS橫向自適應(yīng)濾波器 3.3 LMS格型自適應(yīng)濾波器 3.4 LS自適應(yīng)濾波 3.5 自適應(yīng)濾波的應(yīng)用,3.1 引 言,自適應(yīng)數(shù)字濾波器 自適應(yīng)數(shù)字濾波器的應(yīng)用,1、自適應(yīng)數(shù)字濾波器,維納濾波存在的問題： 適用于平穩(wěn)隨機(jī)信號(hào)的最佳濾波； 維納濾波器的參數(shù)是固定的； 必須已知信號(hào)和噪聲的有關(guān)統(tǒng)計(jì)特性。,自適應(yīng)數(shù)字濾波器：利用前一時(shí)刻已獲得的濾波器參數(shù)等結(jié)果，自動(dòng)地調(diào)節(jié)現(xiàn)時(shí)刻的濾波器參數(shù)，以適應(yīng)信號(hào)與噪聲未知的或隨時(shí)間變化的統(tǒng)計(jì)特性，從而實(shí)現(xiàn)最優(yōu)濾波。,維納濾波器的輸入輸出關(guān)系,自適應(yīng)濾波器原理圖,e(n)=d(n)-y(n),自適應(yīng)濾波器H(z)的系數(shù)根據(jù)誤差信號(hào)，通過一定的自適應(yīng)算法，不斷地進(jìn)行改變， 使輸出y(n)最接近期望信號(hào)d(n)。 實(shí)際中，d(n)要根據(jù)具體情況進(jìn)行選取。,自適應(yīng)濾波器的特點(diǎn)： 濾波器的參數(shù)可以自動(dòng)地按照某種準(zhǔn)則調(diào)整到最佳濾波，是一種最佳的時(shí)變數(shù)字濾波器； 實(shí)現(xiàn)時(shí)不需要任何關(guān)于信號(hào)和噪聲的先驗(yàn)統(tǒng)計(jì)知識(shí)； 具有學(xué)習(xí)和跟蹤的性能。,2、自適應(yīng)數(shù)字濾波器的應(yīng)用,1967年由美國B.Windrow 及Hoff等人提出自適應(yīng)數(shù)字濾波算法，主要用于隨機(jī)信號(hào)處理。 自提出以來，自適應(yīng)濾波器發(fā)展很快，在各個(gè)方面得到了廣泛的應(yīng)用： 系統(tǒng)模型識(shí)別； 通信信道的自適應(yīng)均衡； 雷達(dá)與聲納的波束形成； 消除心電圖中的電源干擾； 噪聲中信號(hào)的檢測、跟蹤、 增強(qiáng)和線性預(yù)測等。,自適應(yīng)濾波器分類： FIR自適應(yīng)濾波器、IIR自適應(yīng)濾波器 最小均方誤差（LMS）自適應(yīng)濾波器、最小二乘（LS）自適應(yīng)濾波器 橫向結(jié)構(gòu)、格型結(jié)構(gòu),3.2 LMS自適應(yīng)濾波器,LMS自適應(yīng)濾波器的基本原理 最陡下降法 Widrow-Hoff LMS算法 LMS算法的收斂性質(zhì),1、LMS自適應(yīng)橫向?yàn)V波器的基本原理,e(n)=d(n)-y(n),表示成矩陣形式：,式中,誤差信號(hào)表示為,圖 3.1.3 自適應(yīng)線性組合器,圖 3.1.4 橫向FIR結(jié)構(gòu)的自適應(yīng)濾波器,利用LMS準(zhǔn)則求最佳權(quán)系數(shù)和最小均方誤差 誤差信號(hào)被用來作為權(quán)系數(shù)的控制信號(hào)。均方誤差（性能函數(shù)）為,上式表明，當(dāng)輸入信號(hào)和期望信號(hào)是平穩(wěn)隨機(jī)信號(hào)時(shí)， 均方誤差信號(hào)Ee2j是權(quán)系數(shù)的二次函數(shù)，它是一個(gè)中間上凹的超拋物形曲面，是具有唯一最小值的函數(shù)。,圖 3.2.5 二維權(quán)矢量性能表面,調(diào)節(jié)加權(quán)系數(shù)W使均方誤差最小，相當(dāng)于沿超拋物形曲面下降到最小值。 在數(shù)學(xué)上，可用梯度法沿著該曲面調(diào)節(jié)權(quán)矢量的各元素得到均方誤差Eej2的最小值。,用 表示Eej2的梯度向量，用公式表示如下：,為求最佳權(quán)系數(shù)，令 即,當(dāng)濾波器的單位脈沖響應(yīng)取最佳值時(shí)，其誤差信號(hào)和輸入信號(hào)是正交的。,可以得到,最佳權(quán)矢量W*：,均方誤差將取最小值：,或者將上式取轉(zhuǎn)置，用下式表示：,2、 最陡下降法,采用最優(yōu)化的數(shù)學(xué)算法最陡下降法（Steepest Descent Method），搜索性能函數(shù)表面尋找最佳權(quán)系數(shù)。,自適應(yīng)過程的物理意義,最陡下降法的遞推公式,其中,是一個(gè)控制穩(wěn)定性和收斂速度的參量，稱之為收斂因子。 方向是性能函數(shù)下降最快的方向，因此稱為最陡梯度下降法。,Ee2(j)與W的關(guān)系在幾何上是一個(gè)“碗形”的多維曲面。,收索方向?yàn)樘荻蓉?fù)方向，每一步更新都使目標(biāo)函數(shù)值減小。,3、 Widrow-Hoff LMS算法,由Widrow等人提出，采用梯度的估計(jì)值代替梯度的精確值。,LMS算法的權(quán)值計(jì)算 LMS(Least Mean Square)算法的梯度估計(jì)值用一條樣本曲線進(jìn)行計(jì)算，公式如下：,因?yàn)?所以,對(duì)梯度估計(jì)值求統(tǒng)計(jì)平均， 得到,上式說明梯度估計(jì)值是無偏估計(jì)的，梯度的估計(jì)量在理想梯度j附近隨機(jī)變化。,最陡下降法的遞推公式修改為：,權(quán)系數(shù)也是在理想情況下的權(quán)軌跡附近隨機(jī)變化的,搜索方向?yàn)樗矔r(shí)梯度負(fù)方向，不能保證每一步更新都使目標(biāo)函數(shù)值減小，但總趨勢使目標(biāo)函數(shù)值減小。,4、 LMS算法的收斂性質(zhì),對(duì)加權(quán)矢量取統(tǒng)計(jì)平均：,令,Vj=Wj-W*,(3.2.58),那么,EVj+1=EWj+1-W*,(3.2.59),EVj=EWj-W*,V稱為偏差權(quán)向量，它表示權(quán)向量對(duì)最佳權(quán)向量的偏差。,將上面兩式代入(3.2.57)式中，得到,它的遞推解是,將Rxx進(jìn)行分解，得到,Rxx=QTQ,=QTRxxQ,其中，Q稱為正交矩陣或特征矩陣， 是由特征值組成的對(duì)角矩陣， 用下式表示：,令,得到,(3.2.62),由 EVj=EWj-W*,LMS算法加權(quán)矢量是在最陡下降法加權(quán)矢量附近隨機(jī)變化的， 其統(tǒng)計(jì)平均值等于最陡下降法的加權(quán)矢量。,LMS算法加權(quán)矢量的收斂條件為,(3.2.64),加權(quán)矢量的的收斂條件,收斂條件還可以表示為,值對(duì)收斂穩(wěn)定性和收斂速度影響很大，首先必須選擇得足夠小，使之滿足收斂條件，同時(shí)，它還影響收斂速度。,加權(quán)矢量的收斂性質(zhì),W*,W, Wj,W,Eej2,權(quán)矢量的過渡過程：,LMS算法的過渡過程,由(3.2.62)式，第i個(gè)分量為,(3.2.68),(3.2.62),引入時(shí)常數(shù)i,(3.2.69),(3.2.70),(3.2.71),同樣，第i個(gè)權(quán)系數(shù)可以表示成,(3.2.72),令,LMS算法性能函數(shù)的過渡過程 按照(3.2.4)式， 信號(hào)誤差為,(3.2.73),其中，最佳誤差信號(hào)為,按照(3.2.73)式寫出均方誤差表示式：,假定Xj和Vj不相關(guān)，上式中最后一項(xiàng)為0，那么,假設(shè)加權(quán)系數(shù)變化很小，Vj也變化很小，EVjVj，這樣：,類似前面的推導(dǎo)，得到,(3.2.74),(3.2.75),LMS算法的學(xué)習(xí)曲線同樣近似為幾個(gè)不同時(shí)間常數(shù)的指數(shù)和， 性能函數(shù)的衰減時(shí)間常數(shù)約為最佳權(quán)系數(shù)衰減時(shí)間常數(shù)的一半。,最終的收斂要取決于最慢的指數(shù)過程，它的時(shí)常數(shù)最大，對(duì)應(yīng)最小的特征值，公式如下：,穩(wěn)態(tài)誤差和失調(diào)系數(shù) 存在問題：實(shí)際中，工作于實(shí)時(shí)的自適應(yīng)算法，權(quán)系數(shù)不能完全收斂于最佳值，只是其平均值可以收斂到最佳值。這是由于采用梯度的估計(jì)值代替梯度值而產(chǎn)生的估計(jì)誤差。,解決方法：引入失調(diào)系數(shù)M進(jìn)行描述，其定義為,上式說明，和輸入功率加大都會(huì)增加失調(diào)系數(shù)。,跟蹤能力越好，曲線穩(wěn)態(tài)越接近橫軸。,圖 3.2.10 LMS算法穩(wěn)態(tài)誤差,上式說明，當(dāng)選擇足夠長的 ，M可以做到任意小。但當(dāng) 一定時(shí)，M隨著權(quán)數(shù)目N的增加而增大。另一方面， 越小，收斂也會(huì)越快。如此，便產(chǎn)生了動(dòng)態(tài)特性和靜態(tài)特性的矛盾，這就要求我們在收斂速度和失調(diào)量間取得適當(dāng)?shù)恼壑小Ｒ话愣?，迭代次?shù)選擇為 。,例 設(shè)M=10%（一般M=10%可以滿足大多數(shù)工程設(shè)計(jì)的要求）并設(shè)N=10，問應(yīng)該取多少次迭代數(shù)？ 解：,按經(jīng)驗(yàn)實(shí)際迭代次數(shù)應(yīng)取100（=10濾波器長度N）或取,圖 3.2.11 LMS算法的學(xué)習(xí)曲線,3.3 LMS格型自適應(yīng)濾波器,預(yù)測誤差濾波器 預(yù)測誤差格型濾波器 LMS格型自適應(yīng)濾波器,1、 線性預(yù)測誤差濾波器,前向預(yù)測誤差為,將前向預(yù)測誤差用 表示，上式重寫為,假設(shè)前、后向預(yù)測器具有相同的系數(shù)，則后向預(yù)測誤差為,后向預(yù)測誤差用 表示，上式可寫為：,前、 后向預(yù)測誤差濾波器的系數(shù)函數(shù)之間的關(guān)系是,為了求解前、后向預(yù)測誤差濾波器的最佳系數(shù)，需要解Yule-Walker方程，求解方法采用Levinson-Durbin算法。,2、預(yù)測誤差格型濾波器,由預(yù)測誤差濾波器導(dǎo)出格型濾波器 將前面已推導(dǎo)的前向預(yù)測誤差公式重寫如下:,將系數(shù)ap,k(k=1,2,3,p)的遞推公式代入上式，并令kp=ap,p，得到,由此，便可得到前向預(yù)測誤差的遞推公式， 即,類似地，得到后向預(yù)測誤差的遞推公式為,對(duì)于p=0的情況， 得到,圖 3.3.5 全零點(diǎn)格型濾波器,格型濾波器的性質(zhì) (1) 各階后向預(yù)測誤差相互正交。 用公式表示如下：,(2) 平穩(wěn)隨機(jī)序列可由自相關(guān)函數(shù)或反射系數(shù)表征。 (3) 前向預(yù)測誤差濾波器是最小相位濾波器，即它的全部零點(diǎn)在單位圓內(nèi)。后向預(yù)測誤差濾波器是一個(gè)穩(wěn)定的最大相位濾波器，全部零點(diǎn)在單位圓外。,3、LMS格型自適應(yīng)濾波器,在滿足預(yù)測誤差的均方值最小的準(zhǔn)則下，最佳自適應(yīng)格型濾波器求解關(guān)鍵在于計(jì)算出反射系數(shù)。其方法有：,采用使前、后向預(yù)測誤差功率的和為最小的原則求反射系數(shù)。 公式為,即,可以得到,實(shí)際計(jì)算時(shí)，上式中的統(tǒng)計(jì)平均值用時(shí)間平均計(jì)算， 公式為,對(duì)于復(fù)信號(hào)情況，公式為,如果輸入數(shù)據(jù)為x(i), i=0, 1, 2, , n， 當(dāng)p=1時(shí)，,這里,因此,當(dāng)p=2時(shí)，,其中,以此類推，可以得到 的具體計(jì)算公式為,這種算法必須從低階推起，要求較大的存儲(chǔ)時(shí)間，有較大的計(jì)算延遲，使應(yīng)用受到限制。,采用梯度算法計(jì)算反射系數(shù),其中，,將上式代入前一式中， 得到,式中，=2，為步長因子。,最小均方誤差(LMS)濾波（統(tǒng)計(jì)分析法）,最小二乘(LS)濾波（精確分析法）,3.4 最小二乘自適應(yīng)濾波,最小二乘的基本問題 已知n個(gè)數(shù)據(jù)x(1),x(2),x(n)，采用M個(gè)權(quán)的FIR濾波器對(duì)數(shù)據(jù)進(jìn)行濾波，假設(shè)期望信號(hào)為d(i)，,濾波器的輸出 是對(duì)期望信號(hào)d(i)的估計(jì),n時(shí)刻的估計(jì)誤差為,圖 3.4.1 M個(gè)權(quán)的FIR濾波器,誤差信號(hào)的平方加權(quán)和為,為了后面敘述方面，引入一些符號(hào)。,e(n)=e(1), e(2), , e(n)T,d(n)=d(1), d2), , d(n)T,XM(n)=xM(1),xM(2),xM(n),最小二乘估計(jì)的模型描述,令誤差信號(hào)能量為J，并取加權(quán)矩陣=I，則,3.5 自適應(yīng)濾波的應(yīng)用,自適應(yīng)抵消器 自適應(yīng)逆濾波,1、自適應(yīng)抵消器,自適應(yīng)濾波器的重要特性：能有效地在未知環(huán)境中跟蹤時(shí)變的輸入信號(hào)，使輸出信號(hào)達(dá)到最優(yōu)。 自適應(yīng)噪聲抵消器，利用干擾源的輸出，通過一個(gè)數(shù)字濾波器，最佳地估計(jì)出干擾值，從而從混有干擾的輸入中減去干擾估值，實(shí)現(xiàn)了干擾與信號(hào)相當(dāng)完善的分離。 輸入：原始信號(hào)（含信號(hào)與噪聲），參考信號(hào)（與待抵消噪聲信號(hào)相關(guān)）； 輸出：無噪聲信號(hào),圖 3.5.1 自適應(yīng)對(duì)消系統(tǒng),對(duì)消原理 原始輸入端：dj=sj+n0, n0是要抵消的噪聲，并且與s不相關(guān)； 參考輸入端：xj =n1，n1是與n0相關(guān)、與s不相關(guān)的噪聲信號(hào)； 系統(tǒng)的輸出：zj=dj-yj； 濾波器的傳輸函數(shù)可以根據(jù)系統(tǒng)的輸出信號(hào)自動(dòng)調(diào)整，假定s, n0, n1是零均值的平穩(wěn)隨機(jī)過程,輸出信號(hào)的均方值,由于s與n0, n1不相關(guān)，因此s與yj也不相關(guān)，則,性能分析 參考輸入端噪聲與原始輸入端噪聲相關(guān)性； 參考輸入端存在一定的有用信號(hào)。,由此可知，原始信號(hào)進(jìn)來什么信號(hào)，出來什么信號(hào)，這時(shí)自適應(yīng)濾波器關(guān)閉。要使其完成自適應(yīng)噪聲抵消任務(wù)，則參考輸入必須與被抵消信號(hào)相關(guān)。,若n0與 n1不相關(guān)，其與yj也不相關(guān)，則,參考輸入端存在一定的有用信號(hào) 當(dāng)有信號(hào)分量泄漏到參考輸入中時(shí)，噪聲的抵消能力可以通過比較輸入端的信噪比、參考輸入端的信噪比及輸出端的信噪比數(shù)值大小來評(píng)價(jià)。,噪聲抵消后，輸出端信號(hào)為sout(n)= spri(n)- sref(n)，噪聲為 nout(n)= npri(n)- nref(n) ,其功率譜分別為,噪聲抵消前，原始輸入端的信號(hào)為spri(n)= s(n)，噪聲為npri(n)= v(n) ，其功率譜分別為,參考輸入端信號(hào) spri(n)= s(n)*g(n) ,噪聲為nref(n)= v(n)*h(n)，其功率譜分別為,輸入端的信噪比為,參考輸入端的信噪比為,輸出端的信噪比為,參考輸入端的總功率為,參考輸入端與原始輸入端的互功率為,由此可得， 一個(gè)自適應(yīng)對(duì)消器的穩(wěn)態(tài)解為,結(jié)論：只要參考輸入端的信噪比足夠小，輸出就可以得到好的信噪比。即泄露到參考輸入端的有用信號(hào)越少，抵消效果越好。,在參考輸入端存在信號(hào)s時(shí)，自適應(yīng)抵消器輸出端的信號(hào)分量將比原始輸入端的信號(hào)分量有一定損失，損失大小用D(z)表示：,3. 應(yīng)用 1) 消除心電圖中的電源干擾,2) 胎兒心電監(jiān)護(hù),其中原始輸入a(t)=f(t)+m(t)+n(t) f(t):胎兒心臟產(chǎn)生信號(hào) m(t):母親心臟產(chǎn)生信號(hào) n(t):噪聲干擾信號(hào)（主要由肌肉起的，有時(shí)稱“肌肉噪聲”）。,采用自適應(yīng)噪聲抵消器消除胎兒心電圖中母體心臟信號(hào)（干擾）。一般采用：四個(gè)普通胸導(dǎo)（每路信號(hào)相同）記錄母親心跳，作為參考輸入信號(hào)。經(jīng)過自適應(yīng)噪聲抵消器處理后，母親心臟干擾信號(hào)被顯著消弱，胎兒心聲可辨。,圖 3.5.5 胎兒心電的監(jiān)護(hù) （a） 胸部導(dǎo)聯(lián)心電（參考輸入）；（b） 腹部導(dǎo)聯(lián)的心電（原始輸入）； (c) 自適應(yīng)對(duì)消器的輸出,2、自適應(yīng)逆濾波,自適應(yīng)均衡器與自適應(yīng)解卷積問題都可歸結(jié)為用自適應(yīng)的方法求逆濾波系統(tǒng)的問題。 自適應(yīng)均衡器用以補(bǔ)償