自適應(yīng)濾波算法的研究

PAGE27自適應(yīng)濾波算法的研究第1章緒論1.1課題背景伴隨著移動通信事業(yè)的飛速發(fā)展，自適應(yīng)濾波技術(shù)應(yīng)用的范圍也日益擴大。早在20世紀40年代，就對平穩(wěn)隨機信號建立了維納濾波理論。根據(jù)有用信號和干擾噪聲的統(tǒng)計特性(自相關(guān)函數(shù)或功率譜)，用線性最小均方誤差估計準則設(shè)計的最佳濾波器，稱為維納濾波器。這種濾波器能最大程度地濾除干擾噪聲，提取有用信號。但是，當輸入信號的統(tǒng)計特性偏離設(shè)計條件，則它就不是最佳的了，這在實際應(yīng)用中受到了限制。到60年代初，由于空間技術(shù)的發(fā)展，出現(xiàn)了卡爾曼濾波理論，即利用狀態(tài)變量模型對非平穩(wěn)、多輸入多輸出隨機序列作最優(yōu)估計?，F(xiàn)在，卡爾曼濾波器己成功地應(yīng)用到許多領(lǐng)域，它既可對平穩(wěn)的和非平穩(wěn)的隨機信號作線性最佳濾波，也可作非線性濾波。實質(zhì)上，維納濾波器是卡爾曼濾波器的一個特例。在設(shè)計卡爾曼濾波器時，必須知道產(chǎn)生輸入過程的系統(tǒng)的狀態(tài)方程和測量方程，即要求對信號和噪聲的統(tǒng)計特性有先驗知識，但在實際中，往往難以預(yù)知這些統(tǒng)計特性，因此實現(xiàn)不了真正的最佳濾波。WidrowB等于1967年提出的自適應(yīng)濾波理論，可使自適應(yīng)濾波系統(tǒng)的參數(shù)自動地調(diào)整而達到最佳狀況，而且在設(shè)計時，只需要很少的或根本不需要任何關(guān)于信號與噪聲的先驗統(tǒng)計知識。這種濾波器的實現(xiàn)差不多象維納濾波器那樣簡單，而濾波性能幾乎如卡爾曼濾波器一樣好。因此，近十幾年來，自適應(yīng)濾波理論和方法得到了迅速發(fā)展。[1]自適應(yīng)濾波是一種最佳濾波方法。它是在維納濾波，Kalman濾波等線性濾波基礎(chǔ)上發(fā)展起來的一種最佳濾波方法。由于它具有更強的適應(yīng)性和更優(yōu)的濾波性能。從而在工程實際中，尤其在信息處理技術(shù)中得到廣泛的應(yīng)用。自適應(yīng)濾波的研究對象是具有不確定的系統(tǒng)或信息過程?！安淮_定”是指所研究的處理信息過程及其環(huán)境的數(shù)學(xué)模型不是完全確定的。其中包含一些未知因數(shù)和隨機因數(shù)。任何一個實際的信息過程都具有不同程度的不確定性，這些不確定性有時表現(xiàn)在過程內(nèi)部，有時表現(xiàn)在過程外部。從過程內(nèi)部來講，描述研究對象即信息動態(tài)過程的數(shù)學(xué)模型的結(jié)構(gòu)和參數(shù)是我們事先不知道的。作為外部環(huán)境對信息過程的影響，可以等效地用擾動來表示，這些擾動通常是不可測的，它們可能是確定的，也可能是隨機的。此外一些測量噪音也是以不同的途徑影響信息過程。[2]這些擾動和噪聲的統(tǒng)計特性常常是未知的。面對這些客觀存在的各種不確定性，如何綜合處理信息過程，并使某一些指定的性能指標達到最優(yōu)或近似最優(yōu)，這就是自適應(yīng)濾波所要解決的問題?？梢?，自適應(yīng)濾波算法的研究與實際狀況有著密不可分的關(guān)系，具有重要的意義。1.2國內(nèi)外目前的研究狀況最早人們根據(jù)生物能以各種有效的方式適應(yīng)生存環(huán)境從而使生命力變強的特性引伸出自適應(yīng)這個概念。自適應(yīng)濾波器屬于現(xiàn)代濾波器的范疇，它是40年代發(fā)展起來的自適應(yīng)信號處理領(lǐng)域的一個重要應(yīng)用。60年代，美國B.Windrow和Hoff首先提出了主要應(yīng)用于隨機信號處理的自適應(yīng)濾波器算法，從而奠定自適應(yīng)濾波器的發(fā)展。所謂自適應(yīng)濾波器，即利用前一時刻已獲得的濾波器參數(shù)等結(jié)果，自動地調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號與噪聲未知的或隨時間變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。自適應(yīng)信號處理主要是研究結(jié)構(gòu)可變或可調(diào)整的系統(tǒng)，它可以通過自身與外界環(huán)境的接觸來改善自身對信號處理的性能。通常這類系統(tǒng)是時變的非線性系統(tǒng)，可以自動適應(yīng)信號傳輸?shù)沫h(huán)境和要求，無須詳細知道信號的結(jié)構(gòu)和實際知識，無須精確設(shè)計處理系統(tǒng)本身。自適應(yīng)系統(tǒng)的非線性特性主要是由系統(tǒng)對不同的信號環(huán)境實現(xiàn)自身參數(shù)的調(diào)整來確定的。自適應(yīng)系統(tǒng)的時變特性主要是由其自適應(yīng)響應(yīng)或自適應(yīng)學(xué)習(xí)過程來確定的，當自適應(yīng)過程結(jié)束和系統(tǒng)不再進行時，有一類自適應(yīng)系統(tǒng)可成為線性系統(tǒng)，并稱為線性自適應(yīng)系統(tǒng)，因為這類系統(tǒng)便于設(shè)計且易于數(shù)學(xué)處理，所以實際應(yīng)用廣泛。本文研究的自適應(yīng)濾波器就是這類濾波器。自適應(yīng)信號處理的應(yīng)用領(lǐng)域包括通信、雷達、聲納、地震學(xué)、導(dǎo)航系統(tǒng)、生物醫(yī)學(xué)和工業(yè)控制等。[3]自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計簡單、性能最佳，自適應(yīng)濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點。主要自適應(yīng)濾波器有：遞推最小二乘(RLS)濾波器、最小均方差(LMS)濾波器、格型濾波器、無限沖激響應(yīng)(IIR)濾波器。其中LMS濾波器和RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡單，收斂性能良好。將作為本文研究的重點。自適應(yīng)濾波器是相對固定濾波器而言的，固定濾波器屬于經(jīng)典濾波器，它濾波的頻率是固定的，自適應(yīng)濾波器濾波的頻率則是自動適應(yīng)輸入信號而變化的，所以其適用范圍更廣。在沒有任何關(guān)于信號和噪聲的先驗知識的條件下，自適應(yīng)濾波器利用前一時刻已獲得的濾波器參數(shù)來自動調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號和噪聲未知或隨機變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。自適應(yīng)濾波器是以最小均方誤差為準則，由自適應(yīng)算法通過調(diào)整濾波器系數(shù)，以達到最優(yōu)濾波的時變最佳濾波器。設(shè)計自適應(yīng)濾波器時，可以不必預(yù)先知道信號與噪聲的自相關(guān)函數(shù)，在濾波過程中，即使噪聲與信號的自相關(guān)函數(shù)隨時間緩慢變化，濾波器也能自動適應(yīng)，自動調(diào)節(jié)到滿足均方誤差最小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器的一般結(jié)構(gòu)。實際上，自適應(yīng)濾波器是一種能夠自動調(diào)整本身參數(shù)的特殊維納濾波器，在設(shè)計時不需要實現(xiàn)知道關(guān)于輸入信號和噪聲的統(tǒng)計特性的知識，它能夠在自己的工作過程中逐漸“了解”或估計出所需的統(tǒng)計特性，并以此為依據(jù)自動調(diào)整自己的參數(shù)，以達到最佳濾波效果。一旦輸入信號的統(tǒng)計特性發(fā)生變化，它又能夠跟蹤這種變化，自動調(diào)整參數(shù)，使濾波器性能重新達到最佳。[4]第2章自適應(yīng)濾波的原理及應(yīng)用2.1引言在對隨機信號處理過程中經(jīng)常用到的是維納濾波器和卡爾曼濾波器兩種濾波器。維納(Weiner)濾波，它根據(jù)平穩(wěn)隨機信號的全部過去和當前的觀察數(shù)據(jù)來估計信號的當前值，在最小均方差的條件下得到系統(tǒng)的傳遞函數(shù)或者沖擊響應(yīng)，它是一種最優(yōu)線性濾波方法，參數(shù)是固定的，適用于平穩(wěn)隨機信號?？柭鼮V波，它是依據(jù)當前時刻數(shù)據(jù)的觀測值和前一時刻對該時刻的預(yù)測值進行遞推數(shù)據(jù)處理的濾波算法。它自動調(diào)節(jié)本身的沖擊響應(yīng)特性，或者說，自動的調(diào)節(jié)數(shù)字濾波器的系數(shù)，以適應(yīng)信號變化的特性，從而達到最優(yōu)化濾波。它的參數(shù)是時變的，適用于非平穩(wěn)隨機信號。然而，只有對信號噪聲的統(tǒng)計特性先驗已知的情況下，這兩種濾波器才能獲得最優(yōu)濾波?？墒?，在實際應(yīng)用中，常常無法得到這些統(tǒng)計特性的先驗知識；或者，統(tǒng)計特性是隨時間變化的。因此，用維納或卡爾曼濾波器實現(xiàn)不了最優(yōu)濾波。在這種情況下，自適應(yīng)能夠提供卓越的濾波性能。[5]2.2自適應(yīng)濾波器的基本原理所謂自適應(yīng)濾波，就是利用前一時刻己獲得的濾波器參數(shù)等結(jié)果，自動的調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號和噪聲未知的或隨時間變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。自適應(yīng)濾波器實質(zhì)上就是一種能調(diào)節(jié)其自身傳輸特性以達到最優(yōu)化的維納濾波器。自適應(yīng)濾波器不需要關(guān)于輸入信號的先驗知識，計算量小，特別適用于實時處理。由于無法預(yù)先知道信號和噪聲的特性或者它們是隨時間變化的，僅僅用FIR和IIR兩種具有固定濾波系數(shù)的濾波器無法實現(xiàn)最優(yōu)濾波。在這種情況下，必須設(shè)計自適應(yīng)濾波器，以跟蹤信號和噪聲的變化。自適應(yīng)濾波器是以最小均方誤差為準則，由自適應(yīng)算法通過調(diào)整濾波器系數(shù)，以達到最優(yōu)濾波的時變最佳濾波器。設(shè)計自適應(yīng)濾波器時，可以不必預(yù)先知道信號與噪聲的自相關(guān)函數(shù)，在濾波過程中，即使噪聲與信號的自相關(guān)函數(shù)隨時間緩慢變化，濾波器也能自動適應(yīng)，自動調(diào)節(jié)到滿足均方誤差最小的要求。自適應(yīng)濾波器主要由參數(shù)可調(diào)的數(shù)字濾波器和調(diào)整濾波器系數(shù)的自適應(yīng)算法兩部分構(gòu)成自適應(yīng)濾波器。參數(shù)可調(diào)數(shù)字濾波器可以是FIR濾波器或IIR數(shù)字濾波器，也可以是格形濾波器[6]圖2-1示出了自適應(yīng)濾波器的一般結(jié)構(gòu)。未知系統(tǒng)自適應(yīng)濾波圖2-1自適應(yīng)濾波原理圖未知系統(tǒng)自適應(yīng)濾波圖中，為輸入信號，為輸出信號，為參考信號或期望信號，則是和的誤差信號。自適應(yīng)濾波器的濾波器系數(shù)受誤差信號控制，根據(jù)的值和自適應(yīng)算法自動調(diào)整。一個自適應(yīng)濾波器的完整規(guī)范是由如下三項所組成的：(1)應(yīng)用在過去十年中，自適應(yīng)技術(shù)在更多的應(yīng)用場合(比如回波消除、色散信道的均衡、系統(tǒng)辨識、信號增強、自適應(yīng)波束形成、噪聲消除一級控制領(lǐng)域等)取得了成功。研究自適應(yīng)濾波器的各種應(yīng)用本文會簡單考慮一些應(yīng)用例子。(2)自適應(yīng)濾波器結(jié)構(gòu)自適應(yīng)濾波器可以用許多不同結(jié)構(gòu)來實現(xiàn)。結(jié)構(gòu)的選取會營銷到處理的計算復(fù)雜度(即每次迭代的算數(shù)操作數(shù)目)，還會對達到期望性能標準所需要的迭代次數(shù)產(chǎn)生影響。從根本上講主要有兩類自適應(yīng)數(shù)字濾波器結(jié)構(gòu)(這是根據(jù)其沖激響應(yīng)的形式來劃分的)，即有限長沖擊響應(yīng)(FIR)濾波器和無限長沖激響應(yīng)(IIR)濾波器。FIR濾波器通常利用非遞歸結(jié)構(gòu)來實現(xiàn)，而IIR濾波器則利用遞歸結(jié)構(gòu)來實現(xiàn)。自適應(yīng)FIR濾波器結(jié)構(gòu)：應(yīng)用最廣泛的自適應(yīng)FIR濾波器結(jié)構(gòu)是橫向濾波器，也成為抽頭延遲線，它利用正規(guī)直接形式實現(xiàn)全零點傳輸函數(shù)，二不采用反饋環(huán)節(jié)。對于這種結(jié)構(gòu)，輸出信號是濾波器洗漱的線性組合，它產(chǎn)生具有惟一最優(yōu)解的二次均方誤差函數(shù)。為了得到相對于橫向濾波器結(jié)構(gòu)來說更好的性能(這些性能是用計算復(fù)雜度、收斂速度和有限字長特征等來描述的)自適應(yīng)IIR濾波器結(jié)構(gòu)：自適應(yīng)IIR濾波器采用得最多的結(jié)構(gòu)是標準直接形式結(jié)構(gòu)，因為它的實現(xiàn)和分析都很簡單。然而，采用遞歸自適應(yīng)濾波會存在一些內(nèi)在的問題(這些問題是由結(jié)構(gòu)決定的，比如要求對極點的穩(wěn)定性進行監(jiān)視)，而且收斂速度很慢。為了克服這些問題，人們提出了不同的結(jié)構(gòu)形式。(3)算法其中算法是為了使某個預(yù)先確定的準則達到最小化，而自適應(yīng)地調(diào)整濾波器系數(shù)的方法。算法是通過定義搜索方法(或者最小化算法)、目標函數(shù)和無償信號的特性來確定的。算法的選擇據(jù)定了整個自適應(yīng)過程的幾個重要因素，比如優(yōu)解的存在性、有偏最優(yōu)解和計算復(fù)雜度等。[7]2.3自適應(yīng)IIR濾波器自適應(yīng)濾波器出現(xiàn)以后，發(fā)展很快。由于設(shè)計簡單、性能最佳，自適應(yīng)濾波器是目前數(shù)字濾波器領(lǐng)域是活躍的分支，也是數(shù)字濾波器研究的熱點。主要自適應(yīng)濾波器有：遞推最小二乘(RLS)濾波器、最小均方差(LMS)濾波器、格型濾波器、無限沖激響應(yīng)(IIR)濾波器。其中RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡單，收斂性能良好。實際情況中，由于信號和噪聲的統(tǒng)計特性常常未知或無法獲知，這就為自適應(yīng)濾波器提供廣闊的應(yīng)用空間、系統(tǒng)辨識、噪聲對消、自適應(yīng)譜線增強、通信信道的自適應(yīng)均衡、線性預(yù)測、自適應(yīng)天線陣列等是自適應(yīng)濾波器的主要應(yīng)用領(lǐng)域。自適應(yīng)有限沖激響應(yīng)(FIR)濾波器由于其收斂性和穩(wěn)定性十分簡單，現(xiàn)已有相當完善的自適應(yīng)算法，在信號處理領(lǐng)域，獲得了廣泛應(yīng)用。但由于它是非遞歸結(jié)構(gòu)，沖激響應(yīng)為有限長，當用于較高精度匹配的實際物理系統(tǒng)時，所需階次可能相當大，因而導(dǎo)致結(jié)構(gòu)復(fù)雜，運算量大。自適應(yīng)IIR濾波器是一個具有無限沖激響應(yīng)的遞歸濾波器，它的一個最重要的優(yōu)點是，與相同系數(shù)個數(shù)的自適應(yīng)FIR濾波器相比有更好的性能，這是因為輸出的反饋使有限數(shù)量的系數(shù)產(chǎn)生了無限沖激響應(yīng)，使得零點與極點模型濾波器的輸出比起僅有零點的濾波器的輸出能更有效地逼近期望響應(yīng)信號。例如，一個有足夠高階數(shù)的自適應(yīng)IIR濾波器可以精確地逼近一未知的零點與極點系數(shù)闊，而一個自適應(yīng)FIR濾波器只能近似逼近這一系統(tǒng)。反之，要達到相同性能，IIR濾波器所需要的系數(shù)個數(shù)一般比FIR濾波器少得多，正是由于這一潛在的計算量的優(yōu)勢，近十年來，自適應(yīng)IIR濾波器的研究一直非?；钴S，出現(xiàn)了一批比較成熟的算法。可以預(yù)測，在許多應(yīng)用中，自適應(yīng)IIR濾波器將取代正被廣泛使用的自適應(yīng)FIR濾波器。[8]應(yīng)該指出的是，與自適應(yīng)FIR濾波器相比，自適應(yīng)IIR濾波器在減少計算量的同時也付出了一定的代價。由于反饋的存在，算法的收斂時間加大，其收斂性和穩(wěn)定性分析都十分復(fù)雜，這是需要注意繼續(xù)研究的問題。目前，在相同濾波性能條件下，自適應(yīng)IIR濾波器的收斂性己可優(yōu)于自適應(yīng)FIR濾波器。根據(jù)誤差的不同表示，自適應(yīng)IIR濾波器又可分為兩種形式：方程誤差(Equation-Error)形式和輸出誤差(Output-Error)形式。在很大程度上方程誤差自適應(yīng)IIR濾波器在很像一個自適應(yīng)FIR濾波器，他們之間的主要區(qū)別在與方程誤差自適應(yīng)IIR濾波器就是一個零點一極點模型，而自適應(yīng)FIR濾波器是一個嚴格全零點模型。而輸出誤差形式的自適應(yīng)IIR濾波器的算法比方程誤差I(lǐng)IR濾波器的算法要復(fù)雜的多。輸出誤差方法中的濾波器輸出僅由觀測輸入來產(chǎn)生期望響應(yīng)。2.4自適應(yīng)濾波器的應(yīng)用近十幾年來，自適應(yīng)濾波理論和方法得到了迅速的發(fā)展，究其原因是因為自適應(yīng)濾波器相比于其他一般的濾波器在濾波性能、設(shè)計實現(xiàn)的難易程度、對外部環(huán)境的復(fù)雜程度的適應(yīng)能力和對系統(tǒng)先驗統(tǒng)計知識的依賴程度等方面都顯現(xiàn)出強大的優(yōu)勢。自適應(yīng)濾波器具有很強的自學(xué)習(xí)、自跟蹤能力和算法的簡單易實現(xiàn)性，它在噪化信號的檢測增強，噪聲干擾的抵消，通信系統(tǒng)的自適應(yīng)均衡，圖象的自適應(yīng)增強復(fù)原以及未知系統(tǒng)的自適應(yīng)參數(shù)辯識等方面都有廣泛的應(yīng)用。在本節(jié)中，我們將討論輸入信號和期望信號的一些可能選擇，并討論這些選擇是如何與應(yīng)用聯(lián)系在一起的。2.4.1信號增強器自適應(yīng)濾波器的一個簡單應(yīng)用就是信號增強器，它被用來檢測或增強淹沒在寬度噪聲中的窄帶隨機信號。對于信號增強的情況，信號受噪聲的污染，而且與噪聲相關(guān)的信號是可以得到的(即可測量的)。如果作為自適應(yīng)濾波器的輸入，而將受到噪聲污染的信號作為期望信號，則當濾波收斂以后，其輸出誤差就是信號的增強形式。圖2-2說明了一種信號增強的典型配置。[9]自適應(yīng)濾波器+自適應(yīng)濾波器+圖2-2信號增強。其中和是彼此相關(guān)的噪聲函數(shù)2.4.2系統(tǒng)辨識器在系統(tǒng)辨識應(yīng)用中，期望信號是未知系統(tǒng)受某個寬帶信號激勵時產(chǎn)生的輸出，在大多數(shù)情況下，輸入是白噪聲信號。寬帶信號同時也被用來作為圖2-3所示的自適應(yīng)濾波器的輸入。當輸出MSE達到最小時，自適應(yīng)濾波器就代表了未知系統(tǒng)的模型。2.4.3信道均衡器信道均衡器的作用是在信道通帶內(nèi)形成一個信道傳輸函數(shù)的逆，而在通帶之外它的增益則很小或者為零。因而，由信道和均衡器級聯(lián)組成的系統(tǒng)在通帶內(nèi)有基本均勻的振幅特性，而帶外基本為零，相位響應(yīng)在帶內(nèi)是頻率的線性函數(shù)。如果條件滿足，聯(lián)合的沖激響應(yīng)就是辛格函數(shù)，故符號間干擾可被消除。自適應(yīng)調(diào)整也解決了信道本身未知、時變的特性所帶來的困難。在信道均衡應(yīng)用中，將發(fā)送的受信道失真影響的原始信號作為自適應(yīng)濾波器的輸入信號，而期望信號是原始信號的時延形式，如圖2-4所示。通常情況下，輸入信號的時延形式在接收端是可以得到的，采用形式是標準的訓(xùn)練信號。當MSE達到最小時，就表明自適應(yīng)濾波器代表了信道的逆模型(均衡器)。未知系統(tǒng)未知系統(tǒng)自適應(yīng)濾波器＋＋自適應(yīng)濾波器＋信道圖2-3系統(tǒng)辨識器＋自適應(yīng)濾波器＋信道圖2-4信道均衡器2.4.4信號預(yù)測器最后，對于預(yù)測情形，期望信號是自適應(yīng)濾波器輸入信號的前向(有時可能是后向)形式，如圖2-5所示。當濾波器收斂以后，自適應(yīng)濾波器就代表了輸入信號的模型，而且可以用來作為輸入信號的預(yù)測器模型。自適應(yīng)自適應(yīng)濾波器＋圖2-5信號預(yù)測器第3章LMS自適應(yīng)濾波算法分析3.1引言LMS算法是1960年由Widrow和Hoff提出的最小均方誤差(LMS)算法，LMS算法是基于估計梯度的最速下降算法的，由于采用粗糙的梯度估計值得到的，從而其算法性能欠佳，應(yīng)用范圍受限，但是因為其具有計算量小、易于實現(xiàn)等優(yōu)點而在實踐中被廣泛采用。典型的應(yīng)用領(lǐng)域有系統(tǒng)識別、信號處理和自適應(yīng)控制。LMS算法的基本原理是基于最速下降法，即沿著權(quán)值的梯度估值的負方向進行搜索，達到權(quán)值最優(yōu)，實現(xiàn)均方誤差最小意義下的自適應(yīng)濾波。初始收斂速度、時變系統(tǒng)跟蹤能力及穩(wěn)態(tài)失調(diào)是衡量自適應(yīng)濾波算法優(yōu)劣的三個重要的技術(shù)指標。由于主輸入端不可避免地存在干擾噪聲，自適應(yīng)濾波算法將產(chǎn)生參數(shù)失調(diào)噪聲。干擾噪聲越大，則引起的失調(diào)噪聲就越大。減小步長因子產(chǎn)可降低自適應(yīng)濾波算法的穩(wěn)態(tài)失調(diào)，提高算法的收斂精度。[15]3.2最小均方差(LMS)算法LMS算法的判據(jù)是最小均方誤差，即理想信號與濾波器輸出之差的平方值的期望值最小，并且根據(jù)這個判據(jù)來修改權(quán)系數(shù)由此產(chǎn)生的算法稱為最小均方算法(LMS)。絕大多數(shù)對自適應(yīng)濾波器的研究是基于由Widrow提出的LMS算法。這是因為LMS算法的設(shè)計和實現(xiàn)都比較簡單，在很多應(yīng)用場合都非常適用。[16]令階FIR濾波器的抽頭系數(shù)為，濾波器的輸入和輸出分別為和，則FIR橫向濾波器方程可表示為：(3-1)令代表“所期望的響應(yīng)”，并定義誤差信號：(3-2)采用向量形式表示權(quán)系數(shù)及輸入和，可以將誤差信號寫作(3-3)誤差的平方為：(3-4)上式兩邊取數(shù)學(xué)期望后，得均方誤差：(3-5)定義互相關(guān)函數(shù)向量：(3-6)和自相關(guān)函數(shù)矩陣：(3-7)所以均方誤差可表述為：(3-8)這表明均方誤差是權(quán)系數(shù)向量的二次函數(shù)，它是一個凹的拋物形曲面，是具有唯一最小值的函數(shù)。調(diào)節(jié)權(quán)系數(shù)使均方誤差為最小，相當于沿拋物形曲面下降找最小值。可以用梯度法來求該最小值。將式(3-8)對權(quán)系數(shù)求導(dǎo)數(shù)，得到均方誤差函數(shù)的梯度：(3-9)令=0，即可以求出最佳權(quán)系數(shù)向量：(3-10)將代入式(3-8)，得最小均方誤差：(3-11)利用式(3-11)求最佳權(quán)系數(shù)向量的精確解需要知道和的先驗統(tǒng)計知識，而且還需要進行矩陣求逆等運算。Widrow和Hoff提出了一種在這些先驗統(tǒng)計知識未知時求的近似值的方法，習(xí)慣上稱之為Widrow-HoffLMS算法。這種算法的根據(jù)是最優(yōu)化方法中的最速下降法。根據(jù)這個最速下降法，“下一時刻”權(quán)系數(shù)向量應(yīng)該等于“現(xiàn)時刻”權(quán)系數(shù)向量加上一個負均方誤差梯度的比例項，即(3-12)式中的是一個控制收斂速度與穩(wěn)定性的常數(shù)，稱之為收斂因子。不難看出，LMS算法有兩個關(guān)鍵：梯度的計算以及收斂因子的選擇。精確計算梯度是十分困難的。一種粗略的但是卻十分有效的計算的近似方法是：直接取作為均方誤差的估計值，即(3-13)式中的為：(3-14)將(4-14)代入式(4-13)中，得到梯度估值：(3-15)于是，Widrow-HoffLMS算法最終為：(3-16)3.3最小均方差(LMS)算法的性能分析LMS算法的性能準則是采用瞬時平方誤差性能函數(shù)|e(k)|2代替均方誤差性能函數(shù)E{|e(k)|2}，其實質(zhì)是以當前輸出誤差、當前參考信號和當前權(quán)系數(shù)求得下個時刻的權(quán)系數(shù)。其輸出信號、輸出誤差及權(quán)系數(shù)的計算公式為：[17](3-17)為迭代次數(shù)，M為濾波器的階數(shù)。表示第時刻的輸入信號矢量式中，式中，表示參考信號的信號矢量：(3-18)、分別表示第時刻的輸出信號與輸出誤差，W(k)表示時刻權(quán)系數(shù)矢量：(3-19)表示LMS算法步長收斂因子。自適應(yīng)濾波器收斂的條件是：(3-20)其中是輸入信號的自相關(guān)矩陣R的最大特征值。的選取必須在收斂速度和失調(diào)之間取得較好的折中，既要具有較快的收斂速度,又要使穩(wěn)態(tài)誤差最小。它控制了算法穩(wěn)定性和自適應(yīng)速度，如果很小，算法的自適應(yīng)速度會很慢；如果很大，算法會變得不穩(wěn)定。由于LMS算法結(jié)構(gòu)簡單、計算量小、穩(wěn)定性好，因此被廣泛應(yīng)用于系統(tǒng)辨識、信號增強、自適應(yīng)波束形成、噪聲消除以及控制領(lǐng)域等。在最小均方差(LMS)算法中，步長因子的取值對算法的性能有著非常重要的影響，這些影響包括：算法的穩(wěn)定性、算法的收斂速度、算法的擾動和失調(diào)。以下我們針對在這三方面的影響分別進行討論。為減小失調(diào)，需要設(shè)置較小的步長因子，這會使算法的收斂速度降低，這構(gòu)成了一對矛盾。因此在考慮算法的總體性能時，必須在這兩個性能之間加以折中。從收斂速度的角度考慮，步長因子應(yīng)該盡可能大，但較大的取值卻會加重算法的失調(diào)。LMS算法采用瞬時的采樣值對梯度進行估計，由于噪聲的影響，總會是會伴隨著估計的誤差，這將對算法帶來直接的影響。這些影響主要表現(xiàn)為算法的失調(diào)，而失調(diào)的嚴重程度，則和的取值存在直接關(guān)系。失調(diào)是指由于梯度估計偏差的存在，在算法收斂后，均方誤差并不無窮趨近于最小值，而是呈現(xiàn)出在最小值附近隨機的波動特性，而權(quán)值亦不無窮趨近于最優(yōu)權(quán)值，而是在最優(yōu)權(quán)值附近呈現(xiàn)隨機的波動。關(guān)于LMS算法的收斂速度，將討論兩點：第一，對一個特定的信號環(huán)境，收斂速度和步長因子有何關(guān)系。第二，信號環(huán)境本身的特性，對收斂速度有何影響。從收斂速度的角度考慮，步長因子應(yīng)該盡可能大，再看信號環(huán)境，即的特性對算法收斂性能的影響如果當特征值的分布范圍較大，即最大特征值和最小特征值之比較大時，公比的取值幅度也將比較大，算法的總的收斂速度將會變得比較慢。傳統(tǒng)的LMS算法確實結(jié)構(gòu)簡單、計算量小且穩(wěn)定性好，因此被廣泛地應(yīng)用于自適應(yīng)控制、雷達、系統(tǒng)辨識及信號處理等領(lǐng)域。但是固定步長的LMS自適應(yīng)算法在收斂速率、跟蹤速率及權(quán)失調(diào)噪聲之間的要求是相互矛盾的，為了克服這一缺點，人們研究出了各種各樣的變步長LMS的改進算法。盡管各種改進算法的原理不同，但變步長LMS自適應(yīng)算法基本上遵循如下調(diào)整原則：即在初始收斂階段或未知系統(tǒng)參數(shù)發(fā)生變化時，步長應(yīng)比較大，以便有較快的收斂速度或?qū)r變系統(tǒng)的跟蹤速度；而在算法收斂后，不管主輸人端干擾信號有多大，都應(yīng)保持很小的調(diào)整步長以達到很小的穩(wěn)態(tài)失調(diào)噪聲。第4章RLS自適應(yīng)濾波算法分析4.1引言最小二乘(LS，Least-square)算法旨在期望信號與模型濾波器輸出之差的平方和達到最小。當每次迭代中接受到輸入好的新采樣值時，可以采用遞歸形式求解最小二乘問題，得到遞歸最小二乘(RLS，recursiveleast-square)算法。RLS算法能實現(xiàn)快速收斂，即使是在輸入信號相關(guān)矩陣的特征值擴展比較大的情況下。當工作與變換環(huán)境中時，這類算法具有極好的性能，但其實現(xiàn)都以增加計算復(fù)雜度和穩(wěn)定問題為代價。4.2遞歸最小二乘(RLS)算法這一節(jié)主要介紹遞歸最小二乘法(RLS)算法是一種快速收斂的算法，該算法判決依據(jù)是直接處理接受數(shù)據(jù)，使其二次性能指數(shù)函數(shù)最小，而前面所述的LMS算法則是使平方誤差的期望值最小。設(shè)計出的自適應(yīng)濾波器，通過調(diào)節(jié)濾波器參數(shù)，使得基于過去的觀測樣本而得到的觀測信號在某種意義上最逼近原信號。此時，一方面，恢復(fù)誤差：(4-1)另一方面，可以將視作為的預(yù)測。因此可定義預(yù)測誤差：(4-2)設(shè)計自適應(yīng)濾波器的目的自然是希望使恢復(fù)誤差最小。但是由于真實信號未知，故是不可觀測的或無法計算的。與此相反，預(yù)測誤差卻是可觀測的，它與恢復(fù)誤差的關(guān)系為：(4-3)而噪聲序列是獨立的，因此不可觀測的恢復(fù)誤差的最小化等價于可觀測的預(yù)測誤差的最小化。具體的，考慮到(4-4)的最小化。式中，為遺忘因子，通常取。由(4-5)可得到等價關(guān)系式：(4-6)若令：(4-7)(4-8)則式(4-6)可簡寫為：(4-9)假定是非奇異的，則：(4-10)這就是濾波器濾波參數(shù)的公式，之所以記作，是因為隨著時間而改變。式(5-8)叫做最佳濾波器系數(shù)的Yule-Walker方程。依據(jù)式(5-10)來調(diào)整濾波器參數(shù)有兩處不便。第一，需要矩陣求逆及矩陣乘法等運算，因而計算量大。第二，與預(yù)測誤差之間也未建立任何關(guān)系，不能達到根據(jù)預(yù)測誤差來調(diào)整濾波器參數(shù)的要求。(非平穩(wěn)或時變)預(yù)測誤差由(4-11)表示。利用此公式，可以將式(5-7)的改寫作(4-12)注意到和式(5-11)，用式乘上式后得到：(4-13)為了簡化第一項的表達，并建立與之間的關(guān)系，一種合理的想法是認為時刻及其以前時刻的濾波器參數(shù)相同，即：…….這樣，利用式(5-7)及上述假定，就有(4-14)另一方面，為了簡化的表達，一種合理的想法就是：認為遺忘因子。這相當于，只有本時刻的結(jié)果被記憶下來，而將以前的各時刻的結(jié)果全部遺忘。從而，有下列的簡化結(jié)果：(4-15)將式(4-13)和(4-14)代入(4-12)，則得(4-16)式(4-15)描述了一個濾波器參數(shù)受其輸入誤差控制的自適應(yīng)濾波算法，被稱作遞歸最小二乘(RLS)。為了實現(xiàn)遞推計算，還要解決逆矩陣的遞推計算問題。為此，我們先引入一個著名的結(jié)果——矩陣求逆引理。矩陣求逆引理：若是非奇異的，則：(4-17)由的定義式(4-7)，顯然有(4-18)對它應(yīng)用矩陣求逆引理，得：(4-19)綜上所分析，遞歸最小二乘法自適應(yīng)濾波(RLS)算法如下所示算法初始化：[18]Fork=1tonfinaldo: (4-20)4.3遞歸最小二乘(RLS)算法的性能分析RLS(遞推最小二乘法)算法的關(guān)鍵是用二乘方的時間平均的最小化鋸帶最小均方準則，并按時間進行迭代計算。對于非平穩(wěn)信號的自適應(yīng)處理，最合適的方法是采用最小二乘自適應(yīng)濾波器。它使誤差的總能量最小。RLS算法的優(yōu)點是收斂速度快，其收斂性能與輸入信號的頻譜特性無關(guān)，但其缺點是計算復(fù)雜度很高，對于N階的濾波器，RLS算法的計算量為O(N2)[1,2]為了對非平穩(wěn)信號進行跟蹤，RLS算法引入了數(shù)加權(quán)遺忘因子λ。該遺忘因子的引入，使RLS算法能夠?qū)Ψ瞧椒€(wěn)信號進行跟蹤。[19]由于設(shè)計簡單、性能最佳，其中RLS濾波器具有穩(wěn)定的自適應(yīng)行為而且算法簡單，收斂性能良好。這里討論RLS算法收斂特性兩個方面的問題：一是從均值的意義上討論的收斂性；二是從均方值的意義上討論誤差的收斂性。為了討論進行這樣的討論，必須對輸入過程的類別作出規(guī)定。考慮隨即機回歸模型：(4-21)其中是零均值過程是均值為零,方差為的高斯白噪聲序列。其中的收斂性對公式，其中。而可以寫出：(4-22)當，滿足：(4-23)將其寫成如下形式：(4-24)其中(4-25)將式(4-22)和式(4-24)帶入式(4-23)中得：(4-26)故(4-27)假定輸入過程呈各態(tài)歷經(jīng)的平穩(wěn)隨機過程，對于=1的情況，當n很大時，有(4-28)其中表示輸入矢量的組合平相關(guān)矩陣，所以(4-29)由此可見，當時，，故濾波器的權(quán)矢量個估計是無偏的。還有的收斂性考慮到與的不相關(guān)性，所以根據(jù)矩陣跡的性質(zhì)，加權(quán)矢量的均方誤差又可寫成(4-30)其中由=(AT(n)Λ(n)A(n))-1AT(n)Λ(n)b(n)現(xiàn)令，則：(4-31)將式(5-31)帶入式(5-30)中得因此因為與的不相關(guān)，則上式變?yōu)椋?5-32)對于時有采用這些近似則式(5-33)可劃簡為：(4-33)由式(4-30)可知(4-34)根據(jù)自適應(yīng)濾波器失調(diào)量的定義(4-35)在不加權(quán)的情況下，(4-36)在加權(quán)情況下，(4-37)