基于最小二乘法的數(shù)據(jù)處理問題研究綜述

1、基于最小二乘法的數(shù)據(jù)處理問題研究綜述摘要：對(duì)基于最小二乘法的數(shù)據(jù)處理方法進(jìn)行了介紹。首先對(duì)傳統(tǒng)最小二乘法基本原理進(jìn)行了介紹，然后根據(jù)例子來說明怎樣運(yùn)用傳統(tǒng)最小二乘法來解決實(shí)際辨識(shí)問題。而且本文針對(duì)傳統(tǒng)最小二乘存在的缺陷進(jìn)一步闡述了一些改進(jìn)型最小二乘法，綜述了最小二乘法的研究現(xiàn)狀，最后對(duì)最小二乘的發(fā)展趨勢(shì)做了預(yù)測(cè)。關(guān)鍵字：最小二乘法 數(shù)據(jù)處理 改進(jìn)型最小二乘法 發(fā)展趨勢(shì)1引言在科學(xué)實(shí)驗(yàn)中經(jīng)常要把離散的測(cè)量數(shù)據(jù)轉(zhuǎn)化為直觀的便于研究的曲線方程，即曲線擬合1。由于在實(shí)驗(yàn)室或?qū)嶋H應(yīng)用中，誤差是不可避免的，所以為了不把原有離散數(shù)據(jù)中的誤差引入，人們經(jīng)常用擬合來確定模擬函數(shù)。擬合方法不要求模擬函數(shù)通過已知離

2、散的點(diǎn)，而追求的是所有點(diǎn)到模擬函數(shù)達(dá)到某種誤差指標(biāo)的最小化，是一種整體上的逼近性質(zhì)。最小二乘法是解決這類曲線擬合中一種較為常用的方法，根據(jù)最小二乘法的定義2：“最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配?！弊钚《朔ㄊ菑恼`差擬合角度對(duì)回歸模型進(jìn)行參數(shù)估計(jì)或系統(tǒng)辨識(shí)，因此最小二乘在參數(shù)估計(jì)、系統(tǒng)辨識(shí)以及預(yù)測(cè)、預(yù)報(bào)等眾多領(lǐng)域中得到極為廣泛的應(yīng)用。本文在闡述最小二乘法理論的基礎(chǔ)上對(duì)于其在實(shí)際問題中的辨識(shí)應(yīng)用做了簡單介紹，并指出實(shí)際應(yīng)用中存在的不足，列舉了幾種改進(jìn)型的最小二乘算法來進(jìn)行優(yōu)化比較，最后給出了最小二乘法的發(fā)展趨勢(shì)。2 最小二乘法的理論基礎(chǔ)及應(yīng)用2.1最小二

3、乘法的理論基礎(chǔ)最小二乘法作為一種傳統(tǒng)的參數(shù)估計(jì)方法，早已經(jīng)被大家所了解。 然而大多同學(xué)對(duì)最小二乘法的認(rèn)識(shí)都比較模糊，僅僅把最小二乘法理解為簡單的線性參數(shù)估計(jì)。 事實(shí)上，最小二乘法在參數(shù)估計(jì)、系統(tǒng)辨識(shí)以及預(yù)測(cè)、預(yù)報(bào)等眾多領(lǐng)域都有著廣泛的應(yīng)用3。特別是針對(duì)動(dòng)態(tài)系統(tǒng)辨識(shí)的方法有很多4，但其中應(yīng)用最廣泛，辨識(shí)效果良好的就是最小二乘辨識(shí)方法，研究最小二乘法的應(yīng)用在就要對(duì)其基本原理有較為深刻的理解。下面是一般的最小二乘法問題：求實(shí)系數(shù)線性方程組 （1） 方程組可能無解。即很可能不存在一組實(shí)數(shù)x1,x2,xn使 （2）恒成立。因此我們轉(zhuǎn)而求其次，設(shè)法找到實(shí)數(shù)組 x1，x2，xn使誤差的平方和最小，這樣的 x

4、1，x2，xn稱為方程組的最小二乘解，這樣問題就叫最小二乘法問題5。 2.2 最小二乘法的應(yīng)用舉例理論只有被利用才能體現(xiàn)其價(jià)值意義，下面我就以系統(tǒng)辨識(shí)中的最小二乘法的例子為大家講講怎樣在實(shí)際中應(yīng)用最小二乘法解決辨識(shí)問題?？紤]如下圖1中的線性系統(tǒng)： （3）其中，u(k)為系統(tǒng)激勵(lì)信號(hào)，y(k)為系統(tǒng)輸出，e(k)為模型噪聲。其系統(tǒng)模型如圖1所示：圖1 SISO的系統(tǒng)模型結(jié)構(gòu)圖其中G(z-1)是系統(tǒng)函數(shù)模型，N(z-1)為有色噪聲系統(tǒng)模型，e(k)為白噪聲v(k)經(jīng)過系統(tǒng)函數(shù)為N(z-1)的系統(tǒng)后的輸出6。通常 （4）式中： （5） （6）則系統(tǒng)可表示為： （7）設(shè)樣本和參數(shù)集為： （8）h(k)

5、為可觀測(cè)的量，差分方程可寫為最小二乘形式 （9）那么如何在系統(tǒng)噪聲e(k)存在的情況下從該方程中正確的解出，即是系統(tǒng)辨識(shí)的任務(wù)。為了求出，我們面臨三大問題：一是輸入信號(hào)的選擇，二是判決準(zhǔn)則的選取，三是辨識(shí)算法的選擇，下面一一探討。一選擇輸入 為了準(zhǔn)確辨識(shí)系統(tǒng)參數(shù)，我們對(duì)輸入信號(hào)有兩大要求，一是信號(hào)要能持續(xù)的激勵(lì)系統(tǒng)所有狀態(tài)，二是信號(hào)頻帶能覆蓋系統(tǒng)的頻帶寬度。除此之外還要求信號(hào)有可重復(fù)性，不能是不可重復(fù)的隨機(jī)噪聲，因此我們通常選擇M序列或逆M序列作為輸入。二準(zhǔn)則函數(shù)因?yàn)楸疚闹饕接懽钚《朔椒ǎ诖诉x取準(zhǔn)則函數(shù) （10）使準(zhǔn)則函數(shù)的估計(jì)值記做，稱作參數(shù)的最小二乘估計(jì)值。在式(7)中，令k=1,2

6、,3,L，可構(gòu)成線性方程組： （11）式中準(zhǔn)則函數(shù)相應(yīng)變?yōu)椋?（12）極小化,求得參數(shù)的估計(jì)值，將使模型更好的預(yù)報(bào)系統(tǒng)的輸出。三最小二乘算法實(shí)現(xiàn)辨識(shí)設(shè)使得，則有 （13）展開上式，并根據(jù)以下兩個(gè)向量微分公式： （14）得正則方程： （15）當(dāng)為正則陣時(shí)，有 （16）且有，所以滿足式（16）的唯一使得，這種通過極小化式（12）計(jì)算的方法稱作最小二乘法。而且可以證明，當(dāng)噪聲e(k)是均值為0的高斯白噪聲時(shí)，可實(shí)現(xiàn)無偏估計(jì)。3 最小二乘法改進(jìn)型3.1傳統(tǒng)最小二乘存在的問題最小二乘法存在一些缺陷制約著最小二乘法的應(yīng)用，在處理日益復(fù)雜的參數(shù)估計(jì)、系統(tǒng)辨識(shí)等問題中，最小二乘法在系統(tǒng)辨識(shí)中存在的缺陷逐漸顯現(xiàn)

7、出來。如傳統(tǒng)的最小二乘法不適合在動(dòng)態(tài)辨識(shí)系統(tǒng)中使用，而且其參數(shù)估計(jì)存在偏差，耗時(shí)較長等問題，因此，隨著科學(xué)技術(shù)的發(fā)展，涌現(xiàn)出了很多改進(jìn)型的最小二乘法。3.2遞推最小二乘算法為了減少計(jì)算量，減少數(shù)據(jù)在計(jì)算機(jī)中占用的內(nèi)存，并實(shí)時(shí)辨識(shí)出系統(tǒng)動(dòng)態(tài)特性，我們常利用最小二乘法的遞推形式7。下面我們來推導(dǎo)遞推最小二乘算法的原理。首先，將式(12)的最小二乘一次完成算法寫為 （17）定義 （18）式中 （19）式中，h(i)是一個(gè)列向量，也就是HL的第i行的倒置，P(k)是一個(gè)方陣，它的維數(shù)取決于未知參數(shù)的個(gè)數(shù)，假設(shè)未知參數(shù)的個(gè)數(shù)是n，則P(k)的維數(shù)是n×n。由式18可得P(k)的遞推關(guān)系為： （

8、20）設(shè) （21）則 （22）由此可得： （23）由式20和21可得 （24）引進(jìn)增益矩陣K(k)，定義 （25）式24可以進(jìn)一步寫為 （26）接下來可以進(jìn)一步把式21寫為 （27）利用矩陣反演公式將式（27）演變成 （28）將上式代入式25，整理后可得 (29)綜合式26、28和29可得最小二乘遞推參數(shù)估計(jì)算法RLS3.3廣義最小二乘法廣義最小二乘法的處理過程如下8，設(shè)SISO系統(tǒng)采用如下模型： （30）其中A(z-1)，B(z-1)和C(z-1)的定義見式5和6。假定模型階次na，nb和nc已知，用廣義最小二乘法可以得到無偏一致估計(jì)。令 （31）及 （32）將模型化為最小二乘格式： （33

9、）由于v(k)是白噪聲，所以用最小二乘可以獲得參數(shù)的無偏估計(jì)，由于噪聲模型C(z-1)未知，還需要用迭代的方法來求得C(z-1)。令 （34）置 （35）這樣就把噪聲模型也轉(zhuǎn)變?yōu)樽钚《烁袷剑?（36）由于上式中的噪聲已為白噪聲，所以用最小二乘也可獲得參數(shù)e的無偏估計(jì)，但是數(shù)據(jù)向量中依然含有不可測(cè)的噪聲量，可用相應(yīng)的估計(jì)值來代替，置，其中k <0時(shí)，e(k)=0；k >0時(shí)，按照 （37）計(jì)算，式中 （38）綜上所述，廣義最小二乘法可歸納為4 最小二乘法的發(fā)展及對(duì)策最小二乘法(LS)是一種最經(jīng)典、最基本的，也是應(yīng)用最廣泛的方法。但是最小二乘估計(jì)是非一致的，是有偏差的，所以為了克服他

10、的缺陷，而形成了一些以最小二乘法為基礎(chǔ)的改進(jìn)最小二乘法：廣義最小二乘法、增量最小二乘法、漸消記憶的最小二乘法以及將一般的最小二乘法與其他方法相結(jié)合的方法，有最小二乘兩步法(COR- LS)和隨機(jī)逼近算法等。廣義最小二乘法的基本思想是引入一個(gè)白化濾波器，把相關(guān)噪聲轉(zhuǎn)換為白噪聲，基于對(duì)觀測(cè)數(shù)據(jù)先進(jìn)行一次濾波處理，然后利用普通最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。遞推算法的基本思想是用新估計(jì)值對(duì)老的估計(jì)值進(jìn)行修正，應(yīng)用的數(shù)據(jù)是實(shí)時(shí)采集的系統(tǒng)輸入輸出數(shù)據(jù)，應(yīng)用遞推算法對(duì)參數(shù)估計(jì)值進(jìn)行不斷修正，以取得更為準(zhǔn)確的參數(shù)估計(jì)值，而且此方法占據(jù)計(jì)算機(jī)存儲(chǔ)量小，因此在辨識(shí)系統(tǒng)中得到了廣泛的應(yīng)用。漸消記憶的最小二乘法在

11、對(duì)系統(tǒng)模型參數(shù)進(jìn)行辨識(shí)時(shí)強(qiáng)調(diào)新數(shù)據(jù)的作用，貶低老數(shù)據(jù)的作用，將遺忘因子引入系統(tǒng)中，在實(shí)際應(yīng)用中遺傳因子的大小對(duì)參數(shù)估計(jì)的精度以及參數(shù)估計(jì)值跟蹤真值的變化的能力都有很大的影響，所以選取合適的遺傳因子會(huì)顯著提高系統(tǒng)的辨識(shí)能力。5 結(jié)論針對(duì)經(jīng)典的最小二乘法存在的一些不足，廣義最小二乘法、遞推式最小二乘法以及漸消記憶的最小二乘法等的出現(xiàn)解決了其中的一些缺陷，這些改進(jìn)方法不僅在今天，而且在未來都會(huì)有非常廣泛的應(yīng)用前景，此外新的改進(jìn)型最小二乘法也會(huì)在其他學(xué)科的發(fā)展下涌現(xiàn)，使基于最小二乘法的能適應(yīng)更多的應(yīng)用場(chǎng)合，得到更加廣泛的應(yīng)用。參考文獻(xiàn)1 寧紀(jì)獻(xiàn),覃發(fā)崗. 最小二乘法的論述與證明J. 教育論壇, 2015,42鄒樂強(qiáng). 最小二乘的基本原理J. 職校論壇, 2010,2：233 宗殿瑞. 最小二乘法應(yīng)用探討J. 青島化工學(xué)報(bào), 1998,9.4 丁峰. 系統(tǒng)辨識(shí)(1):辨識(shí)導(dǎo)引J. 南京信息工程大學(xué)學(xué)報(bào), 201