幾種最小二乘法遞推算法的小結(jié)

1、-、遞推最小二乘法遞推最小二乘法的一般步驟：1 .根據(jù)輸入輸出序列列出最小二乘法估計(jì)的觀測(cè)矩陣：(k) y(k 1) . y(k 0) u(k 1). u(k nb)T沒有給出輸出序列的還要先算出輸出序列。本例中，(k) -y(k -1),-y(k-2), u(k-1), u(k-2)T o2 .給辨識(shí)參數(shù)和協(xié)方差陣P賦初值。一般取0=0或者極小的數(shù)，取P02I,特別大,本例中取=100。3 .按照下式計(jì)算增益矩陣G:G(k) p(a 1)(k)1(k)TP (k 1) (k)4 .按照下式計(jì)算要辨識(shí)的參數(shù)：?(k)* 1) G(k) y(k) (k)T%k 1)5 .按照下式計(jì)算新的協(xié)方差陣

2、P：6.P(k) P(k 1) G(k) (k)T P(k 1)計(jì)算辨識(shí)參數(shù)的相對(duì)變化量，看是否滿足停機(jī)準(zhǔn)則。如滿足，則不再遞推；如不滿足,則從第三步開始進(jìn)行下一次地推，直至滿足要求為止。停機(jī)準(zhǔn)則：maxf(k)?(k 1)?(k)本例中由于遞推次數(shù)只有三十次，故不需要停機(jī)準(zhǔn)則。7 .分離參數(shù)：將a1.a nab1.b nb從辨識(shí)參數(shù) 中分離出來(lái)。8 .畫出被辨識(shí)參數(shù)的各次遞推估計(jì)值圖形。為了說(shuō)明噪聲對(duì)遞推最小二乘法結(jié)果的影響，程序5-7-2在計(jì)算模擬觀測(cè)值時(shí)不加噪聲，辨識(shí)結(jié)果為a1 = , a2 = , b1 = , b2 =,與真實(shí)值 a1 = , a2 = , b1 = , b2 =相差

3、無(wú)幾。程序5-7-2-1在計(jì)算模擬觀測(cè)值日加入了均值為 0,方差為的白噪聲序列，由于噪聲的 影響，此時(shí)的結(jié)果為變值，但變化范圍較小，現(xiàn)任取一組結(jié)果作為辨識(shí)結(jié)果。辨識(shí)結(jié)果為al = , a2 = , bl = , b2 =。程序5-7-2-2在計(jì)算模擬觀測(cè)值時(shí)加入了有色噪聲，有色噪聲為E(k)+(k-1)+(k-2),E(k)是均值為0,方差為的白噪聲序列，由于有色噪聲的影響，此時(shí)的辨識(shí)結(jié)果變動(dòng)范圍遠(yuǎn)比白噪聲時(shí)大，任取一組結(jié)果作為辨識(shí)結(jié)果。辨識(shí)結(jié)果為al = , a2 = , bl = , b2 =?？梢钥闯觯镜淖钚《朔ú贿m用于有色噪聲的場(chǎng)合。二、廣義最小二乘法廣義最小二乘法適用于 AR模

4、型，它的基本思想在于對(duì)數(shù)據(jù)先進(jìn)行一次白化濾波處理，然 后利用基本的最小二乘法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí)。廣義最小二乘法的遞推算法步驟如下：1 .給定初始條件：?(0)0或者極小值P(0)2I(特別大)?e) (0) 0P(e) (0) I2 .利用y(f)(k) C(z 1)y(k) u(f)(k) C(z1)u(k)計(jì)算y(k)及u(k)。3 .利用(k) y(k 1) .y(k nq) u(k 1).u(k nb)T構(gòu)造濾波后的觀測(cè)矩陣(k)。本例中，(k)卜y (k -1),-y(k-2),u(f)(k-1),u(k -2)T o4 .利用下式估計(jì)遞推計(jì)算?N 1?(k)?(k 1) G(k

5、)y(k)(f)(k)(f)T ?(k 1) P(k右(k)1(k)TPN (k)P(k) P(k 1) G(k)(k)TP(k 1)(f)5 .由新得到的 4k)計(jì)算出新的殘差估計(jì)值 e(k),并構(gòu)造殘差數(shù)據(jù)向量由濾波前的觀測(cè)向量(k) y(k 1) . y(k na) u(k 1). u(k nb)T 計(jì)算出新的殘差估計(jì)值 欲k)Wk) y(k)(k)T ?(k)殘差數(shù)據(jù)向量(e)(k) &k 1) .?(k nc)T o?(e)(k)G(k)P(k)6 .利用下式估計(jì)遞推計(jì)算縱)?(k 1)(e) G(k)?(k)(k)(e)T ?(k 1)P(k 1)(k)1(k)(e)T P

6、(k 1)(e) (k)1(e)P(k 1)(e) G(k)(k)3Tp(k 1)(e)7 .返回第2步進(jìn)行迭代計(jì)算，直至獲得滿意的辨識(shí)結(jié)果。程序5-7-4使用廣義最小二乘法，得到的結(jié)果為 a1 =, a2 =, b1 = , b2 = , c0 =, c1=,結(jié)果a1、a2、b1、b2與真實(shí)值結(jié)果 a1 = , a2 = , b1 = , b2 =較為接近，但 c0、c1 與真實(shí)值1、相差較遠(yuǎn)。增廣最小二乘法增廣最小二乘法是最小二乘法的一種推廣，它只是擴(kuò)充了參數(shù)向量和數(shù)據(jù)向量 (k)的維數(shù)，在辨識(shí)過(guò)程中考慮了噪聲模型的參數(shù)，適用于MA模型。增廣最小二乘法的一般步驟如下：1.根據(jù)輸入輸出序列以

7、及噪聲序列列出增廣最小二乘法估計(jì)的數(shù)據(jù)向量(k) y(k 1) . y(k %) u(k 1). u(k nb)(k) (k 1). (k nd)T沒有給出輸出序列的還要先算出輸出序列。本例中，(k) -y(k -1),-y(k -2),u(k-1),u(k-2), (k), (k 1), (k 2)T9.給辨識(shí)參數(shù) 和協(xié)方差陣P賦初值。一般取0=0或者極小的數(shù)，取P02I,特別大,本例中取 =100。10.按照下式計(jì)算增益矩陣G:G(k) P11)(k)1(k)TP (k 1) (k)11.按照下式計(jì)算要辨識(shí)的參數(shù)(k)?：k 1) G(k) y(k) (k)T ?：k 1)12.按照下式計(jì)算新的協(xié)方差陣P：P(k) P(k 1) G(k) (k)T P(k 1)13.計(jì)算辨識(shí)參數(shù)的相對(duì)變化量，看是否滿足停機(jī)準(zhǔn)則。如滿足，則不再遞推；如不滿足,則從第三步開始進(jìn)行下一次地推，直至滿足要求為止。停機(jī)準(zhǔn)則：maxi(k)?(k 1)?(k)本例中由于遞推次數(shù)只有三十次，故不需要停機(jī)準(zhǔn)則。14 .分離參數(shù)：將a1.a nab1.b nbd1 dnd從辨識(shí)參數(shù) 中分離出來(lái)。15 .畫出被辨識(shí)參數(shù)的各次遞推估計(jì)值圖形。由以上可見，遞推增廣最小二乘法的算法與基本最小二乘法的遞推算法形式是一致的,只是參數(shù)向量和數(shù)據(jù)向量 （k）的維數(shù)擴(kuò)充了 m維。程序5-