處理有色噪聲擾動(dòng)的最小二乘類方法

處理有色噪聲擾動(dòng)的最小二乘類方法第1頁，共87頁，2023年，2月20日，星期四第五講處理有色噪聲擾動(dòng)的LS類方法(1/4)第五講處理有色噪聲擾動(dòng)的最小二乘類方法由上一講中所討論的LS估計(jì)的統(tǒng)計(jì)特性可知,在動(dòng)態(tài)系統(tǒng)的參數(shù)估計(jì)中,LS法僅當(dāng)隨機(jī)擾動(dòng)為零均值的白噪聲時(shí),才能保證得到無偏一致的估計(jì)值.在實(shí)際工程和社會(huì)系統(tǒng)的辨識(shí)中,隨機(jī)擾動(dòng)w(k)只是各種系統(tǒng)內(nèi)外擾動(dòng)和結(jié)構(gòu)建模誤差等因素的綜合反映.第2頁，共87頁，2023年，2月20日，星期四第五講處理有色噪聲擾動(dòng)的LS類方法(2/4)第3頁，共87頁，2023年，2月20日，星期四第五講處理有色噪聲擾動(dòng)的LS類方法(3/4)因此,并不能保證隨機(jī)擾動(dòng)為統(tǒng)計(jì)獨(dú)立的白噪聲.故,實(shí)際系統(tǒng)辨識(shí)時(shí),并不能保證LS估計(jì)值為無偏一致估計(jì)值.從本講開始,我們將討論具有隨機(jī)擾動(dòng)為相關(guān)性擾動(dòng)(有色噪聲)的動(dòng)態(tài)系統(tǒng)的無偏一致的參數(shù)估計(jì)問題,具體的LS類方法有增廣最小二乘法(ExtendedLeast-squareMethod,ELS)廣義最小二乘法(GeneralizedLeast-squareMethod,GLS)輔助變量法(InstrumentalVariablesMethod,IV)等.其它無偏參數(shù)估計(jì)算法還有多步最小二乘法偏差補(bǔ)償最小二乘法第4頁，共87頁，2023年，2月20日，星期四第五講處理有色噪聲擾動(dòng)的LS類方法(4/4)這些不同的處理有色噪聲的辨識(shí)方法主要是針對(duì)不同的有色噪聲的特性、有色噪聲的不同模型表達(dá)、以及不同的辨識(shí)要求提出的.下面就分別討論:增廣最小二乘法(ELS)廣義最小二乘法(GLS)輔助變量法(IV)其它方法可參閱其它教材和文獻(xiàn).第5頁，共87頁，2023年，2月20日，星期四1.ELS法(1/19)1.增廣最小二乘法考慮如下SISO隨機(jī)離散系統(tǒng)A(z-1)y(k)=B(z-1)u(k)+v(k)(1)其中y(k),u(k)和v(k)分別為系統(tǒng)的輸出、輸入和相關(guān)的隨機(jī)擾動(dòng);對(duì)所考慮的模型的相關(guān)隨機(jī)擾動(dòng)v(k),一般假定其為平穩(wěn)相關(guān)序列.第6頁，共87頁，2023年，2月20日，星期四1.ELS法(2/19)由第二講中的關(guān)于有色噪聲的結(jié)論1和假設(shè)2可知,平穩(wěn)的相關(guān)擾動(dòng)v(k)可被建模如下v(k)=C(z-1)w(k)(2)其中w(k)為白噪聲序列;C(z-1)為未知的、穩(wěn)定的、有限階的線性濾波器,并可表示為如下首一多項(xiàng)式因此,由系統(tǒng)模型(1)和噪聲模型(2),可得如下表示A(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)第7頁，共87頁，2023年，2月20日，星期四1.ELS法(3/19)當(dāng)假定噪聲w(k)可測(cè)已知時(shí),上式又可表示為如下自回歸方程y(k)=t(k-1)q+w(k)(3)其中A(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)第8頁，共87頁，2023年，2月20日，星期四1.ELS法(4/19)當(dāng)上述觀測(cè)數(shù)據(jù)向量(k-1)精確已知時(shí),利用前面討論的成批或RLS法可求得回歸參數(shù)向量的LS估計(jì)值.但是,實(shí)際上上述數(shù)據(jù)向量(k-1)中包含有不可測(cè)的噪聲量w(k-1),...,w(k-nc),因此對(duì)自回歸式(3)并不能直接套用LS估計(jì)方法.為此,引入通過在遞推參數(shù)估計(jì)過程中在線估計(jì)噪聲w(k)以實(shí)現(xiàn)模型參數(shù)在線遞推估計(jì)的ELS法.第9頁，共87頁，2023年，2月20日，星期四1.ELS法(5/19)ELS法的思想就是:利用該參數(shù)估計(jì)值來在線估計(jì)白噪聲w(k-i)的值(k-i)以替代數(shù)據(jù)向量(k-1)中的白噪聲w(k-i),然后進(jìn)行下一步的參數(shù)估計(jì).在遞推估計(jì)過程中,假設(shè)當(dāng)前或前一步的在線參數(shù)估計(jì)值已相當(dāng)程度可用的前提下,第10頁，共87頁，2023年，2月20日，星期四1.ELS法(6/19)噪聲w(k)的具體的估計(jì)算法是如下的事后估計(jì)或事前估計(jì)算法:其中^(k-1)為數(shù)據(jù)向量(k-1)的如下在線估計(jì)值第11頁，共87頁，2023年，2月20日，星期四1.ELS法(7/19)因此,基于漸消記憶的RLS估計(jì)算法可得如下遞推的ELS法其中加權(quán)因子l為1時(shí)就為普通的ELS法.上述ELS辨識(shí)實(shí)際上是的參數(shù)估計(jì)和噪聲wk的估計(jì)交替進(jìn)行,計(jì)算順序?yàn)?第12頁，共87頁，2023年，2月20日，星期四1.ELS法(8/19)上述分析過程表明,ELS法是LS法的一種簡(jiǎn)單推廣.它只是擴(kuò)充了參數(shù)向量q和數(shù)據(jù)向量(k)的維數(shù),也同時(shí)辨識(shí)噪聲模型.就這種意義上說,可稱之為ELS法.值得指出的是,ELS法雖然可同時(shí)得到噪聲模型的參數(shù)估計(jì),但其收斂過程卻比過程模型A(z-1)和B(z-1)的估計(jì)值的收斂慢許多.從實(shí)用角度來說,噪聲模型C(z-1)的階次不宜取得太高.第13頁，共87頁，2023年，2月20日，星期四1.ELS法(9/19)--ELS法計(jì)算步驟綜上所述,ELS法的基本計(jì)算步驟可總結(jié)如下確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和C(z-1)的階次;設(shè)定遞推參數(shù)初值^(0),P(-1),w^(0);采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k),并組成觀測(cè)數(shù)據(jù)向量^(k-1);用式(5)~(7)所示的ELS法計(jì)算當(dāng)前參數(shù)遞推估計(jì)值;用(4)式計(jì)算白噪聲w(k)的事后或事前在線估計(jì)值w^(k);循環(huán)次數(shù)k加1,然后轉(zhuǎn)回到第3步繼續(xù)循環(huán).第14頁，共87頁，2023年，2月20日，星期四1.ELS法(10/19)--ELS法仿真程序下面給出針對(duì)隨機(jī)線性離散系統(tǒng)(XARMA)的ELS在線辨識(shí)仿真程序偽代碼./%第一步初始化輸入系統(tǒng)階次na,nb和nc,以及加權(quán)因子輸入系統(tǒng)模型Az=[1a1a2…]和Bz=[0b1b2…];輸入噪聲模型Cz=[1c1c2…]輸入系統(tǒng)輸入信號(hào)u(k)的方差u、過程噪聲w(k)的方差w和輸入輸出測(cè)量噪聲uw、yw設(shè)定系統(tǒng)變量初始值:yf[1:na+1]=0;uf[1:nb+1]=0;wf[1:nc+1]=0;設(shè)定辨識(shí)變量初始值:yb[1:na+1]=0;ub[1:nb+1]=0;wb=[1:nc+1]=0;[1:na+nb+nc]=0;P=10^6*I(na+nb+nc,na+nb+nc);第15頁，共87頁，2023年，2月20日，星期四1.ELS法(11/19)--ELS法仿真程序)/%第二步辨識(shí)仿真fork=1:最大仿真步數(shù){/%被控對(duì)象模型仿真(產(chǎn)生系統(tǒng)輸入輸出信號(hào),即數(shù)據(jù))yf[2:na+1]=yf[1:na];uf[2:nb+1]=uf[1:nb];wf[2:nc+1]=wf[1:nc];uf[1]=2*u*(rand()-0.5);wf[1]=2*w*(rand()-0.5);yf[1]=-Az[2:na+1]*yf[2:na+1]+Bz[2:nb+1]*uf[2:nb+1]+Cz[1:nc+1]*wf[1:nc+1];第16頁，共87頁，2023年，2月20日，星期四1.ELS法(12/19)--ELS法仿真程序/%輸入輸出數(shù)據(jù)檢測(cè)ub[1]=uf[1];yb[1]=yf[1];/%或模擬檢測(cè)噪聲

%ub[1]=uf[1]+2*uw*(rand()-0.5);%yb[1]=yf[1]+2*yw*(rand()-0.5);/%在線遞推辨識(shí)過程仿真=[-yb(2:na+1)ub(2:nb+1)wb(2:nc+1)];K=P*/(+*P*);=+K*[yb(1)-*];P=[I-K*]*P/;修正矩陣P；輸出在線遞推參數(shù)估計(jì)值；第17頁，共87頁，2023年，2月20日，星期四1.ELS法(13/19)--ELS法仿真程序wb[1]=yb(1)-*;yb[2:na+1]=yb[1:na];ub[2:nb+1]=ub[1:nb];wb[2:nc+1]=wb[1:nc];}也可采用事前估計(jì)第18頁，共87頁，2023年，2月20日，星期四1.ELS法(14/19)—例1例1

考慮如圖下所示的仿真對(duì)象,圖中通過控制w值來改變數(shù)據(jù)的噪信比.辨識(shí)中,選擇如下模型結(jié)構(gòu)y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+w(k)+c1w(k-1)+c2w(k-2)(8)其它條件同第四講中的例1.結(jié)果如下表所示.w(k)是服從均值為零,方差為1的正態(tài)分布的不相關(guān)隨機(jī)噪聲;輸入信號(hào)u(k)采用偽隨機(jī)二進(jìn)制序列;第19頁，共87頁，2023年，2月20日，星期四1.ELS法(15/19)表1計(jì)算機(jī)仿真結(jié)果(噪信比=23%,數(shù)據(jù)組數(shù)1000)參數(shù)a1a2b1b2c1c2真值-1.50.71.00.5-1.00.2估計(jì)值=1-1.4960.71170.99920.4982-0.90980.1193估計(jì)值=0.98-1.4650.69401.06600.5506-0.97780.3369第20頁，共87頁，2023年，2月20日，星期四1.ELS法(16/19)遞推辨識(shí)過程的辨識(shí)值如下圖所示遺忘因子=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第21頁，共87頁，2023年，2月20日，星期四1.ELS法(17/19)遺忘因子=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第22頁，共87頁，2023年，2月20日，星期四1.ELS法(18/19)遺忘因子=0.98時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第23頁，共87頁，2023年，2月20日，星期四1.ELS法(19/19)遺忘因子=0.98時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第24頁，共87頁，2023年，2月20日，星期四2.GLS法(1/3)2.廣義最小二乘法上一講討論了相關(guān)隨機(jī)擾動(dòng)v(k)可用C(z-1)w(k)建模情況下的參數(shù)估計(jì)問題.但有些相關(guān)擾動(dòng)用C(z-1)w(k)來建模的話,線性濾波器C(z-1)的階次相當(dāng)高,這加大了參數(shù)估計(jì)的工作量,也極大地影響了建模的精度和使用上的困難性.在此情況下,相關(guān)擾動(dòng)v(k)可用如下方式建模v(k)=w(k)/D(z-1)(1)其中w(k)為零均值的白噪聲;第25頁，共87頁，2023年，2月20日，星期四2.GLS法(2/3)1/D(z-1)為未知的、穩(wěn)定的、有限階的線性濾波器,且D(z-1)可表示為如下穩(wěn)定的、階次較低的首一多項(xiàng)式因此,具有該類相關(guān)隨機(jī)擾動(dòng)的隨機(jī)離散系統(tǒng)的數(shù)學(xué)模型為:A(z-1)y(k)=B(z-1)u(k)+v(k)=B(z-1)u(k)+w(k)/D(z-1)(2)第26頁，共87頁，2023年，2月20日，星期四2.GLS法(3/3)廣義最小二乘(GeneralizedLeast-squares,GLS)法討論的是可用模型(2)表示的隨機(jī)離散系統(tǒng)的參數(shù)估計(jì)問題.下面,將分別討論成批型和遞推型GLS法的思想和算法,以及GLS仿真GLS評(píng)述第27頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(1/9)一、成批型GLS法成批型GLS法的基本思想是:先預(yù)選定一個(gè)線性濾波器Df(z-1)將模型中的輸出y(k)、輸入u(k)和有色噪聲w(k)/D(z-1)白色化,即將模型A(z-1)y(k)=B(z-1)u(k)+w(k)/D(z-1)兩邊左乘線性濾波器Df(z-1)后,有A(z-1)[Df(z-1)y(k)]B(z-1)[Df(z-1)u(k)]+w(k)并記為A(z-1)yf(k)B(z-1)uf(k)+w(k)再對(duì)上述白色化后的模型中多項(xiàng)式A(z-1)和B(z-1)的系數(shù)進(jìn)行LS估計(jì);第28頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(2/9)然后基于對(duì)A(z-1)和B(z-1)的估計(jì),利用模型A(z-1)y(k)=B(z-1)u(k)+v(k)來計(jì)算模型殘差(相關(guān)噪聲)v(k)的估計(jì)值再基于噪聲模型D(z-1)v(k)=w(k)和相關(guān)噪聲v(k)的估計(jì)值,利用LS法辨識(shí)D(z-1),并基于此修正選定的濾波器Df(z-1);如此循環(huán)往復(fù)地進(jìn)行Df(z-1)的修正及A(z-1)和B(z-1)的迭代估計(jì),直到模型的估計(jì)殘差滿足給定的精度或者Df(z-1)、A(z-1)和B(z-1)的變化量相對(duì)較小為止.第29頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(3/9)—計(jì)算步驟上述成批型GLS法基本思想可用如下流程圖圖示.綜上所述,成批型的GLS法的算法和計(jì)算步驟如下:Step1.確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和D(z-1)的階次;Step2.選定穩(wěn)定的初始濾波器Df(z-1);第30頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(4/9)—計(jì)算步驟Step3.

采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k);Step4.

基于濾波器Df(z-1),進(jìn)行如下濾波計(jì)算yf(k)=Df(z-1)y(k)(3)uf(k)=Df(z-1)u(k)(4)Step5.

由(2)~(4)式,列成如下自回歸方程:其中第31頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(5/9)—計(jì)算步驟并由此得如下向量式的自回歸方程組Yf=ff+W(6)其中Yf=[yf(1),yf(2),...,yf(L)]W=[w(1),w(2),...,w(L)]f=[f(0),f(1),...,f(L-1)]Step6.

用如下LS法計(jì)算θf參數(shù)估計(jì)值第32頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(6/9)—計(jì)算步驟Step7.

由(2)式有y(k)=(k-1)f+v(k)(8)其中(k-1)=[y(k-1),…,y(k-na)u(k-1),…,u(k-nb)]因此,基于(7)式的參數(shù)估計(jì)值f,計(jì)算相關(guān)擾動(dòng)v(k)的估計(jì)值,即回歸式(8)的如下估計(jì)殘差第33頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(7/9)—計(jì)算步驟Step8.

由(1)式,可得如下關(guān)于相關(guān)擾動(dòng)v(k)和白噪聲w(k)的自回歸方程其中并由此得如下向量式的自回歸方程組V=vθv+W(11)其中V=[v(1),v(2),...,v(L)]τv=[v(0),v(1),...,v(L-1)]τ第34頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(8/9)—計(jì)算步驟Step9.

選取上一步估計(jì)得的D(z-1)的估計(jì)值作進(jìn)行系統(tǒng)白色化處理的線性濾波器Df(z-1).若模型的估計(jì)殘差滿足給定的精度或者Df(z-1)、A(z-1)和B(z-1)的變化量相對(duì)較小則循環(huán)結(jié)束,否則返回第4步繼續(xù)循環(huán).因此,將用式(9)計(jì)算好的相關(guān)擾動(dòng)v(k)的估計(jì)值(k)來替代自回歸方程組(11)的相關(guān)擾動(dòng)v(k),則可得如下回歸參數(shù)向量θv,即噪聲模型D(z-1)的系數(shù)的LS估計(jì)值第35頁，共87頁，2023年，2月20日，星期四一、成批型GLS法(9/9)以上辨識(shí)過程表明,GLS法的思想是對(duì)輸入輸出數(shù)據(jù)先進(jìn)行一次濾波預(yù)處理,然后利用普通LS法對(duì)濾波后的數(shù)據(jù)進(jìn)行辨識(shí),并反復(fù)迭代此過程.可想而知,這種方法受濾波模型的好壞的影響較大,而在迭代過程中濾波模型的好壞也直接與系統(tǒng)模型辨識(shí)結(jié)果有直接的關(guān)系.從優(yōu)化理論的角度來說,GLS法其實(shí)屬于非線性優(yōu)化方法.因此,難以避免出現(xiàn)非線性優(yōu)化中的局部極值點(diǎn)情況,即該方法并不能保證得到的估計(jì)值是一致無偏的.這是GLS法的一個(gè)不太令人滿意之處.第36頁，共87頁，2023年，2月20日，星期四二、遞推型GLS法(1/6)二、遞推GLS法遞推GLS法的基本思想是與成批型LS法大致相同,所不同的是:由于所考慮的是遞推估計(jì),不能像成批型那樣作反復(fù)迭代.解決的方法是分別對(duì)(5)和(10)所示的兩個(gè)模型的辨識(shí)設(shè)計(jì)兩個(gè)遞推估計(jì)算法,并在每一個(gè)遞推步中,讓它們依順序遞推一次.隨著遞推過程的深入,將不斷改進(jìn)噪聲模型D(z-1)的辨識(shí)結(jié)果,同時(shí)亦得到較佳的A(z-1)和B(z-1)的辨識(shí)結(jié)果.第37頁，共87頁，2023年，2月20日，星期四二、遞推型GLS法(2/6)根據(jù)上述基本思想,有如下遞推GLS估計(jì)算法:Step1.

確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)、B(z-1)和D(z-1)的階次;Step2.

選定遞推參數(shù)初值f(0)和Pf(-1),v(0)和Pv(-1),以及穩(wěn)定的初始濾波器Df(z-1);Step3.

采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k);Step4.

基于濾波器Df(z-1),分別由下式計(jì)算y(k),u(k)的濾波值yf(k)和uf(k);yf(k)=Df(z-1)y(k)uf(k)=Df(z-1)u(k)第38頁，共87頁，2023年，2月20日，星期四二、遞推型GLS法(3/6)Step5.

構(gòu)造觀測(cè)數(shù)據(jù)向量φf(k-1)并依如下RLS法估計(jì)多項(xiàng)式A(z-1)和B(z-1)的系數(shù),即回歸參數(shù)向量θf第39頁，共87頁，2023年，2月20日，星期四二、遞推型GLS法(4/6)Step6.

基于式計(jì)算相關(guān)擾動(dòng)v(k)的估計(jì)值,并構(gòu)造觀測(cè)數(shù)據(jù)向量φv(k-1).第40頁，共87頁，2023年，2月20日，星期四二、遞推型GLS法(5/6)Step7.依如下RLS法估計(jì)多項(xiàng)式D(z-1)的系數(shù),即回歸參數(shù)向量θvStep8.

選取上一步估計(jì)得的D(z-1)的估計(jì)值作進(jìn)行系統(tǒng)白色化處理的線性濾波器Df(z-1).將循環(huán)次數(shù)加1,返回第3步繼續(xù)循環(huán)遞推辨識(shí).第41頁，共87頁，2023年，2月20日，星期四三、GLS仿真(1/14)三、廣義最小二乘法仿真考慮如下有色噪聲擾動(dòng)的隨機(jī)線性離散系統(tǒng)的GLS在線辨識(shí)仿真程序偽代碼.第42頁，共87頁，2023年，2月20日，星期四三、GLS仿真(2/14)%第一步初始化輸入系統(tǒng)階次na,nb和nd,以及加權(quán)因子輸入系統(tǒng)模型Az=[1a1a2…]和Bz=[0b1b2…];輸入噪聲模型Dz=[1d1d2…]輸入系統(tǒng)輸入信號(hào)u(k)的方差u和噪聲w(k)的方差w設(shè)定系統(tǒng)變量初始值:yf[1:na+1]=0;uf[1:nb+1]=0;vf[1:nd+1]=0;設(shè)定辨識(shí)變量初始值:yb[1:na+1]=0;ub[1:nb+1]=0;ybf[1:na+1]=0;ubf[1:nb+1]=0;vb=[1:nc+1]=0;_yu[1:na+nb]=0;P_yu=10^6*I(na+nb,na+nb);_v[1:nd]=0;P_v=10^6*I(nd,nd);輸入初始白化濾波器Dze=[1de1de2…]第43頁，共87頁，2023年，2月20日，星期四三、GLS仿真(3/14)%第二步辨識(shí)仿真fork=1:最大仿真步數(shù){/%被控對(duì)象模型仿真(產(chǎn)生系統(tǒng)輸入輸出信號(hào),即數(shù)據(jù))yf[2:na+1]=yf[1:na];uf[2:nb+1]=uf[1:nb];vf[2:nd+1]=vf[1:nd];uf[1]=2*u*(rand()-0.5);wf=2*w*(rand()-0.5);vf[1]=-Dz[2:nd+1]*vf[2:nd+1]+wf;yf[1]=-Az[2:na+1]*yf[2:na+1]+Bz[2:nb+1]*uf[2:nb+1]+vf[1];第44頁，共87頁，2023年，2月20日，星期四三、GLS仿真(4/14)%輸入輸出數(shù)據(jù)檢測(cè)ub[1]=uf[1];yb[1]=yf[1];%輸入輸出濾波ubf[1]=Dze(1:nd+1)*ub(1:nd+1);ybf[1]=Dze(1:nd+1)*yb(1:nd+1);%在線遞推辨識(shí)系統(tǒng)模型_yu=[-ybf(2:na+1)ubf(2:nb+1)];K_yu=P_yu*_yu/(+_yu*P_yu*_yu);_yu=_yu+K_yu*[ybf(1)-_yu*_yu];P_yu=[I-K_yu*_yu]*P_yu/;修正矩陣P_yu；第45頁，共87頁，2023年，2月20日，星期四三、GLS仿真(5/14)%在線噪聲估計(jì)vb[1]=y(1)+_yu[1:na]*yb(2:na+1)-_yu[na+1:na+nb]*ub(2:nb+1);%在線遞推噪聲模型_v=[-vb(2:nd+1)];K_v=P_v*_v/(+_v*P_v*_v);_v=_v+K_v*[vf(1)-_v*_v];P_v=[I-K_v*_v]*P_v/;修正矩陣P_v；輸出在線遞推參數(shù)估計(jì)值_yu,_v；Dze(2:nd+1)=_v;第46頁，共87頁，2023年，2月20日，星期四三、GLS仿真(6/14)%數(shù)據(jù)移位yb[2:na+1]=yb[1:na];ub[2:nb+1]=ub[1:nb];ybf[2:na+1]=ybf[1:na];ubf[2:nb+1]=ubf[1:nb];vf[2:nd+1]=vf[1:nd];}第47頁，共87頁，2023年，2月20日，星期四三、GLS仿真(7/14)例1

本例中的仿真對(duì)象、實(shí)驗(yàn)條件與第四講中例1相同,模型結(jié)構(gòu)選擇如下y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+v(k)(19)v(k)+d1v(k-1)+d2v(k-2)=w(k)(20)仿真結(jié)果如表1所示.第48頁，共87頁，2023年，2月20日，星期四三、GLS仿真(8/14)表1計(jì)算機(jī)仿真結(jié)果參數(shù)a1a2b1b2d1d2真值-1.50.71.00.5-1.00.2噪信比=73%初始白化濾波器Df=1仿真1-1.49900.70170.99970.5003-1.00560.2002仿真2-1.51460.71091.00300.4869-0.99430.1996噪信比=73%初始白化濾波器Df=1+0.5z-1-0.5z-2仿真1-1.43840.60300.98700.5271-1.14260.4060仿真2-1.57400.73711.00130.4730-0.91140.2088噪信比=23%初始白化濾波器Df=1仿真1-1.46670.66130.98920.5055-1.16490.4118仿真2-1.46280.67170.98410.5010-1.21300.3902第49頁，共87頁，2023年，2月20日，星期四三、GLS仿真(9/14)遞推辨識(shí)過程的辨識(shí)值如下圖所示噪信比=73%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第50頁，共87頁，2023年，2月20日，星期四三、GLS仿真(10/14)噪信比=73%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第51頁，共87頁，2023年，2月20日，星期四三、GLS仿真(11/14)噪信比=73%,初始白化濾波器Df=1+0.5z-1-0.5z-2時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第52頁，共87頁，2023年，2月20日，星期四三、GLS仿真(12/14)噪信比=73%,初始白化濾波器Df=1+0.5z-1-0.5z-2時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第53頁，共87頁，2023年，2月20日，星期四三、GLS仿真(13/14)噪信比=23%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(1)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第54頁，共87頁，2023年，2月20日，星期四三、GLS仿真(14/14)噪信比=23%,初始白化濾波器Df=1時(shí)遞推辨識(shí)結(jié)果(2)參數(shù)估計(jì)誤差的平方和噪聲估計(jì)誤差第55頁，共87頁，2023年，2月20日，星期四三、GLS評(píng)述(1/1)三、GLS評(píng)述對(duì)GLS算法,有如下評(píng)述:有色干擾下估計(jì)精度較高迭代收斂較快,但是收斂性未得到證明能同時(shí)得到過程參數(shù)和噪聲參數(shù)的估計(jì)計(jì)算量大,費(fèi)機(jī)時(shí)第56頁，共87頁，2023年，2月20日，星期四3.IV法(1/2)3.輔助變量法上兩講分別討論了同時(shí)辨識(shí)系統(tǒng)模型和噪聲模型的ELS法和GLS法.在有些建模及其模型的運(yùn)用問題中,并不需要知道噪聲模型,即不需要對(duì)噪聲建模(辨識(shí)).此時(shí),若采用ELS法和GLS法來辨識(shí),需花費(fèi)較多的計(jì)算時(shí)間,而且辨識(shí)的參數(shù)越多則辨識(shí)的精度和效果越差.這一點(diǎn),GLS法尤其突出.第57頁，共87頁，2023年，2月20日，星期四3.IV法(2/2)本講討論有相關(guān)隨機(jī)擾動(dòng)時(shí)的隨機(jī)離散系統(tǒng)參數(shù)估計(jì)的輔助變量(InstrumentVariable,IV)法.該方法不需要辨識(shí)系統(tǒng)的噪聲模型,只要輔助系統(tǒng)選擇得恰當(dāng),便可獲得較高精度的無偏一致估計(jì).本講介紹的主要內(nèi)容為:成批型算法輔助變量的選擇遞推型算法IV法的評(píng)價(jià)第58頁，共87頁，2023年，2月20日，星期四一、成批型算法(1/6)一、成批型算法考慮如下自回歸方程的一致辨識(shí)問題y(k)=(k-1)+w(k),k=1,2,...,L(1)或YL=L+WL(2)其中對(duì)擾動(dòng)量w(k)未加白噪聲的假定,其它符號(hào)與第三講一致.下面先考察一般LS法的參數(shù)辨識(shí)值的一致收斂性.第59頁，共87頁，2023年，2月20日，星期四一、成批型算法(2/6)由第三講的提出的一般LS估計(jì)式有第60頁，共87頁，2023年，2月20日，星期四一、成批型算法(3/6)由式(3)可知,欲獲得無偏一致的參數(shù)估計(jì)值,若依據(jù)Frechek定理:若隨機(jī)序列xk,則f(xk)f()

則由條件(4)與(5),有LS0即LS估計(jì)為無偏估計(jì).第61頁，共87頁，2023年，2月20日，星期四一、成批型算法(4/6)但,當(dāng)w(k)不為白噪聲時(shí),條件并不能保證成立,相應(yīng)的LS估計(jì)值亦不能保證為無偏一致的.因此下面的問題是:如何在有色噪聲干擾條件下得到無偏估計(jì)？第62頁，共87頁，2023年，2月20日，星期四一、成批型算法(4/6)為了對(duì)w(k)不為白噪聲時(shí),可獲得q的無偏一致估計(jì)值,定義一個(gè)如下輔助觀測(cè)數(shù)據(jù)矩陣*L=[*(0),*(1),

…,*(L-1)]

(6)其中輔助變量矩陣須滿足第63頁，共87頁，2023年，2月20日，星期四一、成批型算法(5/6)因此,使得對(duì)不定(不相容)方程組YL=L

(9)和回歸方程YL=L+WL可獲得如下IV解第64頁，共87頁，2023年，2月20日，星期四一、成批型算法(6/6)當(dāng)輔助變量矩陣滿足條件(7)和(8)時(shí),則有可見,只要選擇適當(dāng)?shù)妮o助變量,使之滿足上述的兩個(gè)條件,IV估計(jì)值就可以是無偏一致的.IV估計(jì)法的關(guān)鍵在于如何具體構(gòu)造出輔助變量矩陣*L.依據(jù)Frechek定理與條件(7)和(8)第65頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(1/9)二、輔助變量的選擇IV法的關(guān)鍵是選擇適當(dāng)?shù)妮o助變量使得條件(7)和(8)得到滿足.如果采用下圖所示的輸出x(k)作為輔助變量,置*(k-1)=[x(k-1),...,x(k-na),u(k-1),...,u(k-nb)]τ(12)那么,當(dāng)u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),條件(7)必定滿足.又因x(k)只與u(k)有關(guān),也就是說與噪聲無關(guān),故條件(8)也滿足.第66頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(2/9)人們已經(jīng)得出幾種不同的方案,要嚴(yán)格證明它們滿足上述條件是很難的,但是在實(shí)際應(yīng)用中已經(jīng)取得很好的結(jié)果.常用的輔助變量選擇方法有:自適應(yīng)濾波純滯后Tally原理第67頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(3/9)--自適應(yīng)濾波A.自適應(yīng)濾波當(dāng)把上圖所示的輔助系統(tǒng)模型看成是自適應(yīng)濾波器時(shí),輔助變量可按如下關(guān)系生成或求得x(k)=*(k)^(k)(13)或x(k)=*(k)(k)(14a)(k)=(1-)(k-1)+^(k-d),取0.01~0.1;d取0~10(14b)其中^(k)表示k時(shí)刻的IV參數(shù)估計(jì)值,它可由遞推算法給出.第68頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(4/9)--自適應(yīng)濾波下面簡(jiǎn)單分析一下上述自適應(yīng)濾波法所選擇的輔助變量與噪聲變量的相關(guān)性。對(duì)*(k)與噪聲w(k)的相關(guān)性分析如下因此,經(jīng)過層層傳遞(每次傳遞相關(guān)性小于1),*(k)與噪聲w(k)的相關(guān)性將變得非常小。當(dāng)噪聲w(k)與輸入u(k)無關(guān)時(shí),且u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),可以證明選用式(13)和(14)作為輔助變量以較大概率滿足上述兩個(gè)條件[Soderstrom,1974].第69頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(5/9)--純滯后B.純滯后當(dāng)圖1所示的輔助系統(tǒng)模型選為純滯后環(huán)節(jié)時(shí),輔助變量取作x(k)=u(k-d)(15)其中dnb,nb為多項(xiàng)式B(z-1)的階次.這時(shí)輔助變量向量*(k-1)可寫成*(k-1)=[u(k-d-1),...,u(k-d-na),u(k-1),...,u(k-nb)]τ第70頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(6/9)--純滯后值得指出的是,只有u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),上述選取的*(k-1)的列之間現(xiàn)行無關(guān),收斂條件(7)才能滿足。此外,當(dāng)輸入u(k)與噪聲w(k)無關(guān),*(k)與噪聲w(k)統(tǒng)計(jì)無關(guān)。因此u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),上述選取的*(k)滿足上述輔助變量可滿足上述兩個(gè)條件.第71頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(7/9)--Tally原理C.Tally原理如果相關(guān)噪聲的模型可以看成為時(shí),其中dnc,則輔助變量可取作x(k)=y(k-d)(16)即*(k-1)=[y(k-d-1),...,y(k-d-na),u(k-1),...,u(k-nb)]τ第72頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(8/9)--Tally原理下面簡(jiǎn)單分析一下Tally原理所選擇的輔助變量與噪聲變量的相關(guān)性。對(duì)*(k)與噪聲w(k)的相關(guān)性分析如下因此,經(jīng)過層層傳遞(每次傳遞相關(guān)性小于1),*(k)與噪聲w(k)的相關(guān)性將變得非常小。當(dāng)噪聲w(k)與輸入u(k)無關(guān)時(shí),且u(k)為高階持續(xù)激勵(lì)信號(hào)時(shí),可以證明Tally原理所選擇的輔助變量以較大概率滿足上述兩個(gè)條件[方崇智等,1988].第73頁，共87頁，2023年，2月20日，星期四二、輔助變量的選擇(9/9)在上述3種選擇輔助變量方法中，自適應(yīng)濾波法辨識(shí)收斂快，精度高，遞推辨識(shí)結(jié)果平滑，波動(dòng)小。Tally原理法次之。但純滯后法辨識(shí)收斂慢，精度低，數(shù)據(jù)增多對(duì)精度提高效果不顯著；再之，遞推辨識(shí)結(jié)果波動(dòng)大，難于達(dá)到控制的要求。第74頁，共87頁，2023年，2月20日，星期四三、遞推型算法(1/15)三、遞推型算法下面討論IV參數(shù)估計(jì)算法(10)的遞推算法.類似于RLS法的推導(dǎo),由成批型IV法可得如下遞推IV算法其中P(k-1)和K(k-1)的定義式為K(k-1)=P(k-1)*(k-1)(21)第75頁，共87頁，2023年，2月20日，星期四三、遞推型算法(2/15)綜上所述,遞推IV法的基本計(jì)算步驟可總結(jié)如下確定被辨識(shí)系統(tǒng)模型的結(jié)構(gòu),以及多項(xiàng)式A(z-1)和B(z-1)的階次;確定或設(shè)計(jì)所采用的輔助變量系統(tǒng);設(shè)定遞推參數(shù)初值^(0),P(-1);采樣獲取新的觀測(cè)數(shù)據(jù)y(k)和u(k),并組成觀測(cè)數(shù)據(jù)向量(k-1);計(jì)算輔助變量x(k),并組成輔助變量觀測(cè)數(shù)據(jù)向量*(k-1);用式(17)~(19)所示的遞推IV法計(jì)算當(dāng)前參數(shù)遞推估計(jì)值;循環(huán)次數(shù)k加1,然后轉(zhuǎn)回到第4步繼續(xù)循環(huán).第76頁，共87頁，2023年，2月20日，星期四三、遞推型算法(3/15)下面給出針對(duì)隨機(jī)線性離散系統(tǒng)(XARMA)的ELS在線辨識(shí)仿真程序偽代碼.%第一步初始化輸入系統(tǒng)階次na,nb和nc,以及輔助變量方法變量IV_method,輔助變量系統(tǒng)滯后IV-d，加權(quán)因子輸入系統(tǒng)模型Az=[1a1a2…]和Bz=[0b1b2…];輸入噪聲模型Cz=[1c1c2…]輸入系統(tǒng)輸入信號(hào)u(k)的方差