動(dòng)態(tài)相關(guān)分析 系統(tǒng)建模理論與方法 教學(xué)課件

第7章動(dòng)態(tài)相關(guān)分析系統(tǒng)建模理論與方法教學(xué)課件7.1.2根本定理

設(shè)所研究的系統(tǒng)為zn＝f(Zn-1,Ｕn,θn)+ξn，n∈Ｎ(7-3)式中，zi表示時(shí)刻i的系統(tǒng)觀測(cè)值，且Zn-1＝［zn-1，zn-2，…，zn-s］Ｔ；Un＝［un,un-1，…，un-m］Ｔ，ui表示時(shí)刻i的系統(tǒng)輸入值；θn是r維參數(shù)向量，且θn＝［α１n,α２n,…，αrn］Ｔ，αjn為n時(shí)刻的第j個(gè)參數(shù)，j＝1，2，…，r；ξn是零均值弱平穩(wěn)隨機(jī)序列，它表示系統(tǒng)所受的干擾。7.1.3數(shù)據(jù)處理方法1.增長(zhǎng)記憶法

2.漸消記憶法

3.限定記憶法1.增長(zhǎng)記憶法

當(dāng)樣本長(zhǎng)度為n時(shí)，所估計(jì)的參數(shù)值記為θn，那么θn中應(yīng)該包含n組樣本的有用信息。假設(shè)樣本容量增加為n+1，那么相應(yīng)的參數(shù)估計(jì)值記為θn+1，它包含著n+1組樣本的信息，對(duì)于時(shí)變系統(tǒng)模型，E(θn)≠E(θn+1)。這種差異是由于新增加了一組樣本而引起的，也表達(dá)了新息對(duì)參數(shù)的修正作用。由于每次增加樣本容量時(shí)，所有過(guò)去時(shí)刻的信息都保存在參數(shù)估計(jì)值中，因此稱這種信息取用的方式為增長(zhǎng)記憶法。用增長(zhǎng)記憶法處理數(shù)據(jù)時(shí)，“老〞的信息總是包含在所估計(jì)的參數(shù)中。這對(duì)于描述時(shí)變系統(tǒng)完全沒(méi)有必要。因?yàn)槔系臉颖拘畔?shí)際上在抵抗新息對(duì)參數(shù)的修正作用，阻礙了參數(shù)對(duì)現(xiàn)實(shí)系統(tǒng)的跟蹤作用。特別是當(dāng)參數(shù)估計(jì)中對(duì)老的信息記憶過(guò)多時(shí)，甚至于會(huì)“淹沒(méi)〞新息對(duì)參數(shù)的影響。新息不能修改參數(shù)估計(jì)值的現(xiàn)象稱為“數(shù)據(jù)飽和〞，如果參數(shù)估計(jì)時(shí)出現(xiàn)了數(shù)據(jù)飽和，那么新息不再對(duì)參數(shù)估計(jì)值有修正作用。所以，動(dòng)態(tài)相關(guān)分析不宜采用增長(zhǎng)記憶法來(lái)處理數(shù)據(jù)。2.漸消記憶法

由于系統(tǒng)是時(shí)變的，很容易想象：樣本越老，那么它偏離系統(tǒng)的現(xiàn)實(shí)情況越遠(yuǎn)。因此，為了充分反映系統(tǒng)當(dāng)前的情況，應(yīng)該重視新的樣本而將老樣本“遺忘〞。遺忘的方法就是對(duì)樣本進(jìn)行加權(quán)處理，讓新樣本對(duì)新參數(shù)估計(jì)值作較大的奉獻(xiàn)。也就是通過(guò)權(quán)重來(lái)強(qiáng)調(diào)當(dāng)前樣本的作用，逐漸消去老樣本數(shù)據(jù)對(duì)新參數(shù)估計(jì)值的影響。這種信息的取用方式稱為漸消記憶法。設(shè)μ為一個(gè)小于1而大于0的實(shí)數(shù)，用μ組成加權(quán)矩陣W＝μn-1μn-2?1使用加權(quán)最小二乘法，其準(zhǔn)那么函數(shù)為Jw＝eＴWe＝∑ni=1μn-ie２(i)(7-17)由式(7-17)得到的參數(shù)估計(jì)值就可以表達(dá)漸消記憶的效果。通常稱μ為遺忘因子。3.限定記憶法在漸消記憶法中，遺忘因子對(duì)模型參數(shù)有一定的影響，特別是對(duì)于殘留在參數(shù)序列中的隨機(jī)噪聲，影響更為明顯。一般來(lái)講，用增長(zhǎng)記憶法或漸消記憶法所得到的參數(shù)序列，其中的隨機(jī)噪聲不會(huì)是弱平穩(wěn)的。這種缺陷常常增加了建立參數(shù)模型的復(fù)雜性，或者使第二代參數(shù)模型得不到好的估計(jì)值。采用限定記憶法在一定程度上能彌補(bǔ)這一缺陷。限定記憶的概念主要指事先規(guī)定每次進(jìn)行參數(shù)估計(jì)的樣本長(zhǎng)度m(即記憶區(qū)間)，在參數(shù)估計(jì)過(guò)程中，每增加一組新樣本就去掉一組老樣本。這樣一來(lái)在任何時(shí)候估計(jì)參數(shù)時(shí)所使用的樣本都是最新的m個(gè)樣本。本書(shū)所討論的動(dòng)態(tài)相關(guān)分析主要采用這種數(shù)據(jù)處理方法。7.2參數(shù)跟蹤7.2.1線性時(shí)變系統(tǒng)

7.2.2非線性時(shí)變系統(tǒng)

7.2.3多層遞階模型7.2.1線性時(shí)變系統(tǒng)

當(dāng)式(7-18)中的函數(shù)f(·)具有線性形式時(shí)，它可以寫(xiě)成如下形式的線性時(shí)變系統(tǒng)：z(k)＝ΦＴkθk+ξ(k)(7-19)式中，ΦＴk＝［Zk-1，Uk］。對(duì)于式(7-19)描述的系統(tǒng)，根據(jù)第2章講述的最小二乘法參數(shù)估計(jì)迭代計(jì)算的原理，可以構(gòu)成迭代計(jì)算公式P－１k＝P－１k-1＋ΦkΦＴkθ^k＝θ^k－１＋PkΦk［z(k)-ΦＴkθ^k-1］(7-20)為了討論方便，把修正矩陣Pk記為Pk＝δ‖Φk‖２(7-21)式中，δ為由新息引起的修正系數(shù)，它可以由式(7-20)和式(7-21)計(jì)算出來(lái)。這樣，就得到時(shí)變參數(shù)θk的參數(shù)估計(jì)值跟蹤公式θ^k＝θ^k-1+δ‖Φk‖２Φk［z(k)-ΦＴkθk-1］(7-22)對(duì)于式(7-22)的跟蹤公式存在如下定理。定理7-2當(dāng)線性時(shí)變系統(tǒng)式(7-19)的參數(shù)估計(jì)值跟蹤公式(7-20)中取δ＝１時(shí)，那么由它所確定的參數(shù)估計(jì)值必滿足e［k,θ^k］＝z(k)－ФＴkθ^k＝０?k≥1(7-23)稱e［k,θ^k］為后驗(yàn)殘差。7.2.2非線性時(shí)變系統(tǒng)

當(dāng)系統(tǒng)具有式(7-18)表示的一般形式時(shí)，其模型參數(shù)也存在與式(7-22)類似的跟蹤公式。設(shè)式(7-18)中的函數(shù)f(·)關(guān)于θk的具有一階連續(xù)偏導(dǎo)數(shù)，其梯度記為θf(wàn)(k,θ)，那么參數(shù)跟蹤公式為θ^k＝θ^k-1+δ‖θf(wàn)(k,θ^k-1)‖２θf(wàn)(k,θ^k-1)｛z(k)-f［Zk-1,Uk，θ^k-1,k］｝(7-24)為了評(píng)價(jià)式(7-18)的跟蹤能力，也可以建立與定理7-2類似的殘差定理。但這個(gè)定理的證明比較復(fù)雜，本書(shū)不作更進(jìn)一步的討論，僅給出有關(guān)的結(jié)論。有興趣了解其證明過(guò)程的讀者可以查閱本書(shū)所列的參考文獻(xiàn)。定理7-3設(shè)非線性系統(tǒng)式(7-18)中的觀測(cè)值z(mì)(k)幾乎處處有界，在跟蹤公式(7-24)中，對(duì)δ＞0一致的有l(wèi)imk→∞θf(wàn)(k,θ^?k)Ｔθf(wàn)(k,θ^k-1)‖θf(wàn)(k,θ^k-1)‖２＝μ＞0式中，θ^?k為θ^k和θ^k-1的加權(quán)和，即對(duì)0＜αk＜1，有θ^?k＝αkθ^k+(1-αk)θ^k-1。那么對(duì)于任何ε＞0，必有δ＞0和Ｎ＞0，使當(dāng)k≥N時(shí)，｛θ^k｝滿足｜e(k,θ^k)｜＝｜z(k)-f［Zk-1,Uk，θ^k，k］｜＜ε(a.s.)(7-25)7.2.3多層遞階模型

從上面的兩個(gè)定理可以看出，在一定的條件下，由參數(shù)跟蹤公式所計(jì)算的參數(shù)序列｛θ１，θ2，…，θk｝對(duì)時(shí)變系統(tǒng)具有較好的跟蹤作用。這些成果已經(jīng)被一些研究人員所證實(shí)。動(dòng)態(tài)相關(guān)分析在此根底上還要求進(jìn)一步研究參數(shù)序列的變化規(guī)律。根據(jù)樣本空間和參數(shù)空間同步性的觀點(diǎn)，可以建立參數(shù)模型來(lái)反映時(shí)變系統(tǒng)樣本空間的變化。如果想知道未來(lái)樣本空間的狀態(tài)，可以先利用參數(shù)模型對(duì)相應(yīng)時(shí)刻的參數(shù)空間進(jìn)行預(yù)測(cè)。如果第二代參數(shù)仍然是時(shí)變的，那么可以繼續(xù)對(duì)第二代參數(shù)跟蹤，引出的新一代參數(shù)稱為第三代參數(shù)。這是一種運(yùn)用多層模型描述時(shí)變系統(tǒng)的方法，有些文獻(xiàn)稱之為多層遞階預(yù)報(bào)方法。一般來(lái)講，可以對(duì)參數(shù)序列｛θk｝建立模型θk＝g［Θk-1，Uk，βk,k］+ηk(7-26)式中，Θk-1＝［θ０，θ１，…，θk-1］Ｔ；Uk表示由影響參數(shù)θk的因素組成的向量；βk為第二代參數(shù)；ηk為序列｛θk｝中的隨機(jī)干擾。比較式(7-26)和式(7-18)，可以看出它們數(shù)學(xué)形式根本相同，因此可以仿照式(7-22)或者式(7-24)建立第二代參數(shù)βk的跟蹤公式。值得注意的是，在式(7-18)中，假定隨機(jī)干擾序列｛ξk｝是零均值白噪聲是允許的，而在式(7-26)中，不能再對(duì)隨機(jī)干擾｛ηk｝做任何假設(shè)。正如在7.1節(jié)曾強(qiáng)調(diào)的那樣，｛ηk｝是否為白噪聲由參數(shù)估計(jì)方法所決定。在實(shí)際應(yīng)用中，保證｛ηk｝仍然為白噪聲是相當(dāng)困難的事情，所以使用多層遞階預(yù)報(bào)方法時(shí)，隨機(jī)干擾不能太大，遞階層次也不宜過(guò)多。7.3變參數(shù)回歸方程7.3.1參數(shù)子模型

7.3.2差分法

7.3.3預(yù)報(bào)—校正法

7.3.4機(jī)理分析法7.3.1參數(shù)子模型

對(duì)于模型式(7-27)，采用小節(jié)介紹的數(shù)據(jù)處理方法，或者采用7.2節(jié)介紹的參數(shù)跟蹤方法，都可以得到參數(shù)向量序列｛θ1，θ2，…，θk｝。對(duì)參數(shù)估計(jì)向量中的每個(gè)元素都可以建立一個(gè)數(shù)學(xué)模型，其模型結(jié)構(gòu)可以從該元素對(duì)時(shí)間的散點(diǎn)圖上分析出來(lái)。例如，對(duì)其中的第i個(gè)元素αik,k∈N建立模型αik＝gi(βi，k)+ηik(7-28)式中，βi＝［γ1i,γ2i,…，γqi］Ｔ表示第二代參數(shù)向量，q表示它的維數(shù)；ηik為隨機(jī)序列｛ηk｝的第i個(gè)分量。稱式(7-28)為第二代參數(shù)向量的第i個(gè)參數(shù)子模型，或者簡(jiǎn)稱為參數(shù)子模型。理解參數(shù)子模型的概念并不是一件很困難的事情，實(shí)施這一方法也很容易。但是，為了獲得成功必須注意兩個(gè)問(wèn)題：一個(gè)問(wèn)題是要謹(jǐn)慎地選用系統(tǒng)模型式(7-27)的參數(shù)估計(jì)方法，使參數(shù)序列｛θk｝具有良好的統(tǒng)計(jì)特性，以保證第二代參數(shù)估計(jì)能順利地進(jìn)行；另一個(gè)問(wèn)題是由于模型只是現(xiàn)實(shí)世界的近似，子模型的誤差會(huì)成倍地反響到系統(tǒng)模型之中，所以使用子模型法時(shí)，系統(tǒng)模型和參數(shù)模型都不應(yīng)該太復(fù)雜，子模型的層次也不要太多。參數(shù)子模型法的主要缺陷是計(jì)算工作量較大。系統(tǒng)模型的每個(gè)參數(shù)都對(duì)應(yīng)一個(gè)參數(shù)子模型，需要實(shí)施一次參數(shù)估計(jì)。如果系統(tǒng)模型的參數(shù)比較多，計(jì)算工作量會(huì)很大。差分法可以大大降低計(jì)算時(shí)變參數(shù)的工作量。7.3.2差分法由于微分算子D＝d/dt具有核c(λ)＝iλ(i為虛數(shù)單位)，因此D∈Lc。根據(jù)定理7-1和推論7-2，D把弱平穩(wěn)過(guò)程映射為弱平穩(wěn)過(guò)程。作者在1985年提出的時(shí)變參數(shù)差分修正法，在某些情況下能夠提高模型的精度。差分法的根本原理如下：設(shè)時(shí)變系統(tǒng)為zt＝f［Xt，θt，t］+ξt(7-29)對(duì)式(7-29)兩邊微分，得到dzt＝?f?XＴtdXt+?f?θＴtdθt+?f?t+dξt(7-30)這是一個(gè)以dθt為未知量的線性方程，由于當(dāng)ξt為零均值白噪聲時(shí)，dξt也是零均值白噪聲，所以可以用最小二乘法來(lái)求解dθt，利用dθt來(lái)修正已經(jīng)得到的系統(tǒng)模型參數(shù)估計(jì)值θ^t，即可到達(dá)動(dòng)態(tài)回歸的目的。實(shí)際使用這種方法時(shí)，往往用差分來(lái)代替微分，因此把式(7-29)改寫(xiě)為Δzt＝?f?XＴtΔXt+?f?θＴtΔθt?f?t＋Δξt(7-31)令y＝Δzt－?f?XＴtΔＸ－?f?t，ηt＝Δξt，把它們代入式(7-31)，得到y(tǒng)＝?f?θＴtΔθt+ηt(7-32)7.3.3預(yù)報(bào)—校正法上面介紹的兩種方法都是考慮建立參數(shù)空間的子模型，通過(guò)對(duì)子模型規(guī)律的把握增加系統(tǒng)模型的可靠性和準(zhǔn)確度，從而到達(dá)動(dòng)態(tài)建模的效果。實(shí)際上也可以不用建立參數(shù)子模型的方法，而直接使用修正樣本空間的方法來(lái)實(shí)現(xiàn)動(dòng)態(tài)建模。這種方法的根本思想是：先按傳統(tǒng)的建模方法對(duì)系統(tǒng)建模，然后分析模型使用時(shí)所發(fā)生的誤差及其原因，建立預(yù)報(bào)—校正模型，求解初始模型的校正值。所以，也稱這種方法為預(yù)報(bào)—校正法。7.3.4機(jī)理分析法

機(jī)理分析是很重要建模方法，但是機(jī)理分析需要具備豐富的專業(yè)知識(shí)，是相應(yīng)的專業(yè)課程討論的重要內(nèi)容。系統(tǒng)建模理論研究的重點(diǎn)是通過(guò)數(shù)據(jù)(或信息)建立數(shù)學(xué)模型，它不需要掌握很多的學(xué)科專業(yè)知識(shí)。在動(dòng)態(tài)相關(guān)的研究中機(jī)理分析有時(shí)顯得更重要一些，因?yàn)闄C(jī)理分析能幫助建模人員理解參數(shù)的含義，從而確定參數(shù)方程的結(jié)構(gòu)。在動(dòng)態(tài)相關(guān)分析中，尋找樣本空間或者參數(shù)空間的變化規(guī)律是重要但有時(shí)又是很困難的工作。由于實(shí)際情況限制，理論上要求的條件總是只能局部或者近似地得到滿足。這往往成為引起模型誤差的主要原因。有時(shí)，不追求建模理論上的嚴(yán)密性，通過(guò)簡(jiǎn)單的機(jī)理分析或者憑經(jīng)驗(yàn)確定參數(shù)的變化規(guī)律，也能得到較好的模型。特別是當(dāng)參數(shù)的物理含義比較清楚又有相關(guān)學(xué)科的理論支持時(shí)，用機(jī)理分析確定該參數(shù)的變化規(guī)律往往是很有效的方法。7.4二次回歸分析7.4.1二次回歸的概念

7.4.2二次回歸模型的建立過(guò)程7.4.3對(duì)二次回歸分析的說(shuō)明

7.4.1二次回歸的概念

當(dāng)討論時(shí)變線性方程對(duì)復(fù)雜系統(tǒng)的跟蹤時(shí)，曾經(jīng)講到可以用時(shí)變系數(shù)的直線來(lái)逼近一個(gè)非線性系統(tǒng)。下面進(jìn)一步討論這個(gè)觀點(diǎn)的數(shù)學(xué)根底。設(shè)有非線性系統(tǒng)zt＝f(Ｘt，θ)+ξt(7-38)式中，Ｘt表示由p個(gè)解釋變量組成的向量。假定函數(shù)f(·)對(duì)于變量Ｘt中各元素的偏導(dǎo)數(shù)都存在，且在Ｘ０連續(xù)，那么可以把函數(shù)在Ｘ０附近展開(kāi)為泰勒級(jí)數(shù)f(Ｘ,θ)＝f(Ｘ０,θ)+?f?ＸＴ(Ｘ-Ｘ０)+(Ｘ-Ｘ０)Ｔ?２f?Ｘ?ＸＴ(Ｘ-Ｘ０)+…(7-39)在式(7-39)中，所有的X都是時(shí)間的函數(shù)，為了書(shū)寫(xiě)簡(jiǎn)單，略去了所有的時(shí)間下標(biāo)；此外，所有的偏導(dǎo)數(shù)都表示在X0點(diǎn)的計(jì)算值。7.4.2二次回歸模型的建立過(guò)程1.構(gòu)造參數(shù)序列2.構(gòu)造參數(shù)子模型的樣本序列

3.建立參數(shù)子模型并進(jìn)行變量篩選

4.建立二次回歸方程1.構(gòu)造參數(shù)序列

設(shè)系統(tǒng)由動(dòng)態(tài)回歸方程z＝a0＋∑pi=1aixi+ξ(7-45)描述，其中p為解釋變量的個(gè)數(shù)，并且z,a,x，ξ都是時(shí)間的函數(shù)，為了表達(dá)方式比較簡(jiǎn)單，這里省略了對(duì)時(shí)間的標(biāo)記。把式(7-45)寫(xiě)成向量的表達(dá)式z＝ΦＴθ+ξ式中，ΦＴ＝［１,x1,…，xp］；θ＝［a0,a1，…，ap］Ｔ。2.構(gòu)造參數(shù)子模型的樣本序列

根據(jù)參數(shù)估計(jì)的方法，可以看到參數(shù)估計(jì)值序列｛θ^１，θ^2，…，θ^l｝中的每一個(gè)向量都包含了m個(gè)原始樣本數(shù)據(jù)的信息，所以對(duì)參數(shù)子模型進(jìn)行統(tǒng)計(jì)分析時(shí)，應(yīng)該考慮與之對(duì)應(yīng)的m個(gè)原始樣本的平均值。令xi表示與參數(shù)序列中第i個(gè)參數(shù)估計(jì)向量θ^i相對(duì)應(yīng)的解釋變量的數(shù)值。那么X(i)=1m∑mj=1X(i+j-1)(7-46)式中，X(i)=［x1(i)，x2(i)，…，xp(i)］Ｔ為系統(tǒng)解釋變量所組成的向量，小括號(hào)內(nèi)為時(shí)間序號(hào)。3.建立參數(shù)子模型并進(jìn)行變量篩選

設(shè)參數(shù)估計(jì)值θ^i和解釋變量Xi之間存在線性關(guān)系，有θ^i=B０＋BXi+η(7-47)式中，B０=［β１，β２，…，βp］Ｔ，B為第二代參數(shù)矩陣，且B=β１２β12…β1pβ21β22…β2p???βp1βp2…βppη為第二代參數(shù)模型中的噪聲向量，η=［η１，η２，…，ηp］Ｔ。從式(7-47)中取出第k行，并略去時(shí)間編號(hào)i，有

αk=βk+∑pj=1βkjxj+ηk，k=1,2,…，p(7-48)根據(jù)二次回歸的原理，這里對(duì)式(7-48)感興趣的不是求解參數(shù)βk和βkj，而是判斷參數(shù)αk和解釋變量xj，j=1，2，…，p的相關(guān)程度。利用小節(jié)討論過(guò)的t檢驗(yàn)方法判別式(7-48)中各解釋變量與參數(shù)αk的相關(guān)性，篩去相關(guān)性不強(qiáng)的解釋變量。4.建立二次回歸方程

把經(jīng)過(guò)變量篩選的式(7-48)代回式(7-41)，構(gòu)成二次回歸方程。用總長(zhǎng)度為n的樣本集合估計(jì)二次方程中的參數(shù)，得到研究對(duì)象的模型。如果有必要，可以在第三級(jí)、第四級(jí)參數(shù)子模型中篩選解釋變量，得到相當(dāng)于三階、四階泰勒級(jí)數(shù)的二次回歸方程。應(yīng)該注意，并不是參數(shù)子模型的級(jí)數(shù)越高模型越好，當(dāng)參數(shù)子模型的級(jí)數(shù)過(guò)高時(shí)，計(jì)算誤差可能會(huì)導(dǎo)致建模過(guò)程完全失敗。7.4.3對(duì)二次回歸分析的說(shuō)明

二次回歸分析的思想也可以擴(kuò)展到其他的動(dòng)態(tài)建模方法之中。原那么上講，只要?jiǎng)討B(tài)建模過(guò)程是分級(jí)或分層進(jìn)行的，都有可能使用二次回歸分析的方法。例如在預(yù)報(bào)—校正法中，如果預(yù)報(bào)方程和校正方程都是線性方程，那么可以在利用殘差分析求出校正方程的結(jié)構(gòu)后，把它代回預(yù)報(bào)方程，構(gòu)成一個(gè)統(tǒng)一的模型，并重新估計(jì)它的參數(shù)。在很多情況下，這種數(shù)據(jù)處理方法可以進(jìn)一步提高預(yù)報(bào)—校正法的精度。同樣，在差分法中，也可以把參數(shù)的修正模型和系統(tǒng)模型合并在一起，統(tǒng)一估計(jì)模型參數(shù)。不過(guò)最后需要說(shuō)明的是，并不主張任意地推廣二次回歸分析的概念，在很多情況下，分級(jí)分層建立模型仍然是非常必要的，如果硬要把它們合在一起，反而會(huì)弄巧成拙。即使在可以使用二次回歸分析的案例中，也要權(quán)衡一下不同方法的利弊，切不可把原理到處生搬硬套。7.5*變參數(shù)ARMA模型7.5.1根本定義

7.5.2幾個(gè)定理

7.5.3時(shí)變ARMA模型的描述方法7.5.1根本定義設(shè)｛x(t)，t∈T｝是隨機(jī)過(guò)程，那么對(duì)于每一個(gè)t∈T，x(t)均為概率空間(Ω，F(xiàn)，P)上的一個(gè)隨機(jī)變量?？紤]在時(shí)間t上x(chóng)(t)的一階矩，有如下定義。定義7-2如果隨機(jī)過(guò)程x(t)的均值函數(shù)是獨(dú)立于時(shí)間t的常數(shù)，即E［x(t)］=C那么稱之為一階矩平穩(wěn)隨機(jī)過(guò)程。所有的一階矩平穩(wěn)隨機(jī)過(guò)程組成的集合記為S１。如果隨機(jī)過(guò)程y(t)不屬于S1，那么稱之為一階非平穩(wěn)隨機(jī)過(guò)程，它們組成集合S１的補(bǔ)集S１。定義7-3假設(shè)隨機(jī)過(guò)程的均值為有限值，即E［x(t)］＜∞那么稱之為一階矩過(guò)程。所有一階矩過(guò)程組成集合L１L1=｛x(t)｜E［x(t)］＜∞｝(7-49)顯然可以看出，L1?S1。類似地，還可以考慮隨機(jī)過(guò)程的二階矩。定義7-4設(shè)S(s,t)為隨機(jī)過(guò)程x(t)協(xié)方差函數(shù)，假設(shè)B(s,t)=D(s-t)(7-50)那么稱之為二階矩平穩(wěn)隨機(jī)過(guò)程，或者簡(jiǎn)稱為二階平穩(wěn)過(guò)程。7.5.2幾個(gè)定理定理7-4設(shè)隨機(jī)過(guò)程x(t)∈H，那么x(t)為零均值正交隨機(jī)過(guò)程的充要條件是x(t)=a(t)ξ(t)(7-54)式中，a(t)為時(shí)間的函數(shù)；ξ(t)為白噪聲，其均值為零，方差為σ２１。7.5.3時(shí)變ARMA模型的描述方法根據(jù)定理7-7可以建立能描述一類非平穩(wěn)過(guò)程x(n)的時(shí)變ARMA模型，即∑pk=0ak(n)x(n-k)＝∑qk=0bk(n)ξ(n-k)(7-68)式中，｛ξ(n)｝為零均值白噪聲序列；｛x(n)｝為零均值二階矩過(guò)程，其協(xié)方差函數(shù)為B(n,m)。當(dāng)｜n-m｜＞q時(shí)，B(n,m)的值為0。一般來(lái)講，式(7-68)描述了一個(gè)二階非平穩(wěn)序列，所以稱之為非平穩(wěn)自回歸滑動(dòng)平均模型，記為NARMA。和ARMA模型類似，式(7-68)表達(dá)的NARMA也可以簡(jiǎn)化為NAR模型或者NMA模型。NAR模型的一般形式為∑ak(n)x(n-k)=η1(n)(7-69)式中，｛η１(n)｝為零均值正交過(guò)程。7.6*非齊次馬爾科夫鏈和時(shí)變圖表7.6.1非齊次馬爾科夫鏈

7.6.2轉(zhuǎn)移矩陣估計(jì)

7.6.3時(shí)變圖表7.6.1非齊次馬爾科夫鏈本書(shū)在第6章比較詳細(xì)地討論了與馬爾科夫序列有關(guān)的問(wèn)題，介紹了狀態(tài)轉(zhuǎn)移概率矩陣P的概念。并且指出，為了強(qiáng)調(diào)P是系統(tǒng)從t時(shí)刻狀態(tài)過(guò)渡到t+1時(shí)刻的狀態(tài)轉(zhuǎn)移概率矩陣，把它記為tP式中，n表示狀態(tài)空間的維數(shù)；pij(t)表示在t時(shí)刻到t+1時(shí)刻之間對(duì)象從狀態(tài)i轉(zhuǎn)向狀態(tài)j的概率。當(dāng)tP不隨時(shí)間變化，即tP≡P時(shí)，就構(gòu)成齊次馬爾科夫鏈。齊次馬爾科夫鏈的建模問(wèn)題在第6章已經(jīng)進(jìn)行了比較詳細(xì)的討論。本小節(jié)主要介紹非齊次馬爾科夫鏈的建模問(wèn)題。7.6.2轉(zhuǎn)移矩陣估計(jì)假設(shè)矩陣的每個(gè)元素都是時(shí)間的函數(shù)，那么稱之為函數(shù)矩陣。因此，非齊次馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率矩陣實(shí)際上是一個(gè)函數(shù)矩陣。在下面的表達(dá)中為了簡(jiǎn)單起見(jiàn)，有時(shí)用函數(shù)矩陣一詞代替非齊次馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率矩陣。但是應(yīng)該注意本節(jié)所討論的函數(shù)矩陣，其矩陣元素pij(t)(i,j=1,2,…，n)的解析式一般不能準(zhǔn)確地給定，只能通過(guò)建模手段把它們模擬出來(lái)。如果系統(tǒng)的歷史狀態(tài)空間，那么就有可能估計(jì)函數(shù)矩陣的運(yùn)動(dòng)形態(tài)。7.6.3時(shí)變圖表

圖和表都是非解析的建模方法。本書(shū)的3.5節(jié)曾介紹過(guò)靜態(tài)圖表的概念。如果相同構(gòu)造的表格在不同的時(shí)間被不同的數(shù)據(jù)填充，那么就構(gòu)成了時(shí)變圖表。時(shí)變圖表的建模工作比非齊次馬爾科夫鏈的建模工作還要困難，因?yàn)楹笳哂幸恍╆P(guān)于馬爾科夫過(guò)程的研究成果可以借鑒，而前者幾乎沒(méi)有成熟的數(shù)學(xué)理論可供參考。從原那么上講，處理時(shí)變圖表中的模型問(wèn)題，首先要從圖表中尋找可以量化的因素，建立由觀測(cè)量構(gòu)成的序列，然后再考慮對(duì)這個(gè)序列建立解析模型。在實(shí)際工作中所建立的圖表，有一些已經(jīng)把時(shí)間作為一個(gè)根本變量考慮在其中了，這種情況一般可以用前面介紹的建模方法直接建模。還有一些圖表只表示某一個(gè)特定時(shí)刻或時(shí)段的情況，不能表現(xiàn)系統(tǒng)的動(dòng)態(tài)特征，這種圖表處理起來(lái)就比