時(shí)間序列分析方法 第13章 Kalman濾波

1、時(shí)間序列分析方法講義 第13章 卡爾曼濾波PAGE PAGE 14第十三章 卡爾曼濾波在本章中，我們介紹一種被稱為卡爾曼濾波的十分有用的工具?？柭鼮V波的基本思想是將動(dòng)態(tài)系統(tǒng)表示成為一種稱為狀態(tài)空間表示的特殊情形?？柭鼮V波是對(duì)系統(tǒng)線性投影進(jìn)行序列更新的算法。除了一般的優(yōu)點(diǎn)以外，這種算法對(duì)計(jì)算確切的有限樣本預(yù)測(cè)、計(jì)算Gauss ARMA模型的確切似然函數(shù)、估計(jì)具有時(shí)變參數(shù)的自回歸模型等，都提供了重要方法。13.1 動(dòng)態(tài)系統(tǒng)的狀態(tài)空間表示我們已經(jīng)介介紹過(guò)一一些隨機(jī)機(jī)過(guò)程的的動(dòng)態(tài)表表示方法法，下面面我們?cè)谠谝郧暗牡募僭O(shè)基基礎(chǔ)上，繼繼續(xù)分析析動(dòng)態(tài)系系統(tǒng)的表表示方法法。13.1.1 繼繼續(xù)使用用的假設(shè)

2、設(shè)假設(shè)表示時(shí)時(shí)刻觀測(cè)測(cè)到的nn維隨機(jī)機(jī)向量，一一類非常常豐富的的描述動(dòng)動(dòng)態(tài)性的的模型可可以利用用一些可可能無(wú)法法觀測(cè)的的被稱為為狀態(tài)向向量(sstatte vvecttor)的r維向量量表示，因因此表示示動(dòng)態(tài)性性的狀態(tài)態(tài)空間表表示(sstatte-sspacce rreprreseentaatioon)由由下列方方程系統(tǒng)統(tǒng)給出：狀態(tài)方程(staate moddel) (133.1)量測(cè)方程(obsservvatiion moddel) (133.2)這里，和分分別是階階數(shù)為，和的參數(shù)數(shù)矩陣，是的外生或者前定變量。方程(13.1)被稱為狀態(tài)方程(state model)，方程(13.2)被稱為量

3、測(cè)方程(observation model)，維向量和維向量都是向量白噪聲，滿足： (113.33) (113.44)這里和是和和階矩陣陣。假設(shè)設(shè)擾動(dòng)項(xiàng)項(xiàng)和對(duì)于所所有階滯滯后都是是不相關(guān)關(guān)的，即即對(duì)所有有和，有： (13.5)是外生或者者前定變變量的假假定意味味著，在在除了包包含在內(nèi)內(nèi)的信息息以外，沒(méi)有為和()提供任何新的信息。例如，可以包括的滯后值，也可以包括與和(任意)不相關(guān)的變量。方程系統(tǒng)中中方程(13.1)至至方程(13.5)可可以表示示有限觀觀測(cè)值的的序列，這這時(shí)需要要狀態(tài)向向量初始始值。假假設(shè)與和的任何何實(shí)現(xiàn)都都不相關(guān)關(guān)：，對(duì)任意 (113.66)，對(duì)任意 (113.77)狀態(tài)方程

4、(13.1)表表明，可以表表示成為為的線性性函數(shù)：， (113.88)因此，方程程(133.6)和方程程(133.3)意味著著與所有有的滯后后值都是是不相關(guān)關(guān)的：， (133.9)類似地，可可以得到到：，(13.10)， (113.111)， (113.112)上述系統(tǒng)是是相當(dāng)靈靈活的，它它的一些些結(jié)論也也可以推推廣到與與相關(guān)的的系統(tǒng)中中，而且且系數(shù)矩矩陣也可可以是時(shí)時(shí)間的函函數(shù)。如果我我們僅僅僅關(guān)注到到上述系系統(tǒng)的基基本形式式，則下下面的論論述將是是十分清清晰的。13.1.2狀態(tài)空空間表示示的例子子考慮一元過(guò)過(guò)程：這個(gè)過(guò)程可可以表示示成為下下面的狀狀態(tài)空間間模型形形式：狀態(tài)方程() (133

5、.133)量測(cè)方程： (133.144)對(duì)應(yīng)地，我我們指定定：，這里變量和和參數(shù)矩矩陣對(duì)應(yīng)應(yīng)為：，注意到這里里的狀態(tài)態(tài)方程只只是一個(gè)個(gè)一階向向量自回回歸方程程，量測(cè)測(cè)方程只只是一個(gè)個(gè)簡(jiǎn)單的的等式。因因此，我我們已經(jīng)經(jīng)看到，狀狀態(tài)空間間表示只只是總結(jié)結(jié)過(guò)程的的另外一一種方式式。將過(guò)程程表示成成為這種種方式的的原因在在于，這這樣可以以獲得歸歸納過(guò)程程動(dòng)態(tài)性性的合適適方式，這這是我們們對(duì)任何何系統(tǒng)狀狀態(tài)空間間表示感感興趣的的基本原原因。另外一個(gè)例例子是，我我們考慮慮一元過(guò)過(guò)程：對(duì)應(yīng)地，它它可以表表示成為為狀態(tài)空空間模型型形式為為：狀態(tài)方程()：量測(cè)方程()：這里：，將給定系統(tǒng)統(tǒng)表示成成為狀態(tài)態(tài)方程的

6、的方式有有多種。例例如，可可以將過(guò)過(guò)程表示示成為下下面類型型的狀態(tài)態(tài)空間模模型：狀態(tài)方程()：量測(cè)方程()：顯然上面的的過(guò)程、兩兩種狀態(tài)態(tài)空間模模型表示示都是具具有相同同特征的的過(guò)程表表示，這這三種表表示都具具有相同同的預(yù)測(cè)測(cè)和相同同的似然然函數(shù)值值，也就就無(wú)須討討論哪一一種方式式更為合合適。更一般地，一一元模型型可以通通過(guò)定義義進(jìn)行狀狀態(tài)空間間模型表表示： (13.15)這里的參數(shù)數(shù)約束是是：當(dāng)時(shí)時(shí)，；當(dāng)當(dāng)時(shí)，?？紤]下列狀狀態(tài)空間間模型表表示為：狀態(tài)方程()： (113.116)量測(cè)方程()： (113.115)為了驗(yàn)證方方程(113.116)和方方程(113.117)表示示了系統(tǒng)統(tǒng)與方程程

7、(133.155)一致致，假設(shè)設(shè)表示向向量的第第j個(gè)元素素，因此此狀態(tài)方方程的第第2行表表示：第3行表明明：更一般地，第j行表示：因此狀態(tài)方方程的第第1行意意味著：或者： (133.188)量測(cè)方程表表明： (133.199)在方程(113.119)兩端端乘以算算子多項(xiàng)項(xiàng)式，并并利用方方程(113.118)，可可以得到到：這就是原來(lái)來(lái)的模型型，即方方程(133.155)。狀態(tài)空間形形式是描描述隨機(jī)機(jī)過(guò)程的的和，或或者測(cè)量量誤差結(jié)結(jié)果的模模型的非非常合適適的方式式。例如如，F(xiàn)aama和和Gibbbonns (19882)開(kāi)開(kāi)始著手手研究事事前實(shí)際際利率(ex antte rreall innte

8、rrestt raate )行為為 (事事前實(shí)際際利率是是名義利利率減去去預(yù)期通通貨膨脹脹率)。由由于經(jīng)濟(jì)濟(jì)計(jì)量學(xué)學(xué)家通過(guò)過(guò)證券市市場(chǎng)推斷斷的預(yù)期期通貨膨膨脹率的的數(shù)據(jù)，因因此這個(gè)個(gè)變量不不是可以以觀測(cè)的的。因此此在這種種應(yīng)用中中狀態(tài)變變量是一一個(gè)標(biāo)量量，即：，這里里表示平平均事前前實(shí)際利利率。FFamaa和Gibbbonns (19882)假假設(shè)事前前實(shí)際利利率服從從過(guò)程： (13.20)經(jīng)濟(jì)計(jì)量學(xué)學(xué)家可以以觀測(cè)到到事后實(shí)實(shí)際利率率(名義義利率減減去真實(shí)實(shí)通貨膨膨脹率)，這可可以表示示為： (13.21)這里是人們們預(yù)測(cè)通通貨膨脹脹率時(shí)的的誤差。如果人們以最優(yōu)的方式形成通貨膨脹率預(yù)測(cè)，則與自

9、身的滯后值和事前實(shí)際利率是無(wú)關(guān)的。因此方程(13.20)和方程(13.21)是狀態(tài)空間模型，這里，。狀態(tài)空間模模型框架架的另外外一個(gè)有有趣例子子是Sttockk和Waastoon (19991)的的研究，他他們假設(shè)設(shè)存在表表示經(jīng)濟(jì)濟(jì)周期狀狀態(tài)的不不可觀測(cè)測(cè)變量。假假設(shè)是個(gè)可以以觀測(cè)的的宏觀經(jīng)經(jīng)濟(jì)變量量，每個(gè)個(gè)都受到到經(jīng)濟(jì)周周期的影影響，并并且具有有與中移移動(dòng)不相相關(guān)的奇奇異成分分(表示示為)。如如果經(jīng)濟(jì)濟(jì)周期和和每個(gè)奇奇異成分分可以利利用一元元過(guò)程描描述，則則維狀態(tài)態(tài)向量是是： (133.222)該狀態(tài)變量量具有的的狀態(tài)方方程為： (13.23)量測(cè)方程為為： (113.224)因此，參數(shù)數(shù)描

10、述第第i個(gè)序列列對(duì)經(jīng)濟(jì)濟(jì)周期反反應(yīng)的敏敏感性。為為了出現(xiàn)現(xiàn)和描述述p階動(dòng)態(tài)態(tài)性，SStocck和WWastton (19991)將方程程(133.222)中的的和替換為為階向量量和，這時(shí)時(shí)是維向量量。這時(shí)時(shí)方程(13.23)中的的標(biāo)量需需要利用用階矩陣替替換，該該矩陣結(jié)結(jié)構(gòu)與方方程(113.113)類類似。還還需要在在量測(cè)方方程(113.224)中中的列中中加入階階數(shù)為的的零子塊塊。13.22 卡卡爾曼濾波的的推導(dǎo)卡爾曼濾波波是估計(jì)計(jì)狀態(tài)空空間模型型的重要要方法，也也是應(yīng)用用廣泛的的參數(shù)估估計(jì)方法法。下面面我們介介紹卡爾爾曼濾波波的有關(guān)關(guān)公式。13.2.1卡爾爾曼濾波波的回顧顧 Ovvervv

11、ieww off thhe KKalmman Fillterr考慮上述討討論的狀狀態(tài)空間間模型的的一般形形式，為為了方便便，我們們將使用用的一些些關(guān)鍵方方程在這這里重復(fù)復(fù)表示如如下：，假設(shè)我們已已經(jīng)得到到了觀測(cè)測(cè)值，；一個(gè)個(gè)最終目目標(biāo)是基基于這些些觀測(cè)值值估計(jì)系系統(tǒng)的所所有未知知參數(shù)。但但是，目目前我們們暫時(shí)假假設(shè)參數(shù)數(shù)矩陣的的特定數(shù)數(shù)值都是是確定性性已知的的。如何何估計(jì)這這些參數(shù)數(shù)在后面面的內(nèi)容容中討論論?？柭鼮V波波具有多多種應(yīng)用用。它的的基本動(dòng)動(dòng)因是作作為一種種計(jì)算狀狀態(tài)向量量基于時(shí)時(shí)刻t觀測(cè)到到的數(shù)據(jù)據(jù)進(jìn)行最最小二乘乘預(yù)測(cè)的的算法。 (13.25)這里：這里表示基基于和常常數(shù)的線線性投

12、影影?？枲柭鼮V波波是采用用疊代算算法計(jì)算算這些預(yù)預(yù)測(cè)的，按按順序分分別產(chǎn)生生，。與這這些預(yù)測(cè)測(cè)有關(guān)的的是均方方誤差矩矩陣，可可以由一一個(gè)階矩矩陣表示示： (13.26)13.2.2疊代的的開(kāi)始疊代首先從從開(kāi)始，表表示在沒(méi)沒(méi)有和觀測(cè)值值的基礎(chǔ)礎(chǔ)上對(duì)的的預(yù)測(cè)。這這就是的的無(wú)條件件均值：與此相關(guān)的的MSEE為：例如，對(duì)系系統(tǒng)的狀狀態(tài)空間間表示，狀狀態(tài)向量量為：這時(shí)有：，更一般地，如如果矩陣陣的特征征根都落落在單位位圓內(nèi)，則則狀態(tài)方方程表示示的過(guò)程程是協(xié)方方差平穩(wěn)穩(wěn)的。因因此，對(duì)對(duì)狀態(tài)方方程兩端端取無(wú)條條件數(shù)學(xué)學(xué)期望，可可以得到到：由于過(guò)程是是協(xié)方差差平穩(wěn)的的，則有有：由于矩陣沒(méi)沒(méi)有單位位根，因因此

13、矩陣陣是非奇奇異的，因因此這個(gè)個(gè)方程存存在唯一一零解，也也就是有有：。則則的無(wú)條條件方差差也可以以類似地地得到，取取矩陣的的轉(zhuǎn)置并并取數(shù)學(xué)學(xué)期望，可可以得到到(由于于存在正正交性，下下面的交交叉項(xiàng)的的數(shù)學(xué)期期望為零零)：假設(shè)矩陣表表示的協(xié)協(xié)方差矩矩陣，則則有：這個(gè)方程的的解可以以表示為為：因此，一般般情況下下，如果果矩陣的的特征根根都落在在單位圓圓內(nèi)，因因此卡爾爾曼濾波波的疊代代可以從從和開(kāi)始，這這里的表表示成為為列向量量可以從從下式得得到：如果矩陣的的部分特特征根落落在單位位圓上或或者單位位圓外，或或者無(wú)法法從狀態(tài)態(tài)方程中中獲得，這這時(shí)可以以利用分分析者對(duì)對(duì)初始的的最優(yōu)猜猜測(cè)來(lái)替替代，而而是

14、歸納納這種預(yù)預(yù)測(cè)置信信區(qū)間的的正定矩矩陣。中中對(duì)角線線上比較較大的數(shù)數(shù)值對(duì)應(yīng)應(yīng)著對(duì)真真實(shí)取值值較高的的非確定定性。13.2.3預(yù)測(cè)給定開(kāi)始的的初值和和，下一一步是計(jì)計(jì)算下一一個(gè)時(shí)期期類似的的數(shù)量和和。由于于計(jì)算對(duì)對(duì)都具有有相同的的形式，因因此我們們討論在在時(shí)刻tt的一般般形式。給給定和，目的的是計(jì)算算和。首先，我們們需要注注意到，我我們假設(shè)設(shè)除了包包含在內(nèi)內(nèi)的信息息以外，不再包含關(guān)于的信息，因此有：下面我們考考慮對(duì)的的預(yù)測(cè)：注意到根據(jù)據(jù)狀態(tài)方方程，可可以得到到：因此，根據(jù)據(jù)投影的的疊代定定律，有有：這個(gè)預(yù)測(cè)的的誤差為為：因此預(yù)測(cè)的的MSEE為：由于，因此此上式中中交叉項(xiàng)項(xiàng)為零。這個(gè)正交條件需要

15、根據(jù)假設(shè)和投影性質(zhì)加以驗(yàn)證。這時(shí)可以將MSE表示為：13.2.4關(guān)于推斷斷的更新新給定開(kāi)始的的初值和和，下一一步是計(jì)計(jì)算下一一個(gè)時(shí)期期類似的的數(shù)量和和。由于于計(jì)算對(duì)對(duì)13.2.5產(chǎn)生的預(yù)預(yù)測(cè)給定開(kāi)始的的初值和和，下一一步是計(jì)計(jì)算下一一個(gè)時(shí)期期類似的的數(shù)量和和。由于于計(jì)算對(duì)對(duì)13.2.6歸納和和注釋給定開(kāi)始的的初值和和，下一一步是計(jì)計(jì)算下一一個(gè)時(shí)期期類似的的數(shù)量和和。由于于計(jì)算對(duì)對(duì)13.33基于狀狀態(tài)空間間表示的的預(yù)測(cè) Fooreccastts BBaseed oon tthe Staate-Spaace Reppressenttatiion13.44參數(shù)的的極大似似然估計(jì)計(jì) MMaxiimumm Liikellihoood Esttimaatioon oof PParaametterss13.55穩(wěn)態(tài)卡卡爾曼濾濾波 Thee Stteaddy-SStatte KKalmman Fillterr13.5.1卡爾曼曼濾波的的收