時(shí)間序列模型歸納總結(jié)復(fù)習(xí)

1、時(shí)間序列模型歸納總結(jié)復(fù)習(xí)隨機(jī)時(shí)間序列分析的幾個(gè)基本概念一、隨機(jī)過程 (Stochastic Process)定義 設(shè)(Q ,F,P )是概率空間，T是給定的參數(shù)集，如果對(duì)于任意 t T,都有一定義在(Q ,F ,P ) 上的隨機(jī)變量X(t, 3 )與之對(duì)應(yīng)，則稱隨機(jī)變量 族X(t,3 ),t T為隨機(jī)過程。簡(jiǎn)記為X(t,),t T或Xt,t T 或 XT離散參數(shù)的隨機(jī)過程也稱為隨機(jī)序列或(隨機(jī))時(shí)間序列。上述定義可簡(jiǎn)單理解成：隨機(jī)過程是一簇隨機(jī)變量Xt,t T，其中T表示時(shí)間t的變動(dòng)范圍，對(duì)每個(gè)固定的時(shí)刻 t而言，X是 一普通的隨機(jī)變量，這些隨機(jī)變量的全體就構(gòu)成一個(gè)隨機(jī)過程。當(dāng)t=0, 1,

2、2,時(shí)，即時(shí)刻t只取整數(shù)時(shí)，隨機(jī)過程Xt,t T可寫成如下形式，Xt,t=0, 1, 2,。此類隨機(jī)過程 X是離散時(shí)間t的隨機(jī)函數(shù)，稱它為隨機(jī)序列或時(shí)間序列。對(duì)于一個(gè)連續(xù)時(shí)間的隨機(jī)過程的等間隔采樣序列，即Xt ,t=0, 1, 2,就是一個(gè)離散隨機(jī)序列。二、時(shí)間序列的概率分布和數(shù)值特征1、時(shí)間序列的概率分布一個(gè)時(shí)間序列便是一個(gè)無(wú)限維的隨機(jī)向量。一個(gè)無(wú)限維隨機(jī)向量 X=(,X-1,X0,X1,)/的概率分布應(yīng)當(dāng)用一個(gè)無(wú)限維概率分布描述。 根據(jù)柯爾莫哥夫定理，一個(gè)時(shí)間序列的概率分布可以用它有限維分布簇來(lái) 描述。時(shí)間序列所有的一維分布是：，F(xiàn)-1( ) , F0( ) , F1( ),所有二維分布是

3、：Fij( , ) , i , j=0, 1, 2,(i 豐 j)一個(gè)時(shí)間序列的所有有限維分布簇的全體，稱為該序列的有限維分布簇。2、時(shí)間序列的均值函數(shù)一個(gè)時(shí)間序列的均值函數(shù)是指：t EXtXdFt ( X )其中EXt表示在t固定時(shí)對(duì)隨機(jī)變量 Xt的求均值，它只一維分布簇中的分布函數(shù)Ft( )有關(guān)。3、時(shí)間序列的協(xié)方差函數(shù)與自相關(guān)函數(shù)與隨機(jī)變量之間的協(xié)方差相似，時(shí)間序列的 協(xié)方差函數(shù) 定義為：(t,s) E(Xtt) Xs s(Xt) Yss dFt,s(X,Y)其中Ft,s(X,Y)為(Xt, Xs)的二維聯(lián)合分布。類似可以定義時(shí)間序列的自相關(guān)函數(shù)，即：(t,s)(t,s)/、. 一(t,

4、t)(S,S)時(shí)間序列的自協(xié)方差函數(shù)有以下性質(zhì)：(1) 對(duì)稱性：(t,s)(s,t)(2) 非負(fù)定性：對(duì)任意正整數(shù) m和任意m個(gè)整數(shù)ki, k 2,。km,方陣人1k1,k2lk1，kmk2,k1k2,k2lk 2 ,kmllllkm ,k1k m ,k 2lk m ,k為對(duì)稱非負(fù)定矩陣。時(shí)間序列的自相關(guān)函數(shù)同樣也具有上述性質(zhì)且有p (t,t)=1三、平穩(wěn)隨機(jī)過程平穩(wěn)時(shí)間序列是時(shí)間序列分析中一類重要而特殊的隨機(jī)序列，時(shí)間序列分析的主要內(nèi)容是關(guān)于平穩(wěn)時(shí) 間序列的統(tǒng)計(jì)分析。(一) 兩種不同的平穩(wěn)性定義：1、嚴(yán)平穩(wěn)：如果對(duì)于時(shí)間t的任意n個(gè)值t1,t2,L ,tn和任意實(shí)數(shù)，隨機(jī)過程Xt的n維分布滿

5、足關(guān)系式:Xi,X2,L Xn；ti,t2 ,L tFn 0X2 ,L Xn；ti,t2則稱Xt為嚴(yán)平穩(wěn)過程。2、寬平穩(wěn)：若隨機(jī)過程Xt,t T的均值(一階矩)和協(xié)方差存在，且滿足(1) E Xtat T(2) E Xt k a Xt a k t,t k T則稱 Xt,t T為寬平穩(wěn)隨機(jī)過程。通常說的平穩(wěn)是指寬平穩(wěn)。二者的聯(lián)系：(I) 嚴(yán)寬：因?yàn)閷捚椒€(wěn)要求期望和協(xié)方差存在，而嚴(yán)平穩(wěn)要求概率分布存在，而不能斷言二階矩存在。(n)寬嚴(yán)，這是不言而喻的。(川)嚴(yán)平穩(wěn)+ 二階矩存在寬平穩(wěn)。但反過來(lái)一般不成立。(W)對(duì)于正態(tài)過程來(lái)說，有：嚴(yán)平穩(wěn)寬平穩(wěn)(二) 平穩(wěn)時(shí)間序列自協(xié)方差函數(shù)和自相關(guān)函數(shù)為了敘述方

6、便，常假定平穩(wěn)時(shí)間序列Xt的均值為零，即 E Xt0。用以下記號(hào)表示平穩(wěn)序列 Xt的自協(xié)方差函數(shù)，即k E Xt kEXtXt kEXt k XtEXt當(dāng)EXt 0時(shí)相應(yīng)地,Xt的自相關(guān)函數(shù)用以下記號(hào)kk；0平穩(wěn)序列Xt的自協(xié)方差函數(shù)列和自相關(guān)函數(shù)列具有以下性質(zhì)：(1)對(duì)稱性：kk， kk ；(2)非負(fù)定性：對(duì)于任意正整數(shù) m0 1Lm-11 11m-11C丄m-211 Lm-2mRmL LL LL L L Lm-1m-2L0m-1m-2 L 1為非負(fù)定對(duì)稱方陣；(3)k 0, k 1 (三) 平穩(wěn)序列的樣本統(tǒng)計(jì)量(1 ) 樣本均值時(shí)間序列無(wú)法獲得多重實(shí)現(xiàn)，多數(shù)時(shí)間序列僅包含一次實(shí)現(xiàn)，對(duì)于一個(gè)

7、平穩(wěn)序列用時(shí)間均值代替總體 均值。即Xt上式的估計(jì)是無(wú)偏的。(2)樣本自協(xié)方差函數(shù)C1 n k彳Xt XXt k Xn t 11n k2XtX Xt k Xn k t 1第一式是有偏估計(jì)，第二式是無(wú)偏估計(jì)，但有效性不如第一式。其它概率性質(zhì)和偏自相關(guān)函數(shù)的定義將在以后章節(jié)介紹。四、幾類特殊的隨機(jī)過程(序列)：1、純隨機(jī)過程：隨機(jī)過程如果是由一個(gè)不相關(guān)的隨機(jī)變量的序列構(gòu)成的，則稱其為純隨機(jī)過程。2、 白噪聲序列(White noise )：如果時(shí)間序列 Xt滿足以下性質(zhì)：(1)E Xt0(2)E XtXs2t,s式中，當(dāng)t豐S時(shí),t,s 0, t,t 1。稱此序列為白噪聲序列，簡(jiǎn)稱白噪聲。白噪聲是

8、一種最簡(jiǎn)單的平穩(wěn)序列。(3) 獨(dú)立同分布序列：如果時(shí)間序列Xt,t T中的隨機(jī)變量 Xt,t=O, 1, 2,為相互獨(dú)立的隨機(jī)變量，而且X具有相同的分布，稱這樣的時(shí)間序列Xt ,t T為獨(dú)立同分布序列。獨(dú)立同分布序列是一種最簡(jiǎn)單的嚴(yán)平穩(wěn)序列。一般說，白噪聲序列與獨(dú)立同分布序列是不同的兩種序列，當(dāng)白噪聲序列為正態(tài)序列時(shí)，它也是獨(dú)立同分布序列，此時(shí)稱之為正態(tài)白噪聲序列。(4) 獨(dú)立增量隨機(jī)過程：對(duì)于任意正整數(shù)n,任意ti T i 1,2,L ,n,t, t2 Ltn，隨機(jī)變量Xt2 Xt1, Xt3 Xt2 ,L Xtn Xtn1相互獨(dú)立。簡(jiǎn)單地講，就是任意兩相鄰時(shí)刻上的隨機(jī)變量之差(增量)是相互

9、獨(dú)立的。(5) 二階矩過程：若隨機(jī)過程Xt,t T對(duì)每個(gè)t T, Xt的均值和方差存在，則稱之為二階矩過程。(6)正態(tài)過程：若 Xt,t T的有限維分布都是正態(tài)分布，則稱Xt,t T為正態(tài)隨機(jī)過程。主要介紹三種單變量模型：自回歸( AR模型、移動(dòng)平均(MA模型和自回歸移動(dòng)平均(ARMA模型。第一節(jié)自回歸模型一、一階自回歸模型 AR(1)如果時(shí)間序列獨(dú)立，就是說事物的后一時(shí)刻的行為主要與其前一時(shí)刻的行為毫無(wú)關(guān)系。這樣的資料所揭示甲統(tǒng)計(jì)規(guī)律就是事物獨(dú)立地隨機(jī)變動(dòng)，系統(tǒng)無(wú)記憶能力。如果情況不是這樣，資料之間有一定的依存 性。后一時(shí)刻的行為主要與前一時(shí)刻的行為有關(guān)，而與其前一時(shí)刻以前的行為無(wú)直接關(guān)系，

10、即已知Xt-1 ；X主要與X-1相關(guān)。用記憶性來(lái)說，就是最短的記憶，即一期記憶，也就是一階動(dòng)態(tài)性。描述這種關(guān)系的數(shù)學(xué)模型就是一階自回歸模型。即XtiXt i at記作AR( 1)。其中X零均值平穩(wěn)序列，a t為隨機(jī)擾動(dòng)。1、一階自回歸模型的特點(diǎn)X對(duì)Xt-i有線性相關(guān)關(guān)系a t為獨(dú)立正態(tài)同分布序列E(qXtj)0, j 1,2,2、AR( 1)與普通一元線性回歸的關(guān)系元線性回歸YXi i一階自回歸Xt1Xt 1 at兩個(gè)變量，Y為隨機(jī)變量，X為確定性變量;一個(gè)變量，Xt為隨機(jī)變量;E( i)at為白噪聲序列,E佝)0；COV( ij)var( i)cov( X ii)E(atXt j)0, j0

11、,還可假定at為正態(tài)分布。主要區(qū)別：(1) 普通線性回歸模型需要一組確定性變量值和相應(yīng)的觀測(cè)值；AR( 1)模型只需要一組隨機(jī) 變量的觀測(cè)值。(2) 普通一無(wú)線性回歸表示的是一隨機(jī)變量對(duì)另一個(gè)確定性變量的依存關(guān)系；而AR( 1)表示的是 一個(gè)隨機(jī)變量對(duì)其自身過去值的依存關(guān)系。(3) 普通線性回歸是在靜態(tài)的條件下研究的；AR( 1)是在動(dòng)態(tài)的條件下研究的。( 4) 二者的假定不同。(5) 普通回歸模型實(shí)質(zhì)是一種條件回歸，而AR( 1)是無(wú)條件回歸。主要聯(lián)系：固定時(shí)刻t-1，且觀察值Xt-1已知時(shí)，AR( 1)就是一個(gè)普通的一元線性回歸。二、AR (1)模型的特例隨機(jī)游動(dòng)1、隨機(jī)游動(dòng)模型Xt Xt

12、 1 at2、模型的特性(1) 系統(tǒng)具有極強(qiáng)的一期記憶性，系統(tǒng)在 t-1 和 t 時(shí)刻的響應(yīng)，除隨機(jī)擾動(dòng)外，完全一致，差異完全 是由擾動(dòng)引起的。(2) 在時(shí)刻t-1時(shí)，系統(tǒng)的一步超前預(yù)測(cè)就是系統(tǒng)在t-1時(shí)的響應(yīng)X-1，即X： Xt 1。(3) 系統(tǒng)行為是一系列獨(dú)立隨機(jī)變量的和，即Xtat jj0三、一般自回歸模型 AR(n)Xt 1Xt1 2Xt 2 . nXt n d 其中：內(nèi)為白噪聲，EQtXt j) 0, j 1,2,。第二節(jié) 移動(dòng)平均模型一、一階移動(dòng)平均模型 MA( 1 )如果系統(tǒng)的響應(yīng) Xt僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)a t存在一定的相關(guān)關(guān)系，則有 MA( 1)模型：Xt at 1a

13、t 1其中：at為白噪聲。MA( 1)模型的基本假設(shè)為：(1)系統(tǒng)的響應(yīng)X僅與其前一時(shí)刻進(jìn)入系統(tǒng)的擾動(dòng)at有一定的依存關(guān)系；(2) at 為白噪聲。二、一般移動(dòng)模型ma( m模型的形式:X t at1at 11at 2mat m其中：(1) Xt僅與ti , t 2，t m有關(guān)，而與 t j (j=m+1,m+2,)無(wú)關(guān)；(2) t為白噪聲。第三節(jié)自回歸移動(dòng)平均(ARMA)模型、ARMA( 2， 1 )模型1 、 ARMA( 2， 1 )模型的形式：X t 1X t 12 X t 2 t 1 t 1其中：Xt與Xt 1 Xt2和t1有相關(guān)關(guān)系，t白噪聲。2、ARMA( 2， 1 )模型的結(jié)構(gòu)：

14、ARMA( 2， 1)模型是由一個(gè) AR( 2)和一個(gè) MA( 1)兩部分構(gòu)成。3、ARMA( 2， 1 )與 AR( 1 )的區(qū)別從模型形式看，ARM(2，1)比AR( 1)的項(xiàng)數(shù)多；從模型的動(dòng)態(tài)性看，ARMA(2，1 )比AR (1)具有更長(zhǎng)的記憶；從計(jì)算t 所需的資料看， ARM(A 2，1遞歸 地計(jì)算出來(lái)，0 通常取零；從參數(shù)估計(jì)來(lái)看，二、ARMA( n，n-1 )模型X t1Xt 1.n Xt nt1 t 1.ARMAn, n-1 )模型的基本假設(shè)為：t獨(dú)立于需要用t期以前的t 1， t 2，這需要從初期開始ARMA(2, 1 )比 AR( 1)困難。n 1 t n 1t j (j=

15、n,n +1,)，從而 t獨(dú)立于 Xt j (j=n+1,n+2,).三、ARMA(n, n-1) 模型的合理性為什么我們以 ARMA(n, n-1) 模型為一般形式來(lái)建立時(shí)序模型呢 ?難道一個(gè) ARMA(n, n-1) 模型總可以描 述一個(gè)時(shí)間序列嗎 ?對(duì)于平穩(wěn)系統(tǒng)來(lái)說,這是毫無(wú)疑問的。之所以以ARMA(n, n-1) 為基本模型是因?yàn)橄率隼碛桑旱谝?，AR、MA ARMA(n m)模型都是ARMA(n n-1)模型的特殊情形。第二，理論依據(jù)：用 Hilbert 空間線性算子的基本理論可以證明，對(duì)于任何平穩(wěn)隨機(jī)系統(tǒng)，我們都可以用一個(gè)ARMA(n n-1)模型近似到我們想要達(dá)到的程度；用差分方程

16、的理論也可以證明，對(duì)于n階自回歸,MA模型的階數(shù)應(yīng)該是 n-1。第三，從連續(xù)系統(tǒng)的離散化過程來(lái)看，ARMA(n n 1)也是合理的。在一個(gè) n階自回歸線性微分方程和任意階的移動(dòng)平均數(shù)的形式下，如果一個(gè)連續(xù)自回歸移動(dòng)平均過程在一致區(qū)間上抽樣，那么，這個(gè)抽樣過 程的結(jié)果是 ARMA(n，n-1) ?！菊鹿?jié)實(shí)驗(yàn)】利用 Eviews軟件生成AR序列、MA序列和ARMA序列。第三章ARMA模型的特性本章為本書重點(diǎn)之一，主要掌握三類模型的格林函數(shù)形式、平穩(wěn)性和可逆性條件、AFC和PAFC的形式和特點(diǎn)。第一節(jié)線性差分方程一、后移(Backshift) 算子:1. 定義：后移算子B定義為BXt Xt ,，從而

17、BmXt Xt m。2. 后移算子的性質(zhì)：(1) 常數(shù)的后移算子為常數(shù)：Bc c(2) 分配律：(Bm Bn)Xt BmXt BnXt Xt m Xt n(3) 結(jié)合律：BmBnXt Bm(BnXt) BmXt n Xt m n(4) 后移算子B的逆為前移算子B 1Xt Xt 1(5) 對(duì)于1，無(wú)限求和得(1 B 2B2 3B3 .)Xt 1 B前面的MA(m濮型、AR(n)模型和ARMA(n,m模型可分別表示為：Xt(B)at(B)Xt at(B)Xt(B)at其中：(B)11B2B2 LnBn(B) 11B2B2 LmBm二、線性差分方程Xt1Xt 12Xt 2LnXt nat1at 12

18、at 2 Lmat m可將寫成(B)Xt(B)q這里(B)1iB2B2LnBn(B)1iB2B2LmBm差分方程通解為：Xt C(t) I(t)這里，C (t)是齊次方程解，I (t)是特解。三、齊次方程解的計(jì)算無(wú)重根考慮齊次差分方程(B)Xt 0其中(B)(1 G1B)(1 G2B)L (1 GnB)假定G, G,，G是互不相同，則在時(shí)刻 t的通解：Xt AG； A2G； L AGn其中A為常數(shù)(可由初始條件確定)。重根 設(shè)(B)0有d個(gè)相等的根G。1，可驗(yàn)證通解為2d 1 tXt (Ao At AtLAd 1t)Go對(duì)一般情形，當(dāng) (B)的因式分解為(1 GB)(1 G2B)L (1 Gn

19、/B)(1 GoB)dd 1n/齊次方程解便是 Ck(t) GO Ajtj DiGit j 0i 1因此，齊次方程解是由衰減指數(shù)項(xiàng)G、多項(xiàng)式tj、衰減正弦項(xiàng)Dsin(2 n fot+F)，以及這些函數(shù)的組合混合生成的。上述過程中計(jì)算Gi并不方便，通常通過解方程n 1 n 12 n 2 . n 0得到其根為：i,i 1,2,., n。由于 n 1 n 12 n2 . n 0 的根與 11B 2B2 L nBn 0 的根互為倒數(shù)，因此i Gi。非齊次方程的特解通常情況下不容易得到，沒有一個(gè)“萬(wàn)能鑰匙” ，需要具體問題具體分析，只能對(duì) 一些具有特殊形式非齊次項(xiàng)的方程進(jìn)行討論。此處叢略。第二節(jié) 格林函

20、數(shù) （Green s function）和平穩(wěn)性 （Stationarity）一、格林函數(shù) （Green s function）1）1、定義：設(shè)零均值平穩(wěn)序列 Xt,t 0, 1, 2,. 能夠表示為XtGjat jj0則稱上式為平穩(wěn)序列 Xt的傳遞形式，式中的加權(quán)系數(shù)Gj稱為格林（Green）函數(shù)，其中G。1。2、 格林函數(shù)的含義：格林函數(shù)是描述系統(tǒng)記憶擾動(dòng)程度的函數(shù)。式（ 1）可以記為Xt G B at（ 2）其中 G B G jB j 。j0式（1）表明具有傳遞形式的平穩(wěn)序列Xt可以由現(xiàn)在時(shí)刻以前的白噪聲通過系統(tǒng)GBGjBj”0的作用而生成，Gj是j個(gè)單位時(shí)間以前加入系統(tǒng)的干擾項(xiàng) at

21、j對(duì)現(xiàn)實(shí)響應(yīng)Xt的權(quán)，亦即系統(tǒng)對(duì)at j的記憶”。AR(1)系統(tǒng)的格林函數(shù)at1X1(a t 1) a t由 AR（ 1 ）模型XtXt即: Xtj1at j0則AR(1)模型的格林函數(shù) Gj1j。如若11，則Gj隨著j的增大而緩慢減小，表明系統(tǒng)的記憶例：下面是參數(shù)分別為0.9、0.1和-0.9較強(qiáng)；相反，若 10,則Gj隨著j的增大而急劇減小，表明系統(tǒng)的記憶較弱的AR( 1)系統(tǒng)對(duì)擾動(dòng) t的記憶情況(三個(gè)序列由同一正態(tài)白噪聲序列模擬生成)：-4-2-4102030405060708090100X 0.9X|iui|H|L.J.，!.j.r.uu.J.J.，!.p.J.，!r.10203040

22、5060708090100Xt 0.1Xt 1atXt0.9Xt 1 q比較前后三個(gè)不同參數(shù)的圖，可以看出:1取正值時(shí)，響應(yīng)波動(dòng)較平坦。(2)1取負(fù)值時(shí)，響應(yīng)波動(dòng)較大。(3)由于Xtj21 at jat1at 11 at 2j 0at 1at 12at 2.其中 1j，因此AR( 1)模1越大，系統(tǒng)響應(yīng)回到均衡位置的速度越慢，時(shí)間越長(zhǎng)。at)2E(at2) 22aiE(Xt iat)如果序列Xt是平穩(wěn)的，則有E(Xt2)E(X：)，由上式可得(112)E(Xt2)aE(Xt2)2a(112)由于E(Xt2)是非負(fù)的，所以2a(1 12)0，從而1，這就是AR( 1)模型的平穩(wěn)性條件。利用滯后算

23、子B，AR( 1)模型可以寫為(B)Xtat式中(B)11B，那么平穩(wěn)性條件1就等價(jià)于(B)0的根在單位圓外型可用一個(gè)無(wú)限階 MA來(lái)逼近，這說明 AR模型是一種長(zhǎng)效記憶模型。三、AR系統(tǒng)的平穩(wěn)性1、由平穩(wěn)性的定義求 AR(1)系統(tǒng)的平穩(wěn)性條件將AR (1)模型Xt1X11 at兩邊平方再取數(shù)學(xué)期望，得到E(Xt2) E( 1Xt112E(X：)12E(X：1)10的根落在單位圓內(nèi))。上述平穩(wěn)條件可以推廣到 AR(n)模型，即2(B)Xt at 其中：(B)11B 2B LnBn的平穩(wěn)性條件為:(B)0的根在單位圓外(或nn 1n 212 L n 0的根在單位圓內(nèi))。2、由格林函數(shù)求 AR(1)

24、模型的平穩(wěn)性條件該擾動(dòng)的作用漸漸減對(duì)于AR(1)系統(tǒng)來(lái)說，其平穩(wěn)性條件也可以由格林函數(shù)得出。如果系統(tǒng)受擾后,小,直至趨于零，即系統(tǒng)響應(yīng)隨著時(shí)間的增長(zhǎng)回到均衡位置，那么，該系統(tǒng)就是平穩(wěn)的。相對(duì)于格林函數(shù)來(lái)說，就是隨著j fa,擾動(dòng)的權(quán)數(shù) Gj 0，由于Gj = 1j故必有j T8, 10 ,顯然，這就是AR(1)系統(tǒng)平穩(wěn)性條件。反過來(lái)，若1，則稱AR(1)為漸近穩(wěn)定的，也必是平穩(wěn)的。11 時(shí)，Gj =1；當(dāng) 1 =1 時(shí)，Gj =(-1)當(dāng) 嚴(yán)1 時(shí)這時(shí)，雖然響應(yīng)不回到其均衡位置，但仍是有界的，這時(shí)系統(tǒng)為臨界穩(wěn)定的，系統(tǒng)可能存在某種趨勢(shì) 或季節(jié)性。當(dāng)| 11時(shí)，j fa, Gj is,任意小的擾

25、動(dòng)只要給定足夠的時(shí)間，就會(huì)使系統(tǒng)響應(yīng)正負(fù)趨于無(wú)窮，永遠(yuǎn)不會(huì)回到其均衡位置，這時(shí)系統(tǒng)便是不穩(wěn)定的，當(dāng)然是非平穩(wěn)的。例：求AR(2)模型的平穩(wěn)域解：特征方程()21120的根1 7*427 12 4 21亠 ， 222122, 1 2 1根據(jù)AR模型的平穩(wěn)性的條件i1(i 1,2)21 21211 2 1 2 111 1 22112 ( 1 2)11 1 1 22 m1 1 1 1 1 2 1故AR( 2)模型的平穩(wěn)域?yàn)? 2121 121 1由于1, 2是實(shí)數(shù)，1, 2必同為實(shí)數(shù)或共軛復(fù)數(shù), 因此四、格林函數(shù)與 Wold 分解(Wold Decomposition)所謂Wold分解也叫正交分解，

26、其核心就是把一個(gè)平穩(wěn)過程分解成不相關(guān)的隨機(jī)變量的和。由于這一思想是由Wold引入(1938年)到時(shí)序分析中的，故叫做 Wold分解。他認(rèn)為可以用線性空間來(lái)解釋 ARMA莫型 的解。在n維線性空間Ln中，n個(gè)線性無(wú)關(guān)的向量 a1,a2,.an稱為空間的一組 基。設(shè) 可由印?,線性 表示：k?a2 kn a其中ki由向量 和ai唯一確定，ki稱為向量關(guān)于基ai的坐標(biāo)。如果用線性空間的觀點(diǎn)來(lái)看AR(1)模型的解Xt1 at jj0由于 at j 是相互獨(dú)立的，可看作線性空間的基j ( 或無(wú)限維坐標(biāo)軸 ) ，顯然 X t系數(shù)Gj就是Xt對(duì)于at j的坐標(biāo)，Xt就是Gj at j的正交向量的和。因而上式

27、也叫做 數(shù)叫 Wold 系數(shù)。格林函數(shù)和 Wold 系數(shù)是同一客體從不同角度觀察的結(jié)果，二者是完全一致的。 解釋，格林函數(shù)是系統(tǒng)解釋。五、ARMA模型格林函數(shù)的通用解法ARMA (n ,m模型可由 at j 線性表示，其Wold 分解式，其系Wold 系數(shù)是線性空間(B)Xt(B)且Xt G(B)at則(B)G(B)(B)令*j , 0 jj0, j nn*l , 0 lml 0, l m則 (B)G(B)(B)化為* jk*j B jGk Bkl*Bj 0k 0l 0比較等式兩邊 B 的同次冪的系數(shù)，可得jGl j0由上式，格林函數(shù)可從思考：MA(m模型XtGjj 0,jl , l 1,2,

28、3,.l 1 開始依次遞推算出。(B)at 的格林函數(shù)為, 1 j mjm例： ARMA(2， 1)系統(tǒng)的格林函數(shù)ARMA(2, 1)模型 Xt ,Xt ,其中：1和2是特征方程20的根；g1和g2是任意常數(shù)，其值由初始條件確定。這里2Xt 2 at可以看作是一個(gè)二階差分方程，設(shè)該方程的解是XtGjat j (G j B )atj 0j 0將上式代入模型中：(1iB2B2)( GjBj)at (1iB)atj o(11B2B2)(G0 G1B G2B2 )q(11B)at(G G1B G2 B2 .1G0 B1GB? .2G0 B2 .)(11B )at利用比較系數(shù)法，B的同次幕必相等，于是：

29、B的指數(shù)：0:G011:G11G01G11 12：G21G12G00G21G12G03:G31G22G10G31G22G1jGj1Gj 12G j 2上式可以寫成：Gj1Gj 12Gj 20即：11B2B2Gj0,j2上式為一關(guān)于Gj齊次差分方程的形式，其通解為Gjg1 1g2 2的初始條件是:Go 1G 1則 ARMA( 2，1)系統(tǒng)的格林函數(shù)為:GiARMA( 2, 1)模型的格林函數(shù)也可以通過下面的過程求得。根據(jù)Wold分解，平穩(wěn)ARMA(2, 1)模型(11B 2B2)Xt(1可以寫成Xt1B11B2B2 at1 11B 12Bat111B11 2J1 112BatBjatat jAR

30、(2)為ARMA(2，1 )模型的特殊形式，同樣具有上述關(guān)系。 例：ARMA( n, n-1 )系統(tǒng)的格林函數(shù)與上面方法相同，ARMA(n，n-1 )系統(tǒng)的格林函數(shù)的隱式的遞推式為:(1 1B2B2 . nBn)Gj 0,j n其中 G01G11G21.Gn 1,Gn由下列式子導(dǎo)出G0G1G2GnGn(1其最終解為:Gjgi1G01G112G01Gn 21Gn 12Gn2Gnn 1nGGo021B2B2g1 1 g2 2nBn)Gj0,.gn nn 1n 2i1 i其中：91929n 1例：ARMA（2, 1）系統(tǒng)的平穩(wěn)性條件ARMA（ 2，1）的平穩(wěn)性條件要求:時(shí)，Gj由 Gj g1 1j

31、g2 2j 得:1,20的根在單位圓內(nèi)。由于ARM（ 2，1）的特征方程和AR（2）和形式一樣（或者說和其移動(dòng)平均項(xiàng)系數(shù)無(wú)關(guān)），因此其平穩(wěn)域與AR( 2)系統(tǒng)的平穩(wěn)域相同，都是:思考：MA模型的平穩(wěn)性條件。第三節(jié)逆函數(shù)和可逆性（Invertibility所謂可逆性(Invertibility)是指移動(dòng)平均模型可以用 AR模型表示。一、逆函數(shù)的定義設(shè)Xt是零均值平穩(wěn)序列，如果白噪聲序列at能夠表示為atXtI jXt j稱為逆函數(shù)。則稱上式為平穩(wěn)序列 Xt 的逆轉(zhuǎn)形式，式中的加權(quán)系數(shù) I j j 1,2,.、ARMA模型的逆函數(shù)1、ARM( n,m)模型逆函數(shù)通用解法對(duì)于ARMA( n,m)模型

32、的逆函數(shù)求解模型格林函數(shù)求解方法相同。令 I (B) 1I jXt j,I01，j1則平穩(wěn)序列 Xt 的逆轉(zhuǎn)形式 at XtI jXt j 可表示為j1at I (B) Xt由 ARMA(n,m模型 (B)Xt(B)q 可得(B)(B)I (B)仍由先前定義的 *j 和 l* ，則上式可化為* j * l k*jB jl* BlI kBkj 0 l 0 k 0比較上式兩邊B的同次幕的系數(shù)，得到j(luò) * jk Il kk0j* *即 I j*jk*I j k, j 1,2,.k1由此 I j 可從 j 1開始推算出。2、AR模型的逆函數(shù)對(duì)于 AR( 1 )模型X t1Xt1 at 有Xt1X t

33、1at則其逆函數(shù)I 1 1,Ij0 , j 2類似對(duì)于 AR( n)模型 X t1X t 12 X t 2 .n Xt n at 有Xt1Xt 12Xt 2.nXt nt其逆函數(shù)為1 1 11 2 21 nnI j 0 , jn 13、MA模型的逆函數(shù)對(duì)于ma( 1)模型Xt (11B)at，則(B) 1，(B) 11B，11BI B 1，即11B 1I1Bi2b2 . 1比較上式兩邊B的同次幕的系數(shù)得I01,111, 1 j11 j 1, j 2從而有l(wèi)j1j, j1,2,.也可以用以下方法求 MA( 1)模型的逆函數(shù)由 Xt (11 B)at 得Xt(11B)11B12B2.XtatXt1

34、jXt jj 1即 Xtat(1jXt j)j 1可見 I j 1j與AR( 1)討論相類似，上面推導(dǎo)所隱含的可逆性條件為1 1對(duì)于MA( m模型的可逆性討論與 AR( n)模型平穩(wěn)性的討論是類似的，即:OVk 1的特征根Vk滿ma ( m模型的可逆性條件為其特征方程 vm 1vm1 2vm 2足Vk 1下面所講的逆函數(shù)與格林函數(shù)的關(guān)系也作為求逆函數(shù)的一種選擇。三、 Gj 和 Ij 之間的關(guān)系對(duì)于AR( 1)模型和MA( 1)模型， 注意到格林函數(shù) 逆函數(shù)AR( 1 )：Gjj111Ij 0, j 1G01MA( 1)G11I j1jGj0, j 1可以看出，AR( 1 )的Gj和MA( 1

35、)的Ij形式一致，只是符號(hào)相反，參數(shù)互換。此對(duì)偶性對(duì)其它模 型仍然存在，如：ARMA(2， 1 )的格林函數(shù)為G0 1G1 1 1G2 G1 1 2Gj Gj 11 G j 22 , j 3ARMA( 1 ， 2)的逆函數(shù)為I 1 1 1I 2 I1 1 2I j I j 1 1 I j 2 2 , j 3綜上可知，在格林函數(shù)的表達(dá)式中，用 打代替Gj， 代替， 代替，即可得到相對(duì)應(yīng)的逆函數(shù)。四、關(guān)于armAI型平穩(wěn)性與可逆性的說明通過上面的討論可知，AR模型不存在可逆性性條件， MA莫型不存在平穩(wěn)性條件。因此，對(duì)于 ARMA模 型的平穩(wěn)性條件是針對(duì)其 AR系數(shù)而言，可逆性條件是針對(duì)其 MA系

36、數(shù)而言。只有同時(shí)滿足平穩(wěn)性可可逆性條件， ARMA模型才是有意義的。第四節(jié) 自協(xié)方差函數(shù)一、理論自協(xié)方差函數(shù)和自相關(guān)函數(shù)對(duì)于ARM/系統(tǒng)來(lái)說，設(shè)序列的均值為零，則自協(xié)方差函數(shù)k E XtXt k自相關(guān)函數(shù)二、樣本自相關(guān)函數(shù)的計(jì)算在擬合模型之前，我們所有的只是序列的一個(gè)有限樣本數(shù)據(jù)，無(wú)法求得理論自相關(guān)函數(shù)，只能求樣本 的自協(xié)方差函數(shù)和自相關(guān)函數(shù)。樣本自協(xié)方差有兩種形式:N?k丄N t k 1?*丄N k N kt kXtXt k,k10,1,2,., N 1XtXt k,k0,1,2,., N 1則相應(yīng)的自相關(guān)函數(shù)為?-k2NXtXt kt k 1 NXt2N t 1NXtXt kt k 1 N

37、Xt2t 1?0NXtXt kN tk1NN kXt2t 11 N-XtXtN k t k 1 -Xi2N t 1在通常的情況下，我們常采用第一種的計(jì)算方法。三、AR模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)(1) AR( 1)模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)AR( 1 )模型為:Xt1Xt 1at假設(shè)Xt為零均值序列。將上式兩端乘以Xtk，并取期望，得E XtXt iiE Xt iXtk E QXt k當(dāng) k=0 時(shí)，有：E XtXtiE Xt XE atXt即:當(dāng)k=1時(shí)，有XtXt11E Xt 1Xt 1E atXt1即:當(dāng)k=2時(shí)，有XtXt1EXt1Xt 2E atXt 2依此類推，便有一般式:將

38、1代入0，有,相應(yīng)的自相關(guān)函數(shù)為k/0，即、AR (n)自相關(guān)函數(shù)兩邊同乘以Xt取期望，得:模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)XtXt kkXt上式兩邊除以 01 Xt 1得到1Xt kXt2XtpXt nat2Xt kXtnXtkXt n，可得差分方程:Xt kat(k 0)(k 0)我們注意到，上式類似于過程Xt自身所滿足的差分方程。假定將上式記為(B) k 0這里,(B) 11B LnBnn記(B)(1 GjB)j i則差分方程通解：k AG； A2G； L AG：這里，Gi1 , G21，Gn1是特征方程:(B) 11B LnBn=0的根。為了保證平穩(wěn)性，則要求g 1。在實(shí)際應(yīng)用中，如果假

39、定根是互異的，會(huì)出現(xiàn)兩種情況：1. G是實(shí)根，這時(shí)在通解p ：中AG：隨k增大等比例地衰減到零，我們常稱之為指數(shù)衰減。2. G和G是一對(duì)共軛復(fù)根，導(dǎo)致在通解出現(xiàn)：kD sin(2 fk F)使得自相關(guān)函數(shù)呈衰減的正弦振蕩，衰減系數(shù)D G Gj，頻率f滿足:2 f cos1Re(Gi) /D方差：當(dāng)k=0時(shí),01122 Ln n上式兩邊除以 0 X，并有 k2k，故方差X可以寫成四、mA模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)(1) MA( 1)模型的自協(xié)方差函數(shù)和自相關(guān)函數(shù)：將 MA( 1)模型Xt at 1at 1兩端同乘以Xt k取期望，得E XtXt kE atXtatiXt k當(dāng)k=0時(shí),當(dāng)k=

40、1時(shí),當(dāng)k=2時(shí),Gjat k0iEat iGj at k j j 0GjEj 0atat k jGE at atGiEatat kXtXtatatiEiEat katat k iatat iXtXtatat iiEatat 2GjE0iatiEiEiEat iat k ji GE at iat ki2EGiE at iat k iat iat kat iati2Eat iat k iat iat i2 i Eat iat 2XtXt 2可見，對(duì)于MA( i)atat 2模型來(lái)說iE atat 3iEat iat 22 :i E at iat 32 21 a2i a0, k 2i0, k 20

41、(1i2 L；）且(k1 k 12 k 2Lk 0)2m k ma,k,k1,2,L ,mm由此得出自相關(guān)函數(shù)是k1 k 1Lm k m,k1,2 ,L,m1 2 1 2k1m0 ,km對(duì)于MA（m過程，當(dāng)滯后超出過程的階數(shù) m時(shí)自相關(guān)函數(shù)為零。換言之，滑動(dòng)平均過程的自相關(guān)函數(shù)具有超出m步滯后的截尾性。（上述性質(zhì)用來(lái)在 B-J建模過程中，識(shí)別 MA模型）五、偏自相關(guān)函數(shù)對(duì)于一個(gè)k階AR模型，有:jk1 j 1k2 j 2 Lkk j kj 1,2,L ,k由此得到Y(jié)ule-Walker 方程，記為：11 2Lk 1k1111 1Lk 2k22MMMLMMMk 1k 2k 3L1kkk或R k=

42、 p k當(dāng)1 2i,k已知時(shí)，由該方程組可以解出k1 ,k2 ,kk。遺憾的是，用該方程組求解時(shí)，需要知道自回歸過程的階數(shù)。因此，我們可以對(duì)連續(xù)的k值求解Yule-Walker方程。對(duì)k=1 , 2, 3,依次求解方程，得ii i111222122111211111111221311211121133kk上述kk序列為AR模型的偏自相關(guān)函數(shù)。如果自回歸過程的階數(shù)為 n,則對(duì)于kn應(yīng)該有kk=O。(1) 偏自相關(guān)性是條件相關(guān)，是在給定Xj 1,Xj 2,，Xj k 1的條件下，Xj和Xj k的條件相關(guān)。換名話說，偏自相關(guān)函數(shù)是對(duì) Xj和Xj k之間未被Xj 1,Xj 2,，Xj k 1所解釋的相

43、關(guān)的度量。(2) 由最小二乘原理易得，k1, k2,，kk是作為Xj關(guān)于Xj 1, Xj 2,，Xj k線性回歸的回歸系數(shù)。(3) 由(2)可得，對(duì)于AR(n)模型，當(dāng)kn時(shí)，kk =0。(此性質(zhì)用來(lái)在 B-J建模過程中，識(shí)別AR特征)(4) 對(duì)于任何平穩(wěn)過程，都可以由Yule-Walker方程定義偏自相關(guān)函數(shù)，當(dāng)然也都是作為自相關(guān)函數(shù)的函數(shù)。六、自回歸和滑動(dòng)平均過程之間的對(duì)偶性自回歸和有限滑動(dòng)平均過程之間存在對(duì)偶關(guān)系的特征：1. 在一個(gè)n階平穩(wěn)自回歸模型中，at可表示為既往X的有限加權(quán)和，換言之，X可表為既往a的無(wú)限加權(quán)和：Xt1(B)at同樣，在一個(gè) m階滑動(dòng)平均模型中，Xt可表示為既往a

44、的有限加權(quán)和，換言之，at可表為既往X的無(wú)限加權(quán)和：1(B)Xt at2. .有限的MA過程具有在某點(diǎn)之外全為零的自相關(guān)函數(shù)，但由于它等價(jià)于一個(gè)無(wú)限階的AR過程，因此其偏自相關(guān)函數(shù)無(wú)限伸延，且被衰減指數(shù)和(或)衰減正弦波所控制。與此相反，AR過程具有在某點(diǎn)之外全為零的偏自相關(guān)函數(shù)， 但是它的自相關(guān)函數(shù)無(wú)限伸延， 且有衰減指數(shù)和(或)衰減正弦波混合生成。3. 對(duì)于一個(gè)有限m階自回歸過程，其參數(shù)不必滿足任何條件就能保證可逆性，然而，為滿足平穩(wěn)性，0 (B)=0的根必須都在單位圓外。與此相反，MA過程的參數(shù)不需要滿足任何條件就能保證平穩(wěn)性，然而，為滿足可逆性(B)=0的根必須都在單位圓外。4. 滑動(dòng)平均過程的譜與對(duì)應(yīng)的自回歸過程的譜存在互逆關(guān)系。七、本章小結(jié)零均值時(shí)間序列統(tǒng)計(jì)分析結(jié)果類別模型AR(n)MA(m)ARMA (n ,m)模型方程at(B)XtXt(B)at(B)Xt(B)at平穩(wěn)性條件特征根全在單位圓內(nèi)無(wú)條件平穩(wěn)特征根全在單位圓內(nèi)可逆性條件無(wú)條件可逆特征根全