時間序列分析(1)

1、時間序列分析參考書目：1. 吳今培.實用時序分析.湖南科學(xué)技術(shù)出版社.19892. 張樹京，齊立心.時間序列分析簡明教程.清華大學(xué)出版社.2003. 按時間順序產(chǎn)生和排列的觀察數(shù)據(jù)序列稱為時間序列 某地近60個月的月平均氣溫如下：1234567891011128.312.115.318.623.427.629.828.425.923.718.912.77.613.514.618.024.128.130.229.124.922.117.611.29.012.515.618.322.527.329.628.624.622.917.611.69.513.516.219.222.526.929.328

2、.125.722.919.813.79.812.515.618.923.527.929.928.725.823.318.712.4 從概率論知，如果x是某個隨機(jī)現(xiàn)象（或隨機(jī)試驗結(jié)果）的總稱（每個月的平均氣溫），做一次試驗（觀察一次）只能獲得x的一個取值X，它是一個樣本值(普通的數(shù))，以一定的概率出現(xiàn)，將一系列樣本值按時間順序排列起來，就得到時間序列x1, x2, xt, ，每個xt均為一個隨機(jī)變量 從實質(zhì)上看,時間序列是一連串按固定時間間隔排列的隨機(jī)變量 時間序列x1, x2, xt, ，下標(biāo)t為整數(shù)變量，代表等時間間隔的增量，如第t天，第t時刻，第t次等，隨時間流逝，往往只能得到時間序列的一

3、個現(xiàn)實 所獲得的數(shù)據(jù)最為重要和有用的特性，就是觀測值之間的依賴關(guān)系或相關(guān)性，這種相關(guān)一旦被定量地描述出來（模式識別），就可以從系統(tǒng)的過去觀察值預(yù)測其將來的值， 用來分析各種相依有序的離散數(shù)據(jù)集合的方法稱為時間序列分析 另一種研究方法是將x1, x2, xt, ，看為一個隨機(jī)向量（ x1, x2, xt, ）或隨機(jī)過程xt | t T傳統(tǒng)的時間序列分析法 在時域上估計觀測數(shù)據(jù)xt的自相關(guān)函數(shù) rk=Ext xt-k k Z (? t的范圍) 在頻域上估計它的自譜函數(shù)(功率譜) S()=Frk= rk e-ik 求和k從-到 F 為Fourier變換, 為圓頻率, 為時間間隔, k為延遲或相關(guān)步數(shù)

4、 實際上只能得到一個有限長度的樣本值序列xt,（60個月的月平均氣溫）因此無法從觀察數(shù)據(jù)精確計算出rk ,S()的真值現(xiàn)代的時間序列分析方法 把xt看為獨(dú)立的“白噪聲” at輸入一個隨機(jī)系統(tǒng)所得到的輸出 問題是能否找到這樣的一個系統(tǒng)S 理論上已經(jīng)證明,任何平穩(wěn)隨機(jī)系統(tǒng)都能找到(建模)一個合適的平穩(wěn)時序模型來逼近到我們所需要的近似程度系統(tǒng) Satxt時間序列的參數(shù)模型記xt（t=，-2,-1,0,1,2,）是一個時間序列，我們假定S為 xt = f ( xt-1, xt-2 , ）+ at f 代表過去的信息對現(xiàn)在的影響；at 為與過去無關(guān)的隨機(jī)因素，表示時刻 t 出現(xiàn)的新情況模型 S 的一種常

5、用情況是取 f 為線性形式 xt= 1 xt-1+ 2 xt-2+ at (1)系統(tǒng) Satxt xt= 1 xt-1+ 2 xt-2+ at (1)其中at是正態(tài)的白躁聲序列，其均值為常數(shù)，不妨假定為0，即： E at =0 E at at-k= a2 當(dāng)k = 0 E at at-k= 0 當(dāng)k 0上面假定表明，白躁聲at序列中的各個隨機(jī)變量彼此不相關(guān)，沒有任何統(tǒng)計聯(lián)系以B表示后移算子，即B xt= xt-1, Bk xt = xt-k則（1）變?yōu)椋?(1- 1 B- 2 B2 -)xt= at 改寫為 (B) xt= at 求逆 xt=(B) at展開 xt= at + 1 at-1+

6、2 at-2 + (2)式(2)表明一個時間序列 xt可以認(rèn)為是由一個相互獨(dú)立的白躁聲序列 at 通過一個線性濾波器（1,1 ,2 ,)而產(chǎn)生自回歸(AR)模型數(shù)理統(tǒng)計的回歸模型 yt=1 x1t+ 2 x2t+ r xrt+ t表示一個變量yt 對同一時刻的另一組變量的靜態(tài)相關(guān)(1) 只有有限項的模型稱為自回歸模型AR( p ) xt= 1 xt-1+ 2 xt-2+ p xt-p+ at （3） t=1,2,3, (Autoregressive)是現(xiàn)在xt 對其過去數(shù)值xt-1 ,xt-2 ,，xt-p進(jìn)行回歸式（3）中的假定1. at作為隨機(jī)序列，在不同時刻互不相關(guān)2. at和以前時刻的

7、序列觀測值xk ( k0k稱為自相關(guān)函數(shù)(或歸一化自相關(guān)函數(shù))一階自回歸模型AR(1)設(shè)xt是平穩(wěn)、零均值的時間序列 xt= 1 xt-1 + at （5）它也可稱為Markov過程自相關(guān)函數(shù) k = 1k-1= 1k k0 當(dāng)01 1 -1 k 將隨著k的增加按 ? 表明AR(1)具有無限記憶，盡管這種依賴程序隨時間延長而下降（見下圖）kkkkxt= 0.8 xt-1 + atxt= -0.8 xt-1 + atAR(1)的兩種特殊情況xt= at 實際上是獨(dú)立的序列,相當(dāng)于沒有“記憶”的過程 xt= xt-1 + at 即 xt - xt-1 = at 實際上為隨機(jī)游動廣義平穩(wěn)過程xt如果

8、觀測的時間序列xt被看作是隨機(jī)過程的一個可能現(xiàn)實，具有下列性質(zhì)則稱為廣義平穩(wěn)過程1. 對所有的時間點(diǎn)具有同樣的均值，即 Ext=常數(shù) 對所有t2. 對所有的時間點(diǎn)具有同樣的方差，即 E(xt - )2=x2=常數(shù) 對所有t3. 任何二時間點(diǎn)( t, t k )之間的協(xié)方差只取決于時間間隔k,而與時間 t 起點(diǎn)無關(guān) Ext, xt-k= x2 k=0 Ext, xt-k= rk k 0滑動平均模型MA(q)(2) xt= at + 1 at-1+ 2 at-2 + 中只有有限q項的模型 xt= at - 1 at-1 - -q at-q (6)稱為滑動平均(Moving Average)模型 設(shè)

9、 (B)= 1 - 1 B - 2 B2 - - q Bq xt= (B) at 上方程共有q+1個求知參數(shù),可用觀測數(shù)據(jù)來估計.如果系數(shù)多項式(B) =0的根全在單位圓外,則MA(q)模型是可逆的MA模型的自相關(guān)系數(shù)rk=Ext xt-k=E(at - 1 at-1 - k at - k -q at-q ) ( at - k - 1 at k - 1 - -q at k - q) =(- k + 1k+1+ + q-kq )a2 k=1, ,q=0 k q 當(dāng)k=0 r0= (1 + 12 + + q2 ) a2 自相關(guān)系數(shù) - k - 1k+1+ + q-kq k=1, ,q 1 + 12

10、 + + q2 0 k q說明MA(q)模型的自相關(guān)系數(shù)在k=q處截斷(見下圖）k=kkkkxt=0.5 at-1+ 0.3 at-2 + at xt=-0.5 at-1-0.3 at-2 + at kkxt=at-1+ 0.6 at-2 + at kkxt=-at-1+ 0.6 at-2 + at MA(1)的自相關(guān)系數(shù) xt= at - 1 at-1 r0=(1+ 12 )a2 - 1 / (1 + 12 ) k=1 0 k 1 xt與xt-1相關(guān)與其他過去數(shù)值無關(guān)，MA(1)只能提供未來一個周期的預(yù)測信息，記憶有限k=自回歸滑動平均模型ARMA xt -1 xt-1 -2 xt-2- p

11、 xt-p = at - 1 at-1 - -q at-q 簡稱為ARMA(p,q)，簡記為 (B)xt= (B) at 含有求知參數(shù)p+q+1個，如果系數(shù)多項式(B)與(B)無公因子，而且滿足平穩(wěn)性與可逆性條件，則稱ARMA(p,q)模型是平穩(wěn)可逆的，ARMA(2,1)當(dāng)xt 不僅同前兩項值xt-1，xt-2線性相關(guān)，還同前一個at 即值at-1 線性相關(guān)時，模型為 xt - 1 xt-1 -2 xt-2= at - 1 at-1 或 at = xt - 1 xt-1 -2 xt-2+1 at-1ARMA(p,q)的自相關(guān)系數(shù) xt=1 xt-1+2 xt-2+p xt-p+ at -1at

12、-1-q at-q 兩邊乘 xt-k，然后取數(shù)學(xué)期望 rk=1 rk-1+2 rk-2+p rk-p+rk(x,a) - 1rk-1(x,a)-q rk-q(x,a) （7）其中rk(x,a)=Ext-k at ，因為xt-k只受時刻t-k前的擾動影響，所以rk(x,a)=0 (k0)所以 rk=1 rk-1+2 rk-2+p rk-p k-q=1 k = 1k-1+ 2k-2+ pk-p k= q+1 (8) 由（7）式可以看出，q為ARMA(p,q)模型中滑動平均的記憶部分。在k=q+1后（即kq)，其自相關(guān)系數(shù)顯示出純自回歸過程的特性，即kq時，滑動平均部分就不起作用了，故ARMA(p,

13、q)的自相關(guān)系數(shù)也具有拖尾的性質(zhì)當(dāng)k=0r0=1r-1+p rp+a2-1r-1(x,a)-q r-q(x,a)再分別將k=1,p代入（7）共得到p+1個方程解出r0 , r1 ， rp, 進(jìn)一步求出k 求ARMA(1,1)的自相關(guān)系數(shù) xt - 1 xt-1 = at - 1 at-1 （9）由（7） (rk=Ext xt-k) r0=1r1+a2-1r-1(x,a) r1=1r0 -1 a2 r2=1r1 rk= 1rk-1 k2用at-1 乘（9）式并取期望 r-1(x,a)=(1 -1 )a2解得 r0=1+12 - 211a2/1- 1 2 r1=(1+11)(1- 1)a2/1-

14、1 2 r2=1r1 rk= 1rk-1 k2 1= (1+11)(1- 1) / 1+12 - 211 2= 1 1 k= 1 k-11結(jié)論：自相關(guān)函數(shù)從初值1開始，呈指數(shù)衰減，這反映該過程滑動部分只有一個周期的記憶。時間序列模型的特性除了前面討論的自相關(guān)函數(shù)(系數(shù))外，還有格林函數(shù)Gj 、逆函數(shù)Ij 、偏相關(guān)函數(shù)kk 。它們分別用來分析系統(tǒng)的穩(wěn)定性和可逆性，以及進(jìn)行模式識別格林函數(shù)Gj對ARMA模型 xt=(B)/(B) at 進(jìn)行長除法 xt=(1+G1B+G2B2+) at (10) =j=0 GjB j at =j=0 Gj at-j G0 =1(10)中的系數(shù)Gj稱為格林函數(shù),其物

15、理意義有二個解釋1)Gj是j個時間單位以前加入系統(tǒng)的擾動at-j對現(xiàn)在的響應(yīng)權(quán)重; 2)表示了系統(tǒng)對擾動 at-j有多大的記憶,AR(1)的格林函數(shù) 由(5): (1- 1B )xt= at xt=(1+ 1B + 12B2 +) at得: Gj= 1j j=0,1,2, 如果 |1 |1MA(1): xt= at - 1 at-1 Ij= -1j j=0,1,2ARMA(2,1): Ij = ?系統(tǒng)的可逆性是指逆函數(shù)Ij的有界性,它是對ARMA模型滑動平均參數(shù)1 , 2 , , q所 附邊的一種約束條件: 設(shè)vk為 vq - 1 vq-1 - 2 vq-2- - q=0的根系統(tǒng)可逆的條件為

16、|vk|0考慮各階自回歸模型：AR(k), k=1,2, xt=1 xt-1+ 2xt-2+ k xt-k+ at相應(yīng)的系數(shù)改記為k1，k2 , ,kk應(yīng)有： xt=k1 xt-1+ k2xt-2+ kk xt-k+ at 相應(yīng)的自相關(guān)函數(shù) j=k1j-1+k2j-2+kkj-k j=1,2,k得到k個方程，將k1，k2 , . ,kk看作自變量，得到Y(jié)ule-Walker方程設(shè)真實模型是AR(2)： xt =21 xt-1 -22 xt-2+ at 則 j=21j-1+22j-2 j=1,2, 1=210+221 2 - 12 2=211+220 得22= - 0 3=212+221 1-

17、12 如果將模型猜為AR(3)，則： xt =31 xt-1 -32 xt-2- 33 xt-3 +at由j=31j-1+32j-2 +33 j-2 1=310+321 +33 2 2=311+320 +33 1 解得33 =0 3=312+321 +33 0綜合上述，如果一個真實模型為AR(2),則 22 0 ，33 =0 ，44 。 一般地：j=k1j-1+k2j-2+kkj-k j=1,2,k 寫出k個方程，得到上述方程組對k=1,2,利用Cramer法則依次解出(下頁）: kk 如果11= 1 22=(2-12) / (1- 12) ，33 ,.,pp ,均不為零，而(p+1)(p+1

18、) 為零，可判定模型為AR(p) kk稱為偏相關(guān)系數(shù)11k-1k1=111k-2k22k-1k-21kkk111112k-1k-2kkk= -11k-111k-2k-1k-21利用Cramer法則解出kk其中1 ,2 ，., 可利用觀測數(shù)據(jù)x1, x2 , . ,xN 來估計k= k= t=k+1N xt xt-k t=k+1N x2t-k k=0,1,2,. 自回歸求和滑動平均ARIMAARMA模型只適用于平穩(wěn)時間序列 (B)xt= (B) at此時要求(B)=0的根在單位圓外，否則不平穩(wěn)，一種特殊情況是 (B)=0有d個根在單位圓上 ，其余根全在單位圓外: (B)= (B)(1-B)d (B)則是平穩(wěn)算子，即 (B)(1-B)dxt=(B) at記Wt= (1-B)dxt=d xt ,則 (B) Wt= (B) at 則為平穩(wěn)模型, 若ARMA(p,q)，則原模型記為ARIMA(p,d,q) xt經(jīng)d階差分化為Wt ： Wt= (1-B)dxt=d xt 反之從Wt求 xt 須經(jīng)求和運(yùn)算S xt =Sd Wt SWt= Wt + Wt-1+ Wt-2+ S2Wt= SWt + SWt-1+ SWt-2+從上述討論，ARIMA可化為ARMA來處理，可以用來描