數(shù)學建模時間序列方法課件

1、9.2 隨機時間序列分析模型一、時間序列模型的基本概念及其適用性二、隨機時間序列模型的平穩(wěn)性條件三、隨機時間序列模型的識別四、隨機時間序列模型的估計五、隨機時間序列模型的檢驗數(shù)學建模時間序列方法經(jīng)典計量經(jīng)濟學模型與時間序列模型確定性時間序列模型與隨機性時間序列模型數(shù)學建模時間序列方法一、時間序列模型的基本概念及其適用性數(shù)學建模時間序列方法1、時間序列模型的基本概念 隨機時間序列模型（time series modeling）是指僅用它的過去值及隨機擾動項所建立起來的模型，其一般形式為 Xt=F(Xt-1, Xt-2, , t) 建立具體的時間序列模型，需解決如下三個問題： (1)模型的具體形式

2、 (2)時序變量的滯后期 (3)隨機擾動項的結(jié)構(gòu) 例如，取線性方程、一期滯后以及白噪聲隨機擾動項（ t =t），模型將是一個1階自回歸過程AR(1)： Xt=Xt-1+ t這里， t特指一白噪聲。 數(shù)學建模時間序列方法 一般的p階自回歸過程AR(p)是 Xt=1Xt-1+ 2Xt-2 + + pXt-p + t (*) (1)如果隨機擾動項是一個白噪聲(t=t)，則稱(*)式為一純AR(p)過程（pure AR(p) process），記為 Xt=1Xt-1+ 2Xt-2 + + pXt-p +t (2)如果t不是一個白噪聲，通常認為它是一個q階的移動平均（moving average）過程M

3、A(q)： t=t - 1t-1 - 2t-2 - - qt-q 該式給出了一個純MA(q)過程（pure MA(p) process）。 數(shù)學建模時間序列方法 將純AR(p)與純MA(q)結(jié)合，得到一個一般的自回歸移動平均（autoregressive moving average）過程ARMA（p,q）： Xt=1Xt-1+ 2Xt-2 + + pXt-p + t - 1t-1 - 2t-2 - - qt-q 該式表明：（1）一個隨機時間序列可以通過一個自回歸移動平均過程生成，即該序列可以由其自身的過去或滯后值以及隨機擾動項來解釋。（2）如果該序列是平穩(wěn)的，即它的行為并不會隨著時間的推移而

4、變化，那么我們就可以通過該序列過去的行為來預測未來。 這也正是隨機時間序列分析模型的優(yōu)勢所在。數(shù)學建模時間序列方法 經(jīng)典回歸模型的問題： 迄今為止，對一個時間序列Xt的變動進行解釋或預測，是通過某個單方程回歸模型或聯(lián)立方程回歸模型進行的，由于它們以因果關系為基礎，且具有一定的模型結(jié)構(gòu)，因此也常稱為結(jié)構(gòu)式模型（structural model）。 然而，如果Xt波動的主要原因可能是我們無法解釋的因素，如氣候、消費者偏好的變化等，則利用結(jié)構(gòu)式模型來解釋Xt的變動就比較困難或不可能，因為要取得相應的量化數(shù)據(jù)，并建立令人滿意的回歸模型是很困難的。 有時，即使能估計出一個較為滿意的因果關系回歸方程，但由

5、于對某些解釋變量未來值的預測本身就非常困難，甚至比預測被解釋變量的未來值更困難，這時因果關系的回歸模型及其預測技術(shù)就不適用了。2、時間序列分析模型的適用性數(shù)學建模時間序列方法 例如，時間序列過去是否有明顯的增長趨勢，如果增長趨勢在過去的行為中占主導地位，能否認為它也會在未來的行為里占主導地位呢？ 或者時間序列顯示出循環(huán)周期性行為，我們能否利用過去的這種行為來外推它的未來走向？ 隨機時間序列分析模型，就是要通過序列過去的變化特征來預測未來的變化趨勢。 使用時間序列分析模型的另一個原因在于： 如果經(jīng)濟理論正確地闡釋了現(xiàn)實經(jīng)濟結(jié)構(gòu)，則這一結(jié)構(gòu)可以寫成類似于ARMA(p,q)式的時間序列分析模型的形式

6、。 在這些情況下，我們采用另一條預測途徑：通過時間序列的歷史數(shù)據(jù)，得出關于其過去行為的有關結(jié)論，進而對時間序列未來行為進行推斷。數(shù)學建模時間序列方法 例如，對于如下最簡單的宏觀經(jīng)濟模型： 這里，Ct、It、Yt分別表示消費、投資與國民收入。 Ct與Yt作為內(nèi)生變量，它們的運動是由作為外生變量的投資It的運動及隨機擾動項t的變化決定的。數(shù)學建模時間序列方法上述模型可作變形如下： 兩個方程等式右邊除去第一項外的剩余部分可看成一個綜合性的隨機擾動項，其特征依賴于投資項It的行為。 如果It是一個白噪聲，則消費序列Ct就成為一個1階自回歸過程AR(1)，而收入序列Yt就成為一個(1,1)階的自回歸移動

7、平均過程ARMA(1,1)。數(shù)學建模時間序列方法二、隨機時間序列模型的平穩(wěn)性條件數(shù)學建模時間序列方法 自回歸移動平均模型（ARMA）是隨機時間序列分析模型的普遍形式，自回歸模型（AR）和移動平均模型（MA）是它的特殊情況。 關于這幾類模型的研究，是時間序列分析的重點內(nèi)容：主要包括模型的平穩(wěn)性分析、模型的識別和模型的估計。 1、AR(p)模型的平穩(wěn)性條件 隨機時間序列模型的平穩(wěn)性，可通過它所生成的隨機時間序列的平穩(wěn)性來判斷。 如果一個p階自回歸模型AR(p)生成的時間序列是平穩(wěn)的，就說該AR(p)模型是平穩(wěn)的， 否則，就說該AR(p)模型是非平穩(wěn)的。數(shù)學建模時間序列方法考慮p階自回歸模型AR(p

8、) Xt=1Xt-1+ 2Xt-2 + + pXt-p +t (*)引入滯后算子（lag operator ）L： LXt=Xt-1, L2Xt=Xt-2, , LpXt=Xt-p(*)式變換為 (1-1L- 2L2-pLp)Xt=t 記(L)= (1-1L- 2L2-pLp),則稱多項式方程 (z)= (1-1z- 2z2-pzp)=0為AR(p)的特征方程(characteristic equation)。 可以證明，如果該特征方程的所有根在單位圓外（根的模大于1），則AR(p)模型是平穩(wěn)的。 數(shù)學建模時間序列方法 例9.2.1 AR(1)模型的平穩(wěn)性條件。對1階自回歸模型AR(1)方程兩

9、邊平方再求數(shù)學期望，得到Xt的方差由于Xt僅與t相關，因此，E(Xt-1t)=0。如果該模型穩(wěn)定，則有E(Xt2)=E(Xt-12)，從而上式可變換為：在穩(wěn)定條件下，該方差是一非負的常數(shù)，從而有 |1。 數(shù)學建模時間序列方法 而AR(1)的特征方程的根為 z=1/ AR(1)穩(wěn)定，即 | 1，意味著特征根大于1。例9.2.2 AR(2)模型的平穩(wěn)性。 對AR(2)模型 方程兩邊同乘以Xt，再取期望得： 數(shù)學建模時間序列方法又由于于是 同樣地，由原式還可得到于是方差為 數(shù)學建模時間序列方法由平穩(wěn)性的定義，該方差必須是一不變的正數(shù)，于是有 1+21, 2-11, |2|1這就是AR(2)的平穩(wěn)性條

10、件，或稱為平穩(wěn)域。它是一頂點分別為（-2,-1），（2,-1），（0,1）的三角形。 數(shù)學建模時間序列方法對應的特征方程1-1z-2z2=0 的兩個根z1、z2滿足： z1z2=-1/2 , z1+z2 =-1/2 AR(2)模型解出1，2由AR(2)的平穩(wěn)性，|2|=1/|z1|z2|1，有于是| z2 |1。由 2 - 1 1可推出同樣的結(jié)果。數(shù)學建模時間序列方法 對高階自回模型AR(p)來說，多數(shù)情況下沒有必要直接計算其特征方程的特征根，但有一些有用的規(guī)則可用來檢驗高階自回歸模型的穩(wěn)定性： (1)AR(p)模型穩(wěn)定的必要條件是： 1+2+p1 (2)由于i(i=1,2,p)可正可負，AR

11、(p)模型穩(wěn)定的充分條件是： |1|+|2|+|p|1 數(shù)學建模時間序列方法 對于移動平均模型MR(q)： Xt=t - 1t-1 - 2t-2 - - qt-q 其中t是一個白噪聲，于是 2、MA(q)模型的平穩(wěn)性 當滯后期大于q時，Xt的自協(xié)方差系數(shù)為0。因此:有限階移動平均模型總是平穩(wěn)的。 數(shù)學建模時間序列方法 由于ARMA (p,q)模型是AR(p)模型與MA(q)模型的組合：Xt=1Xt-1+ 2Xt-2 + + pXt-p + t - 1t-1 - 2t-2 - - qt-q 3、ARMA(p,q)模型的平穩(wěn)性 而MA(q)模型總是平穩(wěn)的，因此ARMA (p,q)模型的平穩(wěn)性取決于

12、AR(p)部分的平穩(wěn)性。 當AR(p)部分平穩(wěn)時，則該ARMA(p,q)模型是平穩(wěn)的，否則，不是平穩(wěn)的。數(shù)學建模時間序列方法 最后 （1）一個平穩(wěn)的時間序列總可以找到生成它的平穩(wěn)的隨機過程或模型； （2）一個非平穩(wěn)的隨機時間序列通常可以通過差分的方法將它變換為平穩(wěn)的，對差分后平穩(wěn)的時間序列也可找出對應的平穩(wěn)隨機過程或模型。 因此，如果我們將一個非平穩(wěn)時間序列通過d次差分，將它變?yōu)槠椒€(wěn)的，然后用一個平穩(wěn)的ARMA(p,q)模型作為它的生成模型，則我們就說該原始時間序列是一個自回歸單整移動平均（autoregressive integrated moving average）時間序列，記為ARIM

13、A(p,d,q)。 例如，一個ARIMA(2,1,2)時間序列在它成為平穩(wěn)序列之前先得差分一次，然后用一個ARMA(2,2)模型作為它的生成模型的。 當然，一個ARIMA(p,0,0)過程表示了一個純AR(p)平穩(wěn)過程；一個ARIMA(0,0,q)表示一個純MA(q)平穩(wěn)過程。數(shù)學建模時間序列方法三、隨機時間序列模型的識別數(shù)學建模時間序列方法 所謂隨機時間序列模型的識別，就是對于一個平穩(wěn)的隨機時間序列，找出生成它的合適的隨機過程或模型，即判斷該時間序列是遵循一純AR過程、還是遵循一純MA過程或ARMA過程。 所使用的工具主要是時間序列的自相關函數(shù)（autocorrelation functio

14、n，ACF）及偏自相關函數(shù)（partial autocorrelation function， PACF ）。數(shù)學建模時間序列方法 1、AR(p)過程 (1)自相關函數(shù)ACF 1階自回歸模型AR(1) Xt=Xt-1+ t 的k階滯后自協(xié)方差為：=1,2,因此，AR(1)模型的自相關函數(shù)為 =1,2, 由AR(1)的穩(wěn)定性知|1，因此，k時，呈指數(shù)形衰減，直到零。這種現(xiàn)象稱為拖尾或稱AR(1)有無窮記憶（infinite memory）。 注意， 0時，呈振蕩衰減狀。 數(shù)學建模時間序列方法 Xt=1Xt-1+ 2Xt-2 + t該模型的方差0以及滯后1期與2期的自協(xié)方差1, 2分別為階自回歸模

15、型AR(2) 類似地,可寫出一般的k期滯后自協(xié)方差： (K=2,3,)于是,AR(2)的k 階自相關函數(shù)為： (K=2,3,)其中 :1=1/(1-2), 0=1如果AR(2)穩(wěn)定，則由1+21知|k|衰減趨于零，呈拖尾狀。至于衰減的形式，要看AR(2)特征根的實虛性，若為實根，則呈單調(diào)或振蕩型衰減，若為虛根，則呈正弦波型衰減。 數(shù)學建模時間序列方法一般地，p階自回歸模型AR(p) Xt=1Xt-1+ 2Xt-2 + pXt-p + tk期滯后協(xié)方差為: 從而有自相關函數(shù) : 可見，無論k有多大， k的計算均與其到p階滯后的自相關函數(shù)有關，因此呈拖尾狀。 如果AR(p)是穩(wěn)定的，則|k|遞減且

16、趨于零。 數(shù)學建模時間序列方法 其中：1/zi是AR(p)特征方程(z)=0的特征根，由AR(p)平穩(wěn)的條件知，|zi|p，Xt與Xt-k間的偏自相關系數(shù)為零。 AR(p)的一個主要特征是:kp時，k*=Corr(Xt,Xt-k)=0 即k*在p以后是截尾的。一隨機時間序列的識別原則：若Xt的偏自相關函數(shù)在p以后截尾，即kp時，k*=0，而它的自相關函數(shù)k是拖尾的，則此序列是自回歸AR(p)序列。數(shù)學建模時間序列方法 在實際識別時，由于樣本偏自相關函數(shù)rk*是總體偏自相關函數(shù)k*的一個估計，由于樣本的隨機性，當kp時，rk*不會全為0，而是在0的上下波動。但可以證明，當kp時，rk*服從如下漸

17、近正態(tài)分布: rk*N(0,1/n)式中n表示樣本容量。 因此，如果計算的rk*滿足 需指出的是，我們就有95.5%的把握判斷原時間序列在p之后截尾。數(shù)學建模時間序列方法 對MA(1)過程 2、MA(q)過程 可容易地寫出它的自協(xié)方差系數(shù)： 于是，MA(1)過程的自相關函數(shù)為：可見，當k1時，k0，即Xt與Xt-k不相關，MA(1)自相關函數(shù)是截尾的。 數(shù)學建模時間序列方法 MA(1)過程可以等價地寫成t關于無窮序列Xt，Xt-1，的線性組合的形式：或（*） (*)是一個AR()過程，它的偏自相關函數(shù)非截尾但卻趨于零，因此MA(1)的偏自相關函數(shù)是非截尾但卻趨于零的。 注意: (*)式只有當|

18、1時才有意義，否則意味著距Xt越遠的X值，對Xt的影響越大，顯然不符合常理。 因此，我們把|q時， Xt與Xt-k不相關，即存在截尾現(xiàn)象，因此，當kq時， k=0是MA(q)的一個特征。 于是：可以根據(jù)自相關系數(shù)是否從某一點開始一直為0來判斷MA(q)模型的階。數(shù)學建模時間序列方法 與MA(1)相仿，可以驗證MA(q)過程的偏自相關函數(shù)是非截尾但趨于零的。 MA(q)模型的識別規(guī)則：若隨機序列的自相關函數(shù)截尾，即自q以后，k=0（ kq）；而它的偏自相關函數(shù)是拖尾的，則此序列是滑動平均MA(q)序列。 同樣需要注意的是：在實際識別時，由于樣本自相關函數(shù)rk是總體自相關函數(shù)k的一個估計，由于樣本

19、的隨機性，當kq時，rk不會全為0，而是在0的上下波動。但可以證明，當kq時，rk服從如下漸近正態(tài)分布: rkN(0,1/n)式中n表示樣本容量。 因此，如果計算的rk滿足：我們就有95.5%的把握判斷原時間序列在q之后截尾。數(shù)學建模時間序列方法 ARMA(p,q)的自相關函數(shù)，可以看作MA(q)的自相關函數(shù)和AR(p)的自相關函數(shù)的混合物。 當p=0時，它具有截尾性質(zhì)； 當q=0時，它具有拖尾性質(zhì)； 當p、q都不為0時，它具有拖尾性質(zhì) 從識別上看，通常： ARMA(p，q)過程的偏自相關函數(shù)（PACF）可能在p階滯后前有幾項明顯的尖柱（spikes），但從p階滯后項開始逐漸趨向于零； 而它的

20、自相關函數(shù)（ACF）則是在q階滯后前有幾項明顯的尖柱，從q階滯后項開始逐漸趨向于零。 3、ARMA(p, q)過程 數(shù)學建模時間序列方法數(shù)學建模時間序列方法數(shù)學建模時間序列方法數(shù)學建模時間序列方法數(shù)學建模時間序列方法四、隨機時間序列模型的估計數(shù)學建模時間序列方法 AR(p)、MA(q)、ARMA(p,q)模型的估計方法較多，大體上分為3類： （1）最小二乘估計； （2）矩估計； （3）利用自相關函數(shù)的直接估計。 下面有選擇地加以介紹。結(jié)構(gòu)階數(shù)模型識別確定估計參數(shù)數(shù)學建模時間序列方法 AR(p)模型的Yule Walker方程估計 在AR(p)模型的識別中，曾得到 利用k=-k，得到如下方程組：

21、 此方程組被稱為Yule Walker方程組。該方程組建立了AR(p)模型的模型參數(shù)1,2,p與自相關函數(shù)1,2,p的關系， 數(shù)學建模時間序列方法 利用實際時間序列提供的信息，首先求得自相關函數(shù)的估計值 然后利用Yule Walker方程組，求解模型參數(shù)的估計值由于 于是 從而可得2的估計值 在具體計算時，可用樣本自相關函數(shù)rk替代。數(shù)學建模時間序列方法 MA(q)模型的矩估計 將MA(q)模型的自協(xié)方差函數(shù)中的各個量用估計量代替，得到： 首先求得自協(xié)方差函數(shù)的估計值，(*)是一個包含(q+1)個待估參數(shù) (*)的非線性方程組，可以用直接法或迭代法求解。 常用的迭代方法有線性迭代法和Newto

22、n-Raphsan迭代法。數(shù)學建模時間序列方法 （1）MA(1)模型的直接算法 對于MA(1)模型，（*）式相應地寫成于是 或有于是有解 由于參數(shù)估計有兩組解，可根據(jù)可逆性條件|1|1的MA(q)模型，一般用迭代算法估計參數(shù)： 由（*）式得 第一步，給出的一組初值，比如代入（*）式，計算出第一次迭代值 （*）數(shù)學建模時間序列方法 第二步，將第一次迭代值代入（*）式，計算出第二次迭代值 按此反復迭代下去，直到第m步的迭代值與第m-1步的迭代值相差不大時（滿足一定的精度），便停止迭代，并用第m步的迭代結(jié)果作為（*）的近似解。 數(shù)學建模時間序列方法 ARMA(p,q)模型的矩估計 在ARMA(p,q

23、)中共有(p+q+1)個待估參數(shù)1,2,p與1,2,q以及2，其估計量計算步驟及公式如下： 第一步，估計1,2,p 是總體自相關函數(shù)的估計值，可用樣本自相關函數(shù)rk代替。 數(shù)學建模時間序列方法 第二步，改寫模型，求1,2,q以及2的估計值 將模型 改寫為： 令 于是(*)可以寫成： (*) 構(gòu)成一個MA模型。按照估計MA模型參數(shù)的方法，可以得到1,2,q以及2的估計值。 數(shù)學建模時間序列方法 AR(p)的最小二乘估計 假設模型AR(p)的參數(shù)估計值已經(jīng)得到，即有 殘差的平方和為： (*) 根據(jù)最小二乘原理，所要求的參數(shù)估計值是下列方程組的解： 即 j=1,2,p (*) 解該方程組，就可得到待

24、估參數(shù)的估計值。 數(shù)學建模時間序列方法 為了與AR(p)模型的Yule Walker方程估計進行比較，將(*)改寫成： j=1,2,p由自協(xié)方差函數(shù)的定義，并用自協(xié)方差函數(shù)的估計值 代入，上式表示的方程組即為： 或 j=1,2,pj=1,2,p數(shù)學建模時間序列方法解該方程組，得到： 即為參數(shù)的最小二乘估計。 Yule Walker方程組的解比較發(fā)現(xiàn)，當n足夠大時，二者是相似的。 2的估計值為： 數(shù)學建模時間序列方法 需要說明的是，在上述模型的平穩(wěn)性、識別與估計的討論中，ARMA(p,q)模型中均未包含常數(shù)項。 如果包含常數(shù)項，該常數(shù)項并不影響模型的原有性質(zhì)，因為通過適當?shù)淖冃?，可將包含常?shù)項的

25、模型轉(zhuǎn)換為不含常數(shù)項的模型。 下面以一般的ARMA(p,q)模型為例說明。 對含有常數(shù)項的模型 方程兩邊同減/(1-1-p)，則可得到 其中數(shù)學建模時間序列方法五、模型的檢驗數(shù)學建模時間序列方法 由于ARMA(p,q)模型的識別與估計是在假設隨機擾動項是一白噪聲的基礎上進行的，因此，如果估計的模型確認正確的話，殘差應代表一白噪聲序列。 如果通過所估計的模型計算的樣本殘差不代表一白噪聲，則說明模型的識別與估計有誤，需重新識別與估計。 在實際檢驗時，主要檢驗殘差序列是否存在自相關。1、殘差項的白噪聲檢驗 可用QLB的統(tǒng)計量進行2檢驗：在給定顯著性水平下，可計算不同滯后期的QLB值，通過與2分布表中

26、的相應臨界值比較，來檢驗是否拒絕殘差序列為白噪聲的假設。 若大于相應臨界值，則應拒絕所估計的模型，需重新識別與估計。 數(shù)學建模時間序列方法2、AIC與SBC模型選擇標準 另外一個遇到的問題是，在實際識別ARMA(p,q)模型時，需多次反復償試，有可能存在不止一組（p,q）值都能通過識別檢驗。 顯然，增加p與q的階數(shù)，可增加擬合優(yōu)度，但卻同時降低了自由度。 因此，對可能的適當?shù)哪Ｐ?，存在著模型的“簡潔性”與模型的擬合優(yōu)度的權(quán)衡選擇問題。數(shù)學建模時間序列方法 其中，n為待估參數(shù)個數(shù)（p+q+可能存在的常數(shù)項），T為可使用的觀測值，RSS為殘差平方和（Residual sum of squares）

27、。 在選擇可能的模型時，AIC與SBC越小越好 顯然，如果添加的滯后項沒有解釋能力，則對RSS值的減小沒有多大幫助，卻增加待估參數(shù)的個數(shù)，因此使得AIC或SBC的值增加。 需注意的是：在不同模型間進行比較時，必須選取相同的時間段。 常用的模型選擇的判別標準有：赤池信息法（Akaike information criterion，簡記為AIC）與施瓦茲貝葉斯法（Schwartz Bayesian criterion，簡記為SBC）：數(shù)學建模時間序列方法 由第一節(jié)知：中國支出法GDP是非平穩(wěn)的，但它的一階差分是平穩(wěn)的，即支出法GDP是I(1)時間序列。 可以對經(jīng)過一階差分后的GDP建立適當?shù)腁RM

28、A(p,q)模型。 記GDP經(jīng)一階差分后的新序列為GDPD1，該新序列的樣本自相關函數(shù)圖與偏自相關函數(shù)圖如下： 例9.2.3 中國支出法GDP的ARMA(p,q)模型估計。數(shù)學建模時間序列方法 圖形：樣本自相關函數(shù)圖形呈正弦線型衰減波，而偏自相關函數(shù)圖形則在滯后兩期后迅速趨于0。因此可初步判斷該序列滿足2階自回歸過程AR(2)。 自相關函數(shù)與偏自相關函數(shù)的函數(shù)值： 相關函數(shù)具有明顯的拖尾性； 偏自相關函數(shù)值在k2以后，可認為：偏自相關函數(shù)是截尾的。再次驗證了一階差分后的GDP滿足AR(2)隨機過程。數(shù)學建模時間序列方法設序列GDPD1的模型形式為 有如下Yule Walker 方程： 解為： 用OLS法回歸的結(jié)果為： （7.91) (-3.60) r2=0.8469 R2=0.8385 DW=1.15數(shù)學建模時間序列方法 有時，在用回歸法時，也可加入常數(shù)項。 本例中加入常數(shù)項的回歸為： （1.99） （7.74） （-3.58） r2 =0.8758 R2 =0.8612 DW.=1.22 數(shù)學建模時間序列方法模型檢驗 下表列出三模型的殘差項的自相關系數(shù)及QLB檢驗值。 模型1與模型3的殘差項接近于一白噪聲，但模型2存在4階滯后相關問題，Q統(tǒng)計量的檢驗也得