第三章 平穩(wěn)時(shí)間序列分析.ppt

1、第三章,平穩(wěn)時(shí)間序列分析,本章結(jié)構(gòu),方法性工具 ARMA模型 平穩(wěn)序列建模 序列預(yù)測(cè),3.1 方法性工具,差分運(yùn)算 延遲算子 線性差分方程,差分運(yùn)算,一階差分 階差分 步差分,延遲算子,延遲算子類似于一個(gè)時(shí)間指針，當(dāng)前序列值乘以一個(gè)延遲算子，就相當(dāng)于把當(dāng)前序列值的時(shí)間向過(guò)去撥了一個(gè)時(shí)刻 記B為延遲算子，有,延遲算子的性質(zhì),，其中,用延遲算子表示差分運(yùn)算,階差分 步差分,線性差分方程,線性差分方程 齊次線性差分方程,齊次線性差分方程的解,特征方程 特征方程的根稱為特征根，記作 齊次線性差分方程的通解 不相等實(shí)數(shù)根場(chǎng)合 有相等實(shí)根場(chǎng)合 復(fù)根場(chǎng)合,非齊次線性差分方程的解,非齊次線性差分方程的特解 使

2、得非齊次線性差分方程成立的任意一個(gè)解 非齊次線性差分方程的通解 齊次線性差分方程的通解和非齊次線性差分方程的特解之和,3.2 ARMA模型的性質(zhì),AR模型（Auto Regression Model） MA模型（Moving Average Model） ARMA模型（Auto Regression Moving Average model）,AR模型的定義,具有如下結(jié)構(gòu)的模型稱為 階自回歸模型，簡(jiǎn)記為 特別當(dāng) 時(shí)，稱為中心化 模型,AR(P)序列中心化變換,稱 為 的中心化序列 ，令,自回歸系數(shù)多項(xiàng)式,引進(jìn)延遲算子，中心化 模型又可以簡(jiǎn)記為 自回歸系數(shù)多項(xiàng)式,AR模型平穩(wěn)性判別,判別原因 A

3、R模型是常用的平穩(wěn)序列的擬合模型之一，但并非所有的AR模型都是平穩(wěn)的 判別方法 單位根判別法 平穩(wěn)域判別法,例3.1:考察如下四個(gè)模型的平穩(wěn)性,例3.1平穩(wěn)序列時(shí)序圖,例3.1非平穩(wěn)序列時(shí)序圖,AR模型平穩(wěn)性判別方法,特征根判別 AR(p)模型平穩(wěn)的充要條件是它的p個(gè)特征根都在單位圓內(nèi) 根據(jù)特征根和自回歸系數(shù)多項(xiàng)式的根成倒數(shù)的性質(zhì)，等價(jià)判別條件是該模型的自回歸系數(shù)多項(xiàng)式的根都在單位圓外 平穩(wěn)域判別 平穩(wěn)域,AR(1)模型平穩(wěn)條件,特征根 平穩(wěn)域,AR(2)模型平穩(wěn)條件,特征根,平穩(wěn)域,例3.1平穩(wěn)性判別,平穩(wěn)AR模型的統(tǒng)計(jì)性質(zhì),均值 方差 協(xié)方差 自相關(guān)系數(shù) 偏自相關(guān)系數(shù),均值,如果AR(p)

4、模型滿足平穩(wěn)性條件，則有 根據(jù)平穩(wěn)序列均值為常數(shù)，且 為白噪聲序列，有 推導(dǎo)出,Green函數(shù)定義,AR模型的傳遞形式 其中系數(shù) 稱為Green函數(shù),Green函數(shù)遞推公式,原理 方法 待定系數(shù)法 遞推公式,方差,平穩(wěn)AR模型的傳遞形式 兩邊求方差得,例3.2:求平穩(wěn)AR(1)模型的方差,平穩(wěn)AR(1)模型的傳遞形式為 Green函數(shù)為 平穩(wěn)AR(1)模型的方差,協(xié)方差函數(shù),在平穩(wěn)AR(p)模型兩邊同乘 ，再求期望 根據(jù) 得協(xié)方差函數(shù)的遞推公式,例3.3:求平穩(wěn)AR(1)模型的協(xié)方差,遞推公式 平穩(wěn)AR(1)模型的方差為 協(xié)方差函數(shù)的遞推公式為,例3.4:求平穩(wěn)AR(2)模型的協(xié)方差,平穩(wěn)AR

5、(2)模型的協(xié)方差函數(shù)遞推公式為,自相關(guān)系數(shù),自相關(guān)系數(shù)的定義 平穩(wěn)AR(P)模型的自相關(guān)系數(shù)遞推公式,常用AR模型自相關(guān)系數(shù)遞推公式,AR(1)模型 AR(2)模型,AR模型自相關(guān)系數(shù)的性質(zhì),拖尾性 呈復(fù)指數(shù)衰減,例3.5:考察如下AR模型的自相關(guān)圖,例3.5,自相關(guān)系數(shù)按復(fù)指數(shù)單調(diào)收斂到零,例3.5:,例3.5:,自相關(guān)系數(shù)呈現(xiàn)出“偽周期”性,例3.5:,自相關(guān)系數(shù)不規(guī)則衰減,偏自相關(guān)系數(shù),定義 對(duì)于平穩(wěn)AR(p)序列，所謂滯后k偏自相關(guān)系數(shù)就是指在給定中間k-1個(gè)隨機(jī)變量 的條件下，或者說(shuō)，在剔除了中間k-1個(gè)隨機(jī)變量的干擾之后， 對(duì) 影響的相關(guān)度量。用數(shù)學(xué)語(yǔ)言描述就是,偏自相關(guān)系數(shù)的計(jì)

6、算,滯后k偏自相關(guān)系數(shù)實(shí)際上就等于k階自回歸模型第個(gè)k回歸系數(shù)的值。,偏自相關(guān)系數(shù)的截尾性,AR(p)模型偏自相關(guān)系數(shù)P階截尾,例3.5續(xù):考察如下AR模型的偏自相關(guān)圖,例3.5,理論偏自相關(guān)系數(shù),樣本偏自相關(guān)圖,例3.5:,理論偏自相關(guān)系數(shù),樣本偏自相關(guān)圖,例3.5:,理論偏自相關(guān)系數(shù),樣本偏自相關(guān)圖,例3.5:,理論偏自相關(guān)系數(shù),樣本偏自相關(guān)系數(shù)圖,MA模型的定義,具有如下結(jié)構(gòu)的模型稱為 階自回歸模型，簡(jiǎn)記為 特別當(dāng) 時(shí)，稱為中心化 模型,移動(dòng)平均系數(shù)多項(xiàng)式,引進(jìn)延遲算子，中心化 模型又可以簡(jiǎn)記為 階移動(dòng)平均系數(shù)多項(xiàng)式,MA模型的統(tǒng)計(jì)性質(zhì),常數(shù)均值 常數(shù)方差,MA模型的統(tǒng)計(jì)性質(zhì),自協(xié)方差函

7、數(shù)P階截尾,自相關(guān)系數(shù)q階截尾,常用MA模型的自相關(guān)系數(shù),MA(1)模型,MA(2)模型,MA模型的統(tǒng)計(jì)性質(zhì),偏自相關(guān)系數(shù)拖尾,例3.6:考察如下MA模型的相關(guān)性質(zhì),MA模型的自相關(guān)系數(shù)截尾,MA模型的自相關(guān)系數(shù)截尾,MA模型的偏自相關(guān)系數(shù)拖尾,MA模型的偏自相關(guān)系數(shù)拖尾,MA模型的可逆性,MA模型自相關(guān)系數(shù)的不唯一性 例3.6中不同的MA模型具有完全相同的自相關(guān)系數(shù)和偏自相關(guān)系數(shù),可逆的定義,可逆MA模型定義 若一個(gè)MA模型能夠表示稱為收斂的AR模型形式，那么該MA模型稱為可逆MA模型 可逆概念的重要性 一個(gè)自相關(guān)系數(shù)列唯一對(duì)應(yīng)一個(gè)可逆MA模型。,可逆MA(1)模型,MA模型的可逆條件,MA

8、(q)模型的可逆條件是： MA(q)模型的特征根都在單位圓內(nèi) 等價(jià)條件是移動(dòng)平滑系數(shù)多項(xiàng)式的根都在單位圓外,逆函數(shù)的遞推公式,原理 方法 待定系數(shù)法 遞推公式,例3.6續(xù):考察如下MA模型的可逆性,(1)(2),逆函數(shù) 逆轉(zhuǎn)形式,(3)(4),逆函數(shù) 逆轉(zhuǎn)形式,ARMA模型的定義,具有如下結(jié)構(gòu)的模型稱為自回歸移動(dòng)平均模型，簡(jiǎn)記為 特別當(dāng) 時(shí)，稱為中心化 模型,系數(shù)多項(xiàng)式,引進(jìn)延遲算子，中心化 模型又可以簡(jiǎn)記為 階自回歸系數(shù)多項(xiàng)式 階移動(dòng)平均系數(shù)多項(xiàng)式,平穩(wěn)條件與可逆條件,ARMA(p,q)模型的平穩(wěn)條件 P階自回歸系數(shù)多項(xiàng)式 的根都在單位圓外 即ARMA(p,q)模型的平穩(wěn)性完全由其自回歸部分

9、的平穩(wěn)性決定 ARMA(p,q)模型的可逆條件 q階移動(dòng)平均系數(shù)多項(xiàng)式 的根都在單位圓外 即ARMA(p,q)模型的可逆性完全由其移動(dòng)平滑部分的可逆性決定,傳遞形式與逆轉(zhuǎn)形式,傳遞形式,逆轉(zhuǎn)形式,ARMA(p,q)模型的統(tǒng)計(jì)性質(zhì),均值 協(xié)方差 自相關(guān)系數(shù),ARMA模型的相關(guān)性,自相關(guān)系數(shù)拖尾 偏自相關(guān)系數(shù)拖尾,例3.7:考察ARMA模型的相關(guān)性,擬合模型ARMA(1,1): 并直觀地考察該模型自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)。,自相關(guān)系數(shù)和偏自相關(guān)系數(shù)拖尾性,樣本自相關(guān)圖,樣本偏自相關(guān)圖,ARMA模型相關(guān)性特征,3.3平穩(wěn)序列建模,建模步驟 模型識(shí)別 參數(shù)估計(jì) 模型檢驗(yàn) 模型優(yōu)化 序列預(yù)測(cè),建模

10、步驟,平 穩(wěn) 非 白 噪 聲 序 列,計(jì) 算 樣 本 相 關(guān) 系 數(shù),模型 識(shí)別,參數(shù) 估計(jì),模型 檢驗(yàn),模 型 優(yōu) 化,序 列 預(yù) 測(cè),Y,N,計(jì)算樣本相關(guān)系數(shù),樣本自相關(guān)系數(shù),樣本偏自相關(guān)系數(shù),模型識(shí)別,基本原則,模型定階的困難,因?yàn)橛捎跇颖镜碾S機(jī)性，樣本的相關(guān)系數(shù)不會(huì)呈現(xiàn)出理論截尾的完美情況，本應(yīng)截尾的 或 仍會(huì)呈現(xiàn)出小值振蕩的情況 由于平穩(wěn)時(shí)間序列通常都具有短期相關(guān)性，隨著延遲階數(shù) ， 與 都會(huì)衰減至零值附近作小值波動(dòng) ？當(dāng) 或 在延遲若干階之后衰減為小值波動(dòng)時(shí)，什么情況下該看作為相關(guān)系數(shù)截尾，什么情況下該看作為相關(guān)系數(shù)在延遲若干階之后正常衰減到零值附近作拖尾波動(dòng)呢？,樣本相關(guān)系數(shù)的近

11、似分布,Barlett Quenouille,模型定階經(jīng)驗(yàn)方法,95的置信區(qū)間 模型定階的經(jīng)驗(yàn)方法 如果樣本(偏)自相關(guān)系數(shù)在最初的d階明顯大于兩倍標(biāo)準(zhǔn)差范圍，而后幾乎95的自相關(guān)系數(shù)都落在2倍標(biāo)準(zhǔn)差的范圍以內(nèi)，而且通常由非零自相關(guān)系數(shù)衰減為小值波動(dòng)的過(guò)程非常突然。這時(shí)，通常視為(偏)自相關(guān)系數(shù)截尾。截尾階數(shù)為d。,例2.5續(xù),選擇合適的模型ARMA擬合1950年1998年北京市城鄉(xiāng)居民定期儲(chǔ)蓄比例序列。,序列自相關(guān)圖,序列偏自相關(guān)圖,擬合模型識(shí)別,自相關(guān)圖顯示延遲3階之后，自相關(guān)系數(shù)全部衰減到2倍標(biāo)準(zhǔn)差范圍內(nèi)波動(dòng)，這表明序列明顯地短期相關(guān)。但序列由顯著非零的相關(guān)系數(shù)衰減為小值波動(dòng)的過(guò)程相當(dāng)連

12、續(xù)，相當(dāng)緩慢，該自相關(guān)系數(shù)可視為不截尾 偏自相關(guān)圖顯示除了延遲1階的偏自相關(guān)系數(shù)顯著大于2倍標(biāo)準(zhǔn)差之外，其它的偏自相關(guān)系數(shù)都在2倍標(biāo)準(zhǔn)差范圍內(nèi)作小值隨機(jī)波動(dòng)，而且由非零相關(guān)系數(shù)衰減為小值波動(dòng)的過(guò)程非常突然，所以該偏自相關(guān)系數(shù)可視為一階截尾 所以可以考慮擬合模型為AR(1),例3.8,美國(guó)科羅拉多州某一加油站連續(xù)57天的OVERSHORT序列,序列自相關(guān)圖,序列偏自相關(guān)圖,擬合模型識(shí)別,自相關(guān)圖顯示除了延遲1階的自相關(guān)系數(shù)在2倍標(biāo)準(zhǔn)差范圍之外，其它階數(shù)的自相關(guān)系數(shù)都在2倍標(biāo)準(zhǔn)差范圍內(nèi)波動(dòng)。根據(jù)這個(gè)特點(diǎn)可以判斷該序列具有短期相關(guān)性，進(jìn)一步確定序列平穩(wěn)。同時(shí)，可以認(rèn)為該序列自相關(guān)系數(shù)1階截尾 偏自相

13、關(guān)系數(shù)顯示出典型非截尾的性質(zhì)。 綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，為擬合模型定階為MA(1),例3.9,1880-1985全球氣表平均溫度改變值差分序列,序列自相關(guān)圖,序列偏自相關(guān)圖,擬合模型識(shí)別,自相關(guān)系數(shù)顯示出不截尾的性質(zhì) 偏自相關(guān)系數(shù)也顯示出不截尾的性質(zhì) 綜合該序列自相關(guān)系數(shù)和偏自相關(guān)系數(shù)的性質(zhì)，可以嘗試使用ARMA(1,1)模型擬合該序列,參數(shù)估計(jì),待估參數(shù) 個(gè)未知參數(shù) 常用估計(jì)方法 矩估計(jì) 極大似然估計(jì) 最小二乘估計(jì),矩估計(jì),原理 樣本自相關(guān)系數(shù)估計(jì)總體自相關(guān)系數(shù) 樣本一階均值估計(jì)總體均值，樣本方差估計(jì)總體方差,例3.10:求AR(2)模型系數(shù)的矩估計(jì),AR(2)模型 Yul

14、e-Walker方程 矩估計(jì)（Yule-Walker方程的解）,例3.11:求MA(1)模型系數(shù)的矩估計(jì),MA(1)模型 方程 矩估計(jì),例3.12:求ARMA(1,1)模型系數(shù)的矩估計(jì),ARMA(1,1)模型 方程 矩估計(jì),對(duì)矩估計(jì)的評(píng)價(jià),優(yōu)點(diǎn) 估計(jì)思想簡(jiǎn)單直觀 不需要假設(shè)總體分布 計(jì)算量小（低階模型場(chǎng)合） 缺點(diǎn) 信息浪費(fèi)嚴(yán)重 只用到了p+q個(gè)樣本自相關(guān)系數(shù)信息，其他信息都被忽略 估計(jì)精度差 通常矩估計(jì)方法被用作極大似然估計(jì)和最小二乘估計(jì)迭代計(jì)算的初始值,極大似然估計(jì),原理 在極大似然準(zhǔn)則下，認(rèn)為樣本來(lái)自使該樣本出現(xiàn)概率最大的總體。因此未知參數(shù)的極大似然估計(jì)就是使得似然函數(shù)（即聯(lián)合密度函數(shù)）達(dá)

15、到最大的參數(shù)值,似然方程,由于 和 都不是 的顯式表達(dá)式。因而似然方程組實(shí)際上是由p+q+1個(gè)超越方程構(gòu)成，通常需要經(jīng)過(guò)復(fù)雜的迭代算法才能求出未知參數(shù)的極大似然估計(jì)值,對(duì)極大似然估計(jì)的評(píng)價(jià),優(yōu)點(diǎn) 極大似然估計(jì)充分應(yīng)用了每一個(gè)觀察值所提供的信息，因而它的估計(jì)精度高 同時(shí)還具有估計(jì)的一致性、漸近正態(tài)性和漸近有效性等許多優(yōu)良的統(tǒng)計(jì)性質(zhì) 缺點(diǎn) 需要假定總體分布,最小二乘估計(jì),原理 使殘差平方和達(dá)到最小的那組參數(shù)值即為最小二乘估計(jì)值,條件最小二乘估計(jì),實(shí)際中最常用的參數(shù)估計(jì)方法 假設(shè)條件 殘差平方和方程 解法 迭代法,對(duì)最小二乘估計(jì)的評(píng)價(jià),優(yōu)點(diǎn) 最小二乘估計(jì)充分應(yīng)用了每一個(gè)觀察值所提供的信息，因而它的估

16、計(jì)精度高 條件最小二乘估計(jì)方法使用率最高 缺點(diǎn) 需要假定總體分布,例2.5續(xù),確定1950年1998年北京市城鄉(xiāng)居民定期儲(chǔ)蓄比例序列擬合模型的口徑 擬合模型：AR(1) 估計(jì)方法：極大似然估計(jì) 模型口徑,例3.8續(xù),確定美國(guó)科羅拉多州某一加油站連續(xù)57天的OVERSHORTS序列擬合模型的口徑 擬合模型：MA(1) 估計(jì)方法：條件最小二乘估計(jì) 模型口徑,例3.9續(xù),確定1880-1985全球氣表平均溫度改變值差分序列擬合模型的口徑 擬合模型：ARMA(1,1) 估計(jì)方法：條件最小二乘估計(jì) 模型口徑,模型檢驗(yàn),模型的顯著性檢驗(yàn) 整個(gè)模型對(duì)信息的提取是否充分 參數(shù)的顯著性檢驗(yàn) 模型結(jié)構(gòu)是否最簡(jiǎn),模

17、型的顯著性檢驗(yàn),目的 檢驗(yàn)?zāi)Ｐ偷挠行裕▽?duì)信息的提取是否充分） 檢驗(yàn)對(duì)象 殘差序列 判定原則 一個(gè)好的擬合模型應(yīng)該能夠提取觀察值序列中幾乎所有的樣本相關(guān)信息，即殘差序列應(yīng)該為白噪聲序列 反之，如果殘差序列為非白噪聲序列，那就意味著殘差序列中還殘留著相關(guān)信息未被提取，這就說(shuō)明擬合模型不夠有效,假設(shè)條件,原假設(shè)：殘差序列為白噪聲序列 備擇假設(shè)：殘差序列為非白噪聲序列,檢驗(yàn)統(tǒng)計(jì)量,LB統(tǒng)計(jì)量,例2.5續(xù),檢驗(yàn)1950年1998年北京市城鄉(xiāng)居民定期儲(chǔ)蓄比例序列擬合模型的顯著性 殘差白噪聲序列檢驗(yàn)結(jié)果,參數(shù)顯著性檢驗(yàn),目的 檢驗(yàn)每一個(gè)未知參數(shù)是否顯著非零。刪除不顯著參數(shù)使模型結(jié)構(gòu)最精簡(jiǎn) 假設(shè)條件 檢驗(yàn)統(tǒng)

18、計(jì)量,例2.5續(xù),檢驗(yàn)1950年1998年北京市城鄉(xiāng)居民定期儲(chǔ)蓄比例序列極大似然估計(jì)模型的參數(shù)是否顯著 參數(shù)檢驗(yàn)結(jié)果,例3.8續(xù):對(duì)OVERSHORTS序列的擬合模型進(jìn)行檢驗(yàn),殘差白噪聲檢驗(yàn) 參數(shù)顯著性檢驗(yàn),例3.9續(xù):對(duì)1880-1985全球氣表平均溫度改變值差分序列擬合模型進(jìn)行檢驗(yàn),殘差白噪聲檢驗(yàn) 參數(shù)顯著性檢驗(yàn),模型優(yōu)化,問(wèn)題提出 當(dāng)一個(gè)擬合模型通過(guò)了檢驗(yàn)，說(shuō)明在一定的置信水平下，該模型能有效地?cái)M合觀察值序列的波動(dòng)，但這種有效模型并不是唯一的。 優(yōu)化的目的 選擇相對(duì)最優(yōu)模型,例3.13:擬合某一化學(xué)序列,序列自相關(guān)圖,序列偏自相關(guān)圖,擬合模型一,根據(jù)自相關(guān)系數(shù)2階截尾，擬合MA(2)模型

19、 參數(shù)估計(jì) 模型檢驗(yàn) 模型顯著有效 三參數(shù)均顯著,擬合模型二,根據(jù)偏自相關(guān)系數(shù)1階截尾，擬合AR(1)模型 參數(shù)估計(jì) 模型檢驗(yàn) 模型顯著有效 兩參數(shù)均顯著,問(wèn)題,同一個(gè)序列可以構(gòu)造兩個(gè)擬合模型，兩個(gè)模型都顯著有效，那么到底該選擇哪個(gè)模型用于統(tǒng)計(jì)推斷呢？ 解決辦法 確定適當(dāng)?shù)谋容^準(zhǔn)則，構(gòu)造適當(dāng)?shù)慕y(tǒng)計(jì)量，確定相對(duì)最優(yōu),AIC準(zhǔn)則,最小信息量準(zhǔn)則（An Information Criterion） 指導(dǎo)思想 似然函數(shù)值越大越好 未知參數(shù)的個(gè)數(shù)越少越好 AIC統(tǒng)計(jì)量,SBC準(zhǔn)則,AIC準(zhǔn)則的缺陷 在樣本容量趨于無(wú)窮大時(shí)，由AIC準(zhǔn)則選擇的模型不收斂于真實(shí)模型，它通常比真實(shí)模型所含的未知參數(shù)個(gè)數(shù)要多 SBC統(tǒng)計(jì)量,例3.13續(xù),用AIC準(zhǔn)則和SBC準(zhǔn)則評(píng)判例3.13中兩個(gè)擬合模型的相對(duì)優(yōu)劣 結(jié)果 AR(1)優(yōu)于MA(2),序列預(yù)測(cè),線性預(yù)測(cè)函數(shù) 預(yù)測(cè)方差最小原則,序列分解,預(yù)測(cè)誤差,預(yù)測(cè)值,誤差分析,估計(jì)誤差 期望 方差,AR(p)序列的預(yù)測(cè),預(yù)測(cè)值 預(yù)測(cè)方差 95置信區(qū)間,例3.14,已知某超市月銷售額近似服從AR(2)模型（單位：萬(wàn)元/每月） 今年第一季度該超市月銷售額分別為： 101，96，97.2萬(wàn)元 請(qǐng)確定該超市第二季度每月銷售額的95的置信區(qū)間,