時間序列分析-第四章 均值和自協(xié)方差函數(shù)的估計

1、.,第四章,均值和自協(xié)方差函數(shù)的估計,.,本章結(jié)構(gòu),均值的估計 自協(xié)方差函數(shù)的估計 白噪聲檢驗,.,4.1 均值的估計,相合性 中心極限定理 收斂速度 的模擬計算,.,均值、自協(xié)方差函數(shù)的作用,AR,MA,ARMA模型的參數(shù)可以由自協(xié)方差函數(shù)唯一確定。 有了樣本之后，可以先估計均值和自協(xié)方差函數(shù)。 然后由均值和自協(xié)方差函數(shù)解出模型參數(shù)。 均值和自協(xié)方差可以用矩估計法求。 還要考慮相合性，漸進分布，收斂速度等問題。,.,均值估計公式,設(shè) 是平穩(wěn)列 的觀測。 的點估計為 把觀測樣本看成隨機樣本時記作大寫的,.,相合性,設(shè)統(tǒng)計量 是 的估計，在統(tǒng)計學(xué)中有如下的定義 1 如果 ，則稱 是 的無偏估計。

2、 2 如果當(dāng) 則稱 是 的漸 進無偏估計。 3 如果 依概率收斂到 ，則稱 是 的相合估計。 4如果 收斂到 ，則稱 是 的強相合估計。,.,一般情況下，無偏估計比有偏估計來得好，對于由(1.1)定義的 。有 所以 是均值 的無偏估計。,.,均值估計的相合性,好的估計量起碼應(yīng)是相合的。否則，估計量不收斂到要估計的參數(shù)，它無助于實際問題的解決。 對于平穩(wěn)序列 ，如果它的自協(xié)方差函數(shù) 收斂到零，則：,.,.,利用切比雪夫不等式 得到 依概率收斂到 。于是 是 的相合估計。,.,均值估計的性質(zhì),定理1.1 設(shè)平穩(wěn)序列 有均值 和自協(xié)方差函數(shù) 。則 1 是 的無偏估計。 2 如果 則 是 的相合估計。

3、 3 如果 還是嚴(yán)平穩(wěn)遍歷序列，則 是 的強相合估計。,.,第三條結(jié)論利用1.5的遍歷定理5.1可得。 一般地，任何強相合估計一定是相合估計。 線性平穩(wěn)列的均值估計是相合估計。 ARMA模型的均值估計是相合估計。,.,獨立同分布樣本的中心極限定理,若 。則 可以據(jù)此計算 的 置信區(qū)間。 (1.3) 其中的1.96也經(jīng)常用2近似代替。,.,平穩(wěn)列的均值估計的中心極限定理,定理1.2 設(shè) 是獨立同分布的 ，線性平穩(wěn)序列 由 (1.5) 定義。其中 平方可和。如果 的譜密度 (1.6) 在 連續(xù)，并且 則當(dāng) 時，,.,推論,當(dāng) 絕對可和時， 連續(xù)。 推論1.3 如果 和 成立，則當(dāng) 時 并且 (1.

4、7),.,收斂速度,相合的估計量漸進性質(zhì)除了是否服從中心極限定理外，還包括這個估計量的收斂速度。 收斂速度的描述方法之一是所謂的重對數(shù)律。 重對數(shù)律成立時，得到的收斂速度的階數(shù)一般是 除了個別情況，這個階數(shù)一般不能再被改進。,.,收斂速度(2),定理1.4 設(shè) 是獨立同分布的 。線性平穩(wěn)序列 由(1.5)定義。譜密度 。當(dāng)以下的條件之一成立時： 1 當(dāng) 以負指數(shù)階收斂于0. 2 譜密度 在 連續(xù)。并且 對某個 成立。,.,則有重對數(shù)律 (1.8) (1.9) 易見重對數(shù)律滿足時 不收斂。,.,AR(2)的均值計算,令 考慮AR(2)模型 為模擬方便設(shè) 。,.,AR(2)的均值計算(2),.,估

5、計收斂性的模擬,為了觀察 時 的收斂可以模擬L個值然后觀察 的變化。 為了研究固定N情況下 的精度以至于抽樣分布?？梢赃M行M次獨立的隨機模擬，得到M個 的觀察值。這種方法對于難以得到估計量的理論分布的情況是很有用的。,.,.,.,.,.,4.2 自協(xié)方差函數(shù)的估計,自協(xié)方差估計公式及正定性 的相合性 的漸進分布 模擬計算,.,自協(xié)方差函數(shù)估計公式,(2.2) 樣本自相關(guān)系數(shù)(ACF)估計為 (2.3),.,自協(xié)方差函數(shù)估計公式,估計 一般不使用除了 的估計形式： (2.4) 因為： 我們不對大的k值計算 更重要的是只有除以N的估計式才是正定的。,.,樣本自協(xié)方差的正定性,只要觀測 不全相同則

6、正定。 令 記 (2.5) 只要 不全是零則A滿秩。,.,樣本自協(xié)方差的正定性,事實上，設(shè) 則A矩陣左面會出現(xiàn)一個以 值開始非零的斜面。顯然是滿秩的。 故 不全相同時 正定。 作為 的主子式也是正定的。,.,的相合性,定理2.1 設(shè)平穩(wěn)序列的樣本自協(xié)方差函數(shù) 由式(2.2)或(2.4)定義。 1 如果當(dāng) 時， 則對每個確定的k， 是 的漸進無偏估計：,.,2如果 是嚴(yán)平穩(wěn)遍歷序列。則對每個確定的k, 和 分別是 和 的強相合估計：,.,定理2.1的證明,下面只對由(2.2)定義的樣本自協(xié)方差函數(shù)證明定理2.1。對由(2.4)定義的 的證明是一樣的。 設(shè) 則 是零均值的平穩(wěn)序列。利用 (2.7)

7、,.,定理2.1的證明,.,.,定理2.1的證明,.,.,只考慮線性序列。 設(shè) 是4階矩有限的獨立同分布的 實數(shù)列 平方可和。 線性平穩(wěn)序列 (2.8),.,有自協(xié)方差函數(shù) (2.9) 有譜密度 (2.10),.,設(shè)自協(xié)方差函數(shù)列 平方可和。 設(shè) 為獨立同分布的 。 令 定義正態(tài)時間序列 (2.11) (2.12),.,樣本自協(xié)方差和自相關(guān)的中心極限定理,定理2.2 設(shè) 是獨立同分布的 。滿足 。如果線性平穩(wěn)序列(2.8)的譜密度(2.10)平方可積：,.,則對任何正整數(shù)h，當(dāng) 時，有以下結(jié)果 1 依分布收斂到 2 依分布收斂到,.,自相關(guān)檢驗的例子,例2.1(接第三章例1.1)對MA(q)序

8、列 。利用定理2.2得到，只要當(dāng) 依分布收斂到 的分布。 注意 時， 中的 應(yīng)屬于 ，所以令 有,.,為期望為0，方差為 的正態(tài)分布。 在假設(shè) 是MA(q)下，對mq有,.,自相關(guān)檢驗的例子,現(xiàn)在用 表示第三章例1.1中差分后的化學(xué)濃度數(shù)據(jù)。在 是MA(q)下。用 代替真值 后分別對 計算出,.,在q=0的假設(shè)下， 所以應(yīng)當(dāng)否定q=0.,.,自相關(guān)檢驗的例子,實際工作中人們還計算概率 并且把p稱為檢驗的p值。明顯p值越小，數(shù)據(jù)提供的否定原假設(shè)的依據(jù)越充分?，F(xiàn)在在 下 ， 近似服從標(biāo)準(zhǔn)正態(tài)分布。所以p值幾乎是零，因而必須拒絕 是MA(0)的假設(shè)。 取q=1時， 所以不能拒絕 是MA(1)的假設(shè)。

9、,.,譜密度平方可積的充要條件,對于實際工作者來講譜密度平方可積的條件通常很難驗證。于是希望能把定理2.2中譜密度平方可積的條件改加在自協(xié)方差函數(shù) 的收斂速度上。 定理2.3 對于一平穩(wěn)序列 它的自協(xié)方差函數(shù)平方可積的充分必要條件是它的譜密度平方可積。,.,這個結(jié)論主要是利用實變函數(shù)論中Fourier級數(shù)的理論。只有證明 時用了周期圖(如P.67定理3.1的證明，那里 絕對可和)。證明略。 推論2.4 設(shè) 是獨立同分布的白噪聲 滿足 如果線性平穩(wěn)序列(2.8)的自協(xié)方差函數(shù)平方可和： 則定理2.2中的結(jié)論成立。,.,快速收斂條件下的中心極限定理,定理2.2 要求白噪聲的方差有4階矩。下面關(guān)于線

10、性平穩(wěn)序列的樣本自相關(guān)系數(shù)的中心極限定理不要求噪聲項的4階矩有限。 定理2.5 設(shè) 是獨立同分布的 線性平穩(wěn)序列 由(2.8)定義。如果自協(xié)方差函數(shù) 平方可和，并且對某個常數(shù) (2.13),.,則對任何正數(shù)h.當(dāng) 時， 依分布收斂到 ARMA序列的 滿足(2.13).ARMA序列的白噪聲列是獨立同分布序列時定理2.5結(jié)論成立。,.,獨立同分布列的中心極限定理,推論2.6 如果 是獨立同分布的白噪聲， 是樣本自相關(guān)系數(shù)，則對任何正整數(shù)h: 1: 依分布收斂到多元標(biāo)準(zhǔn)正態(tài)分布 這里 是 的單位矩陣。,.,2：如果 則 依分布收斂到,.,推論2.6的證明,對白噪聲， 定理2.5的條件滿足。第二條滿足

11、推論2.4的條件。,.,AR(2)模型實例,首先用圖形表示N不同時 的誤差。 然后重復(fù)M=1000次計算1000個 的標(biāo)準(zhǔn)差(稱為標(biāo)準(zhǔn)誤差)。發(fā)現(xiàn)N增大時標(biāo)準(zhǔn)誤差減小。 誤差隨N減小的速度為 。 根離單位圓近的模型其估計標(biāo)準(zhǔn)誤差大。,.,.,.,.,.,.,.,4.3 白噪聲檢驗,白噪聲的 檢驗 樣本自相關(guān)置信區(qū)間檢驗法,.,白噪聲的 檢驗,若 是獨立同分布的白噪聲，根據(jù)推論2.6，N足夠大時 服從iid標(biāo)準(zhǔn)正態(tài)分布。于是 近似服從 分布。,.,AR(2)模擬數(shù)據(jù)的檢驗,對于AR(2)模型取不同根離單位圓距離實驗。根離單位圓越近與白噪聲差別越大。 對AR(1)模型用不同的b模擬。B接近于1時與白噪聲差別明顯。 關(guān)于 中項數(shù)m的選?。簃=5比m=20有效。注意以ARMA模型為例，當(dāng)k較大時 已經(jīng)很小，所以 貢獻不大，取太大的m容易使檢驗不敏感。,.,白噪聲的 檢驗法： 是獨立白噪聲； 是相關(guān)序列。 下，拒絕域為 其中,.,.