時(shí)間序列分析-第四章 均值和自協(xié)方差函數(shù)的估計(jì)

1、第四章均值和自協(xié)方差函數(shù)的估計(jì)均值和自協(xié)方差函數(shù)的估計(jì)本章結(jié)構(gòu)n均值的估計(jì)均值的估計(jì)n自協(xié)方差函數(shù)的估計(jì)自協(xié)方差函數(shù)的估計(jì)n白噪聲檢驗(yàn)白噪聲檢驗(yàn)4.1 均值的估計(jì)n相合性相合性n中心極限定理中心極限定理n收斂速度收斂速度n 的模擬計(jì)算的模擬計(jì)算X均值、自協(xié)方差函數(shù)的作用nAR,MA,ARMA模型的參數(shù)可以由自協(xié)方差函數(shù)唯一確定。n有了樣本之后，可以先估計(jì)均值和自協(xié)方差函數(shù)。n然后由均值和自協(xié)方差函數(shù)解出模型參數(shù)。n均值和自協(xié)方差可以用矩估計(jì)法求。n還要考慮相合性，漸進(jìn)分布，收斂速度等問(wèn)題。均值估計(jì)公式n設(shè) 是平穩(wěn)列 的觀測(cè)。n 的點(diǎn)估計(jì)為n把觀測(cè)樣本看成隨機(jī)樣本時(shí)記作大寫(xiě)的12,Nx xxtX

2、tEX11NNkkxxN12,NXXX相合性n設(shè)統(tǒng)計(jì)量 是 的估計(jì)，在統(tǒng)計(jì)學(xué)中有如下的定義n1 如果 ，則稱(chēng) 是 的無(wú)偏估計(jì)。n2 如果當(dāng) 則稱(chēng) 是 的漸 進(jìn)無(wú)偏估計(jì)。n3 如果 依概率收斂到 ，則稱(chēng) 是 的相合估計(jì)。n4如果 收斂到 ，則稱(chēng) 是 的強(qiáng)相合估計(jì)。NNENE,.NNE NNN. .Na sNn一般情況下，無(wú)偏估計(jì)比有偏估計(jì)來(lái)得好，對(duì)于由(1.1)定義的 。有所以 是均值 的無(wú)偏估計(jì)。_NX1111.NNNkkkE XE XNNNX均值估計(jì)的相合性n好的估計(jì)量起碼應(yīng)是相合的。否則，估計(jì)量不收斂到要估計(jì)的參數(shù)，它無(wú)助于實(shí)際問(wèn)題的解決。n對(duì)于平穩(wěn)序列 ，如果它的自協(xié)方差函數(shù) 收斂到零，

3、則：tXkn利用切比雪夫不等式n得到 依概率收斂到 。于是 是 的相合估計(jì)。22()Pr(|)0.(0)NNE XXNXNX均值估計(jì)的性質(zhì)n定理1.1 設(shè)平穩(wěn)序列 有均值 和自協(xié)方差函數(shù) 。則 1 是 的無(wú)偏估計(jì)。 2 如果 則 是 的相合估計(jì)。 3 如果 還是嚴(yán)平穩(wěn)遍歷序列，則 是 的強(qiáng)相合估計(jì)。 tXkNX0,kNXtXNXn第三條結(jié)論利用1.5的遍歷定理5.1可得。 一般地，任何強(qiáng)相合估計(jì)一定是相合估計(jì)。 線性平穩(wěn)列的均值估計(jì)是相合估計(jì)。 ARMA模型的均值估計(jì)是相合估計(jì)。獨(dú)立同分布樣本的中心極限定理n若 。則n可以據(jù)此計(jì)算 的 置信區(qū)間。 (1.3)其中的1.96也經(jīng)常用2近似代替。2

4、12,( ,)NXXX idd 2()(0,)NNXdN 95%1.96/,1.96/.NNXN XN平穩(wěn)列的均值估計(jì)的中心極限定理n定理1.2 設(shè) 是獨(dú)立同分布的 ，線性平穩(wěn)序列 由 (1.5)定義。其中 平方可和。如果 的譜密度 (1.6) 在 連續(xù)，并且 則當(dāng) 時(shí)， t2(0,)WNtX,tktkkXtZ ktX2( )|,2ktkkftZ 0(0)0.fN ()(0,2(0)dNN XNf 推論n當(dāng) 絕對(duì)可和時(shí)， 連續(xù)。n推論1.3 如果 和 成立，則當(dāng) 時(shí) 并且 (1.7)k( )f|kk 0kkN ()(0,2(0)dNN XNf 012(0)2.jjf收斂速度n相合的估計(jì)量漸進(jìn)性

5、質(zhì)除了是否服從中心極限定理外，還包括這個(gè)估計(jì)量的收斂速度。n收斂速度的描述方法之一是所謂的重對(duì)數(shù)律。n重對(duì)數(shù)律成立時(shí)，得到的收斂速度的階數(shù)一般是n除了個(gè)別情況，這個(gè)階數(shù)一般不能再被改進(jìn)。2lnln().NoN收斂速度(2)n定理1.4 設(shè) 是獨(dú)立同分布的 。線性平穩(wěn)序列 由(1.5)定義。譜密度 。當(dāng)以下的條件之一成立時(shí)： 1 當(dāng) 以負(fù)指數(shù)階收斂于0. 2 譜密度 在 連續(xù)。并且 對(duì)某個(gè) 成立。 t2(0,)WNtX(0)0f| |,kk ( )f0|rtE 2r n則有重對(duì)數(shù)律 (1.8) (1.9)易見(jiàn)重對(duì)數(shù)律滿足時(shí) 不收斂。()2(0),. .2 ln lnlim supNNNXfa s

6、N ()2(0), . .2ln lnliminfNNNXfa sN lnln()(1)0(),() / (1)2lnlnNnNNXoXoNNAR(2)的均值計(jì)算n令 考慮AR(2)模型為模擬方便設(shè) 。( )(1)(1)iiA zezez()ttAXB2122 costtttXXX2 (0,)tiidN1111,NNNNttttXXNNAR(2)的均值計(jì)算(2)估計(jì)收斂性的模擬n為了觀察 時(shí) 的收斂可以模擬L個(gè)值然后觀察 的變化。n為了研究固定N情況下 的精度以至于抽樣分布?？梢赃M(jìn)行M次獨(dú)立的隨機(jī)模擬，得到M個(gè) 的觀察值。這種方法對(duì)于難以得到估計(jì)量的理論分布的情況是很有用的。N NX0,0,1

7、,NXNn nL NXNX4.2 自協(xié)方差函數(shù)的估計(jì)n自協(xié)方差估計(jì)公式及正定性n 的相合性n 的漸進(jìn)分布n模擬計(jì)算kk自協(xié)方差函數(shù)估計(jì)公式n (2.2) 樣本自相關(guān)系數(shù)(ACF)估計(jì)為 (2.3)11()(),01,NkNNkjjkjxxxxkNNkk0, |1kkkN自協(xié)方差函數(shù)估計(jì)公式n估計(jì) 一般不使用除了 的估計(jì)形式： (2.4)因?yàn)椋?我們不對(duì)大的k值計(jì)算 更重要的是只有除以N的估計(jì)式才是正定的。kNk11()()NkNNjjkjxxxxNkk樣本自協(xié)方差的正定性n只要觀測(cè) 不全相同則 正定。n令 記 (2.5) 只要 不全是零則A滿秩。12,Nx xx,1,2,()Nkjk jN.N

8、jjyxx121123110000000NNNNNyyyyyyyyAyyy1TNAANiy樣本自協(xié)方差的正定性n事實(shí)上，設(shè) 則A矩陣左面會(huì)出現(xiàn)一個(gè)以 值開(kāi)始非零的斜面。顯然是滿秩的。n故 不全相同時(shí) 正定。n 作為 的主子式也是正定的。110,0.kkyyyky1,NxxN(1)nnNN 的相合性n定理2.1 設(shè)平穩(wěn)序列的樣本自協(xié)方差函數(shù) 由式(2.2)或(2.4)定義。 1 如果當(dāng) 時(shí)， 則對(duì)每個(gè)確定的k， 是 的漸進(jìn)無(wú)偏估計(jì)：kkk 0.kkk.limkkNEn2如果 是嚴(yán)平穩(wěn)遍歷序列。則對(duì)每個(gè)確定的k, 和 分別是 和 的強(qiáng)相合估計(jì)：tXkkkk, . ., . .limlimkkkkN

9、Na sa s定理2.1的證明n下面只對(duì)由(2.2)定義的樣本自協(xié)方差函數(shù)證明定理2.1。對(duì)由(2.4)定義的 的證明是一樣的。 設(shè) 則 是零均值的平穩(wěn)序列。利用 (2.7)k1.EX ttYX112111()()1().NN kNNNNkjjj kjjN kNNj j kj kjjYYXYYYYNNYYY YYYN 定理2.1的證明定理2.1的證明n只考慮線性序列。 設(shè) 是4階矩有限的獨(dú)立同分布的 實(shí)數(shù)列 平方可和。線性平穩(wěn)序列 (2.8) t22(0,)(0).WNk,.tjtjjXtZ n 有自協(xié)方差函數(shù) (2.9) 有譜密度 (2.10)tX2kjj kj tX22( )| .2ijj

10、jfen設(shè)自協(xié)方差函數(shù)列 平方可和。n設(shè) 為獨(dú)立同分布的 。n令n定義正態(tài)時(shí)間序列 (2.11) (2.12)ktW(0,1)N444 1/210421,()0EM001()().0jjtjtjttMWW j1(2),1jtjtjtjttRWj 樣本自協(xié)方差和自相關(guān)的中心極限定理n定理2.2 設(shè) 是獨(dú)立同分布的 。滿足 。如果線性平穩(wěn)序列(2.8)的譜密度(2.10)平方可積： t2(0,)WN441E 2( )fd n則對(duì)任何正整數(shù)h，當(dāng) 時(shí)，有以下結(jié)果 1 依分布收斂到 2 依分布收斂到 N 0101(,)hhN01(,).h 1212(,)hhN 12(,).hR RR自相關(guān)檢驗(yàn)的例子n

11、例2.1(接第三章例1.1)對(duì)MA(q)序列 。利用定理2.2得到，只要當(dāng) 依分布收斂到 的分布。 注意 時(shí)， 中的 應(yīng)屬于 ，所以令 有 tX:mmqNmR1(2),1mt mt mtmttRW mq 1mq0,0,mt mt mtm, q qltm qmll mlqRWn 為期望為0，方差為 的正態(tài)分布。n在假設(shè) 是MA(q)下，對(duì)mq有mR221122q0:tHX221|Pr(1.96)0.05122mqN自相關(guān)檢驗(yàn)的例子n現(xiàn)在用 表示第三章例1.1中差分后的化學(xué)濃度數(shù)據(jù)。在 是MA(q)下。用 代替真值 后分別對(duì) 計(jì)算出tX0:tHXkk0,1q 22212(),1,6.1222mqq

12、qNTmm 在q=0的假設(shè)下， 所以應(yīng)當(dāng)否定q=0.12345605.7780.2810.9510.1211.0710.11610.2430.8210.1040.9250.1001.631mqq(1)5.7781.96.aT自相關(guān)檢驗(yàn)的例子n實(shí)際工作中人們還計(jì)算概率 并且把p稱(chēng)為檢驗(yàn)的p值。明顯p值越小，數(shù)據(jù)提供的否定原假設(shè)的依據(jù)越充分?，F(xiàn)在在 下 ， 近似服從標(biāo)準(zhǔn)正態(tài)分布。所以p值幾乎是零，因而必須拒絕 是MA(0)的假設(shè)。 取q=1時(shí)， 所以不能拒絕 是MA(1)的假設(shè)。 1(| | 5.778|).pPN 0H1NtX1|( )| 1.96(16).T mmtX譜密度平方可積的充要條件n

13、對(duì)于實(shí)際工作者來(lái)講譜密度平方可積的條件通常很難驗(yàn)證。于是希望能把定理2.2中譜密度平方可積的條件改加在自協(xié)方差函數(shù) 的收斂速度上。n定理2.3 對(duì)于一平穩(wěn)序列 它的自協(xié)方差函數(shù)平方可積的充分必要條件是它的譜密度平方可積。 k.tXn這個(gè)結(jié)論主要是利用實(shí)變函數(shù)論中Fourier級(jí)數(shù)的理論。只有證明 時(shí)用了周期圖(如P.67定理3.1的證明，那里 絕對(duì)可和)。證明略。n推論2.4 設(shè) 是獨(dú)立同分布的白噪聲 滿足 如果線性平穩(wěn)序列(2.8)的自協(xié)方差函數(shù)平方可和： 則定理2.2中的結(jié)論成立。( )0fk t2(0,).WN44.tE 2.kk 快速收斂條件下的中心極限定理n定理2.2 要求白噪聲的方

14、差有4階矩。下面關(guān)于線性平穩(wěn)序列的樣本自相關(guān)系數(shù)的中心極限定理不要求噪聲項(xiàng)的4階矩有限。n定理2.5 設(shè) 是獨(dú)立同分布的 線性平穩(wěn)序列 由(2.8)定義。如果自協(xié)方差函數(shù) 平方可和，并且對(duì)某個(gè)常數(shù) (2.13) k t2(0,),WN tXk0.5,2| |0,.kkmmm n則對(duì)任何正數(shù)h.當(dāng) 時(shí)， 依分布收斂到 ARMA序列的 滿足(2.13).ARMA序列的白噪聲列是獨(dú)立同分布序列時(shí)定理2.5結(jié)論成立。N 1212(,)hhN 12(,).hR RRj獨(dú)立同分布列的中心極限定理n推論2.6 如果 是獨(dú)立同分布的白噪聲， 是樣本自相關(guān)系數(shù)，則對(duì)任何正整數(shù)h: 1: 依分布收斂到多元標(biāo)準(zhǔn)正態(tài)

15、分布 這里 是 的單位矩陣。tX121()()()NkNNttktkNNttxxxxxx12(,)hN(0,).hNIhIh hn2：如果 則 依分布收斂到44.tE 201(,)hN2001(,).hM W WW推論2.6的證明n對(duì)白噪聲， 定理2.5的條件滿足。第二條滿足推論2.4的條件。20120001200000000001(2),1()()()()jtjtjtjtjtjjtjtjtjjtjtttRWWjMWWWWMWWMWM W AR(2)模型實(shí)例n首先用圖形表示N不同時(shí) 的誤差。n然后重復(fù)M=1000次計(jì)算1000個(gè) 的標(biāo)準(zhǔn)差(稱(chēng)為標(biāo)準(zhǔn)誤差)。發(fā)現(xiàn)N增大時(shí)標(biāo)準(zhǔn)誤差減小。n誤差隨N減

16、小的速度為 。n根離單位圓近的模型其估計(jì)標(biāo)準(zhǔn)誤差大。kk12N4.3 白噪聲檢驗(yàn)n白噪聲的白噪聲的 檢驗(yàn)檢驗(yàn)n樣本自相關(guān)置信區(qū)間樣本自相關(guān)置信區(qū)間檢驗(yàn)法檢驗(yàn)法2白噪聲的 檢驗(yàn)n若 是獨(dú)立同分布的白噪聲，根據(jù)推論2.6，N足夠大時(shí) 服從iid標(biāo)準(zhǔn)正態(tài)分布。于是近似服從 分布。2tX12(,)mN222212( )()mmN2( )mAR(2)模擬數(shù)據(jù)的檢驗(yàn)n對(duì)于AR(2)模型取不同根離單位圓距離實(shí)驗(yàn)。根離單位圓越近與白噪聲差別越大。n對(duì)AR(1)模型用不同的b模擬。B接近于1時(shí)與白噪聲差別明顯。n關(guān)于 中項(xiàng)數(shù)m的選?。簃=5比m=20有效。注意以ARMA模型為例，當(dāng)k較大時(shí) 已經(jīng)很小，所以 貢獻(xiàn)不大，取太大的m容易使檢驗(yàn)不敏感。2( )mk2kn白噪聲的 檢驗(yàn)法： 是獨(dú)立白噪聲； 是相關(guān)序列。 下，拒絕域?yàn)?其中 20:tHX1:tHX0.05,5m22( )( ).mm2222221250.050.05(5)()