ARMA模型地全參數(shù)估計(jì)主要內(nèi)容

1、第六章ARMA模型的參數(shù)估計(jì)一主要內(nèi)容§.1 AR(p)模型的參數(shù)估計(jì)問題：已知p的AR(p):pXtajXt j t, t 0, t WN(0, 2) .(1.1)j iT2由Xi,X2丄，Xn去估計(jì)a 佝42丄,ap)和 1. AR(p)模型的 Yule-Walker 估計(jì)自回歸系數(shù)ap由自協(xié)方差函數(shù) k惟確疋10iLp 1a1210 Lp 2a2MMM OMMpp ip 2L0ap白噪聲的方差2由20TYap決定現(xiàn)獲Xi,X2丄,Xn,N p,則作(1) yt xt xN,t 1 N ；1 N k?k yjyj k, k 0,1,L , p；N j 1只要X1,X2, L ,X

2、n不全同，則兔正定，得惟一 a?p?擔(dān)，?22?Ta?p?P?p1?p.實(shí)用中，Levinson遞推公式(無需求逆,快):?0<?,1?2 a?k1,k?/? ?；i(i 竄Q?k 1?ak,1?k 1<?k,2.?a«k?0?哉,1?!<?k,2 .?k<?k,kQj ? 1,k 1 «?k,k 1 j ,1 j k,k2 1, j(£,召2,L，召p)(e?p,1,£?p.2,L ,£?p,p) , ?以上Yule-Walker 估計(jì)的最大優(yōu)點(diǎn)是：pA(z) 1?jZj 0, when|z| 1j i即最小相位(只要

3、r i正定).定理 1.1(參見18)若 tWN(O,2）獨(dú)立同分布E t4,則當(dāng)N時(shí),有(1)?2,a?jaj, a.s.,1jp;VN(s? a1,L ,e?p ap)T依分布2 1n(0,rp )(3) -Nsupiaaj | 0(1 nln N ), a.s.,i j p. N sup | ?221 0( . lnln N ), a.s.i j p由上得：、N(aj aj)T依分布N(0, j,j).(其中j,j是2rp1中相應(yīng)元素) 置信水平0.95的aj漸近區(qū)間：罔 1£6j j,j/N, a 1.9町 j,j/N.2. AR(p)模型的最小二乘估計(jì)設(shè)di,d2,L ,d

4、p是a“a2丄，ap的估計(jì),稱使殘差? yj (d"j 1 d2j 2 L dpyj p)N的S(di,d2丄,dp)?最小的(?為最小.j p 1yp iypypiLyidi記Yyp2 ,Xyp iypLy2 ,dd2MMMOMMyNyN 1yN 2LyN pdp當(dāng)XTX正定時(shí),有惟一的（a?逐丄，ap）T（xtx）1xty?2s(?,a?丄,亂）2|Y Xa|N p理論表明：d最小二乘估計(jì)? W估計(jì)° P即兩種估計(jì)差別不大對(duì)二乘估計(jì)，也有大樣本性質(zhì)42定理1.2若E t , t WN(O,)獨(dú)立同分布,況,召2丄，ap是最小二乘估計(jì)，則當(dāng)N 時(shí)，有VN(s? ai,L

5、,<?p ap)T 依分布 N(0, 2 時(shí))3. AR(p)模型的最大似然法p設(shè)模型的t Xt3jXt j N(0, 2),則(ti，L)1N P1N2，N) 丁 eXP 2 2t pi t從而得關(guān)于Xi,X2,L ,Xn的似然函數(shù)為L(a, 2)1N P1NP22eXp2XtajXt j2t p 1j 1通過解似然方程(InL(a, 2)0(InL(a, 2) 0a'2'2結(jié)果a,同最小二乘法.例1.1設(shè)白噪聲tN(0,1),模型為Xt 1.16xt i 0.37xt 2 0.11xt 3 0.18xt 4 t分別用 Yule-Walkey法和最小二乘法估計(jì)參數(shù)2a,

6、.結(jié)果見程序ese6_1_1.m4. AR(p)模型的定階問題k ?k?若偏相關(guān)系數(shù)ak,k0, ak ,k0,則認(rèn)為pF?.?1?01L? 1ak,1?2? ?-10L?k 2ak,2MM MOMM? 1 ? 2L?0ak,kak,1ak,2 Lak,k a1ap0 .0以上結(jié)果由以下定理保證定理1.3若AR(p)中tWN(O,2)是獨(dú)立同分布則對(duì)任何kp,有Nim 和<j P j P.為了檢驗(yàn)Ho:ak,k0,可借助ak,k ak,k極限分布2定理1.4若AR(p)中tWN(O,)是獨(dú)立同分布 的，E t4,則對(duì)確定的k p,有N (eak.i ak,i,L ,2* ak,k)T依分

7、布 N(0, 2rk1)推論1.5在定理1.4的條件下，對(duì)k p ,有JN&,k依分布N(0,1).(證明略見196頁)故召仆有95%的概率落在(1.96 N,1.96.帀).因此取p的估計(jì)1 96? supj:|a?,j| 喬,1 j k 10可能較高實(shí)際中，常用AIC準(zhǔn)則：(1) 分別取p k 0,1L ,Po(上界或較大數(shù))；(2) 求 AR(k)時(shí)的?2； 計(jì)算 AIC(k) In ? 2k,k 0,1L ,PoN(4) p mink|AIC( k)稱為 AIC 定階.k依概率注1: 一般? p(真),并無？p,即不相合；注2:通常，略高的階數(shù)比低的階數(shù)要好有利歷史數(shù)據(jù)利用，等

8、為克服不相合，改用BIC(k)函數(shù)定階.2 kin NBIC(k) in?：,k 0,1L ,P)(上界)N注3:若t WN(0,2)是獨(dú)立同分布的，則BIC(k)是強(qiáng)相合的；注4:當(dāng)N不大，BIC定階偏低 會(huì)失真，宜取AIC.5. AR(p)模型的擬合檢驗(yàn)設(shè)由xX2,L ,Xn已得?, (i?1,i?,L ,?p) , ?2,對(duì)殘差:? yta j, t ? 1 N ,j i用訊3白噪聲檢驗(yàn)：若符，貝U認(rèn)可，并用于預(yù)測(cè)，否則重估、改用 MA(q), ARMA(p,q).6. AR(p)序列的譜密度的估計(jì)2?,(玄逐丄，名)，？2代入f ( )八p 八2 |A ) |2. 2注5:若t是獨(dú)立同

9、分布的 WN(O, ),?是由AIC或BIC定階的,則f?() 一致收斂到f().例1.2 人取附錄B7中的300個(gè)數(shù)據(jù),對(duì)AR模型的階數(shù)分別為p 110 R上界，解Y-W方程,4截尾的.所以用B7數(shù)據(jù)擬合出AR模型的階數(shù)應(yīng)為4,即Xt 1.149Xti 0.315Xt2 0.130Xt 3 0.196Xt 4 t通常AIC定階略高，下圖即為用以上模型產(chǎn)生的300個(gè)數(shù)據(jù)，重復(fù)1000次中定階的結(jié)果，定階有別但充分多數(shù)據(jù)和大數(shù)重復(fù)后，定階的情況很接近例1.3對(duì)用B7數(shù)據(jù)擬合出的模型，進(jìn)行擬合檢驗(yàn)(1) 中心化：ytxt Xn ；(2) 計(jì)算殘差：?4 yt 1.149yt i 0.315% 2

10、0.130% 3(t(3) 計(jì)算？：1 t 296的自相關(guān)系數(shù) ?k, k 1M ；0.196% 4 ；5296)(4) 計(jì)算卡方值：(假設(shè)是白噪聲的統(tǒng)計(jì)量?2(m) 296( ?2?2 L?：);(5)計(jì)算臨界值(m) chi2inv(0.95, m), m 1 20 判斷：所有？2(m)(m), m 1 20 ,則不能拒絕殘差是獨(dú)立的白噪聲的假設(shè)，即認(rèn)可§.2 MA(q)模型的參數(shù)估計(jì)MA模型:Xtt b t i,tY, |b| 1.于是得：b,即1b211 b2可解得：b1 J24 121,(估計(jì)值：t?1 12?4才as文檔2不難得:0i(b )2, ii 0,，|b| 1

11、時(shí)).2b,（ t獨(dú)立白噪聲）.1. 一般可逆MA(q)模型的矩估計(jì)及其計(jì)算q2若先知 Xt t bjtj,t C, t WN(O,), j i則有 k：0 k q及q 1個(gè)非線性方程k2(b0bk bbk1 Lbqkbq)| (bo 1)反之，若先知 k,由上方程，可解得 上q.線性迭代法求解法：(1)用 X1,X2 丄，Xn 求？；初值：任取 2(0),b(0)4(0)4(0)丄，bq(O)T(3)迭代:(j)bk(j)bq(j)?1 b2(j 1) L b；(j 1)' 亡b(j i)bUj 1) l(j)bq k(j 1)bq(j 1),?A(1 k q 1)2(j)qq k(

12、4) 停止：|?k2(j) bt(j)btk(j)|(某).k 0to(5) 檢驗(yàn)可逆條件，不滿足，重取初值，重算. 也可用§3.1中的方法(MA(q)的k是q截尾的)(1)用 Xi,X2 丄，Xn 求？ ；作 0；0kkqq，%(%j)i，jik分別計(jì)算? lim ?k %1 ?：和k2 CT ?C, b -2（Yy a ?C）其中:1 0 L 0 1 L L L L 0 0 L 0 0 L0 00 00 0 ,C0 1冷nn %r L LL L紅 %L%q ?kb (bi,b丄，bq)T.合理性由以下定理給出.定理2.1若MA(q)中t是獨(dú)立同分布的 WN(O, 2), 則當(dāng)N充

13、分大后，1?丄,bq幾乎必然滿足可逆條件q實(shí)用可逆充分條件是：？eik 0,.2. MA(q)模型的逆相關(guān)函數(shù)法一簡介想法：視MA模型 AR模型,故先求AR模型參數(shù),而后求MA模型參數(shù),即qXt B(z) tXt t bj t jj ip(1ajZj)Xtt (1ajZj)Xt t :AR(pj ij 1)方法步驟：用Xin ,求 ?，用AIC等法定出AR(p)的階pN ； 取 pPn ，用 Y-W 方程確定%,1, ?p,2，L，ap,p，?P ;用引理2.2,計(jì)算(k),即(ap,o 1)2)?y7 7U(M?y ?y7 7(0仆 M?y?y2)q/.V?7? ? ? 仆門Mg ?y?y7

14、7o求得(1?倒丄,b?q)和?2.3. MA(q)模型的新息估計(jì)方法一簡介設(shè) X 0, )?ki L(XkjXk 丄，XJ；則樣本新息:?1 Xk 1 L(Xki|Xk,L ,Xi);預(yù)測(cè)均方差：k E?；q前證可表：X?m 1m,j ?n 1 j, m q , m,j遞推得,j 1當(dāng)m較大時(shí)，得：新息m的估計(jì)?nXmXm ,由此對(duì)較大的t，得近似MA(q)模型X?ttqbj ? jXtj 1qXtbj ? jj 1從而有Xtqbj ? j與刃m 1q? 比；m, j m jj 1j 1合理的估計(jì)：bjm,j,j 1q, ?2m；具體的新息估計(jì)步驟：(1) 用 Xi,x2丄，Xn ,取 m

15、o(N1/3)，計(jì)?0 2;1(2) 用遞推公式 約定 (g)0,j 0=0=0k 1?n,nk? kn k?k,k j? ,n j ?j/ ?k，0kn1j 0/?n?0nj5 .?.0 n,n j j ,1 n m取b?m, j，j i q,? ?m 方法的理論依據(jù)為定理 2.3 (18)略.4. MA（q）模型的定階方法一（q后截尾特點(diǎn)）（1） q 使?k?k/ ?o開始明顯變小的kAIC定階1）假設(shè)已獲得q的上界Qo；2）逐個(gè)計(jì)算 MA（m）（m 0,1,2丄,Q。）的?m；3）計(jì)算 AIC（m） In（ ?：） 2m/ N, m 0,1,2丄,Qo4）比出最小值的最小 m作為q的估計(jì)

16、.5. MA(q)模型的擬合檢驗(yàn)設(shè)由xiM丄 x已得 q,(bi,b2,L ,t?), ?2令？ ？2(? L? o, % 人 Xnq和 ？ bj?t in,j i對(duì) L O(N1/3),若?:t L,L 1L ,N為白噪聲,則認(rèn)可模型， 否則重新估計(jì)擬合模型或改用AR(p),ARMA(p,q)例2.1設(shè)Xt是§3.1例1.1中197個(gè)化學(xué)濃度的數(shù)據(jù)，對(duì)數(shù)據(jù)ytXt Xt 1建立MA(1)模型為Ytt 0.5276 t 1, t 0擬合檢驗(yàn)步驟：取 L )19716;計(jì)算殘差：令？0,?yt 0.5276? 1, t 2197(3) 計(jì)算 ? : t L197的自相關(guān)系數(shù)；(4) 計(jì)算H。： ? : t L 197是白噪聲的統(tǒng)計(jì)量?2(m) 192( ?12 ?2 L?m)；(5)計(jì)算臨界值(m) chi2inv(0.95, m), m