3極值分布的統(tǒng)計(jì)推斷

3極值分布的統(tǒng)計(jì)推斷統(tǒng)計(jì)推斷就是依據(jù)樣本推斷總體分布的未知部分。本章只討論在已知總體分布為極值分布或?qū)儆跇O值分布最大值吸引場情況下，如何估計(jì)其中的未知參數(shù)或其它數(shù)值特征，如高分位數(shù)、尾部特征，如何進(jìn)行模型的檢驗(yàn)等問題。依照統(tǒng)計(jì)學(xué)中慣用的記號(hào)，以X1……Xn表示一個(gè)隨機(jī)樣本，\,……，xn表示相應(yīng)的觀測值。前者強(qiáng)調(diào)所處理的是獨(dú)立同分布的隨機(jī)變量，后者則強(qiáng)調(diào)它們是一組實(shí)數(shù)值。3.1數(shù)據(jù)的經(jīng)驗(yàn)分析給定數(shù)據(jù)集合x1,……，xn,統(tǒng)計(jì)分析的目的之一是尋找一個(gè)較好的模型擬合這些數(shù)據(jù)。為尋求合適的模型，首先必須了解這些數(shù)據(jù)的統(tǒng)計(jì)特征。我們從散點(diǎn)圖開始，因?yàn)閳D形醒目直觀，尤其對(duì)于大型數(shù)據(jù)集合，更是如此。數(shù)據(jù)的散點(diǎn)圖由點(diǎn)(1，xi)，i=1,2,……組成，從圖上可粗略估計(jì)數(shù)據(jù)是否平穩(wěn)(見4.1節(jié))。如果平穩(wěn)，再進(jìn)一步確認(rèn)數(shù)據(jù)是獨(dú)立同分布還是存在相關(guān)性。大多數(shù)情況下，可以假定數(shù)據(jù)是獨(dú)立同分布的。樣本(X1,……，Xn)的數(shù)字特征能從不同角度綜合反映數(shù)據(jù)的概況，最常用的就是樣本的q階原點(diǎn)矩(momentoforderqabouttheorigin)，它是觀測值q次冪的算術(shù)平均A二1ZXq,qnii=1和q階中心矩儂日迎momentoforderq),它是觀測值與它們算術(shù)平均之差的q次冪的算術(shù)平均B=1Z(X—X),qnii=1其中表示樣本均值，即一階原點(diǎn)矩。一階中心矩等于零，二階中心矩即樣本方差，記為，S稱為樣本標(biāo)準(zhǔn)差。通過樣本矩估計(jì)總體分布未知參數(shù)的方法，既是通常所說的參數(shù)矩估計(jì)。樣本偏度系數(shù)是3階中心矩與標(biāo)準(zhǔn)差3次冪的比，即

1k（X—X）b_1k（X—X）b_n，=ii ，J1k（x-X）『ni=1iEn （X-X 32_ i_1 i_若偏度系數(shù)小于0,則該分布是一種左偏的分布，又稱為負(fù)偏。若偏度系數(shù)大于0,則該分布是一種右偏的分布，又稱為正偏。樣本偏度系數(shù)是4階中心矩與標(biāo)準(zhǔn)差4次冪的比，即1En（X-X）b=n i=i i i=1 iJ1^n=i（X~X）1i=1 i也是常用的數(shù)字特征，它是分布形狀的另一種度量。2.5節(jié)已提到正態(tài)分布的峰度為3.若b>3，表示分布有較厚的尾部，說明樣本含有較多遠(yuǎn)離均值的數(shù)據(jù)，即通常所說的“尖峰后尾”，金融數(shù)據(jù)大部分是以峰度判定它的后尾性的。若對(duì)總體分布沒有多少認(rèn)識(shí)，樣本經(jīng)驗(yàn)分布不失為一個(gè)較好的選擇。假定xnn<xn1n<……<x1n是次序統(tǒng)計(jì)量，則樣本經(jīng)驗(yàn)分布函數(shù)為TOC\o"1-5"\h\z0, xWx;1 n，nF(x)=<—x <xWx ,i=1,2, , n-1;n n nEn n-.n1,x<x.I 1,n有了經(jīng)驗(yàn)分布函數(shù)，不難得到樣本分位數(shù)函數(shù)。q(p)=inf{x\F(x啟p}=F-i(p),0<p<1,即經(jīng)驗(yàn)p分位數(shù)，特別，對(duì)連續(xù)的分布函數(shù)F,我們有F-i(p)=*卜1-k/n<pW1-(k-1)/n,其中k=1,……，n即X{ }是經(jīng)驗(yàn)p分位數(shù)。例如95%經(jīng)驗(yàn)分位數(shù)就是x「［，其中［y］表示y的整數(shù)分布。如果

l_0.05nJ+1,n八 八選擇適當(dāng)?shù)姆植糉作為樣本X,……，X的總體分布，則F必須與經(jīng)驗(yàn)分布F1 n n在某種度量上盡可能一致，許多模型就是基于F和Fn的這種比較。3.3廣義極值分布的參數(shù)估計(jì)本節(jié)主要討論GEV分布三個(gè)參數(shù)的各種估計(jì)方法，包括最常用的極大似然估計(jì)、概率權(quán)矩估計(jì)和L矩估計(jì)。由于極大似然估計(jì)的優(yōu)良性質(zhì)，R中的極值統(tǒng)計(jì)包括如evir，evd和ismev提供的GEV分布參數(shù)估計(jì)的函數(shù)都是基于極大似然方法的。最后還探討了參數(shù)的bayes估計(jì)以及自助(bootstrap)方法，ebdbayes包主要處理參數(shù)的bayes估計(jì)，至于自助法，可以進(jìn)一步參閱其他書籍，R中boot包提供了更多關(guān)于自助法的函數(shù)。GEV模型的建立由定理2.2可知，GEV分布為區(qū)組最大值提供了一個(gè)理想的模型。為此首先按等長度對(duì)數(shù)據(jù)進(jìn)行分組，并以GEV分布作為區(qū)組最大值序列的模型。區(qū)組大小的選擇是關(guān)鍵問題，這需要權(quán)衡偏和方差：區(qū)組過小使得由定理2.1得到的極限模型與實(shí)際模型有較大差別，導(dǎo)致一個(gè)有偏估計(jì)；區(qū)組過大，只能得到少量的區(qū)組最大值，由此得到的統(tǒng)計(jì)量有較大方差。在實(shí)際應(yīng)用中，如果只是記錄了年最大值，自然形成最大值序列。如果記錄的是每日觀測值，一般按年度分組，此時(shí)定理2.1獨(dú)立同分布的條件不滿足，它們可能是相關(guān)的，但年最大值可以認(rèn)為是滿足定理2.1的條件。例如，日溫度隨季節(jié)而變化，這不滿足;具有相同分布的假定。如果將數(shù)據(jù)以3各月為一季分組，夏季的最高溫度將遠(yuǎn)大于冬季的最高溫度，這種沒有考慮到非齊次性的推斷會(huì)得到不準(zhǔn)確的結(jié)論。但如果是以年度分組，由于不同姐姐的日溫度各有不同的分布，GEV分布作為年最高溫度近似分布的理由似乎不是很充分，但各個(gè)區(qū)組最大值有共同分布的假定卻是可以將接受的。為簡單起見，記區(qū)組最大值序列為?……，xm，且假定是含有未知參數(shù)的GEV分布的獨(dú)立觀測值。極值模型參數(shù)估計(jì)方法，包括圖形法、矩法、L矩法以及基于似然估計(jì)的各種方法。每種方法均有其優(yōu)劣，但極大似然法是一個(gè)比較好的，且是對(duì)復(fù)雜模型具有易適應(yīng)性的方法。極大似然估計(jì)假定X1，……，Xm是服從GEV分布的獨(dú)立隨機(jī)變量，當(dāng)￡W0時(shí)，GEV分布的對(duì)數(shù)似然函數(shù)為

(u,o,1)=一mlogo-(1+1/1正log(u,o,1)=一mlogo-(1+1/1正log1+1(胃)這里要求1+1（匕_u）>0,i=1, , mo否則似然函數(shù)值為零，對(duì)應(yīng)的對(duì)數(shù)似然函數(shù)值為-8當(dāng)1=0時(shí)，對(duì)數(shù)似然函數(shù)為式（3.7）。將式（3.21）關(guān)于參數(shù)向量（也o,1）極大化，得到GEV分布的極大似然估計(jì).盡管不存在解析解，但對(duì)給定的數(shù)據(jù)，用數(shù)值算法可得到極大似然估計(jì)值，注意這里始終要求式（3.22）成立。當(dāng)1在0附近時(shí)，對(duì)數(shù)似然用式（3.7）而不是式（3.21）,以避免數(shù)值計(jì)算時(shí)可能遇上的麻煩。當(dāng)1>0.5時(shí)，極大似然估計(jì)量（。,0石）的漸近分布是多元正態(tài)分布『78］，均值向量為（氏o,1），協(xié)方差矩陣為觀測信息矩陣10（0）在極大似然估計(jì)值處的逆矩陣。盡管對(duì)極值分布，協(xié)方差矩陣I-1（0）有解析表示，但對(duì)一般分布，/（0）的E E元素未必有解析表示，因此用數(shù)值微分法來計(jì)算膽）的二階導(dǎo)數(shù)，并用標(biāo)準(zhǔn)的數(shù)zv八 八值方法計(jì)算逆矩陣，即用I-1（0）作為（Q,o,1）的協(xié)方差矩陣，可能會(huì)更容易些。E相應(yīng)的置信區(qū)間及其它推斷可推斷可由估計(jì)量的漸近正態(tài)性得到。有了參數(shù)的估計(jì)值后，就可以進(jìn)一步估計(jì)分位數(shù)。對(duì)于0Vp<1,由式（2.13）和式（2.14）知分位數(shù)2的極大似然估計(jì)為TOC\o"1-5"\h\zC 八-o從一^（1-y-1,當(dāng)1。0；X=11pp ..八從一ology,當(dāng)1=0；p其中y°=—logp.而且，由delta法可知Var（X）^VxWV,p p其中V是（口,o,1）的協(xié)方差矩陣，VXT為p

d.xd.xd.x前，懿，甚-(1,一己t(1—y-&),om-2(1—y-&d.xd.xd.x前，懿，甚p ppp在（口,o,W）處的值。我們最關(guān)心的是當(dāng)p很大，即高分位數(shù)時(shí)的情形。如果￡<0，可能需要估計(jì)分布支撐的上端點(diǎn)xn，及對(duì)應(yīng)于p=1時(shí)Xp的極大似然估計(jì)人人 人 人，XX]-pi-o/W且由式（3.25）,知Vxt是（1,-W-i,oW-i）在（口,0衛(wèi)）處的值。當(dāng)W、0時(shí)，上端1點(diǎn)xn的極大似然估計(jì)為8。當(dāng)有討厭參數(shù)（見3.4.3節(jié)）時(shí)，可以用輪廓似然函數(shù)構(gòu)造感興趣參數(shù)的置信區(qū)間，一般對(duì)形狀參數(shù)W是最感興趣的。為了得到W的輪廓似然函數(shù)，我們可以假定W=W0不變，求式（3.21）關(guān)于p和W的極大值，并對(duì)一定范圍內(nèi)的W0重復(fù)此步驟。這樣每給定一個(gè)W0，就可以得到一個(gè)似然函數(shù)的極大值，實(shí)際上就是W的人輪廓似然函數(shù)值。在對(duì)輪廓似然函數(shù)取極大值，對(duì)應(yīng)的W就是W的輪廓似然估計(jì)，最后由定理3.5可得到W的近似置信區(qū)間。輪廓似然方法也可以用于估計(jì)多參數(shù)函數(shù)的置信區(qū)間。例如，為得到分位數(shù)xp的置信區(qū)間，需要重新定義GEV模型的參數(shù)，使xp是其中一個(gè)參數(shù)，比如新的參數(shù)為x,o和x，有關(guān)系式p=x+0{-[-logp]-WIpW將式（3.26）打入式（3.21）就可得到GEV模型關(guān)于參數(shù)（xp,o,W）的對(duì)數(shù)似然函數(shù)。再按照上述方法求出參數(shù)x的輪廓似然估計(jì)x及輪廓似然置信區(qū)間。pp使用極大似然法估計(jì)GEV分布不滿足這些正則條件，因?yàn)镚EV分布的支撐是其參數(shù)的函數(shù)：W<0時(shí)，p-o/W是分布的上端點(diǎn)；當(dāng)W>0時(shí)，p-o/W是分布支撐的下端點(diǎn)。極大似然估計(jì)的漸近正態(tài)性不一定成立，但有以下結(jié)論[179：.當(dāng)白＞0.5時(shí)，極大似然估計(jì)是正則的，即通常的漸進(jìn)性質(zhì)成立;.當(dāng)-1＜自＜0.5時(shí)，可得到極大似然估計(jì)，但它不具有標(biāo)準(zhǔn)的漸進(jìn)性質(zhì)；.當(dāng)白＜-1時(shí)，得不到極大似然估計(jì)。在0.5時(shí)，GEV分布具有非常端點(diǎn)上尾，這種情形在極值的應(yīng)用中很少見。因此，上述問題并不妨礙極大似然估計(jì)在實(shí)際中的應(yīng)用。.3.3概率權(quán)估計(jì)在參數(shù)估計(jì)方法中，矩法是很有意義的一種。矩法的一般原則是讓所有研究的總體分布F=其期的各階矩與對(duì)應(yīng)的樣本矩相等。因?yàn)槎A及高階樣本矩的抽樣性質(zhì)不好，所以矩法的性質(zhì)一般并不好。因此引入一類新的矩估計(jì)，即概率權(quán)矩(probability-weightedmoments)。首先給出概率權(quán)矩的定義，稱=E(XFr(X;0)),reNr(0) 0為r階概率權(quán)矩，更一般定義為3(0)=E[X3Fr(X;0)(1-F(X;0)＞].s,r,t3(0)是3(0)在s=1,t=0是的特殊情況。我們只考慮X的分布是參數(shù)為r s,r,t0=⑴,o,m)的GEV分布H。當(dāng)白三1時(shí)，3r為無窮，故只考慮m＜1的情況。為了估計(jì)三個(gè)參數(shù)扇也o，至少需要GEV分布的0,1,2階概率權(quán)矩。顯然r=0時(shí)，3(0)=E(X)即數(shù)學(xué)期望。一般地由(3.27),當(dāng)己＜1且工中0時(shí)，有03(0)=E(XHr)=-L-\^-0(1-T(1-1)(r+1)1)],r=1,2,3,……，r r+1〔己 J其中T(t)=尸e-吁t-1d出＞0表示Gamma函數(shù)，特別當(dāng)r=0,1,2時(shí)，由上式可得03(0)=^-0[1-T(1-1)],0123(0)=^-0[1-T(1-1)21],133(0)”一0「1-(1-1)31],1L 」因此33（。）一3（0）3—12-/0-7"=.23（0）一3（0）2—1定義樣本的r階概率權(quán)矩為（0）=1￡（"川（n-/一1）……（『I+Dx,r=1,2.rn （n一1）（n一2） （n一r）jni=1可以證明3（0）是3（0）的無偏估計(jì)『13］。r r為估計(jì)0，方程組3（0）=3（0）,r=0,1,2rr八的解就是0的概率權(quán)矩估計(jì)。由式（3.28）可以求得匕的估計(jì)己。實(shí)際上由于（1-生）/（1-2）在-0.5＜自＜0.5內(nèi)幾乎是線性的，我們可以有一個(gè)近似估計(jì)人3=7.8590+2.5994z2z其中2訪-訪log2 1 0-- TOC\o"1-5"\h\z3W-W log32 0有了W，參數(shù)n和。則可用t(1-&)3-1),八d -從=3+h(1-"1-0))0?估計(jì)，其中3,3,3為式（3.29）定義的概率權(quán)矩.0 1 2概率權(quán)矩法應(yīng)用簡單，在模擬研究中也表現(xiàn)的很好，但是由于對(duì)它的優(yōu)良性缺乏廣泛的理論研究，概率權(quán)矩法還沒有被普遍接受。至少在目前還不能推廣到比較復(fù)雜的情況，例如分布函數(shù)的反函數(shù)沒有明顯表達(dá)式以及有關(guān)極值分布的回歸模型。有關(guān)概率權(quán)矩估計(jì)的詳細(xì)介紹可見文獻(xiàn)［86］,文獻(xiàn)［180］給出了它的一個(gè)簡單應(yīng)用。其中〃(t)是定義2.8給出的緩慢變化函數(shù)，稱“為尾部相關(guān)系數(shù)，其取值范圍為(0,1］聯(lián)合n和M)就能描述極值相關(guān)性：n指出了極值相關(guān)的類型，給定n,和)確定了相關(guān)性的相對(duì)強(qiáng)度。當(dāng)/)=1時(shí)，如果有n―>0，n=1或者n=1/2，則X和Y分別是完全負(fù)相關(guān)，完全正相關(guān)和精確獨(dú)立。若n=1，且t—>+8時(shí)，M)—>c>0則X和Y漸近相關(guān)。對(duì)于0<nV1，則X和Y漸近獨(dú)立還可進(jìn)一步分成以下三類：第1類：當(dāng)1/2<n<1且/1)——>c>0，或者n=1且/1)——>0時(shí)，X,Y正關(guān)聯(lián)，兩個(gè)變量都取大值事件的概率大于假定它們精確獨(dú)立的情形即P(X>t,Y>t)>P(X>tP(X>t);第2類：當(dāng)n=1/2，/e)中1，稱兩個(gè)變量的極值幾乎獨(dú)立(nearindependent)，:1，則兩個(gè)變量精確獨(dú)立，即P(X>t,Y>t)=P(X>tP(X>t);；第3類：當(dāng)0<n<1/2時(shí)，X,Y負(fù)關(guān)聯(lián)，兩個(gè)變量都取大值事件的概率小于假定它們獨(dú)立的情形，即P(X>t,Y>t)<P(X>華(X>t);?？梢妌與/e)一起描述了變量間的相關(guān)程度，粗略地可以將n解釋為X,Y的大值之間的關(guān)聯(lián)性。由式(5.25