應(yīng)用時間序列分位數(shù)回歸

1、目錄一、為什么需要分位數(shù)回歸二、總體分位數(shù)三、樣本分位數(shù)四、分位數(shù)回歸的估計方法五、分位數(shù)回歸模型的估計六、R軟件操作分位數(shù)回歸一、為什么需要分位數(shù)回歸？1、一般的回歸模型著重考察x對y的條件期望E(y|x)的影響，如 果y|x不是對稱分布，則E(y|x)難以反映條件分布的全貌。如果能夠 估計條件分布y|x的若干重要的條件分位數(shù)，比如中位數(shù)等，能夠更 加全面的描述被解釋變量條件分布的全貌，而不是僅僅分析被解釋變 量的條件期望(均值)。不同分位數(shù)下的回歸系數(shù)估計量常常不同， 即解釋變量對不同水平被解釋變量的影響不同。2、使用OLS進行“均值回歸”，由于最小化的目標函數(shù)為殘差平 方和，容易受極端值

2、影響。“分位數(shù)回歸”，使用殘差絕對值的加權(quán)平 均作為最小化的目標函數(shù)，不易受極端值影響。而且，分位數(shù)回歸對 誤差項并不要求很強的假設(shè)條件，因此對于非正態(tài)分布而言，分位數(shù) 回歸系數(shù)估計量則更加穩(wěn)健。二、總體分位數(shù)假設(shè)Y為連續(xù)型隨機變量，其累積分布函數(shù)為Fy()。Y的“總體q 分位數(shù)”，記為yq,滿足以下定義式：q=P (YWyq)=Fy(yq)總體q分位數(shù)正好將總體分布分為兩部分，其中小于或等于yq的 概率為q,而大于yq的概率為(l-q)o如果q=l/2,則為中位數(shù)，正好將總體分為兩個相等的部分。如果Fy()嚴格單調(diào)遞增，則有yq=Fy1 (q)對于回歸模型，記條件分布y |x的累積分布函數(shù)為

3、Fy|x()。條件分布y|x的總體q分位數(shù)，記為yq,滿足以下定義式：q二 f y | x M)假設(shè)F y | x ()嚴格單調(diào)遞增，則有Vq=Fy|X(q)由于條件累積分布函數(shù)F y|X ()依賴于x ,故條件分布y | x的總 體q分位數(shù)yq也依賴于x,記為yq(x),稱為“條件分位數(shù)函數(shù)”。對于線性回歸模型，如果擾動項滿足同方差的假定，或擾動項的 異方差形式為乘積形式，則yq (x)是x的線性函數(shù)。證明如下：y=x，P + uu=x a eiid(O, 0 2)不失一般性，假設(shè)/ a 0o如果x為常數(shù)，則擾動項u為同方差；反之，則為乘積形式的 異方差。根據(jù)定義，條件分位數(shù)函數(shù)yq(x)滿

4、足q=P 3Wyq(x)(條件分位數(shù)的定義)=P x B + uWyq (x)=P uWyq (x) - x，B =P x a e Wyq (x)-x B =P e W(yq(x)-x璀)/(x )=Ff(yq(x)-x)/( x，a)其中,FJ)為e的累積分布函數(shù)。因此，(yq(x)-x6)/(xa)=FL(q)yq(x)= x?p+ x,a*F/1(q),故 yq (x)是 x 的線性函數(shù)。在同方差的情況下，x，a為常數(shù)，所有條件分位數(shù)函數(shù)yq（x）,Oq 史條件的觀測值只得到1/4的權(quán) 重，而滿足“ 廣 條件的其余觀測值則得到3/4的權(quán)重。因為估計的是1/4分位數(shù)(位于總體的底部)，故較

5、大的觀測值得到 的權(quán)重較小，而較小的觀測值得到的權(quán)重較大。證明：將目標函數(shù)中的絕對值去掉可得min Z命斗 q(H P)+ 富”(1 q)(p 一 yd對U求一階導數(shù)可得Zunq(-1)+(1 - q) = 0假設(shè)y(k) p. y(k+i),其中y(k)為第k個最小觀測值，則共有k個觀測值滿足“y叩”，(n-k)個觀測值滿足%沖”，故-(n-k) q+ k(l-q)=0經(jīng)整理可得k=nqo k必須是整數(shù)。故最優(yōu)解n = ynq = yq,即樣 本分位數(shù)。四、分位數(shù)回歸的估計方法將單變量情形下對樣本分位數(shù)的估計方法推廣到線性回歸。假設(shè)條件分布y | X的總體q分位數(shù)yq(x)是x的線性函數(shù)：為

6、(的)=X，6q6q稱為“q分位數(shù)回歸系數(shù)”，其估計量由以下最小化問題來 定義：Znn用3 - 洛q| +(1 q)|% xq|ig-qJgvgBq如果q=l/2,則為“中位數(shù)回歸”：中位數(shù)回歸也稱為“最小絕 對離差估計量它比均值回歸(OLS)更不易受到極端值的影響，更加穩(wěn)健。由于分位數(shù)回歸的目標函數(shù)帶有絕對值，不可微分，通常使用線 性規(guī)劃的方法來計算。五、分位數(shù)回歸模型的估計由于分位數(shù)回歸的目標函數(shù)帶有絕對值，不可微，因此傳統(tǒng)的對 目標函數(shù)求導的方法不再適用。估計分位數(shù)回歸方程參數(shù)禺的一種 較好的方法是改進的BR算法。下面討論分位數(shù)回歸系數(shù)估計量的漸近分布。在弱條件下，分位數(shù)回歸系數(shù)漸近服從

7、正態(tài)分布?；貧w系數(shù)的方 差協(xié)方差矩陣的計算在分位數(shù)回歸的系數(shù)估計中占有重要位置。其方 差協(xié)方差矩陣的估計方法根據(jù)分位數(shù)密度函數(shù)是否與解釋變量相關(guān) 分為三種方法：誤差項獨立同分布(i.i.d.)假設(shè)下的直接估計方法。誤差項獨立但不同分布(i.n.i.d.)條件下的直接估計方法。誤差項獨立同分布。.&)和獨立但不同分布(i.n.i.d.)條件下都可 使用的自舉法。六、R軟件操作分位數(shù)回歸6.1操作一個簡單的中位數(shù)回歸模型及結(jié)果說明install.packages(”quantreg”)#下載安裝包library(quantreg)# 加載包data(engel) #加載quantreg包自帶的數(shù)據(jù)

8、集fitl = rq(foodexp income, tau = 0.5, data = engel, method= br” )這里因變量為食物支出(foodexp),自變量為家庭收A(income)o tau 表示計算50%分位點的參數(shù)，這里可以同時計算多個分位點的分位數(shù) 回歸結(jié)果，如tau=c(0.1,0.5,0.9)是同時計算10%、50%、90%分位數(shù)下 的回歸結(jié)果。data=engel指明這里處理的數(shù)據(jù)集為engeL method： 進行擬合的方法，取值包括：A.默認值“br”，表示BR算法的修改 版；B. “fn”,針對大數(shù)據(jù)可以采用的Frisch - Newton內(nèi)點算法；C.

9、 “pfn”，針對特別大數(shù)據(jù),使用經(jīng)過預(yù)處理的Frisch - Newton逼近 方法；D. “fnc”，針對被擬合系數(shù)特殊的線性不等式約束情況；E.Tasso”和“scad”，基于特定懲罰函數(shù)的平滑算法進行擬合。fitl樣直接顯示分位數(shù)回歸的模型和系數(shù)summary(fitl)#得到更加詳細的顯示結(jié)果，包括系數(shù)和上下限。rl = resid(fitl)#得到殘差序列，并賦值為變雖nacf(rl)#畫出殘差的ii相關(guān)圖pacf(rl)#畫出殘差的偏門相關(guān)圖Box.test(rl, type=Ljung-Box)# 對殘差進行 lb 檢驗cl = coef(fitl) n得到模型的系數(shù)，并賦值給

10、變蛾cl。coef()函數(shù)得到的系數(shù)為向蛾形式，第一 個元素為常數(shù)項的系數(shù)，第二個及以后為自變量的系數(shù)。summary(fitl, se = nid) #通過設(shè)置參數(shù)se,可以得到系數(shù)的假設(shè)檢驗summary函數(shù)se參數(shù)的說明。A. se = rank” ：按照排秩方法計 算得到的置信區(qū)間，默認殘差為獨立同分布，上下限是不對稱的。B. se= “iid” ：假設(shè)殘差為獨立同分布，用KB(1978)的方法計算得到近似 的協(xié)方差矩陣。C. se= nid”：表示按照Huber方法逼近得到的估計 量。D. se= ker” ：采用 Powell(1990)的核估計方法。E. se= boot” ：

11、采用bootstrap方法自助抽樣的方法估計系數(shù)的誤差標準差。運行結(jié)果：fitl = rqCfoodexp income, tau = 0.5, data = engel fmethod=,br)#進行分位數(shù)回歸fitl #直接顯示分位數(shù)回歸的模型和系數(shù)Call:rq(formula = foodexp income, tau = 0.5, data = engel, method = ,fb r)Coefficients: (Intercept) income81.4822474 0.5601806Degrees of freedom: 235 total; 233 residual說明：以

12、食物支IB (foodexp)為因變量及家庭收A(income)為自變量 擬合中位數(shù)回歸模型，得到的常數(shù)項系數(shù)為81.48,自變量系數(shù)為0.56o 由此可知即使家庭沒有收入來源，這個家庭也有食物支出81.48o家 庭收入每變動1個單位，食物支出同向變動0.56個單位。運行結(jié)果：summary(fitl) #得到更加詳細的顯示結(jié)果Call: rq(formula = foodexp 1 ncome, tau = 0.5, data = engel v metho d = nbrn)tau: 1 0.5Coefficients:coefficients lower bd upper bd(Inte

13、rcept) 81.4822553.25915 114.01156income0.560180.48702 0.60199說明：summary函數(shù)這里分別給出了中位數(shù)回歸常數(shù)項系數(shù)和自 變量系數(shù)的上下限，相當于給出了(1-a)%的置信區(qū)間。中位數(shù)到上下 限的距離并不相等，可以看出食物支出和家庭收入的分布是偏態(tài)的。運行結(jié)果：rl = residCfitl) #得到殘差序列，并賦值為變量rlacf(rl)pacf(rl)Box test (rl, type=”Ljung-Box”)# 對殘差進行 LB 檢驗Box-Ljung testdata: rlX-squared = 18.762, df =

14、 lf p-value = 1.481e-05Series r1LagSeries r1LLOV 230.說明：通過rl = resid(fitl)命令得到中位數(shù)回歸模型的殘差，然后 對其畫自相關(guān)圖和偏自相關(guān)圖，來直觀的觀察殘差是否是白噪聲序列。 根據(jù)自相關(guān)圖可以看出，存在一階自相關(guān)，其余的相關(guān)系數(shù)大部分在 兩倍標準差以內(nèi)。再觀察偏自相關(guān)圖的值，也存在一階偏自相關(guān)，其 他滯后項大多都在兩倍標準差以內(nèi)，得出可能不是白噪聲序列。下面 進行LB統(tǒng)計量的檢驗，給出統(tǒng)計學的證據(jù)。LB統(tǒng)計量的原假設(shè)Ho： P1=P2=.二Pm,得到的P值=1.481e-05 summaryCfitip se = ,nid

15、D #通過設(shè)置參數(shù)se,可以得到系數(shù)的假設(shè)檢驗Call: rq(formula = foodexp 1 ncome, tau = 0.5, data = engel, metho d = nbrn)tau: 1 0.5Coefficients:Value Std. Error t value Pr(l11)(Intercept) 81.48225 19.250664.23270 0.00003income 0.56018 0.0282819.81032 0.00000說明：進行系數(shù)的顯著性檢驗。由于殘差項不是白噪聲序列A.se=“rank”和B. se= iid”并不適用。選擇C. se =

16、nid” ：表示按照 Huber方法逼近得到的估計量。Ho：系數(shù)與零沒有顯示出差異。由上 式結(jié)果知，常數(shù)項的P值為0.000030.05拒絕原假設(shè)，說明系數(shù)是顯 著的；自變量的P值為0.00000F)1 2703 15.557 2.449e-07 *Sigrrif, codes: 0 * 0.001 * 0.010.05 0.l 1說明：對三個不同分位點的回歸模型進行方差分析。原假設(shè)H。： 三個回歸模型擬合的值沒有顯著性差異。P值=2.449e-07 summary Clm(foodexp income)Call:Imfformula = foodexp income)Residuals:Mi

17、n IQ Median 3Q Max-725.70 -60.24 -4.3253.41 515.77Coefficients:Estimate Std. Error t value Pr(|t|) (intercept) 147.47539 15.95708 9.242 2e-16 * income 0.485180.01437 33.7722e-16 *Signif. codes: 0 * 0.001 * 0.010.05 J 0.1 4 1Residual standard error: 114.1 on 233 degrees of freedom Multiple R-squared:

18、 0.8304, Adjusted R-squared: 0.8296 F-statiStic: 1141 on 1 and 233 DF, p-value: 2.2e-16說明：對因變量食品支出和自變量家庭收入的線性最小二乘回歸, y=147. 47539+0. 48518x,系數(shù)的顯著性水平如是非常顯著的，其 中調(diào)整的R方是0.8296； F統(tǒng)計量的值為：LL40, p值2.2e-16, 說明方程模擬的很好。由于R軟件找不到關(guān)于分位數(shù)回歸的評價檢驗，如擬合優(yōu)度、F 統(tǒng)計量。所以轉(zhuǎn)為用Eviews來進行分位數(shù)回歸的擬合。先來看看 Ev-iews擬合均值回歸模型的一些輸出結(jié)果。Dependen

19、t Variable: YMethod: Least SquaresDate: 12/24/16 Time: 11:11Sample: 1 235Included observations: 235VariableCoefficientStd. Errort-StatisticProb.c147.475415.957089.2420050.0000X0.4851780.01436633.771790.0000R-squared0.830365Mean dependent var624.1501Adjusted R-squared0.829637S.D. dependent var276.457

20、0S.E. of regression114.1079Akaike info criterion12.32064Sum squared resid3033805.Schwarz criterion12.35008Log likelihood-1445.675Hannan-Quinn criter.12.33251F-statistic1140.534Durbin-Watson stat1.410754Prob(F-statistic)0.000000說明：用Eviews擬合的均值回歸模型y=147. 4754+0. 485178X, 調(diào)整的R方是0. 829637； F統(tǒng)計量的值為1140.

21、534,p值為0. OOOOOOo 跟R軟件計算出來的統(tǒng)計量的數(shù)值都是一一對應(yīng)的。下面我們用 eviews來擬合分位數(shù)回歸的模型。運行結(jié)果：eviews來擬合中位數(shù)回歸的模型Dependent Variable: YMethod: Quantile Regression (Median)Date: 12/24/16 Time: 12:21Sample: 1 235Included observations: 235Huber Sandwich Standard Errors & CovarianceSparsity method: Kernel (Epanechnikov) using res

22、idualsBandwidth method: Hall-Sheather, bw=0.15744Estimation successfully identifies unique optimal solutionVariableCoefficientStd. Errort-StatisticProb.C81.4823524.034943.3901620.0008X0.5601810.03137017.857070.0000Pseudo R-squared0.620556Mean dependent var624.1501Adjusted R-squared0.618927S.D.depend

23、ent var276.4570S.E. of regression120.8447Objective8779.966Quantile dependent var582.5413Restr. objective23139.03Sparsity209.3504Quasi-LR statistic548.7092說明：Pseudo R-squared 偽 R2 ； Adjusted R-squared 調(diào)整的偽 R2 ； S. E. of regression分位數(shù)回歸式的標準誤差；Quantile dependent var分位數(shù)回歸式中只有常數(shù)項存在的系數(shù)估計值； Objective目標函數(shù)極小

24、值；Objective分位數(shù)回歸式中只有常數(shù)存 在的目標函數(shù)極小值；Sparsity分位數(shù)稀疏函數(shù)估計值；Quasi-LR statistic：準似然比估計量的值;Prob (QuasiLR stat)準似然比 估計量的值所對應(yīng)的概率值。用Eviews擬合的中位數(shù)回歸模型y。.5二81. 48235+0. 560181X；其調(diào) 整的R方為0.618927。運行結(jié)果：eviews來擬合0. 99分位數(shù)回歸的模型Dependent Variable: YMethod: Quantile Regression (tau = 0.99)Date: 12/24/16 Time: 12:34Sample: 1