第五章多元線性回歸模型(金融計量-浙大蔣岳祥)

1、第五章多元線性回歸模型在第四章中，我們討論只有一個解釋變量影響被解釋變量的情況，但在實際生活中，往往是多個解釋變量同時影響著被解釋變量。需要我們建立多元線性回歸模型。一、多元線性模型及其假定多元線性回歸模型的一般形式是yi = ：lXi1 - ：2Xi2 +'：KXiK - d令列向量x是變量Xk, k=1, 2,的n個觀測值，并用這些數(shù)據(jù)組成一個nXK數(shù)據(jù)矩陣X,在多數(shù)情況下，X的第一列假定為一列 1,則3 1就是模型中的常數(shù)項。最后，令 y是n 個觀測值yi, y2,，yn組成的列向量，現(xiàn)在可將模型寫為：yxj： k :構成多元線性回歸模型的一組基本假設為假定 1. y = X ；

2、我們主要興趣在于對參數(shù)向量3進行估計和推斷。衛(wèi)名1廣假定2. E司=尸" =0,月為L假定 3. E ； =c-2In假定 4. E;|X=0我們假定X中不包含£的任何信息，由于CovX3=CovX,E(|X),(1)所以假定4暗示著CovX，司=0。(1)式成立是因為，對于任何的雙變量X, Y,有E(XY尸E(XE(Y|X),而且Cov(X,Y)= E(X - EX )(Y -EY)'= E(X - EX )(E(Y |X) - EY)'= Cov(X,E(Y|X)這也暗示Ey|X=X：假定5 X是秩為K的n x K隨機矩陣這意味著X列滿秩，X的各列是線性

3、無關的。在需要作假設檢驗和統(tǒng)計推斷時，我們總是假定:假定 6； N 0,：二 21 二、最小二乘回歸1、最小乘向量系數(shù)采用最小二乘法尋找未知參數(shù)n /K其中 |y -XP|2iZ yi -Z Xj _ j m I j w取極小值。 n3的估計量 便，它要求3的估計國滿足下面的條件_ it_ 2cS(?)i|y -Xf?| =嘈|丫 XF|(2)、2,Pj =(y XP )(y XP ), min是對所有的m維向量3 )m也即S( ?) 二 " (yi Xij ?j)2i 1j 1nm=即%£ (yi -Z Xj。2(3)1，-m i ij i滿足(2)式或(3)式的估計量

4、l =： 稱為3的最小二乘估計，這種求估計量的因Lm )方法稱為最小二乘法(OLS)。展開上式得S( ) = y y - Xy - y XI I X X -或S( ：) = y y - 2 ： X y : X X ：最小值的必要條件是:SL)=-2Xy 2XX =0cP設b是解，則b滿足正則方程組X是滿秩的，所以XX的逆存在,XXb = X y這正是我們曾分析的最小二乘正則方程組。因為 從而得到解是b =(X X),Xy為了證實這確實是最小值，我們需要二階編分矩陣0=2XX是一一個正定矩陣。我們現(xiàn)在來證明這個結果。對任意一非零向量c,令 q =c'X Xc ,則其中 = Xc除非v的每

5、一元素都為0,否則q是正的。但若U為零的話，則X的各列的一個線性組合等于0,這與X滿秩的假定相矛盾。、最小二乘估計量的統(tǒng)計特性在本節(jié)中，我們對回歸量的兩種情況，即非隨機回歸量和隨機回歸量下分別作討論。1、X非隨機回歸量若回歸量當作非隨機來進行處理時，則將X當作常數(shù)矩陣處理就可導出最小二乘估計 量的各種特性?？傻?4)b =(X X),X (X ：；) = ： (XX)X若X是非隨機的，或E（X幼=0,則（4）中第二項的期望值是 0。所以，最小二乘 估計量是無偏的，它的協(xié)方差矩陣是Varb: E(b - 1 )(b -)e E(XX)/X ；X(XX)1=(xX)'xE ； X(xX)，

6、=(X X),X Q2I)X(X X)1二 2(XX)，在前面的內(nèi)容中，對 K=2的特殊b是3的最小方差的線性無偏估計量?，F(xiàn)在我們給出這個基本結果的一個更一般的證明，令 =Cy是P的另一個不同于 b的線性無偏估計量, 其中C是一個KXn矩陣。若b是無偏的,ECy =ECX - C，這暗示著CX=I ,并且b = P +Ce。所以可以得到b的協(xié)方差矩陣是2Varb 2cc現(xiàn)在令D=C(XX)X'，由假設知D w 0。那么，b* = b b = Dy, . _2Var(b*) =D£yD'=。DD',于是DD'是非負定矩陣。則Varb =；：.-2(D (

7、XX)X )(D (XX),X )=c 2(D (XX),X )(D X(XX)三 ;2(DD (XX)在展開這個四項和式之前，我們注意到_.1.I =CX DX (XX) (XX)由于上面最后一項是I,有DX=0 ,所以Varb=；：. 2DD 二 2(XX)= Vafb -2DD 一b的萬差矩陣等于b的萬差矩陣加上一個非負定矩陣。所以， Varb的每個二次型都 大于Varb的相應二次型。利用這個結果可以證明高斯 -馬爾科夫定理：高斯一馬爾科夫定理：對任意常向量w,古典線性模型中 w下的最小方差線性無偏估計量是w'b,其中b是最小二乘估計量。2、X隨機回歸量在這樣的情況下，為了得到最

8、小二乘估計量特性更多的一般性，有必要將上面的結果 推廣解釋變量X是來自某種概率分布的情況中去。獲彳# b的統(tǒng)計特性的一個方便的方法是，首先，第一步求得對 X的條件期望結果，這等同于非隨機回歸量的情況，第二步，通過條X都可能得到條件無偏性，我件分布得到無條件結果。此論點的關鍵是，如果我們對任意 們就可以得到一個無條件結果。因為 b =2 +(XX)X .所以，以觀測到的 X為條件我們得到Eb|X=B +(XX),XE ；|X=B +(XX),X 0 =-一個有用的方法是利用重期望定律Eb = ExEb|X=>Ex(XX)-XE ;|X因為由假定4有E w|X =0 ,所以，b也是無條件無偏

9、的，這樣，Eb =ExEb|X =ExP = P。同樣，以X為條件的b的方差是VarbX -；2(XX)為了求得確切的方差，我們使用方差分解公式：Varb = ExVarb|X VarxEb|X由于對所有X, Eb|X = P,所以第二項為零，因此，Varb =E；:2(XX) = ；2E(XX)/我們原來的結論要稍作改變，我們必須用其期望值E(X ' X)-1來代替原來(XX)，以得到適當?shù)膮f(xié)方差矩陣。從上一段的結果可以合乎邏輯地建立高斯一馬爾科夫定理，即對任何。b ,在X給定的條件下有Varb|X <Var |X但若這一不等式對一特定 X成立，則必須成立：Varb -ExVa

10、rb|X即，若它對每一特定 X成立，則它一定對X的平均值也成立。 這暗示，Var(b) W Var()。所以，不論我們是否將 X看作是隨機的，即無偏性和高斯一馬爾科夫定理都成立。四、最小二乘估計量的統(tǒng)計推斷迄今為止，在我們?nèi)我唤Y果還未用到 £的正態(tài)性的假定6,但這一假定對構造假設檢驗 的統(tǒng)計量是有用的和必須的。1、回歸系數(shù)的假設檢驗我們先討論X非隨機變量時的情況。在(4)中，b是干擾向量£的一個線性函數(shù)，如果我們假定 e服從多重正態(tài)分布。利用前面結果及前邊推導的均值向量和協(xié)方差矩陣來表示即b N二2(X X)這是一個多重正態(tài)分布，所以b的每一元素的邊際分布都是正態(tài)分布的：b

11、k N瓦g2(XX)力令Skk是(XX)，的第k個對角元素，則bk kzk -:25 5，二2Skk服從標準正態(tài)分布。若 62已知，關于Pk的統(tǒng)計推斷可以基于 zk。然而。2仍要估計，所以(5)式中Zk不是統(tǒng)計量。我們要得到 。2的無偏估計量，才能作進一步的推斷。按定義最小二乘殘差向量是e = y - Xb=y -X(XX) JXy= (In -X(XX),X )y=MyM是回歸分析中一個基本的 nxn矩陣，你可以容易地驗證 M既是對稱的(M=M ')又 是哥等的(m=m 2)。性質(zhì) 1: X ' e=0 和 i' e=0證明：由正則方程組，我們得到：Xe = X (Y

12、 - Xb)= X(Y - X(XX)JXY)=XY-XX(XX)JXY=XY-XY = 0所以，i' e=0由性質(zhì)1及證明過程我們得到兩個推論：推論 1 : XM =0和 MX=0。推論 2: i M = 0 和 Mi =0。推論2成立是因為X'的第一行是(1,1，1)。性質(zhì)2： e和b互不相關。cov(e,b) =In -X(XX),X cov(Y,Y)( X X)X = ；=2In -X(XX)X X(XX)=0從幾何解釋來看這一性質(zhì)是顯然的，e表示Y到子樣空間的垂線估計量，Y?和e互相垂直。性質(zhì)3：殘差e的均值向量和協(xié)方差陣分別是E(e)=0和Var(e)=仃2M證明：

13、E(e)= E(Y - Xb)= EY -E(Xb) -X- -E(X(XX),X ； X =0Var(e) = E(My(My)= ME(yy )M = ； 2M 2 = ； 2M= ；=2In _X(XX),XE(e)=0,暗示？ = Xb是y的無偏估計量。性質(zhì) 4： Eee =(n K)。2證明：最小二乘殘差是e = My =MXP +8 = Me,這是由于MX=0 ,仃2的一個估計量將基于殘差平方和：e e - ； M Me - ； M 2 ； - ； M ；這個二次型的期望值是Eee =E M 弓我們有 E（ee）=E（tr（e e）= Etr（ ；M ；）=Etr（M ；）由于M是

14、固定的，這就是_22_ _tr(ME: ) =tr(M。2I)=1- 2tr(M )M的跡是trIn X(XX),X =tr(In) tr(XX),XX)= tr(In)-tr(lK)=n-K所以，2Eee=(n K)。,仃2的一個無偏估計量是2 e e（6）b的估計協(xié)方差矩陣:s 二n - K回歸的標準誤差 是s2,其平方根為So利用s2,我們可以計算估計量EstVarb =s2(XX)通過利用s2替代仃2,我們導出替代（5）中zk的一個統(tǒng)計量。此量M )=跡(M ) =n 是一個標準正態(tài)向量（名/仃）的哥等二次型，所以，它服從自由度為秩（K的x2分布。（6）中的x2分布變量獨立于（4）中的

15、標準正態(tài)變量，為了證明這一點，只要 證明(7a)獨立于（n - K）s2 /仃就足夠了。我們知道標準正態(tài)向量x的一個線性式 Lx和一個哥等二次型 x ' Ax獨立的充分條件是LA=0，令W/仃等x ,我們發(fā)現(xiàn)這里所需求的是（XX）'xM =0。這確實成立，因為 XM =0。在推導回歸分析中許多檢驗統(tǒng)計量中起中心作用的一般性結果是：若£服從正態(tài)分布，最小二乘系數(shù)估計量b統(tǒng)計獨立于殘差向量 e及包括s2在內(nèi)的e 的所有函數(shù)。所以，比率tk(bk - -k)/ 二2，22- 1/2( n - K)s /0/(n - K)s Skk服從自由度為（n-K）的t分布。這是我們作統(tǒng)

16、計推斷的基礎。線性約束檢驗我們通常對含有不只一個系數(shù)的假設檢驗感興趣，我們可以利用一個類似于（7）中的檢驗統(tǒng)計量。假定我們的假設是Ho ：1口1 +2 0 2 +K Bk = r'P = q ,（通常某些r將為零）左邊的樣本估計是r1b1 r2b2+ rKbK = r b = q?若（?顯著異于q,則我們推斷樣本數(shù)據(jù)與假設不一致。與（7） 一樣，將假設基于下式是很自然的。s&b)(7a)我們需要b的標準誤差的一個估計。 由于（?是b的一個線性函數(shù)，且我們已估計出了 b的方差矩陣s2（X X），我們可用下式估計 q的方差。Est.Varq =r s2（XX）r（7）中的分母是這個

17、量的平方根。若假設是正確的，我們的估計應該反映這一事實，至少在抽樣變化性的范圍內(nèi)如此。這樣，若前邊的t比率的絕對值大于適當?shù)谋O(jiān)界值，則應對假設產(chǎn)生懷疑。2、隨機X及正態(tài)£下的檢驗統(tǒng)計量現(xiàn)在，我們考慮當 X是隨機的，樣本檢驗統(tǒng)計量和推斷方法考慮（7）中檢驗Ho： Pk 的t統(tǒng)計量：tlX 二一(bk 一 k)s2(XX)訂/2(8)以X為條件，t|X服從自由度為(n-K)的t分布。然而，我們感興趣的是 t的邊際(即無 條件)分布。正如我們所見，(7a)僅僅在以X為條件時b才是正態(tài)分布的，我們還沒有證明它的邊際分布是正態(tài)分布的。類似地，當X是隨機的情況下，在給定 X的條件下，我們得到了(

18、 8)式的t統(tǒng)計量，我們還沒有證明 t邊際分布也是以(n- K)為自由度的t分布。 事實上，t的邊際分布仍是以(nK)為自由度的t分布，不論X的分布是什么，甚至不論 X是隨機的還是非隨機的或者是混合的。這個令人迷惑的結果來自 f(t|X)不是X的函數(shù)這一事實，同樣的原因可以用來推演不論X是不是隨機的，通常用以檢驗線性約束的F比率都是有效的。結論：若干擾項是正態(tài)分布的，我們可以在我們的過程中不加變化地進行檢驗和構造參 數(shù)的置信區(qū)間，而不去考慮回歸量是隨機的、非隨機的，還是它們的混合。3、擬合優(yōu)度和方差分析由方差分解公式，我們有：Var(Y) =Var(E(Y |X) + Ex(Var(Y|X)。

19、我們用哥等矩陣M0來表示：YM 0Y =E (Y| X)M0E(Y| X) e eYM 0Y =bX MoXb YMYSST= SSR SSE所以，SSE=YMY 和 SSR = SSTSSE=Y'(M 0 - M )Y進一步研究回歸平方和 SSR與殘差平方和SSE,我們可以得到下面三個結論:SSR 一a)b)c)在3 =0的假設條件下， 回歸平萬和 一百服從自由度為 K-1的卡萬分布x2(K1);CJ殘差平方和SSE服從自由度為n K的卡方分布x2(nK)；在3 =0的假設條件下，SSR/(K -1)服從f (k-1,n-k)分布。SSE/(n - K)證明：a) M0- M是哥等矩

20、陣。先證明M0M+MM 0=2M。M0M + MM01 .1 .=(I -ii )M M (I -ii ) nn1 .1.=M ii M M Mii nn=2M從而(M 0 _M )(M 0 _ M ) =M 0 _(M 0M MM 0) M=M0 -2M M =M0 -M所以，r(M 0 M ) = tr(M 0 M ) = tr(M 0) tr(M ) = n 1 (n K) = K 1。在3 =0的假設條件下,SSR才服從自由度為 K1的卡方分布x2(K1)(為什么？) ab)因為M是哥等矩陣而且r(M ) =tr(M ) =n Kc)只要驗證M(M°M)=0即可。1 , 事實

21、上，M(M°-M)=M(I -ii -M )n1. o 1.=M - Mii -M 2 =Mii =0。nnSSR和前一章的情況一樣， 我們要對回歸模型的好壞，作出評價，決定系數(shù)R2 =£SR就是SST對模型擬合的一個度量，計算 R2有兩個等價的方法。決定系數(shù)R2SSRbX M 0XbSST Y M 0Y二1 一YM 0Y進一步推導和化解，我們可以得到R2另一個公式。bXM 0Xb =Y?M 0Y?,Y =Y?+e, 以及M0e=e (表示殘差已經(jīng)具有零均值)和X ' e=0。所以，Y?M 0Y? =Y?M 0Y -Y?M 0e =Y?M 0Y - b Xe =Y?

22、M 0YR2Y?M 0Y .(YXY)2YM 0Y YM 0Y Y?M 0Y?(Y?M 0M 0Y)2YM 0Y Y?M 0Y?上 i(yi -y)(7i - y)_"(yi -y)2 *(泥-9)21 Y?第二個是y的觀測值和由估第一個方法度量了 y的總變差中由回歸變差所解釋的部分,計的回歸方程所產(chǎn)生的預測值間的相關系數(shù)的平方。當利用R2來比較不同的線性統(tǒng)計模型的擬合度時，存在一個嚴重的缺點，就是它的值隨著解釋變量的增多而增大。為了克服這個缺點，我們可以用調(diào)整的R2來測度一個模型的解釋能力，這個調(diào)整的R2被記R2 ,它的表達式為p2 SSE/(n-K) ee/(n -K)R 11S

23、ST/(n -1) SST/(n -1)n 12=1 (1 -R2)<n - K )2這里一里是仃2的無偏估計量，(思考：當y服從正態(tài)分布時，y y 一” 也是。2的n -Kn-1一個無偏估計量)。R2與R2不同的是，隨著解釋變量的增多，它的值可能變小，甚至要能 取負值。因為 M 0Y =Y -Y所以，SSF= b X M 0Xb = b X M 0Y=bX Y -bX Y =bX Y -Y?Y =b X Y - nY2我們得到了回歸方差的另一個表達式，請見多元線性回歸模型方差分析表。表1多元線性回歸模型方差分析來源自由度均方回歸b X y - ny2K- 1殘差e en- Ks2一 2

24、y y - nyn 1yy(n 二i)FK -1,n -K二SSR/(K -1)SSE/(n - K)2R2 /(K -1)(1 - R2)/(n - K)4、回歸的顯著性檢驗一個通常要檢驗的假定是回歸方程作為整體的顯著性，這是對除了常數(shù)項外所有常數(shù)都 為0的假設的聯(lián)合檢驗。若所有系數(shù)為 0,則多重相關系數(shù)為 0,所以我們可以將這一假定的一個檢驗基于 R2值上。統(tǒng)計量FK -1,n _K=2R2 /(K _1)(1 -R2)/(n - K)服從自由度為 K 1和n K的F分布，檢驗的邏輯是，F(xiàn)統(tǒng)計量是對我們強加所有斜率都是0的這一約束時的擬合損失的一個度量(R2的全部)，若F大，假設被拒絕。五

25、、預測多元回歸環(huán)境下的預測結果與前一章中討論的那些本質(zhì)是一樣的。假定我們希望預測與回歸向量x0相應的y值。它將是000y = 'x ；(8° N(0,仃2),且 E8°鳥=0, i=1,，加由高斯一馬爾科夫定理知y?0 =bx°是y0的最小方差線性無偏估計量。個體預測(Individual Prediction )誤差是00c000e = y - y =(b) x » .(z° N(0,。2),且 E8°鳥=0, i=l,，n這個估計的預測方差是Vare0 =二 2 Var( -b) x0 _ 20210=； x ；- (XX

26、) xK KXE (x0 -xj)(x0 -xk)(X M0X) jkj 之 k=2若回歸含有一個常數(shù)項，一個等價的表達式是Vare0=二一2 二2 n其中X_是X的不包含全為1的列的最后K 1歹U。這表明，和以前一樣，區(qū)間的寬度 依賴于x0的元素與數(shù)據(jù)中心的距離。因此y0 -y0 N (0,1)_ 2040、，-(1 x (X X) x )又因為(n - K)S22 CT2 ,、 x (n - K)由此得到y(tǒng)0 -y0t(n . K)s2 (1 x 0(XX),x0)即y0的一個置信區(qū)間將用下式形成：預測區(qū)間=?° ±t?72se(y?0) o均值預測(Mean Pred

27、iction )均值預測是預測值是 y0=P'x0而不考慮隨機干擾項S0o洱關旦慶打簿e0 =y0 一？0 =(-b) x0這個估計的預測方差是Vare0 =Var(: -b) x0o-210=x 二(XX) x因此y0y0N(0,1)二 2(x0(XX),x0)2又因為(n - 2)S x2(n - K)由此得到y(tǒng)0 - %s2(x°(XX),x0)t(n-K)即y0的一個置信區(qū)間將用下式形成:預測區(qū)間=?0 ±tJV2se(y?0)o六、分塊回歸和偏回歸當興趣實際上只集中于一個變量或變量全集的一個子集時，設定一個多元回歸模型是很普遍的，但往往這個變量或變量全集的

28、子集并不能很好地解釋被解釋變量，需要我們在原有的模型中添加新的解釋變量，才能進一步完善模型。例如考慮收入方程，雖然我們的主要興趣在于收入和教育的聯(lián)系上， 將年齡包括進模型是必要的。我們已經(jīng)證實從方程忽略年齡將是錯誤的，這里我們考慮的問題是，從一個多元回歸模型中單獨地獲取一個子集變量的系數(shù)涉及什么樣的計算，例如獲取前邊及回歸中教育的系數(shù)。以一般術語，假定原有回歸模型是y = P2X2 + 5 ,現(xiàn)在在原有的模型中添加新的解釋變量集X1,那么現(xiàn)在的回歸方程包括兩組變量X1和X2 ,轉換為：y = X-X11 X22 ；的代數(shù)解b2是什么？與原有的估計量 b2有何關系?新的模型的正則方程組是1aX；

29、XiXi/X2b；Xi/y【X2Xix2x2b2利用分塊逆矩陣可以得到Xi/Xix2XiX1/X2,Xi/yb；x2x2 j Xv_b2_一一 * 、一 一 ，.一 *另外一個萬法是可以直接處理（1a）和（2a）以求解b2 0我們首先從（1a）求得解b1 :*/1/*b1 =(X1X1) X1 y -(X1X1) X1X2b2/1/*= (XiXi) Xi(yX2b2).(9)(注意此解表明bi是y對Xi回歸的系數(shù)減去一個修正向量。)然后，將其代入(2a)得到/ I /-i*/*/X2Xi(XiXi) Xiy-X2Xi(XiXi) XiXzb? XzXzbz=Xzy.整理各項后，X/vV/*

30、_ V / xz V / ,2 (I Xi (X i X i) X i ) X 2 b2 X 2 (I X i (X i X i) X i ) y.解是*/i/ i /b2 =X2(I -Xi(XiXi) Xi )X2 X2(I -Xi(XiXi) Xi ) y=(x2miX2/(x2m iy).(io)注意出現(xiàn)在每個中括號中的小括號里的矩陣都是討論過的“殘差制造者”，這里是相應于對Xi各列回歸的。這樣，M1X2是一個殘差矩陣，其中每一列都是X2中相應列對Xi中各變量回歸的殘差向量。利用 M 1和M 一樣是哥等的這一事實，我們可將（10）重寫為*/1b2 =（X2 X2）X2y ,（11）其中

31、一 一 *X2 = M1X 2 和y =M1y.所以，b2是為來自一個回歸的系數(shù)集合， 這個回歸的被解釋變量是 y單獨對X1回歸的殘差，解釋變量是 X2的每一列分別對 X1回歸所得殘差的集合。這個過程通常被稱作排除或篩掉X1的影響。正是部分地由于這個原因，一個多元回歸中的系數(shù)通常被稱作偏回歸系數(shù)。我們可以用一個例子來說，通過首先用收入和教育對年齡（或年齡及年齡中平方）回歸， 然后在一個簡單回歸中使用這兩個殘差，我們能夠得到教育在最小二乘回歸中的系數(shù)。這一方法的一個經(jīng)典的應用中，費雪和沃（1933）注意到，在時間序列環(huán)境下，像剛才提到的那樣首先通過篩掉時間的影響而消除數(shù)據(jù)趨勢，然后用消除趨勢的數(shù)

32、據(jù)簡單回歸和直接帶有一個時間趨勢變量似合所得結果是一樣的。1、偏回歸和偏相關系數(shù)使用多元回歸包含一個在實際中可能不能實施的概念性試驗，即類似于經(jīng)濟學中的“假設其余情況均同”。繼續(xù)考慮簡介中的例子，將收入和年齡及教育相聯(lián)系的回歸方程使我們 能夠對兩個同齡但教育程度不同的人的收入進行比較，即使樣本中沒有這樣一對個人。術語偏回歸系數(shù)所暗示的正是回歸的這一特性。我們已經(jīng)看到，獲取這個結果的方法是首先用收入和教育對年齡進行回歸，然后從回歸方程中計算出殘差，按其構造，年齡對解釋這些殘差沒有任何能力。所以，在這種“凈化”（或篩掉年齡的影響后）后的收入和教育間的任何相關都與年齡無關。同一原理可應用于兩個變量間

33、的相關系數(shù)上。繼續(xù)我們的例子，當我們在樣本中得到收入和教育間的相關數(shù)為 0.7時，那么，在何種程度上我們可以假定這一相關是由于某種直接 關系，而非由于當人們變老時，收入和教育平均來說都趨于增長這一事實？為了找出答案， 我們將使用偏相關系數(shù)，這與偏回歸系數(shù)的計算方式一樣，在我們的例子中，抑制年齡的影響，收入和教育間的偏相關系數(shù)可如下獲取:* - 1、Y =收入對年齡的回歸中的殘差 一* -、 2、E =教育對年齡的回歸中的殘差一. . . . * . . . - * _ . . .3、偏相關系數(shù)ye就是Y和E間的簡單相關系數(shù)。這似乎是一個可怕的計算量， 然而存在一個方便的簡捷算法，一旦計算了一個

34、多元回歸，(7)中用于檢驗系數(shù)等于 0的t比率，可用于計算*2t2/、rytH®(2-對均值的離差一一對常數(shù)回歸作為上一節(jié)結果的一個應用， 考慮X1僅為X中由1組成的第一列的這種情況， 此時b2的解將是帶有常數(shù)項的回歸中斜率。令i為由1構成的列，任何變量 zi的回歸的系數(shù)是i/i,i/z=Z,擬合值是iz,殘差是Zi -Zo所以，當我們將其應用于先前結果時，會發(fā) 現(xiàn)：將數(shù)據(jù)轉換成對其均值的離差，然后用離差形式的變量 Y對同樣的離差形式的解釋變量回歸，可以得到含有常數(shù)項的多元回歸中的斜率。練習：若在計算斜率前忽略了將 y轉換為對y的離差，在前邊的回歸中將會發(fā)生什么情況？ 得到了 X2的

35、系數(shù)后，怎么才能取得 Xi的系數(shù)？當然，一個方法是轉換Xi和X2的角色重復上一節(jié)中的練習，但有一個更容易的方法，對一般情形，兩個正則方程組中的第一個是X；X1t1 X/X2b2 = X/y.我們已經(jīng)解出了 b2,所以，在求解b1時可以使用它： /1/1/bi =(XiXi) Xi y-(XiX2b2 =(XiXi) Xi(y-X2b2).若Xi僅為一列，(13)中第一個將產(chǎn)生如下結果(13)(14)bl - y -'x2b2 -xkbk.這我們以前已經(jīng)見到過。七、偏離正態(tài)性的檢測(正態(tài)性的哈爾克-貝拉(Jarque-Bera ) BJ檢驗)本節(jié)考察的是利用最小二乘殘差的矩來推斷真正擾動

36、項的分布的一般問題。=E的直觀估計量是mr =3 ' er.r .n i i然而，最小二乘殘差只是真實擾動項的不完全估計：ei =- X ： (b -由于plim b = P ,樣本越大，這個估計就越好。這有時被稱為逐點一致性?？梢钥闯鲎钚〕藲埐畹臉颖臼諗坑谡嬲龜_動項的樣本。這意味著是r的一致估計量,rei也是，的一致估計量,通常運用下列公式計算偏度(Skewness):3 2(15)S_:E(X -ux) S :2 3E(X -ux)23三階矩的平方兩階矩的立方因為，對于對稱的概率密度函數(shù)，其三階矩為零，因為這樣的一個概率密度函數(shù)，其偏度S為零。一個最重要的例子就是正態(tài)分布。如果偏度S的值為正，則其概率密度為正偏或右偏；如果 S的值為負，則其概率密度為負偏或左偏。通常運用下列公式計算峰態(tài)（ Kurtosis）:K E(X -Ux)4K -:2