第5章違背基本假設(shè)的問題多重共線性異方差和自相關(guān)

1、第5章、違背基本假設(shè)的問題：多重共線性、異方差和自相關(guān)回顧并再次記住最小二乘法（LS）的三個基本假設(shè)：1. y=Xb+e2. Rank(X)=K3. e|XN(0,s2I) §1、多重共線性（multicollinearity）1、含義及后果1）完全的多重共線性如果存在完全的多重共線性（perfect multicollinearity），即在X中存在不完全為0的ai，使得a1x1+aKxK=0即X的列向量之間存在線性相關(guān)。因此，有Rank(X)<K，從而|XX|=0，即b=(XX)-1Xy不存在，OLS失效。也即違背了基本假設(shè)2。例子：C=b1+b2nonlabor inco

2、me + b3salary +b4income + e2）近似共線性常見為近似共線性，即a1x1+aKxK0則有|XX|0，那么(XX)-1對角線元素較大。由于，所以bk的方差將較大。例子：Longley是著名例子。2、檢驗方法1） VIF法（方差膨脹因子法，variance inflation factor）第j個解釋變量的VIF定義為此處是第j個解釋變量對其他解釋變量進行回歸的確定系數(shù)。若接近于1，那么VIF數(shù)值將較大，說明第j個解釋變量與其他解釋變量之間存在線性關(guān)系。從而，可以用VIF來度量多重共線性的嚴重程度。當大于0.9，也就是VIF大于10時，認為自變量之間存在比較嚴重的多重共線性

3、。K個解釋變量，就有K個VIF。可以計算K個VIF的平均值。若大于10，認為存在比較嚴重的多重共線性。VIF方法直觀，但是Eviews不能直接計算VIF的數(shù)值。需要逐個進行回歸，較為麻煩。2） 相關(guān)系數(shù)矩陣例子：對于longley數(shù)據(jù)。在Eviews中，quick/group statistics/correlations，輸入te year gnpd gnp arm，得到TEYEARGNPDGNPARMTE 1.000000 0.971329 0.970899 0.983552 0.457307YEAR 0.971329 1.000000 0.991149 0.995273 0.417245

4、GNPD 0.970899 0.991149 1.000000 0.991589 0.464744GNP 0.983552 0.995273 0.991589 1.000000 0.446437ARM 0.457307 0.417245 0.464744 0.446437 1.000000相關(guān)系數(shù)矩陣的第一列給出了被解釋變量與每一個解釋變量之間的相關(guān)系數(shù)；度量了每一個解釋變量對被解釋變量的個別影響。除ARM之外，解釋變量與被解釋變量之間的相關(guān)系數(shù)都很大。但是，從剩下的相關(guān)系數(shù)矩陣可以看到，變量之間的相關(guān)系數(shù)也很大。表明變量之間存在嚴重的多重共線性。3） 條件數(shù)（condition number

5、）首先計算XX的最大和最小特征根，然后計算如下條件數(shù)若大于20，則認為存在多重共線性。3、處理方法1）剔除法（推薦此方法）方法：設(shè)法找出引起多重共線性的解釋變量，并將之剔除在回歸方程之外。準則1：逐個引入解釋變量，根據(jù)R2的變化決定是否引入新的解釋變量。如果R2變化顯著，那么應(yīng)該引入，反之不引入。準則2：剔除VIF最大的解釋變量和不顯著的解釋變量。請試著計算每個解釋變量的VIF值。2）嶺回歸（ridge regression estimator）回憶對于多元線性回歸方程，系數(shù)的LS估計是嶺回歸估計就是計算此處D是一個對角矩陣，定義為具體操作：一般選取r從0.01開始，逐步增加，每次都計算，一直

6、到穩(wěn)定不變?yōu)橹埂４朔椒ǖ膬?yōu)點：在matlab環(huán)境下，使用矩陣運算非常容易計算。缺點：一方面，Eviews不帶此功能；另外一方面，缺乏對估計結(jié)果的解釋的直觀含義（是什么東西？）。3）主成分方法（principal components）首先，計算對稱矩陣XX的特征根和特征向量，此處是特征向量矩陣是特征根矩陣，其中特征根從大到小排列。我們關(guān)心最大的前面L個。其次，計算，即是新的數(shù)據(jù)列向量，作為新的解釋變量。最后，將y對Z進行回歸，得到此方法并不難計算，但是問題仍然是很難解釋估計結(jié)果。§2、異方差（heteroscedasticity）1、含義及影響y=Xb+e，var(ei)var(ej

7、), ij，E(e)=0，或者記為即違背假設(shè)3。用LS估計，所得b是無偏的，但不是有效的。由于E(e)=0，所以有E(b)=b。即滿足無偏性。但是，b的方差為其中。2、檢驗（White檢驗）舉例說明。若回歸方程為y=b0+b1x1 + b2x2 + e使用殘差和解釋變量，建立如下輔助回歸方程 （*）構(gòu)造如下原假設(shè)H0：殘差不存在異方差性直觀上，若H0為真，那么會有什么？可以證明，若H0為真，則其中n為樣本個數(shù)，R2為方程（*）的確定系數(shù)，m為除常數(shù)項外的回歸系數(shù)的個數(shù)。Eviews命令：view/residual tests/white heteroscedasticitystep1：雙擊數(shù)據(jù)

8、文件production_function.wflstep2：輸入ls log(x) c log(l1) log(k1)，進行回歸step3：view/residual tests/white heteroscedasticity（no cross term）（當然也要試一下選擇white heteroscedasticity（cross term）的輸出結(jié)果），有White Heteroskedasticity Test:F-statistic1.275975 Probability0.298609Obs*R-squared5.090339 Probability0.278153Test E

9、quation:Dependent Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:33Sample: 1929 1967Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.1318660.466549-0.2826400.7792LOG(L1)0.0685320.2153410.3182510.7522(LOG(L1)2-0.0056380.020636-0.2732360.7863LOG(K1)-0.0240770.06

10、2504-0.3852100.7025(LOG(K1)20.0018800.0064570.2911810.7727R-squared0.130522 Mean dependent var0.001112Adjusted R-squared0.028230 S.D. dependent var0.002170S.E. of regression0.002139 Akaike info criterion-9.337819Sum squared resid0.000156 Schwarz criterion-9.124542Log likelihood187.0875 F-statistic1.

11、275975Durbin-Watson stat1.899724 Prob(F-statistic)0.298609你得到什么結(jié)論？再試一下具有交叉項的情形。得到如下輸出結(jié)果：White Heteroskedasticity Test:F-statistic1.045111 Probability0.408004Obs*R-squared5.331424 Probability0.376785Test Equation:Dependent Variable: RESID2Method: Least SquaresDate: 11/03/04 Time: 19:34Sample: 1929 19

12、67Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-0.0392740.508873-0.0771780.9389LOG(L1)-0.0542010.333444-0.1625490.8719(LOG(L1)20.0254400.0672540.3782660.7077(LOG(L1)*(LOG(K1)-0.0441980.090923-0.4861050.6301LOG(K1)0.0755370.2144530.3522310.7269(LOG(K1)20.0162590.0302920.536

13、7410.5950R-squared0.136703 Mean dependent var0.001112Adjusted R-squared0.005901 S.D. dependent var0.002170S.E. of regression0.002163 Akaike info criterion-9.293672Sum squared resid0.000154 Schwarz criterion-9.037740Log likelihood187.2266 F-statistic1.045111Durbin-Watson stat1.997638 Prob(F-statistic

14、)0.408004你得到什么結(jié)論？3、處理方法兩種方法：WLS：適用于異方差形式已知情形HAC：適用于異方差形式未知情形1）WLS方法（weighted least square，加權(quán)最小二乘法）WLS方法是GLS（generalized ls，廣義最小二乘法）的特例。所以按照GLS來學習這一部分。假設(shè)回歸方程y=Xb+e的擾動項滿足E(e|X)=0，稱為非球形分布（nonspherical distribution），而傳統(tǒng)情形稱為球形分布（spherical distribution）。系數(shù)的Ls估計b的分布為由于E(e|X)=0，所以有E(b|X)=b。即滿足無偏性。但是，b的方差為其中

15、。即若已知的對稱正定矩陣。將之進行分解，得到并定義。那么在回歸方程左右兩邊左乘以矩陣P，得到Py=PXb+Pe或者記為現(xiàn)在觀察新的擾動項的分布。請試一下計算的分布。注意，由于，所以加個括號還是成立兩邊轉(zhuǎn)置，得到，即。（注意是對稱矩陣）這說明是單位矩陣。因此，現(xiàn)在回歸方程滿足LS的基本假定，可以實施LS，得到是有效估計。還可以計算系數(shù)的GLS估計的分布。留給感興趣的同學。對于WLS的Eviews實現(xiàn)。以美國生產(chǎn)函數(shù)為例。首先雙擊數(shù)據(jù)文件production_function.wfl。并在object/new object中選取equation。其次，輸入log(x) c log(l1) log(

16、k1)，點擊options，選中weighted ls項，并輸入權(quán)數(shù)即可。缺點：確定并計算“權(quán)數(shù)”的過程，還是很麻煩。2）HAC協(xié)方差（Heteroskedasticity and autocorrelation consistent covariance，與異方差和自相關(guān)一致的協(xié)方差）前面已經(jīng)知道，系數(shù)的ls估計的分布為即系數(shù)的ls估計是無偏的、但卻是無效的。我們可以保持無偏的最小二乘法估計，但是使用某個矩陣來對無效性進行修正。當e的協(xié)方差矩陣未知時，可以運用從最小二乘法估計得到的估計殘差，來代替原來的具有異方差的協(xié)方差矩陣，記為，即對的估計。那么，b還是ls得到的系數(shù)的估計。有兩種構(gòu)造的方

17、法：White和Newey-West。l Heteroskedasticity Consistent Covariances (White，1980)當存在未知形式的異方差時，Eviews提供了White協(xié)方差矩陣以替代ls的協(xié)方差矩陣。此處n時觀察樣本個數(shù)，K是解釋變量個數(shù)，e是ls殘差。l HACcovariances (Newey-West) 上面描述的協(xié)方差矩陣，需要假定回歸方程的殘差是序列不相關(guān)的（什么意思：協(xié)方差矩陣具有怎樣的形狀？）。Newey和West (1987b) 提出另外一個更加一般的協(xié)方差矩陣。該協(xié)方差矩陣當同時存在未知形式的異方差和自相關(guān)時，是一致的。該矩陣是此處其中

18、Eviews按照Newey和West的建議，將q設(shè)定為注意：這兩種HAC方法，都不影響系數(shù)的點估計，只是改變了系數(shù)的標準差和t統(tǒng)計量。意義：當異方差形式未知時，采取HAC的糾正可以得到更加可靠的t統(tǒng)計量，以便我們分析回歸結(jié)果。Eviews實現(xiàn)。在options中選擇Heteroskedasticity consistent covariance即可。請比較如下兩個回歸結(jié)果。Dependent Variable: LOG(X)Method: Least SquaresDate: 11/03/04 Time: 21:36Sample: 1929 1967Included observations:

19、 39VariableCoefficientStd. Errort-StatisticProb. C-3.9377140.236999-16.614880.0000LOG(L1)1.4507860.08322817.431370.0000LOG(K1)0.3838080.0480187.9930350.0000R-squared0.994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Akaike info criterio

20、n-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.000000Dependent Variable: LOG(X)Method: Least SquaresDate: 11/03/04 Time: 21:37Sample: 1929 1967Included observations: 39White Heteroskedasticity-Cons

21、istent Standard Errors & CovarianceVariableCoefficientStd. Errort-StatisticProb. C-3.9377140.252031-15.623940.0000LOG(L1)1.4507860.09446915.357220.0000LOG(K1)0.3838080.0548227.0009440.0000R-squared0.994627 Mean dependent var5.687449Adjusted R-squared0.994329 S.D. dependent var0.460959S.E. of regression0.034714 Akaike info criterion-3.809542Sum squared resid0.043382 Schwarz criterion-3.681576Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0.858080 Prob(F-statistic)0.000000你能得到什么結(jié)論？§3、自相關(guān)1、含義及影響影