李子奈計量經(jīng)濟學4.3 多重共線性

§4.3多重共線性Multi-Collinearity1可編輯ppt一、多重共線性的概念二、實際經(jīng)濟問題中的多重共線性三、多重共線性的后果四、多重共線性的檢驗五、克服多重共線性的方法六、案例*七、分部回歸與多重共線性

§4.3多重共線性2可編輯ppt

一、多重共線性的概念對于模型

Yi=

0+1X1i+2X2i++kXki+i

i=1,2,…,n其基本假設之一是解釋變量是互相獨立的。

如果某兩個或多個解釋變量之間出現(xiàn)了相關(guān)性，則稱為多重共線性(Multicollinearity)。3可編輯ppt

如果存在

c1X1i+c2X2i+…+ckXki=0

i=1,2,…,n

其中:ci不全為0，則稱為解釋變量間存在完全共線性（perfectmulticollinearity）。

如果存在

c1X1i+c2X2i+…+ckXki+vi=0

i=1,2,…,n

其中ci不全為0，vi為隨機誤差項，則稱為近似共線性（approximatemulticollinearity）或交互相關(guān)(intercorrelated)。4可編輯ppt

在矩陣表示的線性回歸模型

Y=X

+

中，完全共線性指：秩(X)<k+1，即中，至少有一列向量可由其他列向量（不包括第一列）線性表出。如：X2=X1，則X2對Y的作用可由X1代替。5可編輯ppt

注意：

完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性。6可編輯ppt

二、實際經(jīng)濟問題中的多重共線性

一般地，產(chǎn)生多重共線性的主要原因有以下三個方面：

（1）經(jīng)濟變量相關(guān)的共同趨勢

時間序列樣本：經(jīng)濟繁榮時期，各基本經(jīng)濟變量（收入、消費、投資、價格）都趨于增長；衰退時期，又同時趨于下降。

橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中，資本投入與勞動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。7可編輯ppt

（2）滯后變量的引入在經(jīng)濟計量模型中，往往需要引入滯后經(jīng)濟變量來反映真實的經(jīng)濟關(guān)系。

例如，消費=f(當期收入,前期收入）顯然，兩期收入間有較強的線性相關(guān)性。8可編輯ppt

（3）樣本資料的限制

由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線性。

一般經(jīng)驗：

時間序列數(shù)據(jù)樣本：簡單線性模型，往往存在多重共線性。

截面數(shù)據(jù)樣本：問題不那么嚴重，但多重共線性仍然是存在的。9可編輯ppt

二、多重共線性的后果1、完全共線性下參數(shù)估計量不存在如果存在完全共線性，則(X’X)-1不存在，無法得到參數(shù)的估計量。的OLS估計量為：10可編輯ppt例：對離差形式的二元回歸模型如果兩個解釋變量完全相關(guān)，如x2=

x1，則這時，只能確定綜合參數(shù)

1+

2的估計值：11可編輯ppt

2、近似共線性下OLS估計量非有效

近似共線性下，可以得到OLS參數(shù)估計量，但參數(shù)估計量方差的表達式為

由于|X’X|0，引起(X’X)-1主對角線元素較大，使參數(shù)估計值的方差增大，OLS參數(shù)估計量非有效。12可編輯ppt仍以二元線性模型

y=

1x1+2x2+為例:恰為X1與X2的線性相關(guān)系數(shù)的平方r2由于r2

1，故1/(1-r2)113可編輯ppt多重共線性使參數(shù)估計值的方差增大，1/(1-r2)為方差膨脹因子(VarianceInflationFactor,VIF)當完全不共線時,r2

=0

當近似共線時,0<

r2

<1當完全共線時，r2=1，14可編輯ppt

3、參數(shù)估計量經(jīng)濟含義不合理

如果模型中兩個解釋變量具有線性相關(guān)性，例如X2=

X1

，這時，X1和X2前的參數(shù)

1、

2并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的共同影響。

1、

2已經(jīng)失去了應有的經(jīng)濟含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象：例如

1本來應該是正的，結(jié)果恰是負的。15可編輯ppt4、變量的顯著性檢驗失去意義存在多重共線性時參數(shù)估計值的方差與標準差變大容易使通過樣本計算的t值小于臨界值，誤導作出參數(shù)為0的推斷可能將重要的解釋變量排除在模型之外16可編輯ppt5、模型的預測功能失效

變大的方差容易使區(qū)間預測的“區(qū)間”變大，使預測失去意義。17可編輯ppt注意：除非是完全共線性，多重共線性并不意味著任何基本假設的違背；因此，即使出現(xiàn)較高程度的多重共線性，OLS估計量仍具有線性性等良好的統(tǒng)計性質(zhì)。

問題在于，即使OLS法仍是最好的估計方法，它卻不是“完美的”，尤其是在統(tǒng)計推斷上無法給出真正有用的信息。18可編輯ppt

多重共線性檢驗的任務是：

（1）檢驗多重共線性是否存在；（2）估計多重共線性的范圍，即判斷哪些變量之間存在共線性。多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以用于多重共線性的檢驗方法主要是統(tǒng)計方法：如判定系數(shù)檢驗法、逐步回歸檢驗法等。三、多重共線性的檢驗19可編輯ppt1、檢驗多重共線性是否存在

(1)對兩個解釋變量的模型，采用簡單相關(guān)系數(shù)法求出X1與X2的簡單相關(guān)系數(shù)r，若|r|接近1，則說明兩變量存在較強的多重共線性。(2)對多個解釋變量的模型，采用綜合統(tǒng)計檢驗法若在OLS法下：R2與F值較大，但t檢驗值較小，說明各解釋變量對Y的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對Y的獨立作用不能分辨，故t檢驗不顯著。20可編輯ppt2、判明存在多重共線性的范圍

如果存在多重共線性，需進一步確定究竟由哪些變量引起。

(1)判定系數(shù)檢驗法使模型中每一個解釋變量分別以其余解釋變量為解釋變量進行回歸，并計算相應的擬合優(yōu)度。如果某一種回歸Xji=

1X1i+2X2i+LXLi的判定系數(shù)較大，說明Xj與其他X間存在共線性。21可編輯ppt具體可進一步對上述回歸方程作F檢驗：

式中：Rj?2為第j個解釋變量對其他解釋變量的回歸方程的決定系數(shù)，若存在較強的共線性，則Rj?2較大且接近于1，這時（1-Rj?2）較小，從而Fj的值較大。因此，給定顯著性水平

，計算F值，并與相應的臨界值比較，來判定是否存在相關(guān)性。構(gòu)造如下F統(tǒng)計量22可編輯ppt

在模型中排除某一個解釋變量Xj，估計模型；如果擬合優(yōu)度與包含Xj時十分接近，則說明Xj與其它解釋變量之間存在共線性。另一等價的檢驗是:23可編輯ppt

(2)逐步回歸法

以Y為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，進行模型估計。根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨立。

如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨立解釋變量；

如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它變量之間存在共線性關(guān)系。24可編輯ppt找出引起多重共線性的解釋變量，將它排除出去。以逐步回歸法得到最廣泛的應用。注意：這時，剩余解釋變量參數(shù)的經(jīng)濟含義和數(shù)值都發(fā)生了變化。

如果模型被檢驗證明存在多重共線性，則需要發(fā)展新的方法估計模型，最常用的方法有三類。四、克服多重共線性的方法1、第一類方法：排除引起共線性的變量25可編輯ppt2、第二類方法：差分法時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型:

Yi=1X1i+2X2i++kXki+i可以有效地消除原模型中的多重共線性。

一般講，增量之間的線性關(guān)系遠比總量之間的線性關(guān)系弱得多。26可編輯ppt

例

如：27可編輯ppt由表中的比值可以直觀地看到，增量的線性關(guān)系弱于總量之間的線性關(guān)系。

進一步分析：Y與C(-1)之間的判定系數(shù)為0.9988，△Y與△C(-1)之間的判定系數(shù)為0.956728可編輯ppt3、第三類方法：減小參數(shù)估計量的方差

多重共線性的主要后果是參數(shù)估計量具有較大的方差，所以

采取適當方法減小參數(shù)估計量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。例如：①增加樣本容量，可使參數(shù)估計量的方差減小。29可編輯ppt*②嶺回歸法（RidgeRegression）

70年代發(fā)展的嶺回歸法，以引入偏誤為代價減小參數(shù)估計量的方差，受到人們的重視。具體方法是：引入矩陣D，使參數(shù)估計量為

其中矩陣D一般選擇為主對角陣，即

D=aI

a為大于0的常數(shù)。（*）顯然，與未含D的參數(shù)B的估計量相比，(*)式的估計量有較小的方差。30可編輯ppt六、案例——中國糧食生產(chǎn)函數(shù)

根據(jù)理論和經(jīng)驗分析，影響糧食生產(chǎn)（Y）的主要因素有：農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2)成災面積(X3);農(nóng)業(yè)機械總動力(X4);農(nóng)業(yè)勞動力(X5)已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)：

Y=

0+1X1+2X2+3X3

+4X4

+4X5

+31可編輯ppt32可編輯ppt

1、用OLS法估計上述模型：R2接近于1；給定=5%，得F臨界值F0.05(5,12)=3.11

F=638.4>15.19，故認上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。但X4

、X5

的參數(shù)未通過t檢驗，且符號不正確，故解釋變量間可能存在多重共線性。(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)33可編輯ppt2、檢驗簡單相關(guān)系數(shù)發(fā)現(xiàn)：

X1與X4間存在高度相關(guān)性。列出X1，X2，X3，X4，X5的相關(guān)系數(shù)矩陣：34可編輯ppt3、找出最簡單的回歸形式可見，應選第1個式子為初始的回歸模型。分別作Y與X1，X2，X4，X5間的回歸：

(25.58)(11.49)R2=0.8919F=132.1DW=1.56

(-0.49)(1.14)R2=0.075F=1.30DW=0.12

(17.45)(6.68)R2=0.7527F=48.7DW=1.11

(-