復(fù)旦大學(xué)經(jīng)濟(jì)學(xué)院謝識(shí)予計(jì)量經(jīng)濟(jì)學(xué)第八章多重共線性

第八章

多重共線性1第一節(jié)多重共線性及其影響第二節(jié)多重共線性的發(fā)現(xiàn)和檢驗(yàn)第三節(jié)多重共線性的克服和處理2本章結(jié)構(gòu)一、多重共線性及其分類4

多元線性回歸模型要求解釋變量之間不存在線性關(guān)系，包括嚴(yán)格的線性關(guān)系和高度的近似線性關(guān)系。

但事實(shí)上由于模型設(shè)定和數(shù)據(jù)等各方面的問(wèn)題，模型的解釋變量之間很可能存在某種程度的線性關(guān)系。這時(shí)候稱多元線性回歸模型存在多重共線性問(wèn)題。多重共線性可以分為兩類。

如果多元線性回歸模型中，存在兩個(gè)或多個(gè)解釋變量之間存在嚴(yán)格的線性關(guān)系，則稱為“完全多重共線性”，也稱為“嚴(yán)格的多重共線性”。

而解釋變量之間存在近似的而不是嚴(yán)格的線性關(guān)系，這種情況被稱為“近似多重共線性”。5二、嚴(yán)格多重共線形及其危害

完全多重共線性不可能由于數(shù)據(jù)問(wèn)題引起，通常是由于模型設(shè)定問(wèn)題，把有嚴(yán)格聯(lián)系的變量引進(jìn)同一個(gè)模型，或者虛擬變量設(shè)置不當(dāng)引起的。設(shè)兩個(gè)解釋變量的線性回歸模型為：回歸方程為：6求參數(shù)最小二乘估計(jì)量的正規(guī)方程組為：其中

、

和 分別是 、

和 的離差。

設(shè)

和 兩個(gè)變量之間有嚴(yán)格的線性關(guān)系 ，這個(gè)模型當(dāng)然就存在完全的多重共線性。7

此時(shí) 也成立。把該關(guān)系式代入上述正規(guī)方程組中的第二式可得：得到：

很顯然，這個(gè)方程與上述正規(guī)方程組的第一個(gè)方程是完全相同的。8

這意味著我們得到了包含兩個(gè)未知參數(shù)估計(jì)量的兩個(gè)相同的方程，這時(shí)該方程組有無(wú)窮組解而不是有唯一一組解。

這實(shí)際上意味著被解釋變量究竟受哪些變量的影響變得很不清楚，變量關(guān)系是無(wú)法識(shí)別的。

有完全多重共線性的多元線性回歸模型都無(wú)法順利進(jìn)行參數(shù)估計(jì)，會(huì)使多元線性回歸模型參數(shù)估計(jì)失敗，回歸分析無(wú)法進(jìn)行。9

完全多重共線性雖然破壞性很大，卻不是最需要擔(dān)心的問(wèn)題。

因?yàn)橥耆嘀毓簿€性是由于模型設(shè)定問(wèn)題，把有嚴(yán)格聯(lián)系的變量引進(jìn)同一個(gè)模型，或者虛擬變量設(shè)置不當(dāng)引起的，因此只要在建模時(shí)適當(dāng)注意就可以避免。

即使由于模型設(shè)定的疏忽使得模型存在完全多重共線性問(wèn)題，也比較容易發(fā)現(xiàn)。因?yàn)閰?shù)估計(jì)失效馬上會(huì)提示我們這方面的問(wèn)題。10

完全多重共線性問(wèn)題的處理也比較簡(jiǎn)單，只需要針對(duì)性地修改模型，放棄、調(diào)整

相互之間形成線性關(guān)系，導(dǎo)致完全多重

共線性的部分解釋變量。

注意一般不需要也不應(yīng)該放棄存在線性關(guān)系的全部變量，否則容易使模型失去意義。11三、近似多重共線形的原因及其影響12

近似多重共線性既與變量選擇有關(guān)，也與數(shù)據(jù)有關(guān)。

雖然解釋變量的選擇不當(dāng)，把內(nèi)在相關(guān)性較強(qiáng)的變量引進(jìn)同一個(gè)模型，是導(dǎo)致近似多重共線性的重要原因，但近似多重共線性更經(jīng)常的原因是經(jīng)濟(jì)數(shù)據(jù)的共同趨勢(shì)。

近似多重共線性不會(huì)導(dǎo)致參數(shù)估計(jì)失效，最小二乘參數(shù)估計(jì)能夠得到唯一解。

在模型存在近似多重共線性的情況下，參數(shù)的最小二乘估計(jì)不僅仍然是唯一存在的，而且仍然是最小方差線性無(wú)偏估計(jì)。

但問(wèn)題是當(dāng)存在比較嚴(yán)重的近似多重共線性問(wèn)題時(shí)，參數(shù)估計(jì)方差的絕對(duì)水平可能并不小，而且會(huì)隨著多重共線性程度的提高急劇上升。13

如果記變量用記變量 的離差平方和，對(duì)其余 個(gè)解釋變量的回歸平方和，表示原模型第k

個(gè)解釋變量對(duì)其余 個(gè)解釋變量回歸的決定系數(shù)，那么 的方差可以寫(xiě)成：14

如果第k個(gè)解釋變量與其余全沒(méi)有相關(guān)性，那么

，個(gè)解釋變量完。

當(dāng)?shù)趉

個(gè)解釋變量與其他解釋變量之間有相關(guān)性時(shí)，

。

當(dāng)?shù)趉

個(gè)解釋變量與其他解釋變量之間有很強(qiáng)的相關(guān)性，也就是模型存在很強(qiáng)的近似多重共線性時(shí)，接近1，此時(shí)的方差會(huì)變得非常大。15

參數(shù)估計(jì)量方差的增大，必然導(dǎo)致參數(shù)估計(jì)的不穩(wěn)定性提高，容易出現(xiàn)參數(shù)符號(hào)和數(shù)值大小的異常情況，從而使最小二乘估計(jì)的有效性受到很大影響。

多重共線性正是通過(guò)這樣的機(jī)制，對(duì)多元線性回歸模型的最小二乘估計(jì)產(chǎn)生不利影響，其后果常表現(xiàn)為參數(shù)估計(jì)不穩(wěn)定，數(shù)據(jù)的很小變化會(huì)引起參數(shù)估計(jì)值的較大變化，而且參數(shù)估計(jì)的異常值增多，包括顯著性水平不符合實(shí)際，或反映解釋變量作用方向的符號(hào)相反等。16

近似多重共線性表現(xiàn)形式和原因的多樣性，數(shù)據(jù)問(wèn)題導(dǎo)致多重共線性的隱蔽性，使得近似多重共線性的發(fā)現(xiàn)、判斷和處理也比較困難。

正是因?yàn)檫@些原因，近似多重共線性是我們重點(diǎn)關(guān)心的問(wèn)題，在多數(shù)情況下多重共線性指的就是近似多重共線性。17第二節(jié)多重共線性的發(fā)現(xiàn)和檢驗(yàn)18

多重共線性的根源是解釋變量之間的相關(guān)性，因此分析解釋變量之間的相關(guān)性，進(jìn)行單相關(guān)或多元相關(guān)性的分析檢驗(yàn)，是發(fā)現(xiàn)和判斷多重共線性問(wèn)題的基本方法。

當(dāng)然，解釋變量之間總是有不同程度相關(guān)性的，因此要認(rèn)定模型確實(shí)存在較嚴(yán)重、必須處理的

共線性問(wèn)題，必須結(jié)合參數(shù)估計(jì)的符號(hào)、大小

和顯著性等是否異常，或者參數(shù)估計(jì)是否表現(xiàn)

出很大不穩(wěn)定性（可通過(guò)改變少量數(shù)據(jù)檢驗(yàn)）等進(jìn)行判斷。

因?yàn)槎嘀毓簿€性是通過(guò)對(duì)參數(shù)估計(jì)方差的放大作用對(duì)多元線性回歸產(chǎn)生不利影響的，而解釋

變量的共線性程度與參數(shù)估計(jì)量方差的大小有

一致性，因此可以根據(jù)參數(shù)估計(jì)方差被“放大”的程度，判斷模型是否存在多重共線性問(wèn)題，

以及是由哪些變量引起的共線性問(wèn)題。以參數(shù)估計(jì) 為例。 的方差為：19

這種檢驗(yàn)方法稱為“方差擴(kuò)大因子檢驗(yàn)”，是檢驗(yàn)多重共線性的常用方法。

通常以方差擴(kuò)大因子是否大于10，即是否大于0.9，或第k個(gè)解釋變量是否90%以上由其他解釋變量反映，作為判斷k個(gè)解釋變量是否存在必須加以處理的多重共線性的標(biāo)準(zhǔn)。

事實(shí)上，當(dāng)解釋變量之間存在嚴(yán)重的共線性問(wèn)題時(shí)，相關(guān)變量的方差擴(kuò)大因子常常會(huì)達(dá)到幾十、上百甚至更大。例8－1。詳見(jiàn)Eviews演示。21一、增加樣本容量

由于近似多重共線性意味著 對(duì)任意i都必須成立，因此若樣本容量較小，近似多重共線性的可能性就較大，若樣本容量大，多重共線性的可能性就越小，因此增加樣本容量常能降低解釋變量之

間的多重共線性。

增加樣本容量是理論上降低多重共線性最簡(jiǎn)便的方法之一。23增加樣本容量方法的缺陷24

首先是增加樣本容量并不必然降低多重共線性。事實(shí)上如果所增加的數(shù)據(jù)與原來(lái)的數(shù)據(jù)有基本相同的性質(zhì)，即也有類似的共線性，那么就完全起不到作用。

其次在許多實(shí)際的計(jì)量經(jīng)濟(jì)分析中，數(shù)據(jù)數(shù)量會(huì)受到很大限制，增加樣本容量事實(shí)上無(wú)法實(shí)現(xiàn)。因此增加樣本容量的方法在解決多重共線性方面的作用是很有限的。二、差分模型

因?yàn)槎嘀毓簿€性往往是經(jīng)濟(jì)變量的共同變化趨勢(shì)引起的，差分變換常常能使數(shù)據(jù)中趨勢(shì)性部分的比重降低，波動(dòng)和變化部分的比重加強(qiáng)，從而降低多重共線性問(wèn)題。例如線性回歸模型為：且已知

和 之間存在多重共線性問(wèn)題。25如果我們對(duì)數(shù)據(jù)作如下的一階差分變換：

那么

和 之間的共線性通常會(huì)比和 之間的共線性程度低。26因?yàn)椴罘帜Ｐ偷恼`差項(xiàng)為

，，所以相鄰兩個(gè)誤差項(xiàng)之間會(huì)有一定的相關(guān)性。

當(dāng)然，如果原模型既有多重共線性問(wèn)題，又有較強(qiáng)的一階正自相關(guān)性，那么差分

方法也可能會(huì)同時(shí)解決這兩種問(wèn)題。

運(yùn)用差分模型往往還會(huì)使參數(shù)估計(jì)的方差擴(kuò)大，樣本信息也會(huì)有一些損失。28三、模型修正29

由于近似多重共線性既是數(shù)據(jù)的問(wèn)題，也是變量選擇和模型設(shè)定問(wèn)題，因此修改模型設(shè)定，也是克服多重共線性問(wèn)題的基本方法。修改模型的方法也有多種。1、刪減解釋變量30

引起多重共線性的直接原因之一，是在模型中引進(jìn)過(guò)多相似有內(nèi)在聯(lián)系的解釋變量，因此在

根據(jù)方差擴(kuò)大因子等判斷導(dǎo)致共線性的變量中，如果刪減掉一些與其他解釋變量意義相近的變

量，?？善鸬接行Ы档投嘀毓簿€性的作用。

例如資產(chǎn)和流動(dòng)資產(chǎn)兩個(gè)指標(biāo)之間，就常有較強(qiáng)的相關(guān)性，而且它們的意義也近似，因此同時(shí)引進(jìn)這兩個(gè)變量的線性回歸模型常會(huì)因它們而有共線性問(wèn)題，放棄其中一個(gè)指標(biāo)往往能使共線性大大降低。2、整合解釋變量31

以某種方式將經(jīng)濟(jì)意義相近、相關(guān)性較強(qiáng)的解釋變量整合成一個(gè)新變量，也是降低共線性的有效方法。

當(dāng)然整合解釋變量要注意經(jīng)濟(jì)理論和實(shí)證的根據(jù)，如加權(quán)的權(quán)重要符合經(jīng)濟(jì)理論、經(jīng)驗(yàn)結(jié)論，或者原模型回歸分析的試算結(jié)果等。3、先驗(yàn)信息參數(shù)約束

如果有關(guān)于模型或者其中參數(shù)的某些

“先驗(yàn)信息”，也可以利用來(lái)克服模型的多重共線性問(wèn)題。

例如已知生產(chǎn)函數(shù)為 ，經(jīng)過(guò)對(duì)數(shù)變換建立了線性回歸模型：

因?yàn)閯趧?dòng)力和資本的增長(zhǎng)往往有同步性，因此上述模型往往有多重共線性問(wèn)題。32整理可得：

最后這個(gè)函數(shù)相當(dāng)于兩變量線性回歸模型，當(dāng)然不會(huì)有多重共線性問(wèn)題。34四、分布估計(jì)參數(shù)35

利用先驗(yàn)信息修正模型克服多重共線性的方法很有啟發(fā)性。

如果先用某種方法估計(jì)出模型中的部分參數(shù)，就可以把它們作為先驗(yàn)信息簡(jiǎn)化模型，從而克服原模型的多重共線性問(wèn)題。

分步估計(jì)參數(shù)方法的典型應(yīng)用，是在時(shí)間序列數(shù)據(jù)模型中結(jié)合截面數(shù)據(jù)分析。例如通常會(huì)考慮用模型：作為研究需求規(guī)律的模型。其中Q

為消費(fèi)需求，可以是針對(duì)特定商品的，也可以指總的消費(fèi)需求，Y

為可支配收入或收入，P

為價(jià)格或價(jià)格

指數(shù)。

由于價(jià)格只有時(shí)間序列數(shù)據(jù)，因此這種模型通常是分析時(shí)間序列數(shù)據(jù)規(guī)律的。

但問(wèn)題是Y

和P

兩個(gè)變量之間常常有共同的時(shí)間趨勢(shì)，因此很容易存在共線性問(wèn)題，從而影響回歸分析的可靠性。36

可以先利用截面數(shù)據(jù)得到模型中參數(shù)的估計(jì)值。

例如通過(guò)調(diào)查得到不同收入組別居民在同一時(shí)點(diǎn)的平均需求，形成Q和Y的截面數(shù)據(jù)樣本，利用這些數(shù)據(jù)對(duì)兩變量模型進(jìn)行回歸分析，得到參數(shù)估計(jì)值。37

雖然這個(gè)模型與前一個(gè)時(shí)間序列數(shù)據(jù)回歸模型不同，但這個(gè)模型的參數(shù)反映的在不同居民之間隨收入上升需求相應(yīng)上升的