多重共線性的解決之法

1、第七章 多重共線性教學(xué)目的及要求：1、重點(diǎn)理解多重共線性在經(jīng)濟(jì)現(xiàn)象中的表現(xiàn)及產(chǎn)生的原因和后果2、掌握檢驗(yàn)和處理多重共線性問(wèn)題的方法3、學(xué)會(huì)靈活運(yùn)用eviews軟件解決多重共線性的實(shí)際問(wèn)題。第一節(jié) 多重共線性的產(chǎn)生及后果一、多重共線性的含義1、含義在多元線性回歸模型經(jīng)典假設(shè)中，其重要假定之一是回歸模型的解釋變量之間不存在線性關(guān)系，也就是說(shuō)，解釋變量x1，x2，xk中的任何一個(gè)都不能是其他解釋變量的線性組合。如果違背這一假定，即線性回歸模型中某一個(gè)解釋變量與其他解釋變量間存在線性關(guān)系，就稱線性回歸模型中存在多重共線性。多重共線性違背了解釋變量間不相關(guān)的古典假設(shè)，將給普通最小二乘法帶來(lái)嚴(yán)重后果。2、

2、類型多重共線性包含完全多重共線性和不完全多重共線性兩種類型。（1）完全多重共線性完全多重共線性是指線性回歸模型中至少有一個(gè)解釋變量可以被其他解釋變量線性表示，存在嚴(yán)格的線性關(guān)系。如對(duì)于多元線性回歸模型 （7-1）存在不全為零的數(shù)，使得下式成立： （7-2）則可以說(shuō)解釋變量之間存在完全的線性相關(guān)關(guān)系，即存在完全多重共線性。從矩陣形式來(lái)看，就是，即，觀測(cè)值矩陣是降秩的，表明在向量中至少有一個(gè)列向量可以由其他列向量線性表示。（2）不完全多重共線性不完全多重共線性是指線性回歸模型中解釋變量間存在不嚴(yán)格的線性關(guān)系，即近似線性關(guān)系。如對(duì)于多元線性回歸模型（7-1）存在不全為零的數(shù)，使得下式成立： （7-3

3、）其中為隨機(jī)誤差項(xiàng)，則可以說(shuō)解釋變量之間存在不完全多重共線性。隨機(jī)誤差項(xiàng)表明上述線性關(guān)系是一種近似的關(guān)系式，大體上反映了解釋變量間的相關(guān)程度。完全多重共線性與完全非線性都是極端情況，一般說(shuō)來(lái)，統(tǒng)計(jì)數(shù)據(jù)中多個(gè)解釋變量之間多少都存在一定程度的相關(guān)性，對(duì)多重共線性程度強(qiáng)弱的判斷和解決方法是本章討論的重點(diǎn)。二、多重共線性產(chǎn)生的原因多重共線性在經(jīng)濟(jì)現(xiàn)象中具有普遍性，其產(chǎn)生的原因很多，一般較常見(jiàn)的有以下幾種情況。（一）經(jīng)濟(jì)變量間具有相同方向的變化趨勢(shì)在同一經(jīng)濟(jì)發(fā)展階段，一些因素的變化往往同時(shí)影響若干經(jīng)濟(jì)變量向相同方向變化，從而引起多重共線性。如在經(jīng)濟(jì)上升時(shí)期，投資、收入、消費(fèi)、儲(chǔ)蓄等經(jīng)濟(jì)指標(biāo)都趨向增長(zhǎng)，這

4、些經(jīng)濟(jì)變量在引入同一線性回歸模型并作為解釋變量時(shí)，往往存在較嚴(yán)重的多重共線性。（二）經(jīng)濟(jì)變量間存在較密切關(guān)系由于組成經(jīng)濟(jì)系統(tǒng)的各要素之間是相互影響相互制約的，因而在數(shù)量關(guān)系上也會(huì)存在一定聯(lián)系。如耕地面積與施肥量都會(huì)對(duì)糧食總產(chǎn)量有一定影響，同時(shí)，二者本身存在密切關(guān)系。（三）采用滯后變量作為解釋變量較易產(chǎn)生多重共線性一般滯后變量與當(dāng)期變量在經(jīng)濟(jì)意義上關(guān)聯(lián)度比較密切，往往會(huì)產(chǎn)生多重共線性。如在研究消費(fèi)規(guī)律時(shí)，解釋變量因素不但要考慮當(dāng)期收入，還要考慮以往各期收入，而當(dāng)期收入與滯后收入間存在多重共線性的可能很大。（四）數(shù)據(jù)收集范圍過(guò)窄，有時(shí)會(huì)造成變量間存在多重共線性問(wèn)題。三、多重共線性產(chǎn)生的后果由前述可

5、知，多重共線性分完全多重共線性和不完全多重共線性兩種情況，兩種情況都會(huì)對(duì)模型進(jìn)行最小二乘估計(jì)都會(huì)產(chǎn)生嚴(yán)重后果。（一）完全多重共線性產(chǎn)生的后果以二元線性回歸模型為例， （7-4）以離差形式表示，假設(shè)其中，常數(shù)，則， ，的最小二乘估計(jì)量為 （7-5）同理得到： （7-6） 可見(jiàn)參數(shù)估計(jì)值和無(wú)法確定。再考察參數(shù)估計(jì)量的方差，由前面章節(jié)可知： （7-7）將代入上式，則 （7-8） =說(shuō)明此種情況下方差為無(wú)窮大。同理可以證明的方差在完全共線性下也為無(wú)窮大。以上分析表明，在完全多重共線性條件下，普通最小二乘法估計(jì)的參數(shù)值不能確定，并且估計(jì)值的方差為無(wú)窮大。（二）不完全多重共線性產(chǎn)生的后果假設(shè)上述二元線性回

6、歸模型中解釋變量與的關(guān)系為 （7-9）其中為隨機(jī)項(xiàng)，滿足，代入估計(jì)表達(dá)得： （7-10）由于，因而是可確定估計(jì)的，但是其數(shù)值依賴的數(shù)值，而的數(shù)值隨樣本的變化有較大變化，所以估計(jì)值是很不穩(wěn)定的。同理可以證明也是可估計(jì)的，且數(shù)值具有不穩(wěn)定性。考察估計(jì)量的方差：由（7-1）式可知是、的相關(guān)系數(shù)，因此 （7-11）參數(shù)估計(jì)量的方差可表達(dá)為： （7-12）其中為和之間的相關(guān)系數(shù)，從（7-12）式可見(jiàn)，的值越大，則共線程度越高，估計(jì)量方差越大，直至無(wú)窮。綜上所述，線性回歸模型解釋變量間存在多重共線性可能產(chǎn)生如下后果：增大最小二乘估計(jì)量的方差；參數(shù)估計(jì)值不穩(wěn)定，對(duì)樣本變化敏感；檢驗(yàn)可靠性降低，產(chǎn)生棄真錯(cuò)誤。

7、由于參數(shù)估計(jì)量方差增大，在進(jìn)行顯著性檢驗(yàn)時(shí)，t檢驗(yàn)值將會(huì)變小，可能使某些本該參數(shù)顯著的檢驗(yàn)結(jié)果變得不顯著，從而將重要變量舍棄。第二節(jié) 多重共線性的檢驗(yàn)多重共線性是較為普通存在的現(xiàn)象，從上節(jié)分析可知，較高程度的多重共線性會(huì)對(duì)最小二乘估計(jì)產(chǎn)生嚴(yán)重后果，因此，在運(yùn)用最小二乘法進(jìn)行多元線性回歸時(shí)，不但要檢驗(yàn)解釋變量間是否存在多重共線性，還要檢驗(yàn)多重共線性的嚴(yán)重程度。一、不顯著系數(shù)法情況1、 很大，t小不顯著系數(shù)法是利用多元線性回歸模型的擬合結(jié)果進(jìn)行檢驗(yàn)。如果擬合優(yōu)度的值很大（一般來(lái)說(shuō)在0.8以上），然而模型中的全部或部分參數(shù)值估計(jì)值經(jīng)檢驗(yàn)卻不顯著，那么解釋變量間有可能存在較嚴(yán)重的多重共線性。情況2、理

8、論性強(qiáng)，檢驗(yàn)值弱如果從經(jīng)濟(jì)理論或常識(shí)來(lái)看某個(gè)解釋變量對(duì)被解釋變量有重要影響，但是從線性回歸模型的擬合結(jié)果來(lái)看，該解釋變量的參數(shù)估計(jì)值經(jīng)檢驗(yàn)卻不顯著，那么可能是解釋變量間存在多重共線性所導(dǎo)致的。情況3、新引入變量后，方差增大在多元線性回歸模型中新引入一個(gè)變量后，發(fā)現(xiàn)模型中原有參數(shù)估計(jì)值的方差明顯增大，則說(shuō)明解釋變量間可能存在多重共線性。二、擬合優(yōu)度檢驗(yàn)對(duì)多元線性回歸模型中各個(gè)解釋變量相互建立回歸方程，分別求出各回歸方程的擬和優(yōu)度，如果其中最大的一個(gè)接近，顯著大于臨界值，該變量可以被其他變量線性解釋，則其所對(duì)應(yīng)的解釋變量與其余解釋變量間存在多重共線性。如設(shè)某多元線性回歸模型中原有個(gè)解釋變量，將每個(gè)

9、解釋變量對(duì)其他解釋變量進(jìn)行回歸，得到個(gè)回歸方程：分別求出上述各個(gè)方程的擬合優(yōu)度，如果其中最大的一個(gè)接近于，則它所對(duì)應(yīng)的解釋變量與其余解釋變量間存在多重共線性。三、相關(guān)矩陣法考察多元線性回歸模型 （7-13）其解釋變量之間的相關(guān)系數(shù)矩陣為： （7-14）因?yàn)?，所以上面相關(guān)陣為對(duì)稱陣，只需考察主對(duì)角線元素上方（或下方）某個(gè)元素絕對(duì)值是否很大（一般在0.8以上），就可以判斷兩個(gè)解釋變量間是否存在多重共線性。結(jié)論：另外需要特別注意的是，如果相關(guān)系數(shù)很大，則一定存在多重共線性，如果相關(guān)系數(shù)很小，不一定沒(méi)有多重共線性。四、frisch綜合分析法1、方法及分析標(biāo)準(zhǔn)frisch綜合分析法也叫逐步分析估計(jì)法，其

10、基本思想是先將被解釋變量對(duì)每個(gè)解釋變量作簡(jiǎn)單回歸方程，稱為基本回歸方程。再對(duì)每一個(gè)基本回歸方程進(jìn)行統(tǒng)計(jì)檢驗(yàn)，并根據(jù)經(jīng)濟(jì)理論分析選出最優(yōu)基本方程，然后再將其他解釋變量逐一引入，建立一系列回歸方程，根據(jù)每個(gè)新加的解釋變量的標(biāo)準(zhǔn)差和復(fù)相關(guān)系數(shù)來(lái)考察其對(duì)每個(gè)回歸系數(shù)的影響，一般根據(jù)如下標(biāo)準(zhǔn)進(jìn)行分類判別：.如果新引進(jìn)的解釋變量使得到提高,而其他參數(shù)回歸系數(shù)在統(tǒng)計(jì)上和經(jīng)濟(jì)理論上仍然合理，則認(rèn)為這個(gè)新引入的變量對(duì)回歸模型是有利的，可以作為解釋變量予以保留。.如果新引進(jìn)的解釋變量對(duì)改進(jìn)不明顯，對(duì)其他回歸系數(shù)也沒(méi)有多大影響，則不必保留在回歸模型中。.如果新引進(jìn)的解釋變量不僅改變了，而且對(duì)其他回歸系數(shù)的數(shù)值或符號(hào)

11、具有明顯影響，則可認(rèn)為引進(jìn)新變量后，回歸模型解釋變量間存在嚴(yán)重多重共線性。這個(gè)新引進(jìn)的變量如果從理論上分析是十分重要的，則不能簡(jiǎn)單舍棄，而是應(yīng)研究改善模型的形式，尋找更符合實(shí)際的模型，重新進(jìn)行估計(jì)。如果通過(guò)檢驗(yàn)證明存在明顯線性相關(guān)的兩個(gè)解釋變量中的一個(gè)可以被另一個(gè)解釋，則可略去其中對(duì)被解釋變量影響較小的那個(gè)變量，模型中保留影響較大的那個(gè)變量。2、具體實(shí)例例7-1 設(shè)某地10年間有關(guān)服裝消費(fèi)、可支配收入、流動(dòng)資產(chǎn)、服裝類物價(jià)指數(shù)、總物價(jià)指數(shù)的調(diào)查數(shù)據(jù)如表7-1，請(qǐng)建立需求函數(shù)模型。表7-1 服裝消費(fèi)及相關(guān)變量調(diào)查數(shù)據(jù)年份服裝開(kāi)支（百萬(wàn)元）可支配收入y（百萬(wàn)元）流動(dòng)資產(chǎn)（百萬(wàn)元）服裝類物價(jià)指數(shù)pc

12、1992年=100總物價(jià)指數(shù)01992年=10019888.482.917.1929419899.688.021.39396199010.499.925.19697199111.4105.329.09497199212.2117.734.0100100199314.2131.040.0101101199415.8148.244.0105104199517.9161.849.0112109199619.3174.251.0112111199720.8184.753.0112111（）設(shè)對(duì)服裝的需求函數(shù)為用最小二乘法估計(jì)得由得出拒絕零假設(shè)，認(rèn)為服裝支出與解釋變量間存在顯著關(guān)系。（）求各解釋變量的基

13、本相關(guān)系數(shù)上述基本相關(guān)系數(shù)表明解釋變量間高度相關(guān)，也就是存在較嚴(yán)重的多重共線性。（）為檢驗(yàn)多重共線性的影響，作如下簡(jiǎn)單回歸： （-3.3102） （41.9370） （-9.1682） （12.5363） （2.5858） （15.3096） （-14.7710） （18.6585） 以上四個(gè)方程根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)，收入是最重要的解釋變量（t檢驗(yàn)值=41.937也最大），從而得出最優(yōu)簡(jiǎn)單回歸方程。（）將其余變量逐個(gè)引入，計(jì)算結(jié)果如下表7-2：表7-2服裝消費(fèi)模型的估計(jì)（常數(shù)）-1.2455（-3.3102）0.117（41.9370）_0.99552.62711.4047（0.2852）0

14、.1257（8.4259）-0.0361（-0.5398）_0.99572.53350.9400（0.1815）0.1387（5.5845）-0.0345（-0.4941）-0.0379（-0.6682）_0.99593.1568-12.7593（-1.9581）0.1036（7.4640）-0.1882（-2.4693）_0.3186（2.6189）0.99803.5241-13.5335（-1.8013）0.0970（3.6603）-0.1991（-2.2087）0.0151（0.3053）0.3401（2.2714）0.99803.3826結(jié)果分析：在最優(yōu)簡(jiǎn)單回歸方程中引入變量，使由0.

15、9955提高到0.9957，正號(hào)，負(fù)號(hào)是合理的，進(jìn)行t檢驗(yàn)不顯著。從經(jīng)濟(jì)理論分析，應(yīng)該是重要因素，雖然與高度相關(guān)，但并不影響的顯著性和穩(wěn)定性，因此，可能是“有利變量”，暫時(shí)給予保留。模型中引入變量，由0.9957提高到0.9959，值略有提高。雖然與，與均高度相關(guān)，但是的引入對(duì)參數(shù)、的影響不大， 的符號(hào)不滿意，可能是“多余變量”，暫時(shí)刪除。舍去變量，加入變量，使由0.9957提高到0.9980，值改進(jìn)較大，、均顯著，從經(jīng)濟(jì)意義上看也是合理的。因此可以認(rèn)為、皆為“有利變量”應(yīng)給予保留。最后再引入變量，0.9980沒(méi)有增加（或幾乎沒(méi)有增加），對(duì)其他三個(gè)解釋變量參數(shù)系數(shù)沒(méi)有多大影響，可以確定是多余變

16、量，應(yīng)從模型中刪除。得到如下結(jié)論：回歸模型以為最優(yōu)模型。通過(guò)上例分析可以看出，frisch綜合分析法不但可以檢驗(yàn)多重共線性，同時(shí)也可以對(duì)多重共線性進(jìn)行處理。第三節(jié) 多重共線性的處理一、先驗(yàn)信息法先驗(yàn)信息法是指根據(jù)經(jīng)濟(jì)理論或者其他已有研究成果事前確定回歸模型參數(shù)間的某種關(guān)系，將這種約束條件與樣本信息綜合考慮，進(jìn)行最小二乘估計(jì)。運(yùn)用參數(shù)間的先驗(yàn)信息可以消除多重共線性。如對(duì)cobb-douglas生產(chǎn)函數(shù)進(jìn)行回歸估計(jì) 其中y、l、k分別表示產(chǎn)出、勞動(dòng)力和資本由先驗(yàn)信息可知?jiǎng)趧?dòng)投入量l與資金投入量k之間通常是高度相關(guān)的，如果按照經(jīng)濟(jì)理論“生產(chǎn)規(guī)模報(bào)酬不變”的假定，則 則 兩邊取對(duì)數(shù) （7-15）此時(shí)上

17、式為一元線性回歸模型，不存在多重共線性問(wèn)題。二、改變變量的定義形式在進(jìn)行回歸模型共線性處理時(shí)，有時(shí)要根據(jù)所分析的具體經(jīng)濟(jì)問(wèn)題及模型的形式對(duì)解釋變量重新調(diào)整，一般有如下幾種方法：（1）用相對(duì)數(shù)變量替代絕對(duì)數(shù)變量如設(shè)需求函數(shù)為 （7-16）其中y、x、p、p1 分別代表需求量、收入、商品價(jià)格與替代商品價(jià)格，由于商品價(jià)格與替代商品價(jià)格往往是同方向變動(dòng)，該需求函數(shù)模型可能存在多重共線性?？紤]用兩種商品價(jià)格之比作解釋變量，代替原模型中商品價(jià)格與替代商品價(jià)格兩個(gè)解釋變量，則模型為如下形式： （7-17） 原模型中兩種商品價(jià)格變量之間的多重共線性得以避免。（2）刪去模型中次要的或可替代的解釋變量 如果回歸模

18、型解釋變量間存在較嚴(yán)重的多重共線性，根據(jù)經(jīng)濟(jì)理論、實(shí)踐經(jīng)驗(yàn)、相關(guān)系數(shù)檢驗(yàn)、統(tǒng)計(jì)分析等方法鑒別變量是否重要及是否可替代，刪去那些對(duì)被解釋變量影響不大，或認(rèn)為不太重要的變量，則可減輕多重共線性。（3）差分法對(duì)回歸模型中所有變量作差分變換也是消除多重共線性的一種有效方法。如設(shè)原回歸模型為 （7-18）模型中解釋變量與間存在多重共線性，與都是時(shí)間序列資料，對(duì)于期 （7-19） （7-20）得到原模型期與期的一階差分形式，令一階差分為可以得到一階差分模型： （7-21）這里的解釋變量不再是原來(lái)的解釋變量而是解釋變量的一階差分，即使原模型中存在嚴(yán)重的多重共線性，變換后的一階差分模型一般也可以解決此類問(wèn)題。

19、值得注意的是，差分變換法也有一定的負(fù)面作用。由于，而與等必然相關(guān)，因此差分變換法在減少多重共線性的同時(shí)，卻帶來(lái)了隨機(jī)擾動(dòng)項(xiàng)序列相關(guān)問(wèn)題。三、主成分法1、含義主成分法是通過(guò)線性變換，將原來(lái)的多個(gè)指標(biāo)組合成相互獨(dú)立的少數(shù)幾個(gè)能充分反映總體信息的指標(biāo)，從而在不丟掉重要信息的前提下避開(kāi)變量間共線性問(wèn)題，便于進(jìn)一步分析。在主成分分析中提取出的每個(gè)主成分都是原來(lái)多個(gè)指標(biāo)的線性組合。比如有兩個(gè)原始變量和，則一共可提取出兩個(gè)主成分： （7-22）原則上如果有n個(gè)變量，則最多可以提取出n個(gè)主成分，但如果將它們?nèi)刻崛〕鰜?lái)就失去了該方法簡(jiǎn)化數(shù)據(jù)的意義。一般情況下提取出2-3個(gè)主成分（已包含了90%以上的信息），其

20、他的可以忽略不計(jì)。2、基本原理主成分分析的基本原理是將解釋變量轉(zhuǎn)換成若干個(gè)主成分，這些主成分從不同側(cè)面反映解釋變量的綜合影響，并且互不相關(guān)。因此，可以將被解釋變量關(guān)于這些主成分進(jìn)行回歸，再根據(jù)主成分與解釋變量之間的對(duì)應(yīng)關(guān)系，求得原回歸模型的估計(jì)方程。3、具體步驟主成分回歸的具體步驟：（1）對(duì)原始樣本數(shù)據(jù)做標(biāo)準(zhǔn)化處理，得到解釋變量的相關(guān)系數(shù)矩陣r。（2）計(jì)算r的個(gè)特征值，以及相應(yīng)的標(biāo)準(zhǔn)化特征向量。（3）利用特征值檢驗(yàn)多重共線性。模型存在多重共線性時(shí)，至少有一個(gè)特征值近似地等于零，不妨設(shè)近似為零，這表明解釋變量之間存在個(gè)線性相關(guān)關(guān)系。（4）設(shè)多元線性模型為，標(biāo)準(zhǔn)化后的解釋變量的k個(gè)主成分為 （7-

21、23）其中互不相關(guān)，并且近似為零。將標(biāo)準(zhǔn)化的被解釋變量關(guān)于個(gè)主成分進(jìn)行回歸，得 （7-24）（5）根據(jù)主成分與解釋變量之間的關(guān)系式（7-23），將其代入主成分回歸方程式（7-24），求得用標(biāo)準(zhǔn)化數(shù)據(jù)表示的回歸方程： （7-25）系數(shù)與原模型中參數(shù)之間的關(guān)系為 （7-26） （7-27）其中，分別為和的標(biāo)準(zhǔn)差，由此可以計(jì)算出原回歸模型中的參數(shù)，進(jìn)而得到 （7-28）四、嶺回歸估計(jì)1、含義嶺回歸分析實(shí)際上是一種改良的最小二乘法，是一種專門用于共線性數(shù)據(jù)分析的有偏估計(jì)回歸方法。如果回歸模型的假定得不到滿足，則b的ols估計(jì)的優(yōu)良性質(zhì)將遭到嚴(yán)重破壞，如果諸x之間有完全的共線性，則它們的回歸系數(shù)是不確定的，并且它們的標(biāo)準(zhǔn)誤沒(méi)有定義；如果有高度共線性，回歸系數(shù)有較大的標(biāo)準(zhǔn)誤，系數(shù)的總體值不能準(zhǔn)確地加以估計(jì)，將導(dǎo)致回歸系數(shù)的方差擴(kuò)大。horel（1970）提出了嶺回歸估計(jì)方法，該方法放棄最小二乘的無(wú)偏性，損失部分信息，以放棄部分精確度為代價(jià)來(lái)尋求效果稍差但更符合實(shí)際的回歸方程。故嶺回歸所得剩余標(biāo)準(zhǔn)差比最小二乘回歸要大。2、基本原理嶺回歸分析的基本思想是當(dāng)自變量間存