多重共線性及其處理

1、第七章 多重共線性及其處理一、簡答題1什么是變量之間的多重共線性?2什么是完全多重共線性？什么是不完全多重共線性？3多重共線性在多元線性回歸模型中普遍存在的主要原因有哪些？ 4多重共線性可能造成哪些不利后果?5多重共線性的檢驗(yàn)有哪些適當(dāng)?shù)姆椒?6多重共線性的修正方法有哪些？ 二、計(jì)算題分析題1某地區(qū)供水部門利用最近20年的用水年度數(shù)據(jù)得出如下估計(jì)模型：（-1.7） (0.9) (1.4) (-0.6) (-1.2) (-0.8)F=38.9式中，用水總量（百萬立方米）,住戶總數(shù)（千戶）,總?cè)丝冢ㄇ耍?人均收入（元）,價格（元/100立方米）,降雨量（毫米）。（1）根據(jù)經(jīng)濟(jì)理論和直覺,請計(jì)回歸

2、系數(shù)的符號是什么(不包括常量)，為什么？觀察符號與你的直覺相符嗎？（2）在10%的顯著性水平下，請進(jìn)行變量的t檢驗(yàn)與方程的F-檢驗(yàn)。T檢驗(yàn)與F檢驗(yàn)結(jié)果有相矛盾的現(xiàn)象嗎？（3）你認(rèn)為估計(jì)值是（1）有偏的；（2）無效的；（3）不一致的嗎？詳細(xì)闡述理由。2下表是某地區(qū)1995年2004年食品需求量、可支配收入、食品類價格指數(shù)、物價總指數(shù)和流動資產(chǎn)擁有量的數(shù)據(jù)資料。食品需求函數(shù)有關(guān)統(tǒng)計(jì)資料年份食品需求量（億元）可支配收入（億元）食品類價格指數(shù)（1995年=100）物價總指數(shù)（1995年=100）流動資產(chǎn)擁有量（億元）199584829 9294171 199696880 9396213 1997104

3、999 9697251 19981141053 9497290 19991221177 100100340 20001421310 101101400 20011581482 105104440 20021791618 112109490 20031931742 112111510 20042081847 112111530 問題：（1）檢驗(yàn)變量間的多重共線性。（2）利用法，建立適當(dāng)?shù)幕貧w方程。 第四部分 習(xí)題答案一、簡答題1多重共線性指兩個或多個解釋變量之間不再彼此獨(dú)立，而是出現(xiàn)了相關(guān)性。2完全多重共線性指：在有多個解釋變量模型中，其中一個變量可以表示為其他多個變量的完全線性函數(shù)，即，其中至

4、少有一個，與等式右邊線性組合的相關(guān)系數(shù)為1，則這種情況被稱為完全多重共線性。在此情況下，不能估計(jì)解釋變量各自對被解釋變量的影響。 不完全多重共線性指：在實(shí)際經(jīng)濟(jì)活動中，多個解釋變量之間存在多重共線性問題，但與等式右邊線性組合的相關(guān)系數(shù)不為1。3多重共線性產(chǎn)生的原因多元線性回歸模型產(chǎn)生多重共線性的原因很多，主要有：（1）經(jīng)濟(jì)變量的內(nèi)在聯(lián)系。這是產(chǎn)生多重共線性的根本原因；（2）解釋變量中含有滯后變量；（3）經(jīng)濟(jì)變量變化趨勢的“共向性”。4多重共線性會產(chǎn)生以下問題：（1）增大了OLS估計(jì)量的方差；（2）難以區(qū)分每個解釋變量的單獨(dú)影響；（3）回歸模型缺乏穩(wěn)定性；（4）檢驗(yàn)的可靠性降低。5在應(yīng)用多元回歸

5、模型中，人們總結(jié)了許多檢驗(yàn)多重共線性的方法。（1）系數(shù)判定法（2）用解釋變量之間所構(gòu)成的回歸方程的決定系數(shù)進(jìn)行判別（3）逐步回歸判別法以為被解釋變量逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行參數(shù)估計(jì)，根據(jù)決定系數(shù)的變化決定新引入的變量是否能夠加入模型之中。首先將對所有的解釋變量分別作回歸，得到所有的模型，取決定系數(shù)最大的模型中的解釋變量加入模型，作為第一個引入模型的變量；其次，將再對剩余的解釋變量分別加入模型，進(jìn)行二元回歸，再次，取決定系數(shù)最大的解釋變量加入模型；依次做下去，直到模型的決定系數(shù)不再改善為止。（4）方差膨脹因子VIF判別法 對于多元線性回歸模型，的方差可以表示成 一般當(dāng)VIF10時(此

6、時0.9)，認(rèn)為模型存在較嚴(yán)重的多重共線性。（5）修正的Frish判別法該方法不僅可以對多重共線性進(jìn)行判別，同時也是處理多重共線性問題的一種有效方法。其步驟為：第一，用被解釋變量分別對每個解釋變量進(jìn)行線性回歸，根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)從中選擇一個最合適的回歸模型作為基本回歸模型，通常選取決定系數(shù)最大的回歸模型。第二，在基本回歸模型中逐個增加其他解釋變量，重新進(jìn)行線性回歸，如果新增加的這個解釋變量提高了回歸模型的決定系數(shù)，并且回歸模型中的其他參數(shù)統(tǒng)計(jì)上仍然顯著，就在模型中保留該解釋變量；如果新增加的解釋變量沒有顯著提高回歸模型的擬合優(yōu)度，則不在模型中保留該解釋變量；如果新增加的解釋變量提高了回歸模

7、型的決定系數(shù)，并且回歸模型中某些參數(shù)的數(shù)值或符號等受到顯著的影響，說明模型中存在多重共線性，對該解釋變量同與之相關(guān)的其他解釋變量進(jìn)行比較，在模型中保留對被解釋變量影響較大的，剔除影響較小的。6多重共線性的解決方法有：（1）剔除引起共線性的變量；在估計(jì)模型之前，找出引起多重共線性的變量，將它剔除出去，是最有效的克服多重共線性問題的方法。（2）變換模型的形式對原模型進(jìn)行適當(dāng)?shù)淖儞Q，也可以消除或削弱原模型中解釋變量之間的相關(guān)關(guān)系。具體有三種變換方式：一是變換模型的函數(shù)形式；二是變換模型的變量形式；三是改變變量的統(tǒng)計(jì)指標(biāo)。（3）綜合使用時序數(shù)據(jù)與橫截面數(shù)據(jù)如果能同時獲得變量的時序數(shù)據(jù)和橫截面數(shù)據(jù)，則先

8、利用某類數(shù)據(jù)估計(jì)出模型中的部分參數(shù)，再利用另一類數(shù)據(jù)估計(jì)模型的其余參數(shù)。（4）逐步回歸分析法逐步回歸選取變量時，是一個“由少到多”的過程，即從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個引入模型；每引入一個變量，就對模型中的所有變量進(jìn)行一次顯著性檢驗(yàn)，并從中剔除不顯著的變量；逐步引入剔除引入，直到模型之外所有變量均不顯著時為止。 （5）增加樣本容量由于多重共線性是一個樣本特性，如果理論上解釋變量之間不存在多重共線性，則可以通過收集更多的觀測值增加樣本容量，來避免或減弱多重共線性。二、計(jì)算題分析題1（1）在其他變量不變的情況下，一城市的人口越多或房屋數(shù)量越多，則對

9、用水的需求越高。所以可期望house和pop的符號為正；收入較高的個人可能用水較多，因此pcy的預(yù)期符號為正，但它可能是不顯著的。如果水價上漲，則用戶會節(jié)約用水，所以可預(yù)期price的系數(shù)為負(fù)。顯然如果降雨量較大，則草地和其他花園或耕地的用水需求就會下降，所以可以期望rain的系數(shù)符號為負(fù)。從估計(jì)的模型看，除了pcy之外，所有符號都與預(yù)期相符。（2）t-統(tǒng)計(jì)量檢驗(yàn)單個變量的顯著性，F(xiàn)-統(tǒng)計(jì)值檢驗(yàn)變量是否是聯(lián)合顯著的。這里t-檢驗(yàn)的自由度為15-5-1=9，在10%的顯著性水平下的臨界值為1.833?？梢姡袇?shù)估計(jì)值的t值的絕對值都小于該值，所以即使在10%的水平下這些變量也不是顯著的。這里

10、，F(xiàn)-統(tǒng)計(jì)值的分子自由度為5，分母自由度為9。10%顯著性水平下F分布的臨界值為2.61?？梢娪?jì)算的F值大于該臨界值，表明回歸系數(shù)是聯(lián)合顯著的。T檢驗(yàn)與F檢驗(yàn)結(jié)果的矛盾可能是由于多重共線性造成的。house、pop、pcy都是高度相關(guān)的，這將使它們的t-值降低且表現(xiàn)為不顯著。price和rain不顯著另有原因。根據(jù)經(jīng)驗(yàn)，如果一個變量的值在樣本期間沒有很大的變化，則它對被解釋變量的影響就不能夠很好地被度量。可以預(yù)期水價與年降雨量在各年中一般沒有太大的變化，所以它們的影響很難度量。（3）多重共線性往往表現(xiàn)的是解釋變量間的樣本觀察現(xiàn)象，在不存在完全共線性的情況下，近似共線并不意味著基本假定的任何改變

11、，所以O(shè)LS估計(jì)量的無偏性、一致性和有效性仍然成立，即仍是BLUE估計(jì)量。但共線性往往導(dǎo)致參數(shù)估計(jì)值的方差大于不存在多重共線性的情況。2根據(jù)理論分析，食品需求量受四個因素的影響，建立回歸方程：利用表7.5中數(shù)據(jù)，采用最小二乘法，得：給定顯著水平，查分布表，得臨界值為，故>，回歸方程線性關(guān)系顯著。現(xiàn)用軟件分別計(jì)算兩兩變量之間的相關(guān)系數(shù)，得表：需求量、收入、類指數(shù)、物價總指數(shù)和資產(chǎn)的相關(guān)系數(shù)矩陣YY 1.000000 0.997733 0.975480 0.988705 0.983359 0.997733 1.000000 0.980356 0.987666 0.988315 0.97548

12、0 0.980356 1.000000 0.991796 0.969962 0.988705 0.987666 0.991796 1.000000 0.969477 0.983359 0.988315 0.969962 0.969477 1.000000可見解釋變量之間是高度相關(guān)的。為了檢查和處理多重共線性，采用修正法。根據(jù)理論分析，可支配收入應(yīng)該是食品需求最主要的影響因素，相關(guān)系數(shù)檢驗(yàn)也表明，收入與食品需求的相關(guān)性最強(qiáng)。所以，首先建立以收入為解釋變量的一元回歸模型。 食品需求量與可支配收入的線性回歸結(jié)果Dependent Variable: YMethod: Least SquaresSam

13、ple: 1995 2004Included observations: 10VariableCoefficientStd. Errort-StatisticProb. C-12.455543.762734-3.3102380.01070.1178450.00281041.937010.0000R-squared0.995472 Mean dependent var140.0000Adjusted R-squared0.994906 S.D. dependent var43.01163S.E. of regression3.069899 Akaike info criterion5.25802

14、3Sum squared resid75.39426 Schwarz criterion5.318540Log likelihood-24.29012 F-statistic1758.713Durbin-Watson stat2.627059 Prob(F-statistic)0.000000依次將其余變量逐個引入模型，估計(jì)結(jié)果分別如表所示。食品需求量與可支配收入及食品類價格指數(shù)的線性回歸結(jié)果VariableCoefficientStd. Errort-StatisticProb. C14.0470849.255430.2851880.78380.1257420.0149238.4259430

15、.0001-0.3610550.668873-0.5397960.1061R-squared0.995653 Mean dependent var140.0000Durbin-Watson stat2.533515 Prob(F-statistic)0.000000食品需求量與收入、類價格指數(shù)及物價總指數(shù)的線性回歸結(jié)果VariableCoefficientStd. Errort-StatisticProb. C-127.592665.15987-1.9581470.09790.1036060.0138817.4639720.0003-1.8817850.762063-2.4693290.04853.1856371.2164102.6188840.0396R-squared0.997972 Mean dependent var140.0000Durbin-Watson stat3.524120 Prob(F-statistic)0.000000需求量、收入、類指數(shù)、物價總指數(shù)和資產(chǎn)的線性回歸結(jié)果VariableCoefficientStd. Errort-StatisticProb. C-135.335275.13155-1.8013100.13150.0969540.0264883.6602780.0146-1.9913430.901601-2.2086750.07823.4