多重共線性發(fā)現(xiàn)和檢驗(yàn)

1、關(guān)于多重共線性的發(fā)現(xiàn)和檢驗(yàn)1第1頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三2第一節(jié) 多重共線性及其影響第二節(jié) 多重共線性的發(fā)現(xiàn)和檢驗(yàn)第三節(jié) 多重共線性的克服和處理本章結(jié)構(gòu)第2頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三3第一節(jié) 多重共線形及其影響一、多重共線形及其分類二、嚴(yán)格多重共線形及其危害三、近似多重共線形的原因及其影響第3頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三4一、多重共線性及其分類多元線性回歸模型要求解釋變量之間不存在線性關(guān)系，包括嚴(yán)格的線性關(guān)系和高度的近似線性關(guān)系。 但事實(shí)上由于模型設(shè)定和數(shù)據(jù)等各方面的問題，模型的解釋變量之間很可能存

2、在某種程度的線性關(guān)系。這時(shí)候稱多元線性回歸模型存在多重共線性問題。 第4頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三5多重共線性可以分為兩類。如果多元線性回歸模型中，存在兩個(gè)或多個(gè)解釋變量之間存在嚴(yán)格的線性關(guān)系，則稱為“完全多重共線性”，也稱為“嚴(yán)格的多重共線性”。 而解釋變量之間存在近似的而不是嚴(yán)格的線性關(guān)系，這種情況被稱為“近似多重共線性”。 第5頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三6二、嚴(yán)格多重共線形及其危害完全多重共線性不可能由于數(shù)據(jù)問題引起，通常是由于模型設(shè)定問題，把有嚴(yán)格聯(lián)系的變量引進(jìn)同一個(gè)模型，或者虛擬變量設(shè)置不當(dāng)引起的。 設(shè)兩個(gè)解釋變量的線性

3、回歸模型為： 回歸方程為： 第6頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三7求參數(shù)最小二乘估計(jì)量的正規(guī)方程組為： 其中 、 和 分別是 、 和 的離差。設(shè) 和 兩個(gè)變量之間有嚴(yán)格的線性關(guān)系 ，這個(gè)模型當(dāng)然就存在完全的多重共線性。 第7頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三8此時(shí) 也成立。把該關(guān)系式代入上述正規(guī)方程組中的第二式可得：得到：很顯然，這個(gè)方程與上述正規(guī)方程組的第一個(gè)方程是完全相同的。 第8頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三9這意味著我們得到了包含兩個(gè)未知參數(shù)估計(jì)量的兩個(gè)相同的方程，這時(shí)該方程組有無窮組解而不是有唯一一組解。

4、這實(shí)際上意味著被解釋變量究竟受哪些變量的影響變得很不清楚，變量關(guān)系是無法識別的。 有完全多重共線性的多元線性回歸模型都無法順利進(jìn)行參數(shù)估計(jì)，會使多元線性回歸模型參數(shù)估計(jì)失敗，回歸分析無法進(jìn)行。 第9頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三10完全多重共線性雖然破壞性很大，卻不是最需要擔(dān)心的問題。 因?yàn)橥耆嘀毓簿€性是由于模型設(shè)定問題，把有嚴(yán)格聯(lián)系的變量引進(jìn)同一個(gè)模型，或者虛擬變量設(shè)置不當(dāng)引起的，因此只要在建模時(shí)適當(dāng)注意就可以避免。 即使由于模型設(shè)定的疏忽使得模型存在完全多重共線性問題，也比較容易發(fā)現(xiàn)。因?yàn)閰?shù)估計(jì)失效馬上會提示我們這方面的問題。 第10頁，共40頁，2022年

5、，5月20日，19點(diǎn)48分，星期三11完全多重共線性問題的處理也比較簡單，只需要針對性地修改模型，放棄、調(diào)整相互之間形成線性關(guān)系，導(dǎo)致完全多重共線性的部分解釋變量。 注意一般不需要也不應(yīng)該放棄存在線性關(guān)系的全部變量，否則容易使模型失去意義。 第11頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三12三、近似多重共線形的原因及其影響近似多重共線性既與變量選擇有關(guān)，也與數(shù)據(jù)有關(guān)。 雖然解釋變量的選擇不當(dāng)，把內(nèi)在相關(guān)性較強(qiáng)的變量引進(jìn)同一個(gè)模型，是導(dǎo)致近似多重共線性的重要原因，但近似多重共線性更經(jīng)常的原因是經(jīng)濟(jì)數(shù)據(jù)的共同趨勢。 第12頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三

6、13近似多重共線性不會導(dǎo)致參數(shù)估計(jì)失效，最小二乘參數(shù)估計(jì)能夠得到唯一解。 在模型存在近似多重共線性的情況下，參數(shù)的最小二乘估計(jì)不僅仍然是唯一存在的，而且仍然是最小方差線性無偏估計(jì)。 但問題是當(dāng)存在比較嚴(yán)重的近似多重共線性問題時(shí)，參數(shù)估計(jì)方差的絕對水平可能并不小，而且會隨著多重共線性程度的提高急劇上升。 第13頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三14如果 用記變量 的離差平方和， 記變量 對其余 個(gè)解釋變量的回歸平方和， 表示原模型第k 個(gè)解釋變量對 其余 個(gè)解釋變量回歸的決定系數(shù)，那么 的方差可以寫成： 第14頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三15

7、如果第k個(gè)解釋變量與其余 個(gè)解釋變量完全沒有相關(guān)性，那么 ， 。 當(dāng)?shù)趉 個(gè)解釋變量與其他解釋變量之間有相關(guān)性時(shí)， 。當(dāng)?shù)趉 個(gè)解釋變量與其他解釋變量之間有很強(qiáng)的相關(guān)性，也就是模型存在很強(qiáng)的近似多重共線性時(shí)， 接近1，此時(shí) 的方差 會變得非常大。 第15頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三16參數(shù)估計(jì)量方差的增大，必然導(dǎo)致參數(shù)估計(jì)的不穩(wěn)定性提高，容易出現(xiàn)參數(shù)符號和數(shù)值大小的異常情況，從而使最小二乘估計(jì)的有效性受到很大影響。 多重共線性正是通過這樣的機(jī)制，對多元線性回歸模型的最小二乘估計(jì)產(chǎn)生不利影響，其后果常表現(xiàn)為參數(shù)估計(jì)不穩(wěn)定，數(shù)據(jù)的很小變化會引起參數(shù)估計(jì)值的較大變化，而

8、且參數(shù)估計(jì)的異常值增多，包括顯著性水平不符合實(shí)際，或反映解釋變量作用方向的符號相反等。 第16頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三17近似多重共線性表現(xiàn)形式和原因的多樣性，數(shù)據(jù)問題導(dǎo)致多重共線性的隱蔽性，使得近似多重共線性的發(fā)現(xiàn)、判斷和處理也比較困難。 正是因?yàn)檫@些原因，近似多重共線性是我們重點(diǎn)關(guān)心的問題，在多數(shù)情況下多重共線性指的就是近似多重共線性。 第17頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三18第二節(jié) 多重共線性的發(fā)現(xiàn)和檢驗(yàn)多重共線性的根源是解釋變量之間的相關(guān)性，因此分析解釋變量之間的相關(guān)性，進(jìn)行單相關(guān)或多元相關(guān)性的分析檢驗(yàn)，是發(fā)現(xiàn)和判斷多重共線

9、性問題的基本方法。 當(dāng)然，解釋變量之間總是有不同程度相關(guān)性的，因此要認(rèn)定模型確實(shí)存在較嚴(yán)重、必須處理的共線性問題，必須結(jié)合參數(shù)估計(jì)的符號、大小和顯著性等是否異常，或者參數(shù)估計(jì)是否表現(xiàn)出很大不穩(wěn)定性（可通過改變少量數(shù)據(jù)檢驗(yàn)）等進(jìn)行判斷。 第18頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三19因?yàn)槎嘀毓簿€性是通過對參數(shù)估計(jì)方差的放大作用對多元線性回歸產(chǎn)生不利影響的，而解釋變量的共線性程度與參數(shù)估計(jì)量方差的大小有一致性，因此可以根據(jù)參數(shù)估計(jì)方差被“放大”的程度，判斷模型是否存在多重共線性問題，以及是由哪些變量引起的共線性問題。以參數(shù)估計(jì) 為例。 的方差為： 第19頁，共40頁，2022

10、年，5月20日，19點(diǎn)48分，星期三20而 中的因子 ，正是第k個(gè)解釋變量與其他解釋變量之間的相關(guān)性導(dǎo)致方差 擴(kuò)大的倍數(shù)。我們把這個(gè)因子稱為“方差擴(kuò)大因子”，記為： 這個(gè)方差擴(kuò)大因子正是反映各個(gè)解釋變量與其他變量之間的相關(guān)性，對參數(shù)估計(jì)方差和模型有效性影響程度的關(guān)鍵指標(biāo)，可以用來檢驗(yàn)多重共線性的存在以及根源。 第20頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三21這種檢驗(yàn)方法稱為“方差擴(kuò)大因子檢驗(yàn)”，是檢驗(yàn)多重共線性的常用方法。 通常以方差擴(kuò)大因子 是否大于10，即 是否大于0.9，或第k個(gè)解釋變量是否90%以上由其他解釋變量反映，作為判斷k個(gè)解釋變量是否存在必須加以處理的多重共

11、線性的標(biāo)準(zhǔn)。 事實(shí)上，當(dāng)解釋變量之間存在嚴(yán)重的共線性問題時(shí)，相關(guān)變量的方差擴(kuò)大因子常常會達(dá)到幾十、上百甚至更大。 例81。詳見Eviews演示。第21頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三22第三節(jié) 多重共線性的克服和處理一、增加樣本容量二、差分模型三、模型修正四、分布估計(jì)參數(shù)第22頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三23一、增加樣本容量由于近似多重共線性意味著 對任意i都必須成立，因此若樣本容量較小，近似多重共線性的可能性就較大，若樣本容量大，多重共線性的可能性就越小，因此增加樣本容量常能降低解釋變量之間的多重共線性。增加樣本容量是理論上降低多重共線

12、性最簡便的方法之一。 第23頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三24增加樣本容量方法的缺陷首先是增加樣本容量并不必然降低多重共線性。事實(shí)上如果所增加的數(shù)據(jù)與原來的數(shù)據(jù)有基本相同的性質(zhì)，即也有類似的共線性，那么就完全起不到作用。 其次在許多實(shí)際的計(jì)量經(jīng)濟(jì)分析中，數(shù)據(jù)數(shù)量會受到很大限制，增加樣本容量事實(shí)上無法實(shí)現(xiàn)。因此增加樣本容量的方法在解決多重共線性方面的作用是很有限的。 第24頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三25二、差分模型因?yàn)槎嘀毓簿€性往往是經(jīng)濟(jì)變量的共同變化趨勢引起的，差分變換常常能使數(shù)據(jù)中趨勢性部分的比重降低，波動和變化部分的比重加強(qiáng)，從而

13、降低多重共線性問題。 例如線性回歸模型為： 且已知 和 之間存在多重共線性問題。 第25頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三26如果我們對數(shù)據(jù)作如下的一階差分變換：那么 和 之間的共線性通常會比 和 之間的共線性程度低。 第26頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三27因此若改用差分模型： 進(jìn)行回歸，受多重共線性的影響通常會比較小。采用增長率模型也能起到同樣的作用。 需要注意的一個(gè)問題是，用差分模型解決多重共線性問題可能會導(dǎo)致誤差項(xiàng)出現(xiàn)序列相關(guān)。 第27頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三28因?yàn)椴罘帜Ｐ偷恼`差項(xiàng)為 ， ，所以相鄰

14、兩個(gè)誤差項(xiàng)之間會有一定的相關(guān)性。 當(dāng)然，如果原模型既有多重共線性問題，又有較強(qiáng)的一階正自相關(guān)性，那么差分方法也可能會同時(shí)解決這兩種問題。 運(yùn)用差分模型往往還會使參數(shù)估計(jì)的方差擴(kuò)大，樣本信息也會有一些損失。 第28頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三29三、模型修正由于近似多重共線性既是數(shù)據(jù)的問題，也是變量選擇和模型設(shè)定問題，因此修改模型設(shè)定，也是克服多重共線性問題的基本方法。 修改模型的方法也有多種。 第29頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三301、刪減解釋變量引起多重共線性的直接原因之一，是在模型中引進(jìn)過多相似有內(nèi)在聯(lián)系的解釋變量，因此在根據(jù)方差

15、擴(kuò)大因子等判斷導(dǎo)致共線性的變量中，如果刪減掉一些與其他解釋變量意義相近的變量，?？善鸬接行Ы档投嘀毓簿€性的作用。 例如資產(chǎn)和流動資產(chǎn)兩個(gè)指標(biāo)之間，就常有較強(qiáng)的相關(guān)性，而且它們的意義也近似，因此同時(shí)引進(jìn)這兩個(gè)變量的線性回歸模型常會因它們而有共線性問題，放棄其中一個(gè)指標(biāo)往往能使共線性大大降低。 第30頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三312、整合解釋變量以某種方式將經(jīng)濟(jì)意義相近、相關(guān)性較強(qiáng)的解釋變量整合成一個(gè)新變量，也是降低共線性的有效方法。 當(dāng)然整合解釋變量要注意經(jīng)濟(jì)理論和實(shí)證的根據(jù)，如加權(quán)的權(quán)重要符合經(jīng)濟(jì)理論、經(jīng)驗(yàn)結(jié)論，或者原模型回歸分析的試算結(jié)果等。 第31頁，共40

16、頁，2022年，5月20日，19點(diǎn)48分，星期三323、先驗(yàn)信息參數(shù)約束如果有關(guān)于模型或者其中參數(shù)的某些“先驗(yàn)信息”，也可以利用來克服模型的多重共線性問題。例如已知生產(chǎn)函數(shù)為 ，經(jīng)過對數(shù)變換建立了線性回歸模型：因?yàn)閯趧恿唾Y本的增長往往有同步性，因此上述模型往往有多重共線性問題。 第32頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三33不過，有時(shí)候根據(jù)對經(jīng)濟(jì)的實(shí)證研究，能夠預(yù)先知道所研究的經(jīng)濟(jì)有規(guī)模報(bào)酬不變的性質(zhì)，也就是上述模型中的參數(shù)和 滿足 。這種先驗(yàn)信息就可以用來克服多重共線性問題。把 代入模型，有： 第33頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三34整理可

17、得：最后這個(gè)函數(shù)相當(dāng)于兩變量線性回歸模型，當(dāng)然不會有多重共線性問題。 第34頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三35四、分布估計(jì)參數(shù)利用先驗(yàn)信息修正模型克服多重共線性的方法很有啟發(fā)性。如果先用某種方法估計(jì)出模型中的部分參數(shù)，就可以把它們作為先驗(yàn)信息簡化模型，從而克服原模型的多重共線性問題。 分步估計(jì)參數(shù)方法的典型應(yīng)用，是在時(shí)間序列數(shù)據(jù)模型中結(jié)合截面數(shù)據(jù)分析。 第35頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三36例如通常會考慮用模型： 作為研究需求規(guī)律的模型。其中Q 為消費(fèi)需求，可以是針對特定商品的，也可以指總的消費(fèi)需求，Y 為可支配收入或收入，P 為價(jià)格或價(jià)格指數(shù)。 由于價(jià)格只有時(shí)間序列數(shù)據(jù)，因此這種模型通常是分析時(shí)間序列數(shù)據(jù)規(guī)律的。 但問題是Y 和P 兩個(gè)變量之間常常有共同的時(shí)間趨勢，因此很容易存在共線性問題，從而影響回歸分析的可靠性。 第36頁，共40頁，2022年，5月20日，19點(diǎn)48分，星期三37可以先利用截面數(shù)據(jù)得到模型中參數(shù) 的估計(jì)值。 例如通過調(diào)查得到不同收入組別居民在同一時(shí)點(diǎn)的平均需求，形成Q和Y的截面數(shù)據(jù)樣本，利用這些數(shù)據(jù)對兩變量模型 進(jìn)行回歸分析，得到參數(shù)估計(jì)值。 第37頁，共40頁，2022年，5月20日，19點(diǎn)