第四章4.1多重共線性

1、1 第第4章章 違背基本假定的多元線性回歸模型違背基本假定的多元線性回歸模型 計(jì)量經(jīng)濟(jì)學(xué)計(jì)量經(jīng)濟(jì)學(xué) 2 違背基本假定的各種情形：違背基本假定的各種情形： （1）隨機(jī)誤差項(xiàng)序列存在異方差異方差性（heteroskedasticity）； （2）隨機(jī)誤差項(xiàng)序列存在自相關(guān)自相關(guān)性（autocorrelation）； （3）解釋變量之間存在多重共多重共線線性(MultiCollinearity) ； （4）解釋變量為隨機(jī)變量； （5）誤差項(xiàng)不服從正態(tài)分布。 u OLS法是否還適用？所得參數(shù)的OLS估計(jì)量是否還具有優(yōu)良 的統(tǒng)計(jì)性質(zhì)？變量顯著性t檢驗(yàn)和方程顯著性F檢驗(yàn)還有效嗎？ u 如果OLS法失效，有哪

2、些補(bǔ)救措施？ u 如何檢驗(yàn)?zāi)Ｐ褪欠襁`背基本假定條件？ 回顧回顧：經(jīng)典線性回歸模型的基本假定條件。經(jīng)典線性回歸模型的基本假定條件。 建立違背基本假定回歸模型存在的基本問(wèn)題：建立違背基本假定回歸模型存在的基本問(wèn)題： 本章主要討論不滿(mǎn)足基本假定中的某一條，而其余假定條件 均成立時(shí)，多元線性回歸模型參數(shù)的有效估計(jì)和檢驗(yàn)問(wèn)題。 3 目的目的 討論違背基本假定的多元線性回歸模型的建模討論違背基本假定的多元線性回歸模型的建模 問(wèn)題（參數(shù)的估計(jì)、統(tǒng)計(jì)檢驗(yàn)）。問(wèn)題（參數(shù)的估計(jì)、統(tǒng)計(jì)檢驗(yàn)）。 4 教學(xué)安排教學(xué)安排 共12學(xué)時(shí)（每講3學(xué)時(shí)） 第一講 4.1 第二講 4.2 第三講 4.3 第四講 4.4和本章小結(jié)、

3、習(xí)題選講 4.1 多重共線性 n多重共線性的概念多重共線性的概念 n多重共線性的來(lái)源與后果多重共線性的來(lái)源與后果 n多重共線性的檢驗(yàn)方法多重共線性的檢驗(yàn)方法 n多重共線性的克服方法多重共線性的克服方法逐步回歸法逐步回歸法 多重共線性的概念多重共線性的概念 “多重共線性（多重共線性（multi-collinearity）” 原指模型的解釋變量間存在線性關(guān)原指模型的解釋變量間存在線性關(guān) 系。系。 01122 = + + + + iiikkii Y XXXu 11213111 12223222 123 (1 10 10 10 k k nnnknk nk XXXX XXXX XXXX X ） 完全多重

4、共線性完全多重共線性意味著： rank(X) k+1，rank(XX) = rank(X) k+1，從而k階方陣XX是不可逆的。 如果非零向量 使得下面的等式成立，則稱(chēng)這些解釋變量存在多重共 線性。 YXX)(X 1 能夠進(jìn)行能夠進(jìn)行OLS估計(jì)嗎？估計(jì)嗎？ 一個(gè)例子：一個(gè)例子： 計(jì)量經(jīng)濟(jì)學(xué)考試成績(jī)的回歸模型：計(jì)量經(jīng)濟(jì)學(xué)考試成績(jī)的回歸模型： 0123 45i scoremathscoreeconscorehourday hourweekothersu 其中，mathscore和econscore分別為數(shù)學(xué)成績(jī)和經(jīng)濟(jì)學(xué)成績(jī)；hourday 和hourweek分別為每天和每周每天和每周學(xué)習(xí)計(jì)量經(jīng)濟(jì)學(xué)

5、的時(shí)間；others還包含其他 一些變量，如監(jiān)考老師的態(tài)度，身邊有沒(méi)有學(xué)習(xí)好的同學(xué)，是否發(fā)現(xiàn)一 些有新意的問(wèn)題（+5分）等等。 能夠?qū)@個(gè)模型進(jìn)行OLS估計(jì)嗎？ 完全多重共線性是一種模型設(shè)定錯(cuò)誤！完全多重共線性是一種模型設(shè)定錯(cuò)誤！ 8 k , 10 k XXX, 21 不完全的多重共線性：不完全的多重共線性：解釋變量 之間存在不完全的多重 共線性，是指 X的各列是近似線性相關(guān)的，即存在不全為0的 數(shù) ，使得 ）（niXX kiki , 2 , 10 110 顯然，解釋變量之間存在不完全的多重共線性意味著存在某一解釋 變量的樣本數(shù)據(jù)能由其余解釋變量的樣本數(shù)據(jù)近似地線性表示。 多重共線性：多重共線

6、性：解釋變量之間的完全多重共線性和不完全多重共線性的 統(tǒng)稱(chēng)，其本質(zhì)是解釋變量的樣本數(shù)據(jù)之間存在完全的或近似的線性相關(guān)性。 一個(gè)基本結(jié)論： 當(dāng)解釋變量中有兩個(gè)變量的樣本數(shù)據(jù)之間高度相關(guān)時(shí)，模型就存在較 嚴(yán)重的多重共線性；但當(dāng)解釋變量?jī)蓛芍g的相關(guān)程度都很低時(shí)，所有解 釋變量之間仍可能存在較嚴(yán)重的多重共線性。 問(wèn)題：?jiǎn)栴}：在多元線性回歸模型中，解釋變量之間存在多重共線性就是指 解釋變量?jī)蓛晒簿€或高度相關(guān)，對(duì)否？ 例題（p91） u 特例：不可識(shí)別的情形。 l rXi Xj = 0，解釋變量間，解釋變量間無(wú)線性關(guān)系無(wú)線性關(guān)系，變量間相互正交。，變量間相互正交。 對(duì)如下的多元回歸和k個(gè)一元回歸模型：

7、yi = 0+1x1 i+ 2x2i + kx ki + ui yi = 11 +1x1i + u1i yi = k1 +kxki + uki 偏回歸系數(shù)j的OLS估計(jì)量與一元回歸系數(shù)j的OLS估計(jì)量完全相同。 l rXi Xj = 1，解釋變量間，解釋變量間完全共線性完全共線性。此時(shí)模型參數(shù)將無(wú)法確定。此時(shí)模型參數(shù)將無(wú)法確定。 l 0|rXi Xj|20，則可以認(rèn)為 模型存在較嚴(yán)重多重共線性的征兆。 （已超范圍） n i ki n i i X X n S 1 2 1 2 1 /100 0/10 00/1 多重共線性的克服方法多重共線性的克服方法 利用已知信息利用已知信息 LnYt =LnA+

8、 LnKt + LnLt + ut + = 1 LnYt = LnA+ LnLt + (1- ) LnKt + ut Ln(Yt/Kt)= LnA + Ln(Lt/Kt)+ ut 估計(jì)出后，再利用關(guān)系式 + = 1，估計(jì)。 有時(shí)LnK和LnL會(huì)高度相關(guān)，假設(shè)發(fā)現(xiàn)該行業(yè)是規(guī)模報(bào) 酬不變的，則： 從而： 增加樣本容量或重新抽取樣本增加樣本容量或重新抽取樣本 主要適用于那些由測(cè)量誤差而引起的多重共線性。主要適用于那些由測(cè)量誤差而引起的多重共線性。 當(dāng)重新抽取樣本時(shí)，克服了測(cè)量誤差，自然也消除了當(dāng)重新抽取樣本時(shí)，克服了測(cè)量誤差，自然也消除了 多重共線性。另外，增加樣本容量也可以減弱多重共多重共線性。另

9、外，增加樣本容量也可以減弱多重共 線性的程度。線性的程度。 合并截面數(shù)據(jù)與時(shí)間序列數(shù)據(jù) Ln Yt = 0+ 1 Ln Pt + 2 Ln It + ut 某種商品的銷(xiāo)售量模型如下： 其中Yt 表示銷(xiāo)售量，Pt表示平均價(jià)格，It表示消費(fèi)者收入。時(shí) 間序列數(shù)據(jù)中，價(jià)格Pt與收入It一般高度相關(guān)。 首先利用截面數(shù)據(jù)估計(jì)收入彈性系數(shù)2。因?yàn)樵诮孛鏀?shù)據(jù) 中，平均價(jià)格是一個(gè)常量，所以不需要估計(jì)1。 LnYt = 0+ 1 Ln Pt + Ln It + ut LnYt - Ln It = 0+ 1 LnPt + ut （1）用被解釋變量對(duì)每一個(gè)所考慮的解釋變量做簡(jiǎn)單回歸。）用被解釋變量對(duì)每一個(gè)所考慮的解

10、釋變量做簡(jiǎn)單回歸。 （2）以對(duì)被解釋變量貢獻(xiàn)最大的解釋變量所對(duì)應(yīng)的回歸方程為基礎(chǔ)，以對(duì)被解釋?zhuān)┮詫?duì)被解釋變量貢獻(xiàn)最大的解釋變量所對(duì)應(yīng)的回歸方程為基礎(chǔ)，以對(duì)被解釋 變量貢獻(xiàn)大小為順序逐個(gè)引入其余的解釋變量。變量貢獻(xiàn)大小為順序逐個(gè)引入其余的解釋變量。 這個(gè)過(guò)程會(huì)出現(xiàn)3種情形： 若新變量的引入改進(jìn)了R2，且回歸參數(shù)的t檢驗(yàn)在統(tǒng)計(jì)上也是顯著的，則 該變量在模型中予以保留。 若新變量的引入未能改進(jìn)R2，且對(duì)其他回歸參數(shù)估計(jì)值的t檢驗(yàn)也未帶來(lái) 什么影響，則認(rèn)為該變量是多余的，應(yīng)該舍棄。 若新變量的引入未能改進(jìn)R2，且顯著地影響了其他回歸參數(shù)估計(jì)值的符號(hào) 與數(shù)值，同時(shí)本身的回歸參數(shù)也通不過(guò)t檢驗(yàn)，這說(shuō)明出現(xiàn)

11、了嚴(yán)重的多重 共線性。舍棄該變量。 逐步回歸法逐步回歸法 26 多重共線性造成的主要后果是參數(shù)估計(jì)量具有較大的方差。為了解決 這一問(wèn)題，計(jì)量經(jīng)濟(jì)學(xué)家們提出了一些以引入偏誤為代價(jià)來(lái)提高參數(shù)估計(jì) 量的穩(wěn)定性的參數(shù)估計(jì)方法，如嶺回歸法（ridge regression）、主成分 回歸法（principal components regression）等。 嶺回歸估計(jì)法嶺回歸估計(jì)法是借助于OLS估計(jì)量的表達(dá)式，機(jī)械地設(shè)定一種具有較 小方差的參數(shù)估計(jì)量以解決多重共線性問(wèn)題的方法。該方法的吸引力在 于用較小的偏誤換來(lái)方差的改善。具體做法是令估計(jì)量為 該方法的缺陷：該方法的缺陷：在如何確定r值上缺乏令人信服的理論依據(jù)，而且對(duì) 參數(shù)的統(tǒng)計(jì)推斷也相當(dāng)復(fù)雜。因此，這種方法在實(shí)際中并不常用。 YXrDXX 1 )( 其中D為 主對(duì)角線上的元素構(gòu)成的對(duì)角矩陣，r為大于0的常數(shù)。 X X 改變參數(shù)的估計(jì)方法以減小參數(shù)估計(jì)量的方差改變參數(shù)的