多元線性回歸模型及其假設(shè)條件

1、5.1 多元線性回歸模型及其假設(shè)條件1 多元線性回歸模型多元線性回歸模型：yi b0 b1 x1i b2 x2ibpxpii ， i 1,2, n2 多元線性回歸模型的方程組形式3 多元線性回歸模型的矩陣形式4 回歸模型必須滿足如下的假設(shè)條件：第一、 有正確的期望函數(shù)。即在線性回歸模型中沒有遺漏任何重要的解釋變量，也沒有包含任何多余的解釋變量。第二、被解釋變量等于期望函數(shù)與隨機(jī)干擾項(xiàng)之和。第三、隨機(jī)干擾項(xiàng)獨(dú)立于期望函數(shù)。即回歸模型中的所有解釋變量X j 與隨機(jī)干擾項(xiàng)u 不相關(guān)。第四、解釋變量矩陣X 是非隨機(jī)矩陣，且其秩為列滿秩的，即：rank (X) k,k n 。式中k 是解釋變量的個(gè)數(shù)，n

2、 為觀測(cè)次數(shù)。第五、隨機(jī)干擾項(xiàng)服從正態(tài)分布。第六、隨機(jī)干擾項(xiàng)的期望值為零。E u 022第七、隨機(jī)干擾項(xiàng)具有方差齊性。ui (常數(shù))第八、隨機(jī)干擾項(xiàng)相互獨(dú)立，即無序列相關(guān)。ui ,u jcov ui , u j =05.2 多元回歸模型參數(shù)的估計(jì)建立回歸模型的基本任務(wù)是：求出參數(shù)，b0，b1， ，bP的估計(jì)值，并進(jìn)行統(tǒng)計(jì)檢驗(yàn)。殘差：eiyi y?i ；殘差平方和：Q=n2eii12yiy?i11矩陣求解：X二X11X21X12X221X1nX2nXp1Xp2 , I?XpnYX1XXOn 1 2 yyYbpyn1yn要通過四個(gè)檢驗(yàn)：經(jīng)濟(jì)意義檢驗(yàn)、統(tǒng)計(jì)檢驗(yàn)、計(jì)量經(jīng)濟(jì)學(xué)檢驗(yàn)、模型預(yù)測(cè)檢驗(yàn)。

3、7;5.4多元線性回歸模型的檢驗(yàn)2 一、R檢驗(yàn)21 . R檢驗(yàn)定乂2R檢驗(yàn)又稱復(fù)相關(guān)系數(shù)檢驗(yàn)法。是通過復(fù)相關(guān)系數(shù)檢驗(yàn)一組自變量X1,X2,刈與因變量y之間的線性相關(guān)程度的方法。Ry，X1X2xp,通常復(fù)相關(guān)系數(shù)與復(fù)可決系數(shù)檢驗(yàn)中的“復(fù)”是相對(duì)于一元函數(shù)而言。復(fù)相關(guān)系數(shù)：自變量在兩個(gè)以上，檢驗(yàn)線性關(guān)系密切程度的指標(biāo)，記為 用R表不。復(fù)可決系數(shù)：復(fù)相關(guān)系數(shù)的平方R2。在實(shí)際應(yīng)用中，判別線性關(guān)系密切程度都是用R2檢驗(yàn)，所以復(fù)可決系數(shù) R2是模型擬合優(yōu)度 指標(biāo)，R2越接近于1,模型擬合越好。0WR2W1。2yi ?i一2yi y2 .復(fù)相關(guān)系數(shù)檢驗(yàn)法的步驟1)計(jì)算復(fù)相關(guān)系數(shù);2)3)判別。3.調(diào)整可決

4、系數(shù)2R是一個(gè)隨自變量個(gè)數(shù)增加而遞增的函數(shù),所以，當(dāng)對(duì)兩個(gè)具有不同自變量個(gè)數(shù)但性質(zhì)相根據(jù)回歸模型的自由度n-m和給定的顯著性水平值，查相關(guān)系數(shù)臨界值表; 2.同的回歸模型進(jìn)行比較時(shí)，不能只用R作為評(píng)價(jià)回歸模型優(yōu)劣的標(biāo)準(zhǔn)，還必須考慮回歸模 型所包含的自變量個(gè)數(shù)的影響。2R 消除了自變量個(gè)數(shù)不同的影響，可以用于不同自變量個(gè)數(shù)間模型的比較。4. R2檢驗(yàn)的目的檢驗(yàn)?zāi)Ｐ蛯?duì)原始數(shù)據(jù)的擬合程度，或?qū)υ紨?shù)據(jù)信息的解釋程度。通過F統(tǒng)計(jì)量檢驗(yàn)假設(shè)Ho:120是否成立的方法?；貧w方程的顯著性檢 m驗(yàn)是檢驗(yàn)所有系數(shù)是否同時(shí)為0 ,2 . F統(tǒng)計(jì)量一2? y m 1y一y-. ，m-1是回歸變差Yi ?i n m一

5、2?i y 的自由度，n-m 是剩余變差2yi ?i的自由度。F服從自由度為 m 1, n m的F分布。3 .回歸效果不顯著的原因1)影響y的因素除了一組自變量 x1,x2，xm之外，還有其他不可忽略的因素。2) y與一組自變量 x1，x2, ，xm之間的關(guān)系不是線性的。3) y與一組自變量 x1，x2,，xm之間無關(guān)。4) 解決辦法分析原因另選自變量或改變模型的形式。三、t檢驗(yàn)1 .檢驗(yàn)?zāi)康幕貧w系數(shù)的顯著性檢驗(yàn)是檢驗(yàn)?zāi)硞€(gè)系數(shù)是否為0。2 . T統(tǒng)計(jì)量?C1統(tǒng)計(jì)假設(shè)H0： bi 0;統(tǒng)計(jì)量：tibi , SQ, cii是矩陣 XX 的第Sy,On mI個(gè)對(duì)角元素。ti是一個(gè)自由度為n-m的t分

6、布變量；統(tǒng)計(jì)檢驗(yàn)判別：ti t。否定假設(shè)，系數(shù)bi 0。否則，接受假設(shè)bi 0。四、DW檢驗(yàn)1 .序列相關(guān)的概念及對(duì)回歸模型的影響序列相關(guān)是指數(shù)列的前后期相關(guān)。若時(shí)差為一期的序列相關(guān)，稱為一節(jié)自相關(guān)?；貧w模型假設(shè)隨機(jī)誤差項(xiàng)之間不存在序列相關(guān)或自相關(guān)，即ui和uj互不相關(guān)，cov ui,uj 0,i j。若回歸模型不滿足這一假設(shè)，則稱回歸模型存在自相關(guān)。當(dāng)模型中存在序列自相關(guān)時(shí)，使用OLS方法估計(jì)參數(shù)，將產(chǎn)生下列嚴(yán)重后果：(1 )估計(jì)標(biāo)準(zhǔn)誤差S可能嚴(yán)重低估b的真實(shí)值。(2)樣本方差S2可能嚴(yán)重低估D j.的真實(shí)值。(3)估計(jì)回歸系數(shù) ？可能歪曲的真實(shí)值。：i(4)通常的F檢驗(yàn)和t檢驗(yàn)將不再有效。

7、(5)根據(jù)最小二乘估計(jì)量所作的預(yù)測(cè)將無效。2 .序列相關(guān)的原因(1)慣性：變量的發(fā)展趨勢(shì)。(2)偏誤：模型設(shè)定有誤，刪去了一些必要變量。(3)蛛網(wǎng)現(xiàn)象：供給對(duì)價(jià)格的反應(yīng)要遲一個(gè)時(shí)期。(4)其他原因：例如，現(xiàn)時(shí)消費(fèi)取決于前期消費(fèi)。3 .序列相關(guān)的檢驗(yàn)方法D-W檢驗(yàn)法。適用條件：序列相關(guān)是一階自回歸形式。注意：第一、 D W檢驗(yàn)不適用于隨機(jī)項(xiàng)具有tWj階序列相關(guān)的檢驗(yàn)。第二、D W檢驗(yàn)有一段不能判斷其正相關(guān)或負(fù)相關(guān)的范圍。第三、對(duì)于利用滯后被解釋變量做為解釋變量的模型，該檢驗(yàn)失效。(1) 一階自相關(guān)的數(shù)學(xué)表達(dá)式，e e 1V(2) D-W檢驗(yàn)給出了是否存在一階自相關(guān)的結(jié)論。Tee id(3) 一階

8、自相關(guān)系數(shù)p的估計(jì)值：？;更常用的是：？ 1 22et 24.消除序列相關(guān)的方法(1 ) 一階差分法已知自相關(guān)的相關(guān)系數(shù)p=1 ，原回歸模型:Vt1Xt U- UtUt 1Vt。令VtVt Vt1；XtXtXt 1；Vt1XtVt。廣義差分法歸模型：Vt1XtUtutUt 1Vt。令 VtVtXtXtXt1Xt廣義最小二乘法做變換得到廣義差分模型。P=pp, XPY,廣義最小二乘估計(jì)量:? 1X? 1Y,Var? 1X2 Y X?v p用樣本普通最小二乘殘差的一階自相關(guān)系數(shù)來估計(jì)。是模型中估計(jì)參數(shù)個(gè)數(shù)（含常數(shù)項(xiàng)）,T是樣本容量。五、異方差1 .異方差及其檢驗(yàn)方法（1）異方差性在觀察點(diǎn)聚圖上的直

9、觀表示（對(duì)原始數(shù)據(jù)點(diǎn)而言）（2）異方差性的檢驗(yàn)方法：（1）經(jīng)濟(jì)分析法。對(duì)數(shù)據(jù)分組，分別計(jì)算方差。（2）直觀判斷 法。對(duì)殘差而百。（3）等級(jí)相關(guān)檢驗(yàn)法。（4）戈里瑟檢驗(yàn)。2 .消除異方差的基本方法（1 ）模型變換法是已知異方差與自變量關(guān)系的形式，對(duì)模型進(jìn)行變換，利用方差的性質(zhì)可以證明是等方差的。（2）加權(quán)最小二乘法11使用異方差性的權(quán)矩陣 w對(duì)模型進(jìn)行變換。B? X w 1X X W 丫六、多重共線性1 .多重共線性：是指模型中解釋變量間存在著一定的相關(guān)關(guān)系，沒有滿足獨(dú)立性要求。2 .原因：（1）各經(jīng)濟(jì)變量間存在著內(nèi)在聯(lián)系。（2）各經(jīng)濟(jì)變量在時(shí)間上有共同增長(zhǎng)的趨勢(shì)。（3 ）在建立模型時(shí)引入了一些解釋變量的滯后值作為新的解釋變量。3 .解決辦法：（1）經(jīng)濟(jì)分析的辦法，找出引起多重共線性的變量，將他排除在外。（2）統(tǒng)計(jì)分析的方法，降維技術(shù)或者逐步回歸的方法。（3）改變變量定義的形式。七、預(yù)測(cè)區(qū)間1 .估計(jì)標(biāo)準(zhǔn)誤差 2V ?i n m2 點(diǎn)預(yù)測(cè)、預(yù)測(cè)誤差的樣本方差（1 ）點(diǎn)預(yù)測(cè)3（2）預(yù)