一元線性回歸模型與多元線性回歸模型對比

一元線性回歸模型多元線性回歸模型總體回歸函數(shù)即總體回歸模型（總體回歸函數(shù)的隨機(jī)表達(dá)形式） 即樣本回歸模型（樣本回歸函數(shù)的隨機(jī)表達(dá)形式） 即樣本回歸函數(shù) 即 給定一組容量為n的樣本則，上述式子可以寫成：給定一組容量為n的樣本，則上述式子可以寫成：總體回歸函數(shù)總體回歸模型樣本回歸模型樣本回歸函數(shù)樣本回歸函數(shù)的離差形式解釋變量的個(gè)數(shù)（包括常數(shù)項(xiàng)）2個(gè)： C，Xk+1個(gè)： C，基本假定假設(shè)1：回歸模型是正確設(shè)定的。模型設(shè)定正確假設(shè)。假設(shè)2：確定性假設(shè)。解釋變量X是確定性變量，不是隨機(jī)變量，在重復(fù)抽樣中取固定值。:確定性假設(shè)。解釋變量是非隨機(jī)或固定的，且各之間不存在嚴(yán)格線性相關(guān)（無完全多重共線性）。假設(shè)3： 樣本變異性假設(shè)。對解釋變量X抽取的樣本觀察值并不完全相同。 樣本方差趨于常數(shù)假設(shè)。樣本變異性假設(shè)。各解釋變量在所抽取的樣本中具有變異性。 樣本方差趨于常數(shù)假設(shè)。隨著樣本容量的無限增加，各解釋變量的樣本方差區(qū)域一個(gè)非零的有限常數(shù)。假設(shè)4：隨機(jī)誤差項(xiàng)零均值、同方差、不序列相關(guān)假設(shè)。隨機(jī)誤差項(xiàng)零均值、同方差、不序列相關(guān)假設(shè)。 假設(shè)5：隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。假設(shè):6：正態(tài)性假設(shè)。隨機(jī)項(xiàng)服從正態(tài)分布。正態(tài)性假設(shè)。隨機(jī)項(xiàng)服從正態(tài)分布。參數(shù)估計(jì)一元線性回歸模型多元線性回歸模型普通最小二乘估計(jì)（OLS）殘差平方和達(dá)到最小，得到正規(guī)方程組，求得參數(shù)的普通最小二乘估計(jì)值：(普通最小二乘估計(jì)的離差形式)隨機(jī)干擾項(xiàng)的方差的估計(jì)量殘差平方和達(dá)到最小，得到正規(guī)方程組，求得參數(shù)的普通最小二乘估計(jì)值(普通最小二乘估計(jì)的離差形式)隨機(jī)干擾項(xiàng)的方差 最大似然估計(jì)(ML)矩估計(jì)（MM）參數(shù)估計(jì)值估計(jì)結(jié)果與OLS方法一致，但隨機(jī)干擾項(xiàng)的方差的估計(jì)量與OLS不同參數(shù)估計(jì)值估計(jì)結(jié)果與OLS方法一致，但隨機(jī)干擾項(xiàng)的方差的估計(jì)量參數(shù)估計(jì)量的性質(zhì)線性性、無偏性、有效性線性性、無偏性、有效性參數(shù)估計(jì)量的概率分布-樣本容量問題-樣本容量n必須不少于模型中解釋變量的個(gè)數(shù)（包括常數(shù)項(xiàng)），即才能得到參數(shù)估計(jì)值，時(shí)t分布才比較穩(wěn)定，能夠進(jìn)行變量的顯著性檢驗(yàn)，一般認(rèn)為活著至少時(shí)才能滿足模型估計(jì)要求。如果樣本量過小，則只依靠樣本信息是無法完成估計(jì)的，需要用其他方法去估計(jì)。統(tǒng)計(jì)檢驗(yàn)一元線性回歸模型多元線性回歸模型擬合優(yōu)度檢驗(yàn)總離差平方和的分解TSS=ESS+RSS，越接近于1，擬合優(yōu)度越高?？傠x差平方和的分解TSS=ESS+RSS，（即總平方和中回歸平方和的比例）對于同一個(gè)模型，越接近于1，擬合優(yōu)度越高。（調(diào)整的思路是殘差平方和RSS和總平方和TSS各自除以它們的自由度）為什么要對進(jìn)行調(diào)整?解釋變量個(gè)數(shù)越多，它們對Y所能解釋的部分越大（即回歸平方和部分越大），殘差平方和部分越小，越高，由增加解釋變量引起的的增大與擬合好壞無關(guān)，因此在多元回歸模型之間比較擬合優(yōu)度， 就不是一個(gè)合適的指標(biāo)，必須加以調(diào)整。方程總體顯著性檢驗(yàn)-目的：對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否成立做出判斷。原假設(shè)H0:1=0，2=0，k=0備擇假設(shè)：H1：jj=1,2,k不全為零統(tǒng)計(jì)量的構(gòu)造：F=ESSkRSS(n-k-1)F(k,n-k-1)判斷步驟：計(jì)算F統(tǒng)計(jì)量的值給定顯著性水平，查F分布的臨界值表獲得F(k,n-k-1) 比較F與F的值，若FF,拒絕原假設(shè)，認(rèn)為原方程總體線性關(guān)系在1-的置信水平下顯著。若FF，接受原假設(shè)，不能認(rèn)為原方程總體線性關(guān)系在1-的置信水平下顯著。變量的顯著性檢驗(yàn)?zāi)康模簩δＰ椭斜唤忉屪兞繉γ恳粋€(gè)解釋變量之間的線性關(guān)系是否成立作出判斷，或者說考察所選擇的解釋變量對被解釋變量是否有顯著的線性影響。針對某解釋變量Xj，原假設(shè):H0:j=0,備擇假設(shè)：H1:j0最常用的檢驗(yàn)方法: t檢驗(yàn)構(gòu)造統(tǒng)計(jì)量:t=j-jSj t(n-k-1)判斷步驟：計(jì)算t統(tǒng)計(jì)量的值給定顯著性水平，查t分布的臨界值表獲得t2(n-k-1)比較t值與t2的值，若tt2,拒絕原假設(shè)，認(rèn)為變量Xj在1-的置信水平下通過顯著性檢驗(yàn)（或者說，在的顯著性水平下通過檢驗(yàn)），認(rèn)為解釋變量Xj對被解釋變量Y有顯著線性影響。若tt2，接受原假設(shè)，在顯著性水平下沒有足夠證據(jù)表明Xj對Y有顯著線性影響。參數(shù)的置信區(qū)間目的：考察一次抽樣中樣本參數(shù)的估價(jià)值j與總體參數(shù)的真實(shí)值j的接近程度。思路：構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值j為中心的區(qū)間，考察它以多大的概率包含總體參數(shù)的真實(shí)值。方法：預(yù)先選擇一個(gè)概率（01），使得區(qū)間j-，j+包含參數(shù)真值j的概率為1-即Pj-jj+=1-計(jì)算其中的（=t2Sj），從而求出1-置信度下j的置信區(qū)間：（j-t2Sj，j+t2Sj）掌握概念：置信區(qū)間 置信度 顯著性水平實(shí)際應(yīng)用中，我們希望置信度越高越好，置信區(qū)間越小越好（說明估計(jì)精度越高）。