第5講一元線性回歸

一、回歸結(jié)果的顯著性檢驗(yàn)1.線性關(guān)系的檢驗(yàn)①檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù))殘差均方(MSE)

：殘差平方和SSE除以相應(yīng)的自由度(n-2).1線性關(guān)系的檢驗(yàn)的步驟提出假設(shè)H0：

1=0線性關(guān)系不顯著2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平

，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不能拒絕H02例題分析

(以前面資料)提出假設(shè)H0：

1=0不良貸款與貸款余額之間的線性關(guān)系不顯著計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平

=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F

,拒絕H0，線性關(guān)系顯著3方差分析表Excel輸出的方差分析表42.回歸系數(shù)的檢驗(yàn)在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn)檢驗(yàn)x與y之間是否具有線性關(guān)系，或者說，檢驗(yàn)自變量x對(duì)因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布5樣本統(tǒng)計(jì)量的分布

是根據(jù)最小二乘法求出的樣本統(tǒng)計(jì)量，它有自己的分布的分布具有如下性質(zhì)(線性、無偏、最小方差)分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于

未知，需用其估計(jì)量sy來代替得到的估計(jì)的標(biāo)準(zhǔn)差6回歸系數(shù)的檢驗(yàn)檢驗(yàn)步驟

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量確定顯著性水平

，并進(jìn)行決策

t>t

，拒絕H0；t<t

，不能拒絕H07例題分析

對(duì)例題的回歸系數(shù)進(jìn)行顯著性檢驗(yàn)(

＝0.05)提出假設(shè)H0：b1=0H1：b1

0計(jì)算檢驗(yàn)的統(tǒng)計(jì)量

t=7.533515>t

=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系8回歸系數(shù)的檢驗(yàn)例題分析表

P值的應(yīng)用P=0.000000<

=0.05，拒絕原假設(shè)，不良貸款與貸款余額之間有線性關(guān)系93、三種檢驗(yàn)的關(guān)系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗(yàn)、回歸方程顯著性的F檢驗(yàn)，相關(guān)系數(shù)顯著性t檢驗(yàn)，三者等價(jià)的，檢驗(yàn)結(jié)果是完全一致的。對(duì)一元線性回歸，只做其中的一種檢驗(yàn)即可。10二、回歸分析結(jié)果的評(píng)價(jià)建立的模型是否合適？或者說，這個(gè)擬合的模型有多“好”？要回答這些問題，可以從以下幾個(gè)方面入手所估計(jì)的回歸系數(shù)

的符號(hào)是否與理論或事先預(yù)期相一致在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多不良貸款也可能會(huì)越多，也就是說，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)為正值如果理論上認(rèn)為x與y之間的關(guān)系不僅是正的，而且是統(tǒng)計(jì)上顯著的，那么所建立的回歸方程也應(yīng)該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對(duì)回歸系數(shù)的t檢驗(yàn)結(jié)果表明二者之間的線性關(guān)系是統(tǒng)計(jì)上顯著的11回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯(cuò)考察關(guān)于誤差項(xiàng)

的正態(tài)性假定是否成立。因?yàn)槲覀冊(cè)趯?duì)線性關(guān)系進(jìn)行F檢驗(yàn)和回歸系數(shù)進(jìn)行t檢驗(yàn)時(shí)，都要求誤差項(xiàng)

服從正態(tài)分布，否則，我們所用的檢驗(yàn)程序?qū)⑹菬o效的。

正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖計(jì)量單位的討論，因果模型的特征12Excel輸出的部分回歸結(jié)果R2）13殘差分析1用殘差證實(shí)模型的假定2用殘差檢測(cè)異常值和有影響的觀測(cè)值14殘差圖(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差

的假定是否成立檢測(cè)有影響的觀測(cè)值15殘差圖(形態(tài)及判別)16殘差圖(例題分析)17標(biāo)準(zhǔn)化殘差(standardizedresidual)

殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值。計(jì)算公式為

sei是第i個(gè)殘差的標(biāo)準(zhǔn)差，其計(jì)算公式為

18標(biāo)準(zhǔn)化殘差圖

用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間19標(biāo)準(zhǔn)化殘差圖

(例題分析)20異常值如果某一個(gè)點(diǎn)與其他點(diǎn)所呈現(xiàn)的趨勢(shì)不相吻合，這個(gè)點(diǎn)就有可能是異常點(diǎn)，或稱為野點(diǎn).如果異常值是一個(gè)錯(cuò)誤的數(shù)據(jù)，比如記錄錯(cuò)誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機(jī)因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時(shí)，若一個(gè)異常值是一個(gè)有效的觀測(cè)值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔除.21異常值識(shí)別異常值也可以通過標(biāo)準(zhǔn)化殘差來識(shí)別如果某一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識(shí)別為異常值一般情況下，當(dāng)一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時(shí)，就可以將其視為異常值22有影響的觀測(cè)值如果某一個(gè)或某一些觀測(cè)值對(duì)回歸的結(jié)果有強(qiáng)烈的影響，那么該觀測(cè)值或這些觀測(cè)值就是有影響的觀測(cè)值一個(gè)有影響的觀測(cè)值可能是一個(gè)異常值，即有一個(gè)值遠(yuǎn)遠(yuǎn)偏離了散點(diǎn)圖中的趨勢(shì)線對(duì)應(yīng)一個(gè)遠(yuǎn)離自變量平均值的觀測(cè)值或者是這二者組合而形成的觀測(cè)值

23有影響的觀測(cè)值圖示不存在影響值的趨勢(shì)有影響的觀測(cè)值存在影響值的趨勢(shì)24小結(jié)

一、變量間關(guān)系的種類二、相關(guān)系數(shù)的計(jì)算、評(píng)價(jià)及檢驗(yàn)三、回歸模型、回歸方程、估計(jì)回歸方程的概念，回歸方程參數(shù)的最小二乘估計(jì)四、判定系數(shù)、估計(jì)標(biāo)準(zhǔn)誤差的計(jì)算，及線性關(guān)系檢驗(yàn)及回歸系數(shù)的檢驗(yàn)五、回歸分析結(jié)果的評(píng)價(jià)25利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量x

的取值估計(jì)或預(yù)測(cè)因變量y的取值估計(jì)或預(yù)測(cè)的類型點(diǎn)估計(jì)y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)區(qū)間估計(jì)y的平均值的置信區(qū)間估計(jì)y的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)26利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)

（點(diǎn)估計(jì)）2.點(diǎn)估計(jì)值有y的平均值的點(diǎn)估計(jì)y的個(gè)別值的點(diǎn)估計(jì)3.在點(diǎn)估計(jì)條件下，平均值的點(diǎn)估計(jì)和個(gè)別值的的點(diǎn)估計(jì)是一樣的，但在區(qū)間估計(jì)中則不同對(duì)于自變量x的一個(gè)給定值x0

，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)值27

y的平均值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量

y

的平均值的一個(gè)估計(jì)值E(y0)，就是平均值的點(diǎn)估計(jì)在前面的例子中，假如我們要估計(jì)人均國民收入為2000元時(shí)，所有年份人均消費(fèi)金額的的平均值，就是平均值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得28

y的個(gè)別值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)值，就是個(gè)別值的點(diǎn)估計(jì)2.比如，如果我們只是想知道1990年人均國民收入為1250.7元時(shí)的人均消費(fèi)金額是多少，則屬于個(gè)別值的點(diǎn)估計(jì)。根據(jù)估計(jì)的回歸方程得29點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì)對(duì)于自變量x的一個(gè)給定值x0，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)區(qū)間區(qū)間估計(jì)有兩種類型置信區(qū)間估計(jì)預(yù)測(cè)區(qū)間估計(jì)30參數(shù)最小二乘估計(jì)量的協(xié)方差分析均是無偏估計(jì)均是正態(tài)分布協(xié)方差31

y的平均值的置信區(qū)間估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的平均值E(y0)的估計(jì)區(qū)間

，這一估計(jì)區(qū)間稱為置信區(qū)間

E(y0)

在1-

置信水平下的置信區(qū)間為式中：Sy為估計(jì)標(biāo)準(zhǔn)誤差32【例】根據(jù)前例，求出人均國民收入為1250.7元時(shí)，人均消費(fèi)金額95%的置信區(qū)間

解：根據(jù)前面的計(jì)算結(jié)果＝712.57，Sy=14.95，t

(13-2)＝2.201，n=13置信區(qū)間為:712.57

10.265人均消費(fèi)金額95%的置信區(qū)間為702.305元~722.835元之間33

y的個(gè)別值的預(yù)測(cè)區(qū)間估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間

y0在1-

置信水平下的預(yù)測(cè)區(qū)間為注意！34

【例】根據(jù)前例，求出1990年人均國民收入為1250.7元時(shí)，人均消費(fèi)金額的95%的預(yù)測(cè)區(qū)間解：根據(jù)前面的計(jì)算結(jié)果有＝712.57，Sy=14.95，t

(13-2)＝2.201，n=13置信區(qū)間為712.57

34.469人均消費(fèi)金額95%的預(yù)測(cè)區(qū)間為678.101元~747.039元之間35影響區(qū)間寬度的因素1. 置信水平(1-

)區(qū)間寬度隨置信水平的增大而增大2. 數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預(yù)測(cè)的xp與

x的差異程度區(qū)間寬度隨xp與

x的差異程度的增大而增大36置信區(qū)間、預(yù)測(cè)區(qū)間、回歸方程xpyx

x預(yù)測(cè)上限置信上限預(yù)測(cè)下限置信下限37為你的難過而快樂的是敵人，為你的快樂而快樂的是朋友，為你的難過而難過的就是那些該放進(jìn)心里的人。38抓住一個(gè)機(jī)會(huì)，你就放棄了更多的選擇；放棄一個(gè)選擇，你將會(huì)獲得更多的機(jī)會(huì)。-------劉偉39制度，讓想犯錯(cuò)的人，犯不了錯(cuò)；文化，讓有機(jī)會(huì)犯錯(cuò)的人，不愿意犯錯(cuò)。40作為一名教師沒有什么講授的內(nèi)容是表達(dá)不清楚的。如果你講授的內(nèi)容讓聽眾無法接受，要么是聽眾聽不懂，要么是你自己就沒有弄清楚。41如果是教師的原因你要下功夫弄清楚、理清楚，如果是聽眾的原因，你要問自己為什