線性回歸模型學習教案

1、線性回歸線性回歸(hugu)模型模型第一頁，共83頁。第1頁/共83頁第二頁，共83頁。第2頁/共83頁第三頁，共83頁。第3頁/共83頁第四頁，共83頁。第4頁/共83頁第五頁，共83頁。第5頁/共83頁第六頁，共83頁。第6頁/共83頁第七頁，共83頁。模型的最關(guān)鍵的標志，稱之為隨機擾動項或誤差項。正是u 的隨機性使得我們可以采用統(tǒng)計推斷方法對模型的設定進行嚴格的檢驗。第7頁/共83頁第八頁，共83頁。第8頁/共83頁第九頁，共83頁。第9頁/共83頁第十頁，共83頁。第10頁/共83頁第十一頁，共83頁。第11頁/共83頁第十二頁，共83頁。第12頁/共83頁第十三頁，共83頁。,兩個變

2、量的協(xié)方差為零,則表明這兩個變量之間不存在相關(guān)關(guān)系.第13頁/共83頁第十四頁，共83頁。第14頁/共83頁第十五頁，共83頁。第15頁/共83頁第十六頁，共83頁。第16頁/共83頁第十七頁，共83頁。01()iiE yx簡稱總體回歸方程（總體回歸線）。其中簡稱總體回歸方程（總體回歸線）。其中(qzhng)總體回總體回歸系數(shù)歸系數(shù) 和和 是未知的，實際上總體回歸線是無法求是未知的，實際上總體回歸線是無法求得的，它只是理論上的存在，所以稱為理論回歸方程得的，它只是理論上的存在，所以稱為理論回歸方程01第17頁/共83頁第十八頁，共83頁。01iiiyxe01ix0101ie01iiyx第18頁

3、/共83頁第十九頁，共83頁。的平均變動值，即x的變動對y變動的邊際貢獻率；是實際觀測值 y 的擬合值或估計(gj)值我們用一個圖來表示yi,E(yi, )、ui、ei01011第19頁/共83頁第二十頁，共83頁。 Y iY ie iY Xi X 01iiyx01()iiE yx()iE yiu第20頁/共83頁第二十一頁，共83頁。出 、 能使 yi ， 之差的平方和最小（即為使殘差平方和最?。?1iy第21頁/共83頁第二十二頁，共83頁。方程組（方程組（* *）稱為）稱為(chn wi)(chn wi)正規(guī)方程組（正規(guī)方程組（normal equationsnormal equatio

4、ns）。）。 第22頁/共83頁第二十三頁，共83頁。iiiiiiiiYXnYXYYXXyx1)(上述上述(shngsh)(shngsh)參數(shù)估計量可以參數(shù)估計量可以寫成：寫成： 上式稱為上式稱為OLSOLS估計量的離差形式。估計量的離差形式。 由于參數(shù)由于參數(shù)(cnsh)(cnsh)的估計結(jié)果是通過最小二乘法得的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（到的，故稱為普通最小二乘估計量（ordinary least ordinary least squares estimatorssquares estimators）。）。 第23頁/共83頁第二十四頁，共83頁。10niie

5、10niieen10niiie x, x y第24頁/共83頁第二十五頁，共83頁。iiiyxu2iiix yx第25頁/共83頁第二十六頁，共83頁。第26頁/共83頁第二十七頁，共83頁。2 2、無偏性無偏性， 即估計量估計量0、1的均值（期望）等于總體回歸的均值（期望）等于總體回歸參數(shù)真值參數(shù)真值0與1 證明證明(zhngmng)：易知易知故故同樣地，容易同樣地，容易(rngy)(rngy)得出得出 第27頁/共83頁第二十八頁，共83頁。3 3、有效性（最小方差性）、有效性（最小方差性），即在所有線性無偏估計量即在所有線性無偏估計量中，最小二乘估計量中，最小二乘估計量0、1具有最小方差

6、具有最小方差。 (1)先先求求0與與1的的方方差差 第28頁/共83頁第二十九頁，共83頁。其中其中(qzhng)，ci=ki+di，di為不全為零的為不全為零的常數(shù)常數(shù)則容易證明則容易證明假設*1是其他估計方法得到的關(guān)于1的線性無偏估計量： 普通最小二乘估計量（普通最小二乘估計量（ordinary least Squares ordinary least Squares EstimatorsEstimators）稱為）稱為(chn wi)(chn wi)最佳線性無偏估計量最佳線性無偏估計量（best linear unbiased estimator, BLUEbest linear unb

7、iased estimator, BLUE） 第29頁/共83頁第三十頁，共83頁。教育對生育率在其他條件不變下的影響嗎？請解釋。educkids10第30頁/共83頁第三十一頁，共83頁。重要影響因素與模型中的教育水平educ相關(guān)時，上述回歸模型不能夠揭示教育對生育率在其他條件不變下的影響，因為這時出現(xiàn)解釋變量與隨機擾動項相關(guān)的情形，基本假設4不滿足。第31頁/共83頁第三十二頁，共83頁。NE第32頁/共83頁第三十三頁，共83頁。為這些性質(zhì)的的成立無需隨機擾動項的正態(tài)分布假設。N第33頁/共83頁第三十四頁，共83頁。第34頁/共83頁第三十五頁，共83頁。第35頁/共83頁第三十六頁，

8、共83頁。iiyY Y 第36頁/共83頁第三十七頁，共83頁。 如果Yi=i 即實際觀測值落在樣本回歸“線”上，則擬合最好。可認為，“離差”全部(qunb)來自回歸線，而與“殘差”無關(guān)。第37頁/共83頁第三十八頁，共83頁。22)(YYyTSSii總離差平方和總離差平方和（Total Sum of Squares）22)(YYyESSii回歸回歸(hugu)(hugu)平方和平方和（Explained Sum of Explained Sum of SquaresSquares）22)(iiiYYeRSS殘差平方和殘差平方和（Residual Sum of Squares ）第38頁/共8

9、3頁第三十九頁，共83頁。此定義擬合優(yōu)度：回歸平方和ESS/Y的總離差TSS第39頁/共83頁第四十頁，共83頁。優(yōu)度越高。222221iiiiyeyyr21ESSRSSrTSSTSS 第40頁/共83頁第四十一頁，共83頁。22212iiyxr第41頁/共83頁第四十二頁，共83頁。12211()()()()ninniiiixxyyrxxyy第42頁/共83頁第四十三頁，共83頁。因變量因變量自變量自變量個人儲蓄個人儲蓄利率利率小麥產(chǎn)出小麥產(chǎn)出降雨量降雨量美國國防開支美國國防開支前蘇聯(lián)國防開支前蘇聯(lián)國防開支老師的計量經(jīng)濟學教學老師的計量經(jīng)濟學教學學生的計量經(jīng)濟學成學生的計量經(jīng)濟學成績績總統(tǒng)聲

10、譽總統(tǒng)聲譽任職時間任職時間學生計量經(jīng)濟學成績學生計量經(jīng)濟學成績其統(tǒng)計學成績其統(tǒng)計學成績?nèi)毡酒嚨倪M口量日本汽車的進口量美國人均國民收入美國人均國民收入第43頁/共83頁第四十四頁，共83頁。0221rntr(2)nt第44頁/共83頁第四十五頁，共83頁。(2)2nt(2)2ntt(2)2ntt第45頁/共83頁第四十六頁，共83頁。A. 隨機誤差項隨機誤差項 B. 殘差殘差 C. 的離差的離差 D. 的離差的離差iY第46頁/共83頁第四十七頁，共83頁。012202(,)uiiXNnx01212(,)uiNx012u2u01第47頁/共83頁第四十八頁，共83頁。2u222iuen2u第4

11、8頁/共83頁第四十九頁，共83頁。在隨機誤差項ui的方差估計出后，參數(shù)0和1的方差方差和標準差標準差 的估計量分別是： 2u1的樣本方差： 221ixS 1的樣本標準差： 21ixS 0的樣本方差： 2220iixnXS 0的樣本標準差： 220iixnXS 2uu2uu第49頁/共83頁第五十頁，共83頁。于零,也就是檢驗樣本是否(sh fu)取自其真實參數(shù)為零的總體.01第50頁/共83頁第五十一頁，共83頁。)2(1112211ntSxti2112(,)uiNx第51頁/共83頁第五十二頁，共83頁。 檢驗(jinyn)步驟： （1）對總體參數(shù)(cnsh)提出假設 H0： 1=0， H

12、1：10（2）以原假設）以原假設H0構(gòu)造構(gòu)造t統(tǒng)計統(tǒng)計(tngj)量，并由樣本計算其值量，并由樣本計算其值（3）給定顯著性水平）給定顯著性水平 ，查，查t分布表，得臨界值分布表，得臨界值t /2(n-2)(4) 比較，判斷比較，判斷 若若 |t| t /2(n-2)，則拒絕，則拒絕H0 ，接受，接受H1 ； 若若 |t| t /2(n-2)，則拒絕，則拒絕H1 ，接受，接受H0 ；t=11 (2)t ns第52頁/共83頁第五十三頁，共83頁。 對于一元線性回歸方程中的0，可構(gòu)造如下(rxi)t統(tǒng)計量進行顯著性檢驗： )2(0022200ntSxnXtii在上述收入在上述收入(shur)-(s

13、hur)-消費支出例中，首先計算消費支出例中，首先計算 的估的估計值計值 134022107425000777. 04590020222221222nxyneiii0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS2第53頁/共83頁第五十四頁，共83頁。t t統(tǒng)計統(tǒng)計(tngj)(tngj)量的計算結(jié)果分別為：量的計算結(jié)果分別為： 給定顯著性水平=0.05，查t分布表得臨界值 t 0.05/2(8)=2.306 |t1|2.306，說明家庭可支配收入在95%的置信度下顯著，即是消費支出(zhch)的主

14、要解釋變量； |t0|2.306,表明在95%的置信度下，無法拒絕截距項為零的假設。 第54頁/共83頁第五十五頁，共83頁。0110101第55頁/共83頁第五十六頁，共83頁。1第56頁/共83頁第五十七頁，共83頁。1111ts112(2)2(2)1nnpttt 111ts1112(2)112(2)1nnptsts 111112(2)12(2)(,)nntsts第57頁/共83頁第五十八頁，共83頁。00002(2)02(2)(,)nntsts第58頁/共83頁第五十九頁，共83頁。0 x0 yiiXY100 y第59頁/共83頁第六十頁，共83頁。iiXY777. 0172.10310

15、3.1720.777 40003004.828iY 第60頁/共83頁第六十一頁，共83頁。201(,)iiYNX于是于是 )(11 (, 0(220200ixXXnNYY000eYY第61頁/共83頁第六十二頁，共83頁。) 2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS從而(cng r)在1-的置信度下， Y0的置信區(qū)間為第62頁/共83頁第六十三頁，共83頁。0101000)()()(XEXEYE于是第63頁/共83頁第六十四頁，共83頁。可以證明可以證明 2210/),(ixXCov因此(ync)故)(1(22020iYxXXnS其中第64頁/共83頁第六

16、十五頁，共83頁。第65頁/共83頁第六十六頁，共83頁。在上述收入在上述收入- -消費支出例中，得到的樣本回歸消費支出例中，得到的樣本回歸(hugu)(hugu)函數(shù)為函數(shù)為則在則在 X0=1000處，處， 0 = 103.172+0.7771000=673.84 29.37277425000)21501000(10113402)(20YVar而05.61)(0YS因此，因此，總體均值總體均值E(Y|X=1000)的的95%的置信區(qū)間為：的置信區(qū)間為： 673.84-2.306 61.05 E(Y|X=1000) 673.84+2.306 61.05或或 （533.05, 814.62） 第

17、66頁/共83頁第六十七頁，共83頁。同樣同樣(tngyng)(tngyng)地，對于地，對于Y Y在在X=1000X=1000的個體值，其的個體值，其95%95%的置信區(qū)的置信區(qū)間為：間為： (372.03, 975.65) (372.03, 975.65) 總體回歸函數(shù)的置信總體回歸函數(shù)的置信(zhxn)(zhxn)帶（域）帶（域） 個體的置信個體的置信(zhxn)(zhxn)帶（域）帶（域） 第67頁/共83頁第六十八頁，共83頁。（1）樣本容量）樣本容量n越大，預測越大，預測(yc)精度越高，精度越高，反之預測反之預測(yc)精度越低精度越低（2）樣本容量一定時，置信帶的寬度當在X均值

18、處最小，其附近進行(jnxng)預測（插值預測）精度越大；X越遠離其均值，置信帶越寬，預測可信度下降。第68頁/共83頁第六十九頁，共83頁。小結(jié)：簡單小結(jié)：簡單(jindn)線性回歸分析的主要步驟線性回歸分析的主要步驟1、建立回歸模型、建立回歸模型 研究某一經(jīng)濟現(xiàn)象，先根據(jù)經(jīng)濟理論，選擇具有因果關(guān)研究某一經(jīng)濟現(xiàn)象，先根據(jù)經(jīng)濟理論，選擇具有因果關(guān)系的兩個變量（系的兩個變量（X，Y)，建立線性回歸模型，確定解釋變量，建立線性回歸模型，確定解釋變量和被解釋變量。和被解釋變量。 如果不明確兩個變量是否為線性關(guān)系，也可如果不明確兩個變量是否為線性關(guān)系，也可以根據(jù)散點圖來分析。以根據(jù)散點圖來分析。 建立

19、回歸模型可以是根據(jù)經(jīng)濟理論，也可以根據(jù)相同或建立回歸模型可以是根據(jù)經(jīng)濟理論，也可以根據(jù)相同或相似經(jīng)濟現(xiàn)象的歷史分析經(jīng)驗來建立回歸模型。相似經(jīng)濟現(xiàn)象的歷史分析經(jīng)驗來建立回歸模型。 建立模型時，不僅要考慮建立模型時，不僅要考慮(kol)理論或經(jīng)驗的依據(jù)，同理論或經(jīng)驗的依據(jù)，同時也要考慮時也要考慮(kol)數(shù)據(jù)的可利用程度。數(shù)據(jù)的可利用程度。2、收集數(shù)據(jù)，并經(jīng)過適當?shù)募庸ふ恚玫竭m于回歸分析、收集數(shù)據(jù)，并經(jīng)過適當?shù)募庸ふ?，得到適于回歸分析的樣本數(shù)據(jù)集。的樣本數(shù)據(jù)集。第69頁/共83頁第七十頁，共83頁。論和實際(shj)相符。若不符，尋找原因統(tǒng)計檢驗：擬和優(yōu)度檢驗，回歸參數(shù)的顯著性檢驗和區(qū)間估計

20、。第70頁/共83頁第七十一頁，共83頁。5、預測、預測(yc) 對于解釋變量的特定值，代入回歸方程得到因變量的預測對于解釋變量的特定值，代入回歸方程得到因變量的預測(yc)值；在給定的置信水平上，得到因變量預測值；在給定的置信水平上，得到因變量預測(yc)值的置值的置信區(qū)間。信區(qū)間。6、回歸結(jié)果的表述：、回歸結(jié)果的表述： 222112122121)()()()(RsetsetXYRseseXY或： 并說明(shumng)參數(shù)的顯著水平（ ）。第71頁/共83頁第七十二頁，共83頁。提供回歸提供回歸(hugu)分析結(jié)果一般有兩種方式：分析結(jié)果一般有兩種方式：（1） = 6.70 + 0.58X

21、 R2 =0.49 （1.38）（）（2.76） 這里這里6.70和和0.58分別為分別為 和和 的估計值的估計值 和和 。 括號中數(shù)字是括號中數(shù)字是H0 : =0和和H0 : =0 為真時的為真時的 t 值。值。Y010101第72頁/共83頁第七十三頁，共83頁。（2） = 6.70 + 0.58X R2 =0.49 （4.86)（0.21） 括號中提供的是 和 的標準誤差。 由于存在這兩種格式，使得回歸結(jié)果的讀者難以判斷出括號中數(shù)字究竟是t 值還是標準誤差。因此，要求在提供回歸結(jié)果時，應予以說明。通常的作法有兩種。一種是文字說明，另一種是用符號(fho)標示。 Y01第73頁/共83頁第

22、七十四頁，共83頁。第第2章章 小結(jié)小結(jié)本章主要結(jié)果：本章主要結(jié)果：一、最小二乘法一、最小二乘法 若雙變量若雙變量(binling)線性模型線性模型 滿足下列統(tǒng)計假設滿足下列統(tǒng)計假設（1）E（ut）=0 擾動項均值為擾動項均值為0（2）E（uiuj）=0 , i j擾動項相互獨立擾動項相互獨立（3）E（ut2）=2 常數(shù)方差常數(shù)方差（4）X與與ut不相關(guān)不相關(guān)（5）ut服從正態(tài)分布服從正態(tài)分布01tttYXu第74頁/共83頁第七十五頁，共83頁。21tttxyxXY10122tx00222ttxnX第75頁/共83頁第七十六頁，共83頁。222221ttttYYerYYYY 22ttttx yrxy 為最小二乘回歸線擬合優(yōu)度的測度，即回歸線對為最小二乘回歸線擬合優(yōu)度的測度，即回歸線對各觀測點擬合緊密各觀測點擬合緊密(jnm)程度的測度，且程度的測度，且22( )rr第76頁/共83頁第七十七頁，共83頁。221222tttteyx ynn112tsx111112 (2)ttt nsx212ttx1第77頁/共8