線性回歸模型課件

1、線性回歸模型1線性回歸模型線性回歸模型線性回歸模型2學(xué)習(xí)目標(biāo) 了解：經(jīng)濟變量之間的關(guān)系 “回歸”名稱的來源、逐個剔除法、逐步回歸法的優(yōu)缺點 理解：多元線性回歸模型的一般形式、隨機項的來源及基本假定、回歸分析的基本思想和方法、t檢驗、f檢驗、r檢驗的關(guān)系、判定系數(shù)、選元的標(biāo)準(zhǔn)。 掌握：線性回歸模型的一般形式、誤差隨機項的基本假定、回歸分析的主要內(nèi)容、普通最小平方法、t檢驗、f檢驗、r檢驗的檢驗思想及步驟、點預(yù)測、區(qū)間預(yù)測、應(yīng)用計算機軟件進(jìn)行線性回歸分析 線性回歸模型3 內(nèi)內(nèi) 容容2.1 回歸模型的一般描述2.2 一元線性回歸的參數(shù)估計2.3 一元線性回歸的顯著性檢驗2.4 一元線性回歸的預(yù)測2.

2、5 多元線性回歸模型及其假設(shè)2.6 多元線性回歸的參數(shù)估計2.7 多元線性回歸的顯著性檢驗2.8 利用多元線性回歸方程進(jìn)行預(yù)測2.9 解釋變量的選擇2.10 殘差分析與異常值檢測2.11 模型的結(jié)構(gòu)穩(wěn)定性檢驗：chow檢驗2.12正態(tài)性檢驗：jarquebera檢驗線性回歸模型41 1 回歸模型的一般描述回歸模型的一般描述一、變量間的關(guān)系1. 函數(shù)關(guān)系：變量間卻定性的對應(yīng)關(guān)系2. 相關(guān)關(guān)系：變量間不確定的對應(yīng)關(guān)系（1）相關(guān)關(guān)系強弱的測度相關(guān)系數(shù)：（2）相關(guān)系數(shù)的取值范圍-1，1，正負(fù)號僅表示方向，不表示大小。22) y(y)x(x)x)(xy(yriiii線性回歸模型51 1 回歸模型的一般描

3、述回歸模型的一般描述二、回歸模型的一般形式三、一元線性回歸模型yf(x)u01iiiy xu線性回歸模型61 1 回歸模型的一般描述回歸模型的一般描述四、一元回歸模型的基本假定（最小二乘假定）（1）（2） 等方差性（3） 無序列相關(guān)（4）進(jìn)一步假定,n,i)e(ui210,n,i)var(uui212,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),un(u20線性回歸模型71 1 回歸模型的一般描述回歸模型的一般描述五、回歸分析預(yù)測的一般步驟以預(yù)測對象為因變量建立回歸模型；利用樣本數(shù)據(jù)對模型的參數(shù)進(jìn)行估計；對參數(shù)的估計值及回歸方程進(jìn)行顯著性檢驗；1.利用通過檢

4、驗的方程進(jìn)行預(yù)測。線性回歸模型82 一元線性回歸的參數(shù)估計一、散點圖與回歸直線1. 散點圖：將n組相關(guān)數(shù)據(jù)在直角坐標(biāo)系中描述出來即為散點，由坐標(biāo)系和散點共同構(gòu)成的圖形稱作散點圖。作用：直觀描述變量間的關(guān)系。例如：電的供應(yīng)量與產(chǎn)值之間的關(guān)系線性回歸模型92 一元線性回歸的參數(shù)估計2. 回歸直線 當(dāng)散點圖的數(shù)據(jù)點的走向大致趨于一條直線時，通過散點圖作一條直線，使它能夠擬合這些點，近似的描述變量間的關(guān)系，稱這條直線為回歸直線，記作iixbby線性回歸模型102.2 一元線性回歸的參數(shù)估計二、最小二乘法1. 基本原理：找到一條直線，使直線上的點與實際觀察值之間的距離最小，即 ，其中 。3. 根據(jù)微分極

5、值原理求解解該方程組得其中， ，min2)y(yqiiioixy1iiiii)xxbb(ybq)xbb(ybqxbyb)x(x)x)(xy(ybiiiixnx1iyny1線性回歸模型112 一元線性回歸的參數(shù)估計例 已知一個工廠的年產(chǎn)值與電的供應(yīng)量之間存在一元線性關(guān)系，數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實現(xiàn)回歸于是所求的方程為 這說明，該廠電的供應(yīng)量每增加一萬度，年產(chǎn)值增加6.9712萬元。產(chǎn)值（萬元）y電的供應(yīng)量（萬度）x21312.524216.328620.730522.43062334228.635130.137332.537932.63773338435.439537

6、.93873740239.241840.7.xyb.)x(x)x)(xy(ybiiiiix.y971263480138線性回歸模型122.3 一元線性回歸的顯著性檢驗一、經(jīng)濟檢驗二、擬合優(yōu)度檢驗三、回歸方程的顯著性檢驗四、回歸系數(shù)的顯著性檢驗線性回歸模型133 一元線性回歸的顯著性檢驗一、經(jīng)濟檢驗（邏輯檢驗）檢驗內(nèi)容：參數(shù)估計值的符號和大小是否與經(jīng)濟理論和經(jīng)濟實 際相符合，是否有經(jīng)濟意義。二、擬合優(yōu)度檢驗擬合優(yōu)度（可決系數(shù)）：回歸直線與實際數(shù)據(jù)的擬合程度 ，記作 ?；貧w變差的分解：tss=rss+ess 擬合優(yōu)度經(jīng)驗結(jié)果，通常要求 。2rssrtss802.r 2r線性回歸模型143 一元線性

7、回歸的顯著性檢驗三、回歸方程的顯著性檢驗檢驗內(nèi)容：檢驗因變量和所有自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為自變量和因變量之間的線性關(guān)系顯著。1122msrrssff( ,n)mseess n-),n(f21),n(ff21001110:h:h線性回歸模型153 一元線性回歸的顯著性檢驗四、回歸系數(shù)的顯著性檢驗檢驗內(nèi)容：檢驗因變量和每個自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計量 , 其中在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性

8、關(guān)系顯著。001110:h:h)t(n)s(bbt)x(x)(n)y(y)s(biii)(nt22)(nt2t2線性回歸模型163 一元線性回歸的顯著性檢驗五、一元回歸方程的顯著性檢驗小結(jié)擬合優(yōu)度通常要求 ，且與相關(guān)系數(shù)之間的關(guān)系 ，但通常不用相關(guān)系數(shù)判斷擬合優(yōu)度；1.對于一元回歸，方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗是一致的，做一個即可。802.r 22rr 線性回歸模型173 一元線性回歸的顯著性檢驗六、續(xù)例，給定顯著性水平 ，進(jìn)行統(tǒng)計檢驗解：根據(jù)運行結(jié)果（1）方程的擬合優(yōu)度較高；（2）20 990 8rssr.tss0 051710 254 671132.rssf.f( ,)ess n

9、-05. 0線性回歸模型182.4 一元線性回歸的預(yù)測一、回歸預(yù)測定義：給定自變量一個特定的值，利用回歸方程對因變量的值進(jìn)行估計。分類：點預(yù)測、區(qū)間預(yù)測二、點預(yù)測定義：假定y與x的回歸方程為 ，對于給定的自變量 ，求得 ，稱這種預(yù)測為點預(yù)測。續(xù)例，已求出該廠產(chǎn)值與電的供應(yīng)量之間的回歸方程為 ，并通過檢驗。如果電的供應(yīng)量達(dá)到50萬度，對產(chǎn)值進(jìn)行點預(yù)測，iix.y971263480138ioixybb0 xx 00bbxyo（萬元）91.486509712. 63480.138971263480138iix.y線性回歸模型194 一元線性回歸的預(yù)測三、區(qū)間預(yù)測預(yù)測誤差：點預(yù)測值與實際觀測值之間的差

10、異 ?？梢宰C明 ，其中給定置信水平 ，置信區(qū)間為 ，其中， 是自由度為年n-2的t分布臨界值，其中1.4. 例置信水平95%的置信區(qū)間（464.73，509.09）。000yye)(e,n(e020011 220202)x -(x)x(xn)(eiu1)( )( (ety ,ety2i20u0)xx()xx(n11)( etn)y(yn-eiiiu線性回歸模型205 5 多元線性回歸模型及其假設(shè)多元線性回歸模型及其假設(shè)一、線性回歸模型的一般形式 如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸模型可以表示為： 寫成矩陣形式為： 其中nyyyy01 1

11、22kkyxxxuyxuknnnkkxxxxxxxxxxk10nuuuu線性回歸模型212.5 2.5 多元線性回歸模型及其假設(shè)多元線性回歸模型及其假設(shè)二、多元回歸模型的基本假定（1）（2） 等方差性（3） 無序列相關(guān)（4）（5）進(jìn)一步假定（6） 各自變量之間不存在顯著相關(guān)關(guān)系,n,i,n,i,n,j,i,ji),ucov(uji210,n,i),xcov(uii210),n(uuinkxrank)(12|,0iiikie uxxx212(|,.,)iiikiuvar uxxx線性回歸模型222.6 多元線性回歸的參數(shù)估計一、參數(shù)估計方法1. 基本原理：2. 根據(jù)微分極值原理，采用矩陣形式求解

12、一元回歸的參數(shù)估計是多元回歸參數(shù)估計的特例。min2)y(yqiiyxxxt1t)(b線性回歸模型232.6 多元線性回歸的參數(shù)估計二、利用excel進(jìn)行參數(shù)估計其操作步驟為：點擊工具點擊數(shù)據(jù)分析選擇回歸點擊確定輸入值輸入?yún)^(qū)域輸入值輸入?yún)^(qū)域輸入置信度在輸出選項選擇輸出區(qū)域或新工作組表或新工作簿點擊確定，即可得到輸出結(jié)果 線性回歸模型242.6 多元線性回歸的參數(shù)估計三、最小二乘估計量（olse)的統(tǒng)計性質(zhì) 線性 = +最小二乘估計量b不僅是y的線性組合，也是u的線性組合。 無偏 = + = 最優(yōu)性最小二乘估計量b的最優(yōu)性，又稱有效性或最小方差性。 （ ）其中， 是 主對角線上的元素。可以證明，

13、 具有最小方差的特性。（證明略）1()ttx xx u1()( )ttx xx e u21()tujjx x2ujjc0,1,2,jkjjc1()tx x)b(eyx)xx(bt1t)var(jbjb線性回歸模型252.6 多元線性回歸的參數(shù)估計四、隨機誤差項的方差的估計量 是 的無偏估計量（m=k+1，為變量個數(shù)或參數(shù)個數(shù)，k為自變量個數(shù)）。它的算術(shù)方根稱為估計標(biāo)準(zhǔn)誤差，記為：222211()1nniiiiiueeyysnmnk2u2211()1nniiiiiueeyysnmnk線性回歸模型262.6 多元線性回歸的參數(shù)估計此時，估計量的標(biāo)準(zhǔn)差可表示為： 是 主對角線上的元素（j=0,1,k

14、）。()jjbbjsvar b221()1niiijjujjyyccnkjjc1()tx x線性回歸模型272.6 多元線性回歸的參數(shù)估計五、回歸系數(shù)的置信區(qū)間由于 ； ； 故可得的置信度為 的置信區(qū)間為：excel能夠自動給出各回歸系數(shù)的上下限()jje b2var()jjjubc122(1),jjjubtnkc22(1)jjjubtnkc線性回歸模型282.6 多元線性回歸的參數(shù)估計六、例2.2 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。解：使用excel實現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費增加0.497萬元，人口每增加1萬人消費增加0.665萬元。iiix.

15、x.y年份消費收入人口1994913.148.219959.513.948.919961013.849.54199710.614.850.25199813.416.451.02199916.220.951.84200017.724.253.76200120.128.153.69200221.830.154.55200325.335.855.35200431.348.556.1620053654.856.98線性回歸模型292.7 多元線性回歸的顯著性檢驗一、經(jīng)濟檢驗二、擬合優(yōu)度檢驗三、回歸方程的顯著性檢驗四、回歸系數(shù)的顯著性檢驗五、序列相關(guān)檢驗線性回歸模型302.7 多元線性回歸的顯著性檢驗一

16、、經(jīng)濟檢驗（邏輯檢驗）1. 檢驗內(nèi)容：參數(shù)估計值的符號和大小是否與經(jīng)濟理論和經(jīng)濟 實際相符合。2. 回歸系數(shù)的估計值與實際相反的原因（1）某些變量的取值范圍太窄；（2）模型中遺漏了某些重要因素；（3）模型中自變量之間有較強的線性關(guān)系。線性回歸模型312.7 多元線性回歸的顯著性檢驗二、擬合優(yōu)度檢驗判定系數(shù) 與修正判定系數(shù) 判定系數(shù)的大小還取決于包含在模型中的自變量的個數(shù)。2. 修正判定系數(shù) 的計算 注：（1）如果k=0，則（2）如果k0，則（3） 有可能為負(fù)值。2rr rrknn)r(rrrr2r線性回歸模型322.7 多元線性回歸的顯著性檢驗三、回歸方程的顯著性檢驗檢驗內(nèi)容：檢驗因變量和所有

17、自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計量在顯著性水平 條件下的臨界值判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ，則拒絕原假設(shè)，認(rèn)為因變量和自變量全體之間的線性關(guān)系顯著。11msrrss kf f(k,nk)mseess nk -)k(k,nf)k(k,nff0不全為ik:h:h線性回歸模型332.7 多元線性回歸的顯著性檢驗四、回歸系數(shù)的顯著性檢驗檢驗內(nèi)容：檢驗因變量和每個自變量的線性關(guān)系。建立原假設(shè)和備擇假設(shè)：構(gòu)造統(tǒng)計量 , 在顯著性水平 條件下的臨界值1.判斷：如果采用樣本數(shù)據(jù)計算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著。,k,i:h:hii)kt(n)s(tiii)k(nt)k(ntti線性回歸模型342.7 多元線性回歸的顯著性檢驗五、多元回歸的顯著性檢驗小結(jié)。擬合優(yōu)度的檢驗需要采用修正判定系數(shù)；1.回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗不再一致，需要分別進(jìn)行；線性回歸模型352.7 多元線性回歸的顯著性檢驗六、續(xù)例2.2，給定顯著性水平 ，進(jìn)行檢驗解：根據(jù)運行結(jié)果（1）方程的擬合優(yōu)度較高；（2）方程通過