線性回歸模型課件.ppt

在現(xiàn)實(shí)生活中,變量與變量之間經(jīng)常存在一定的關(guān)系,一般來說,可分為兩大類,一類是確定性的關(guān)系,這種關(guān)系通常用函數(shù)來表示;另一類是非確定性關(guān)系,變量之間的這種非確定性關(guān)系通常稱為相關(guān)關(guān)系。 回歸分析就是數(shù)理統(tǒng)計(jì)中研究相關(guān)關(guān)系的一種數(shù)學(xué)方法,它就是通過大量的試驗(yàn)或觀測(cè),發(fā)現(xiàn)變量之間關(guān)系的統(tǒng)計(jì)規(guī)律,它在工農(nóng)業(yè)生產(chǎn)和科學(xué)研究各個(gè)領(lǐng)域中均有廣泛應(yīng)用?；貧w分析一般分為線性回歸分析與非線性回歸分析。 本次課程著重介紹線性回歸分析,它是兩類回歸分析中較為簡單的一類,也是應(yīng)用得較多的一類。,四、線性回歸模型,為了研究方便,我們考慮一個(gè)變量受其它變量影響時(shí),把這變量稱為因變量,記為Y,其它變量稱為自變量,記為X,這時(shí)相關(guān)關(guān)系可記作 Y=f(x)+ 其中f(x)為當(dāng)X=x時(shí),因變量Y的均值,即 f(x)=E(Y|X=x) 稱f(x)為Y對(duì)X的回歸函數(shù),為Y與f(x)的偏差,它是一個(gè)隨機(jī)變量,假定E()=0。,回歸函數(shù)可以是一元函數(shù),也可以是多元函數(shù),即 Y=f(x1，x2，xm)+ 其中,f(x1,x2,xm)= E(Y|X1=x1,X2=x2,Xm=xm)為m元回歸函數(shù),統(tǒng)稱為多元回歸函數(shù)。,問題 (水泥凝固時(shí)放出熱量問題),表1,一般地，多元線性回歸模型可表示為,建立線性回歸模型 其中, 是未知參數(shù),為了估計(jì)這些參數(shù),將表1的值代入模型得,其中,x1,x2,xm是自變量,b0 , b1,b2,bm為回歸系數(shù)且未知,統(tǒng)稱為回歸參數(shù),一旦回歸參數(shù)確定,則多元線性回歸模型就完全確定,一般假定隨機(jī)誤差,為了得到回歸參數(shù)的估計(jì)值,就要對(duì)變量進(jìn)行觀測(cè),假設(shè)對(duì)變量的n（nm）次獨(dú)立觀測(cè)數(shù)據(jù)為 （yi，xi1，xi2，xim）,i=1n, 則這些觀測(cè)數(shù)據(jù)應(yīng)滿足上式,即有,則多元線性回歸的數(shù)學(xué)模型式可以寫成矩陣形式,若記,為了獲得參數(shù)的估計(jì),我們采用最小二乘法,即選擇,使,達(dá)到最小。 將Q()對(duì)求導(dǎo)數(shù)并令其為零，得,回歸系數(shù)的最小二乘估計(jì),模型參數(shù)估計(jì),此方程稱為正規(guī)方程,其中 X 為n(m+1) 階矩陣,一般假定rank(X)=m+1,由線性代數(shù)理論可知,L=XTX為滿秩矩陣,它的秩rank(L)=m+1,則正規(guī)方程有唯一解,記作,即,記 ,則,在實(shí)際工作中，常稱 為經(jīng)驗(yàn)線性回歸方程。,多元線性回歸模型的檢驗(yàn)與預(yù)測(cè),從上面的參數(shù)估計(jì)過程可以看出,對(duì)于一批觀察數(shù)據(jù),不論它們是否具有線性關(guān)系,總可以利用最小二乘法 建立起多元線性回歸方程,但是Y與x1，x2，xm 是否確實(shí)存在相關(guān)關(guān)系呢？回歸方程的效果如何呢？這就要進(jìn)行“整個(gè)回歸效果是否顯著”的檢驗(yàn)。,當(dāng) 時(shí)， 沒有關(guān)系， 回歸模型沒有意義,于是我們要檢驗(yàn) 是否成立。,若H0成立,則x1，x2，xm對(duì)y沒有影響;反之,若H0不成立,則x1，x2，xm對(duì)y有影響,此時(shí)y與x1，x2，xm的線性關(guān)系顯著,也稱為整個(gè)回歸效果顯著。,但要注意,即使整個(gè)回歸效果是顯著的,y也可能只與某幾個(gè)xi關(guān)系密切(相應(yīng)的bi顯著不為零),而與另幾個(gè)xi關(guān)系不密切(相應(yīng)的bi為零),這就是說,多元線性回歸除了首先要檢驗(yàn)“整個(gè)回歸是否顯著”外,還要逐個(gè)檢驗(yàn)每一個(gè)bi是否為零,以便分辨出哪些xi對(duì)y并無顯著影響,最后,還要對(duì)各個(gè)bi作出區(qū)間估計(jì)。,1回歸方程的顯著性檢驗(yàn),(1)回歸顯著性檢驗(yàn)（F檢驗(yàn)）,若H0為真,（回歸平方和）,（殘差平方和）,（復(fù)相關(guān)系數(shù)）,(2)單個(gè)回歸系數(shù)為零的檢驗(yàn)(t檢驗(yàn)),若H0i為真,為 中第i個(gè)對(duì)角線元素。,2回歸系數(shù)的置信區(qū)間,對(duì)bi的區(qū)間估計(jì),由于 因而bi的 置信區(qū)間為 其中,3預(yù)測(cè),a)點(diǎn)預(yù)測(cè),求出回歸方程,對(duì)于給定自變量的值 ,用 來預(yù)測(cè),稱 為 的點(diǎn)預(yù)測(cè)。,y0的95%預(yù)測(cè)區(qū)間近似為 其中,b）區(qū)間預(yù)測(cè),1多項(xiàng)式回歸分析模型,多元線性回歸分析模型的推廣,多項(xiàng)式回歸模型的一般形式為：,令,則模型就變成為多元線性回歸模型：,多項(xiàng)式回歸還有許多推廣的形式： 上述模型的共同特點(diǎn)是未知參數(shù)都是以線性形式出現(xiàn)， 所以都可以采用恒等變換化為多元線性回歸模型。,廣義線性回歸模型的一般形式為： 其中： 是一個(gè)不含未知數(shù)參數(shù)的一元函數(shù)，且有反函數(shù)： 的不含未知參數(shù)的多元函數(shù)。,2廣義線性回歸模型,廣義線性回歸模型的回歸系數(shù)的確定：,達(dá)到最小。,此時(shí)也就是令,即廣義線性回歸模型化為多元線性回歸模型。,則,用最小二乘法求出 的估計(jì) 使得,建立線性回歸模型的步驟,2.估計(jì)參數(shù),1.建立理論模型,3.進(jìn)行檢驗(yàn),c) 復(fù)相關(guān)系數(shù),d）回歸系數(shù)顯著性檢驗(yàn)（t檢驗(yàn)）,e) 總體回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）,4進(jìn)行預(yù)測(cè),Matlab求解,1）求回歸系數(shù)的點(diǎn)估計(jì)和區(qū)間估計(jì)、并檢驗(yàn)回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha),1Matlab命令,回歸系數(shù)的區(qū)間估計(jì),2）畫出殘差及其置信區(qū)間： rcoplot（r，rint）,其中b，X，Y分別為：,水泥凝固時(shí)放出熱量問題 在Matlab編輯器中輸入以下程序：,2實(shí)際問題的求解, x1=7 1 11 11 7 11 3 1 2 21 1 11 10; x2=26 29 56 31 52 55 71 31 54 47 40 66 68; x3=6 15 8 8 6 9 17 22 18 4 23 9 8; x4=60 52 20 47 33 22 6 44 22 26 34 12 12; y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4; x=ones(13,1) x1 x2 x3 x4; b,bint,r,rint,stats = regress(y,x,0.05) ;,disp (回歸系數(shù)估計(jì)值) b disp(回歸系數(shù)估計(jì)值的置信區(qū)間) bint disp(殘差平方和) r*r disp(相關(guān)系數(shù)的平方) stats(1) disp(F統(tǒng)計(jì)量) stats(2) disp(與統(tǒng)計(jì)量F對(duì)應(yīng)的概率p) stas(3) 執(zhí)行后輸出,回歸系數(shù)估計(jì)值 b = 62.4054 1.5511 0.5102 0.1019 -0.1441 回歸系數(shù)估計(jì)值的置信區(qū)間 bint = -99.1786 223.9893 -0.1663 3.2685 -1.1589 2.1792 -1.6385 1.8423 -1.7791 1.4910 殘差平方和 ans = 47.8636 相關(guān)系數(shù)的平方 ans = 0.9824 F統(tǒng)計(jì)量 ans = 111.4792,從計(jì)算結(jié)果可知，回歸方程,查表得： 易見統(tǒng)計(jì)量,進(jìn)一步可得 所以回歸效果是高度顯著的。,表2,解 (1)由表2給出的數(shù)據(jù)畫出散點(diǎn)圖： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102; plot(x,y,*),由圖1可以看出,數(shù)據(jù)點(diǎn)大致落在一條直線附近,這說明變量與之間的關(guān)系大致可以看做是直線關(guān)系。,圖1 散點(diǎn)圖,(2)輸入數(shù)據(jù)進(jìn)行回歸分析及檢驗(yàn)： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102; b,bint,r,rint,stats=regress(Y,X,0.05) ; b,bint,stats,輸出結(jié)果： b = -16.0730 0.7194 bint = -33.7071 1.5612 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 1.7437,即 ； ； 的置信區(qū)間為-33.7071，1.5612， 的置信區(qū)間為0.6047，0.8340；,可知回歸方程 成立。,(3)殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出,除第二個(gè)數(shù)據(jù)外,其余數(shù)據(jù)的殘差離零點(diǎn)均較近,且殘差區(qū)間均包含零點(diǎn),說明回歸方程能較好的符合原始數(shù)據(jù),而第二個(gè)數(shù)據(jù)可視為異常點(diǎn)。,(4)預(yù)測(cè)及作圖 z=b(1)+b(2)*x; plot(x,Y,*,x,z,r) 得各數(shù)據(jù)點(diǎn)及回歸方程的圖形如圖2,可以看出,只有第二個(gè)數(shù)據(jù)點(diǎn)離回歸直線距離較遠(yuǎn)。,圖2,當(dāng)身高為167cm x=167; z=b