概率論與數(shù)理統(tǒng)計(第4版)盛驟 9.4 多元線性回歸學習資料

一、多元線性回歸的數(shù)學模型二、數(shù)學模型的分析與求解三、MATLAB中回歸分析的實現(xiàn)四、小結(jié)第四節(jié)多元線性回歸一、多元線性回歸的數(shù)學模型用最大似然估計法估計參數(shù).達到最小.二、數(shù)學模型的分析與求解化簡可得正規(guī)方程組引入矩陣正規(guī)方程組的矩陣形式最大似然估計值稱為P元經(jīng)驗線性回歸方程,簡稱回歸方程.多元線性回歸

1.確定回歸系數(shù)的點估計值,

[b,bint,r,rint,stats]=regress(Y,X,alpha)

rcoplot(r,rint)三、MATLAB中回歸分析的實現(xiàn)用命令:b=regress(Y,X)2.求回歸系數(shù)的點估計和區(qū)間估計,并檢驗回歸模型,用命令:3.畫出殘差及其置信區(qū)間,用命令:符號說明(1)(2)alpha為顯著性水平,

(3)bint為回歸系數(shù)的區(qū)間估計;(4)r與rint分別為殘差及其置信區(qū)間;

(5)stats是用于檢驗回歸模型的統(tǒng)計量,

默認為0.05;有三個數(shù)值,F>F1-alpha第一個是相關(guān)系數(shù)r2,其值越接近于1,說明回歸方程越顯著;第二個是F值,(p,n-p-1)時，拒絕H0,F越大,說明回歸方程越顯著;第三個是與F對應(yīng)的概率p,p<alpha時拒絕,模型成立.回歸身高143145146147149150153154腿長8885889192939395身高155156157158159160162164腿長969897969899100102例1

試研究這些數(shù)據(jù)之間的關(guān)系.測得16名女子的身高和腿長如下(單位:cm):輸入數(shù)據(jù)x=[143,145,146,147,149,150,153,154,155,156,157,158,159,160,162,164]’;X=[ones(16,1),x];Y=[88,85,88,91,92,93,93,95,96,98,97,96,98,99,100,102]’;回歸分析及檢驗[b,bint,r,rint,stats]=regress(Y,X);b,bint,stats殘差分析rcoplot(r,rint)預測及作圖z=b(1)+b(2)*xplot(x,Y,’k+’,x,z,’r’)數(shù)據(jù)比較殘差圖形預測圖形數(shù)據(jù)比較幫助程序運行結(jié)果一元多項式回歸

[p,S]=polyfit(x,y,m)也可使用命令:polytool(x,y,m)用命令:1.確定多項式系數(shù),結(jié)果產(chǎn)生一個交互式的畫面,畫面中有擬合曲2.預測和預測誤差估計用命令:求回歸多項式在x處的預測值Y.[Y,DELTA]=polyconf

(p,x,S,alpha)的默認值是0.05.一元多項式回歸可化為多元線性回歸求解.Y=polyval(p,x)線和y的置信區(qū)間,左下方的Export可以輸出參數(shù).求回歸多項式在x處的預測值Y以及預測值的顯著性為1-alpha的置信區(qū)間Y±DELTA,alpha例2某件產(chǎn)品每件平均單價Y(元)與批量x(件)之間的關(guān)系的一組數(shù)據(jù)xy303540505560657080901.651.551.481.401.301.261.241.211.201.1825201.811.70解(XTX)-1(XTX)-1得到回歸方程試用一元二次多項式進行回歸分析,輸入數(shù)據(jù)x=[20,25,30,35,40,50,60,65,70,75,80,90];y=[1.81,1.70,1.65,1.55,1.48,1.40,1.30,1.26,1.24,1.21,1.20,1.18];作二次多項式回歸[p,S]=polyfit(x,y,2)預測及作圖Y=polyconf(p,x,y)plot(x,y,’b+’,x,Y,’r’)回歸結(jié)果殘差圖形預測圖形幫助程序運行結(jié)果化為多元線性回歸X=[ones(12,1)x’(x.^2)’];[b,bint,r,rint,stats]=regress(y’,X);b,stats與前面的結(jié)果一致.多元二項式回歸rstool(x,y,’model’,alpha)

認為線性模型.其中,輸入數(shù)據(jù)x,y分別為n×m

矩陣和n維列向量;alpha為顯著性水平,默認為0.05;為下列四種模型中的一種,輸入相應(yīng)的字符串,默modelrstool的輸出是一個交互式畫面,畫面中有m個圖形,分別給出了一個獨立變量xi與y的擬合曲線,以及y的置信區(qū)間,此時其余m-1個變量取固定值.可以輸入不同的變量的不同值得到y(tǒng)的相應(yīng)值.其中剩余標準差最接近于零的模型回歸效果最好.圖的左下方有兩個下拉式菜單,一個用于傳送回歸系數(shù)、剩余標準差、殘差等數(shù)據(jù);另一個用于選擇四種回歸模型中的一種,選擇不同的回歸模型,例3

需求量10075807050收入10006001200500300價格57668需求量659010011060收入400130011001300300價格75439設(shè)某商品的需求量與消費者的平均收入、商品價格的統(tǒng)計數(shù)據(jù)如下,建立回歸模型,預測平均收入為1000,價格為6時的商品需求量.選擇純二次模型,即數(shù)據(jù)輸入x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';x=[x1'x2'];回歸、rstool(x,y,'purequadratic')回歸圖形回歸結(jié)果幫助程序運行結(jié)果檢驗與預測化為多元線性回歸求解x1=[1000,600,1200,500,300,400,1300,1100,1300,300];x2=[5,7,6,6,8,7,5,4,3,9];y=[100,75,80,70,50,65,90,100,110,60]';X=[ones(10,1)x1'x2'(x1.^2)'(x2.^2)'];[b,bint,r,rint,stats]=regress(y,X)回歸系數(shù)的點估計以及區(qū)間估計殘差及其置信區(qū)間檢驗回歸模型的統(tǒng)計量逐步回歸分析

在實際問題中,而這些因素之間可能存在多重共線性.為得到可靠的回歸模型,需要一種方法能有效地從眾多因素中挑選出對因變量貢獻大的因素.如果采用多元線性回歸分析,回歸方程穩(wěn)定性差,每個自變量的區(qū)間誤差積累將影響總體誤差,預測的可靠性差、精度低;另外,如果采用了影響小的變量,遺漏了重要變量,可能導致估計量產(chǎn)生偏倚和影響因變量的因素很多,選擇“最優(yōu)”回歸方程的方法最優(yōu)者;顯著因子;

3.從一個變量開始,量而不包括影響不顯著的變量.不一致性.“最優(yōu)”的回歸方程應(yīng)該包含所有有影響的變1.從所有可能的變量組合的回歸方程中選擇2.從包含全部變量的回歸方程中逐次剔除不把變量逐個引入方程;

4.“有進有出”的逐步回歸分析.逐步回歸分析法在篩選變量方面比較理想,是目前較常用的方法.它從一個自變量開始,根據(jù)自變量作用的顯著程度,從大到小地依次逐個引入回歸方程,但當引入的自變量由于后面變量的引入而變得不顯著時,要將其剔除掉.引入一個自變量或從回歸方程中剔除一個自變量,為逐步回歸的一步,對于每一步,都進行檢驗,以確保每次引入新的顯著性變量前回歸方程中只包含作用顯著的變量.

方程.反復進行上面的過程,直到?jīng)]有不顯著的變量從回歸方程中剔除,也沒有顯著變量可引入到回歸函數(shù):stepwise用法:stepwise(x,y,inmodel,alpha)符號說明:

x—自變量數(shù)據(jù),

y—因變量數(shù)據(jù),

型中引入的自變量,

認相當于對回歸系數(shù)給出95%的置信區(qū)間.inmodel—由矩陣x列的指標構(gòu)成,表明初始模alpha—判斷模型中每一項顯著性的指標,默為n×m矩陣;為n×1矩陣;默認為全部自變量;例4

序號1234567226295631525571x3615886917x46052204733226y78.574.3104.387.695.9109.2102.7序號8910111213x1122111110x2315447406668x3221842398x4442226341212y72.593.1115.983.8113.3109.4水泥凝固時放出的熱量y與水泥中的四種化學成分x1,x2,x3,x4

有關(guān),今測得一組數(shù)據(jù)如下,試用逐步回歸法確定一個線性模型.x1=[7,1,11,11,7,11,3,1,2,21,1,11,10]';x2=[26,29,56,31,52,55,71,31,54,47,40,66,68]';x3=[6,15,8,8,6,9,17,22,18,4,23,9,8]';x4=[60,52,20,47,33,22,6,44,22,26,34,12,12]';y=[78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4]';x=[x1,x2,x3,x4];輸入數(shù)據(jù)逐步回歸回歸平面幫助stepwise(x,y)逐步回歸分析程序運行結(jié)果對變量y和x1,x2作線性回歸.X=[ones(13,1),x1,x2];[b,bint,stats]=regress