數學建模與數學實驗-回歸分析課件

1、數學建模與數學實驗回歸分析7/24/20221實驗目的實驗內容2、掌握用數學軟件求解回歸分析問題。1、直觀了解回歸分析基本內容。1、回歸分析的基本理論。3、實驗作業(yè)。2、用數學軟件求解回歸分析問題。7/24/20222一元線性回歸多元線性回歸回歸分析數學模型及定義*模型參數估計*檢驗、預測與控制可線性化的一元非線性回歸（曲線回歸）數學模型及定義*模型參數估計*多元線性回歸中的檢驗與預測逐步回歸分析7/24/20223一、數學模型例1 測16名成年女子的身高與腿長所得數據如下：以身高x為橫坐標，以腿長y為縱坐標將這些數據點（xI，yi）在平面直角坐標系上標出.散點圖解答7/24/20224一元線

2、性回歸分析的主要任務是：返回7/24/20225二、模型參數估計1、回歸系數的最小二乘估計7/24/20226返回7/24/20227三、檢驗、預測與控制1、回歸方程的顯著性檢驗7/24/20228（）F檢驗法 （）t檢驗法7/24/20229（）r檢驗法7/24/2022102、回歸系數的置信區(qū)間7/24/2022113、預測與控制（1）預測7/24/202212（2）控制返回7/24/202213四、可線性化的一元非線性回歸 （曲線回歸）例2 出鋼時所用的盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕， 容積不斷增大.我們希望知道使用次數與增大的容積之間的關 系.對一鋼包作試驗，測得的數據列于下表

3、：解答7/24/202214散點圖此即非線性回歸或曲線回歸 問題（需要配曲線）配曲線的一般方法是：7/24/202215通常選擇的六類曲線如下：返回7/24/202216一、數學模型及定義返回7/24/202217二、模型參數估計7/24/202218返回7/24/202219三、多元線性回歸中的檢驗與預測 （）F檢驗法（）r檢驗法(殘差平方和）7/24/2022202、預測（1）點預測（2）區(qū)間預測返回7/24/202221四、逐步回歸分析（4）“有進有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優(yōu)者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一

4、個變量開始，把變量逐個引入方程；選擇“最優(yōu)”的回歸方程有以下幾種方法： “最優(yōu)”的回歸方程就是包含所有對Y有影響的變量, 而不包含對Y影響不顯著的變量回歸方程。 以第四種方法，即逐步回歸分析法在篩選變量方面較為理想.7/24/202222 這個過程反復進行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時為止。逐步回歸分析法的思想： 從一個自變量開始，視自變量Y作用的顯著程度，從大到地依次逐個引入回歸方程。 當引入的自變量由于后面變量的引入而變得不顯著時，要將其剔除掉。 引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。 對于每一步都要進行Y值檢驗，以確保每次引入

5、新的顯著性變量前回歸方程中只包含對Y作用顯著的變量。返回7/24/202223統(tǒng)計工具箱中的回歸分析命令1、多元線性回歸2、多項式回歸3、非線性回歸4、逐步回歸返回7/24/202224多元線性回歸 b=regress( Y, X )1、確定回歸系數的點估計值：7/24/2022253、畫出殘差及其置信區(qū)間： rcoplot（r，rint）2、求回歸系數的點估計和區(qū)間估計、并檢驗回歸模型： b, bint,r,rint,stats=regress(Y,X,alpha)回歸系數的區(qū)間估計殘差用于檢驗回歸模型的統(tǒng)計量，有三個數值：相關系數r2、F值、與F對應的概率p置信區(qū)間 顯著性水平（缺省時為0

6、.05）7/24/202226例1解：1、輸入數據： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回歸分析及檢驗： b,bint,r,rint,stats=regress(Y,X) b,bint,statsTo MATLAB(liti11)題目7/24/2022273、殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出，除第二個數據外，其余數據的殘

7、差離零點均較近，且殘差的置信區(qū)間均包含零點，這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數據，而第二個數據可視為異常點. 4、預測及作圖：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)返回To MATLAB(liti12)7/24/202228多 項 式 回 歸 （一）一元多項式回歸 （1）確定多項式系數的命令：p，S=polyfit（x，y，m）（2）一元多項式回歸命令：polytool（x，y，m）1、回歸：y=a1xm+a2xm-1+amx+am+12、預測和預測誤差估計：（1）Y=polyval（p，x）求polyfit所得的回歸多項式在x處 的

8、預 測值Y； （2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得 的回歸多項式在x處的預測值Y及預測值的顯著性為1- alpha的置信區(qū)間Y DELTA；alpha缺省時為0.5.7/24/202229法一 直接作二次多項式回歸： t=1/30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2)To MATLAB（liti21）得回歸模型為 ：7/24/202230法二化為

9、多元線性回歸：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1) t (t.2);b,bint,r,rint,stats=regress(s,T);b,statsTo MATLAB(liti22)得回歸模型為 ：Y=polyconf(p,t,S) plot(t,s,k+,t,Y,r)預測及作圖To MATLAB(liti23)7/24/202231（二）多元二項式回歸命令：rstool（x，y，model,

10、alpha）nm矩陣顯著性水平（缺省時為0.05）n維列向量7/24/202232 例3 設某商品的需求量與消費者的平均收入、商品價格的統(tǒng)計數 據如下，建立回歸模型，預測平均收入為1000、價格為6時 的商品需求量.法一 直接用多元二項式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2; rstool(x,y,purequadratic)7/24/202233 在畫面左下方的下拉式菜單中選”all”, 則beta

11、、rmse和residuals都傳送到Matlab工作區(qū)中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。 則畫面左邊的“Predicted Y”下方的數據變?yōu)?8.47981，即預測出平均收入為1000、價格為6時的商品需求量為88.4791.7/24/202234在Matlab工作區(qū)中輸入命令： beta, rmseTo MATLAB(liti31)為剩余標準差，表示應變量Y值對于回歸直線的離散程度。 7/24/202235結果為: b = 110.5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0

12、005法二To MATLAB(liti32)返回將 化為多元線性回歸：7/24/202236非線性回 歸 （1）確定回歸系數的命令： beta，r，J=nlinfit（x，y，model, beta0）（2）非線性回歸命令：nlintool（x，y，model, beta0，alpha）1、回歸：殘差Jacobian矩陣回歸系數的初值是事先用m-文件定義的非線性函數估計出的回歸系數輸入數據x、y分別為 矩陣和n維列向量，對一元非線性回歸，x為n維列向量。2、預測和預測誤差估計：Y，DELTA=nlpredci（model, x，beta，r，J）求nlinfit 或nlintool所得的回歸函

13、數在x處的預測值Y及預測值的顯著性為1-alpha的置信區(qū)間Y DELTA.7/24/202237例 4 對第一節(jié)例2，求解如下：2、輸入數據： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;3、求回歸系數： beta,r ,J=nlinfit(x,y,volum,beta0)； beta得結果：beta = 11.6036 -1.0641即得回歸模型為：To MATLAB(liti41)題目7/24/2022384、預測及作圖： YY,del

14、ta=nlpredci(volum,x,beta,r ,J)； plot(x,y,k+,x,YY,r)To MATLAB(liti42)7/24/202239例5 財政收入預測問題：財政收入與國民收入、工業(yè)總產值、農業(yè)總產值、總人口、就業(yè)人口、固定資產投資等因素有關。下表列出了1952-1981年的原始數據，試構造預測模型。 解 設國民收入、工業(yè)總產值、農業(yè)總產值、總人口、就業(yè)人口、固定資產投資分別為x1、x2、x3、x4、x5、x6，財政收入為y，設變量之間的關系為：y= ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。7/24/2022401 對回歸模型建立M文件mo

15、del.m如下: function yy=model(beta0,X) a=beta0(1); b=beta0(2); c=beta0(3); d=beta0(4); e=beta0(5); f=beta0(6); x1=X(:,1); x2=X(:,2); x3=X(:,3); x4=X(:,4); x5=X(:,5); x6=X(:,6); yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6; 7/24/2022412. 主程序liti6.m如下:X=598.00 349.00 461.00 57482.00 20729.00 44.00 . 2927.00 6862.00

16、1273.00 100072.0 43280.00 496.00;y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00 . 271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00 . 564.00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00 . 890.00 826.00 810.0;beta0=0.50 -0.03 -0.60 0.01 -0.02 0.35;betafit = n

17、linfit(X,y,model,beta0)To MATLAB(liti6）7/24/202242 betafit = 0.5243 -0.0294 -0.6304 0.0112 -0.0230 0.3658即y= 0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230 x5+0.3658x6結果為:返 回7/24/202243逐 步 回 歸逐步回歸的命令是： stepwise（x，y，inmodel，alpha） 運行stepwise命令時產生三個圖形窗口：Stepwise Plot，Stepwise Table，Stepwise History. 在Step

18、wise Plot窗口，顯示出各項的回歸系數及其置信區(qū)間. Stepwise Table 窗口中列出了一個統(tǒng)計表，包括回歸系數及其置信區(qū)間，以及模型的統(tǒng)計量剩余標準差（RMSE）、相關系數（R-square）、F值、與F對應的概率P.矩陣的列數的指標，給出初始模型中包括的子集（缺省時設定為全部自變量）顯著性水平（缺省時為0.5）自變量數據, 階矩陣因變量數據， 階矩陣7/24/202244例6 水泥凝固時放出的熱量y與水泥中4種化學成分x1、x2、x3、 x4 有關，今測得一組數據如下，試用逐步回歸法確定一個 線性模 型.1、數據輸入：x1=7 1 11 11 7 11 3 1 2 21 1

19、11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;7/24/2022452、逐步回歸：（1）先在初始模型中取全部自變量： stepwise(x,y)得圖Stepwise Plot 和表Stepwise Table圖Stepwise

20、 Plot中四條直線都是虛線，說明模型的顯著性不好從表Stepwise Table中看出變量x3和x4的顯著性最差.7/24/202246（2）在圖Stepwise Plot中點擊直線3和直線4，移去變量x3和x4移去變量x3和x4后模型具有顯著性. 雖然剩余標準差（RMSE）沒有太大的變化，但是統(tǒng)計量F的值明顯增大，因此新的回歸模型更好.To MATLAB(liti51）7/24/202247（3）對變量y和x1、x2作線性回歸： X=ones(13,1) x1 x2; b=regress(y,X)得結果：b = 52.5773 1.4683 0.6623故最終模型為：y=52.5773+1

21、.4683x1+0.6623x2To MATLAB(liti52）返回7/24/202248作 業(yè)1、考察溫度x對產量y的影響，測得下列10組數據：求y關于x的線性回歸方程，檢驗回歸效果是否顯著，并預測x=42時產量的估值及預測區(qū)間（置信度95%）.2、某零件上有一段曲線，為了在程序控制機床上加工這一零件，需要求這段曲線的解析表達式，在曲線橫坐標xi處測得縱坐標yi共11對數據如下：求這段曲線的縱坐標y關于橫坐標x的二次多項式回歸方程.7/24/2022497/24/2022504、混凝土的抗壓強度隨養(yǎng)護時間的延長而增加，現將一批混凝土作成12個試塊，記錄了養(yǎng)護日期x（日）及抗壓強度y（kg/

22、cm2）的數據：7/24/202251謝謝大家7/24/202252四 軟件開發(fā)人員的薪金問題：一家高技術公司人事部門為研究軟件開發(fā)人員的薪金與他們的資歷、管理責任、教育程度等因素之間的關系，要建立一個數學模型，以便分析公司人士策略的合理性，并作為新聘用人員工資的參考。他們認為目前公司人員的薪金總體上是合理的，可以作為建模的依據，于是調查了46名開發(fā)人員的檔案資料，如表。其中資歷一列指從事專業(yè)工作的年數，管理一列中1表示管理人員，0表示非管理人員，教育一列中1表示中學程度，2表示大學程度，3表示更高程度（研究生）7/24/202253編號薪金資歷管理教育編號薪金資歷管理教育0113876111

23、131980031302116081031411417401031870111315202634130411283102161323140305117671031712844402062087221218132455020711772202191367750308105352012015965511091219520321123666011012313302222135261311149753112313839602122137131224228846127/24/202254編號薪金資歷管理教育編號薪金資歷管理教育251697871136168821202261480380237241701

24、213271740481138159901301282218481339263301312291354880140179491402301446710014125685151331159421002422783716123223174101343188381602332378010124417483160134254101112451920717023514861110146193462001開發(fā)人員的薪金與他們的資歷、管理責任、教育程度7/24/202255分析與假設：按照常識，薪金自然按照資歷（年）的增長而增加，管理人員的薪金高于非管理人員，教育程度越高薪金越高。薪金記作，資歷（年）記作，

25、為了表示是否為管理人員定義1，管理人員0，非管理人員為了表示三種教育程度，定義1，中學0，其它1，大學0，其它這樣，中學用表示，大學用表示，研究生則用表示。7/24/202256為了簡單起見，我們假定資歷（年）對薪金的作用是線性的，即資歷每加一年，薪金的增長是常數；管理責任、教育程度、資歷諸因素之間沒有交互作用，建立線性回歸模型?；灸Ｐ停盒浇鹋c資歷，管理責任，教育程度之間的多元線性回歸模型為其中，是待估計的回歸系數，是隨機誤差。利用MATLAB的系統(tǒng)工具箱可以得到回歸系數及其置信區(qū)間（置信水平 ）、檢驗統(tǒng)計量的結果，見表。7/24/202257參數參數估計值置信區(qū)間1103210258 11

26、807546484 60868836248 7517-2994-3826 -2162148-636 9317/24/202258結果分析：從表中，即因變量（薪金）的95.7%可由模型確定，值超過檢驗的臨界值，遠小于，因而模型從整體來看是可用的。比如，利用模型可以估計（或估計）一個大學畢業(yè)、有2年資歷、管理人員的薪金為模型中各個回歸系數的含義可初步解釋如下：的系數為546，說明資歷每增加一年，薪金增長546；的系數為6883，說明管理人員的薪金比非管理人員多6883；的系數為-2994，說明中學程度的薪金比研究生少2994；的系數為148，說明大學程度的薪金比研究生多148，但是應該注意到的置信

27、區(qū)間包含零點，所以這個系數的解釋是不可靠的。注意：上述解釋是就平均值來說的，并且，一個因素改變引起的因變量的變化量，都是在其它因素不變的條件下才成立的。7/24/202259進一步討論：的置信區(qū)間包含零點，說明上述基本模型存在缺點。為了尋找改進的方向，常用殘差分析法（殘差指薪金的實際值與模型估計的薪金之差，是基本模型中隨機誤差的估計值，這里用同一個符號）。我們將影響因素分成資歷與管理教育組合兩類，管理-教育組合定義如表。組合1 23456管理010101教育112233管理教育組合7/24/202260為了對殘差進行分析，下圖給出與資歷的關系，及與管理-教育組合間的關系。與資歷的關系與組合的關

28、系從左圖看，殘差大概分成3個水平，這是由于6種管理教育組合混在一起，在模型中未被正確反映的結果；從右圖看，對于前4個管理教育組合，殘差或者全為正，或者全為負，也表明管理-教育組合在模型中處理不當。在模型中，管理責任和教育程度是分別起作用的，事實上，二者可能起著交互作用，如大學程度的管理人員的薪金會比二者分別的薪金之和高一點。7/24/202261以上分析提示我們，應在基本模型中增加管理更好的模型：與教育的交互項，建立新的回歸模型。增加與的交互項后，模型記作利用MATLAB的統(tǒng)計工具箱得到的結果如表：7/24/202262參數參數估計值置信區(qū)間1120411044 11363497486 508

29、70486841 7255-1727-1939 -1514-348-545 -152-3071-3372 -276918361571 21017/24/202263由上表可知，這個模型的做該模型的兩個殘差分析圖，可以看出，已經消除了不正常現象，這也說明了模型的適用性。和值都比上一個模型有所改進，并且所有回歸系數的置信區(qū)間都不含零點，表明這個模型完全可用。與的關系與組合的關系7/24/202264從上圖，還可以發(fā)現一個異常點：具有10年資歷、大學程度的管理人員（編號33）的實際薪金明顯低于模型的估計值，也明顯低于與他有類似經歷的其他人的薪金。這可能是由我們未知的原因造成的。為了使個別數據不致影響

30、整個模型，應該將這個異常數據去掉，對模型重新估計回歸系數，得到的結果如表。殘差分析見圖。可以看到，去掉異常數據后結果又有改善。7/24/202265參數參數估計值置信區(qū)間1120011139 11261498494 50370416962 7120-1737-1818 -1656-356-431 -281-3056-3171 -294219971894 21007/24/202266與的關系與組合的關系模型的應用：對于第二個模型，用去掉異常數據（33號）后估計出的系數得到的結果是滿意的。模型的應用之一，可以用來“制訂”6種管理教育組合人員的“基礎”薪金（即資歷為零的薪金），這是平均意義上的。利

31、用第二個模型和去掉異常數據后得到的回歸系數，可以得到如下結果：7/24/202267組合管理教育系數“基礎”薪金101946321113448302108444121988250311200613182417/24/202268可以看出，大學程度的管理人員薪金比研究生程度管理人員薪金高，而大學程度的非管理人員薪金比研究生程度非管理人員薪金略低。當然，這是根據這家公司實際數據建立的模型得到的結果，并不具普遍性。評注：從建立回歸模型的角度，通過這個問題的求解我們學習了：1） 對于影響因變量的定性因素（管理、教育），可以引入 01變量來處理，01變量的個數比定性因素的水平少 1（如教育程度有3個水平

32、，引入2個01變量）。2） 用殘差分析法可以發(fā)現模型的缺陷，引入交互作用項常 ?？梢缘玫礁纳啤?） 若發(fā)現異常值應剔除，有助于結果的合理性。思考：在這里我們由簡到繁，先分別引進管理和教育因素，再引入交互項。試直接對6種管理-教育組合引入5個01變量，建立模型，看結果如何。7/24/202269五 教學評估為了考評教師的教學質量，教學研究部門設計了一個教學評估表，對學生進行一次問卷調查，要求學生對12位教師的15門課程（其中3為教師有兩門課程）按以下7項內容打分，分值為15分（5分最好，1分最差）：問題：課程內容組織的合理性；主要問題展開的邏輯性；回答學生問題的有效性；課下交流的有助性；教科書的

33、幫助性；考試評分的公正性；對教師的總體評價。7/24/202270收回問卷調查表后，得到了學生對12為教師、15門課程各項評分的平均值，見表。 教師編號課程編號12014.464.424.234.104.564.374.1122244.113.823.293.603.993.823.3833013.583.313.243.764.393.753.1743014.424.374.344.403.634.274.3953014.624.474.534.674.634.574.697/24/202271教師編號課程編號63093.183.823.923.623.504.143.2573112.472

34、.793.583.502.843.842.8483114.293.924.053.762.764.113.9593124.414.364.274.754.594.114.18103124.594.344.244.392.644.384.44113334.554.454.434.574.454.404.47124244.674.644.524.393.484.214.6133513.713.413.394.184.064.063.1744114.284.454.104.073.764.434.1594244.244.384.354.484.154.504.337/24/202272不一定每項都對

35、教師總體評價有顯著影響，并且各項內容之間也可能存在很強的相關性，他們希望得到一個總體評價與各項具體內容之間的模型，模型應盡量簡單和有效，并且由此能給教師一些合理的建議，以提高總體評價。準備知識：逐步回歸這個問題給出了6個自變量，但我們希望從中選出對因變量影響顯著的那些來建立回歸模型。變量選擇的標準應該是將所有對因變量影響顯著的自變量都選入模型，而影響不顯著的自變量都不選入模型，從便于應用的角度，應使模型中的自變量個數盡量少。逐步回歸就是一種從眾多自變量中有效的選擇重要變量的方法。教學研究部門認為，所列各項具體內容7/24/202273逐步回歸的基本思路是，先確定一個包含若干自變量的初始集合，然

36、后每次從集合外的變量中引入一個對因變量影響最大的，再對集合中的變量進行檢驗，從變得不顯著的變量中移出一個影響最小的，依次進行，直到不能引入和移出為止。引入和移出都以給定的顯著性水平為標準。利用MATLAB系統(tǒng)工具箱中的逐步回歸命令stepwise可以實現逐步回歸。Stepwise提供人機交互式畫面，可以在畫面上自由引入和移出變量，進行統(tǒng)計分析。具體用法參見MATLAB叢書回歸模型的建立與求解：我們利用MATLAB命令得到各個變量的回歸系數，置信區(qū)間，及剩余標準差（RMSE），決定系數（R-square），值，值。見表。7/24/202274參數參數估計值置信區(qū)間10.51620.01546 0

37、.0192-0.05469-0.853 0.7436 30.6706-0.03795 1.37940.1245-0.462 0.67515-0.04335-0.2514 0.164760.1363-0.6958 0.9684RMSER-squareFp0.11250.980667.292.071e-006可以看到，除外其他自變量的回歸系數置信區(qū)間都包含零點在臨界狀態(tài)，將一一移去（與次序無關），當模型中僅含時結果見下表。7/24/202275參數參數估計值置信區(qū)間10.50990.326 0.69382-0.1137-0.689 0.4616 30.7678-0.5124 1.02340.0833-0.2767 0.44335-0.