數(shù)學(xué)建模簡(jiǎn)明教程第八章統(tǒng)計(jì)回歸模型

第八章統(tǒng)計(jì)回歸模型第八章統(tǒng)計(jì)回歸模型8.1

一元線性回歸模型8.2

多元線性回歸模型8.3

非線性回歸模型

1第八章統(tǒng)計(jì)回歸模型回歸分析(RegressionAnalysis)方法是數(shù)理統(tǒng)計(jì)中最常見(jiàn)的一類(lèi)方法.該方法利用大量統(tǒng)計(jì)數(shù)據(jù),建立自變量與因變量之間因果關(guān)系的回歸方程數(shù)學(xué)模型.這類(lèi)模型廣泛應(yīng)用于社會(huì)、經(jīng)濟(jì)、醫(yī)學(xué)等領(lǐng)域的定量分析和估值、預(yù)測(cè).1第八章統(tǒng)計(jì)回歸模型12).一元線性回歸分析的主要任務(wù)是:用試驗(yàn)值(樣本值)對(duì)β0、β1和σ作點(diǎn)估計(jì)；對(duì)回歸系數(shù)β0、β1作假設(shè)檢驗(yàn)；在x＝x0處對(duì)y做出預(yù)測(cè)，給出y的區(qū)間估計(jì).對(duì)于自變8量.x1的每一一元個(gè)值線,性因變回量歸是一模個(gè)型隨機(jī)變量y,若x對(duì)y的影響是線性的,則可表示為y＝β0＋β1x＋ε,稱(chēng)為一元線性歸模型,其中β0,β1為待定回歸系數(shù),ε為隨機(jī)誤差,ε~N(0,σ第八章統(tǒng)計(jì)回歸模型1.回歸系數(shù)的最小二乘估計(jì)對(duì)于一組觀測(cè)值(xi,yi)(i＝1,2,…,n),利用最小二乘可得到回歸系數(shù).設(shè)1第八章統(tǒng)計(jì)回歸模型記最小二乘法就是選擇β0和β1的估計(jì) 、 ,使得記1第八章統(tǒng)計(jì)回歸模型則有1第八章統(tǒng)計(jì)回歸模型直線為數(shù)據(jù)點(diǎn)(xi,yi)(i＝1,2,…,n回歸直線(方程),對(duì)于給出的x,可由此方程對(duì)y進(jìn)行預(yù)測(cè).1第八章統(tǒng)計(jì)回歸模型2.σ2的無(wú)偏估計(jì)一元線性回歸模型中的參數(shù)σ2的無(wú)偏估計(jì)值為:由數(shù)據(jù)點(diǎn)xi(i＝1，2，…，n)可計(jì)算因變量y的理論值，觀測(cè)數(shù)據(jù)yi(i＝1，2，…，n)對(duì)數(shù)據(jù)均值的偏差 －可表示為:1第八章統(tǒng)計(jì)回歸模型式(8.1.1)的第一項(xiàng)是殘差,表示隨機(jī)誤差引起的因變量的變化；第二項(xiàng)表示自變量在x＝xi時(shí)引起的因變量相對(duì)于平均值的變化.對(duì)式(8.1.1)兩邊平方并求和,有:1第八章統(tǒng)計(jì)回歸模型式(8.1.2)記為S＝Q＋U,稱(chēng)S為總偏差平方和,Q為殘差平方,U為回歸平方和.定義 ,稱(chēng)為決定系數(shù),R稱(chēng)為相關(guān)系數(shù)(0<R2<1).決定系數(shù)表示在因變量的總變化量中,由自變量引起的那部分變化的比例.R越大,說(shuō)明自變量對(duì)因變量起的決定作用越大,R反映了回歸方程的精確程度.1第八章統(tǒng)計(jì)回歸模型3.回歸系數(shù)的置信區(qū)間下面給出回歸系數(shù)β0、β1的區(qū)間估計(jì)(在顯著性水平α下).β1的置信區(qū)間為:β0的置信區(qū)間為:1第八章統(tǒng)計(jì)回歸模型14.回歸方程的顯著性檢驗(yàn)對(duì)回歸方程Y＝β0＋β1x的顯著性檢驗(yàn),歸結(jié)為對(duì)假設(shè)H0:β1＝；H1:β1≠0進(jìn)行檢驗(yàn).假設(shè)H0:β1＝0被拒絕,則回歸顯著,認(rèn)為y與x存在線性關(guān)系,所求的線性回歸方程有意義；否則回歸不顯著,y與x的關(guān)系不能用一元線性回歸模型來(lái)描述,所得的回歸方程也無(wú)意義.第八章統(tǒng)計(jì)回歸模型1)F檢驗(yàn)法當(dāng)H0成立時(shí),故F>F1－α(1,n－2)時(shí),拒絕H0,否則就接受H0.1第八章統(tǒng)計(jì)回歸模型2)t檢驗(yàn)法當(dāng)H0成立時(shí),故時(shí),拒絕H0,否則就接受H0.1第八章統(tǒng)計(jì)回歸模型5.預(yù)測(cè)作為y0的預(yù)測(cè)值,y0的置信用y0的回歸值水平為1－α的預(yù)測(cè)區(qū)間為.其中,特別地，當(dāng)n很大且x0在附近取值時(shí)，y的置信水平為1－α的預(yù)測(cè)區(qū)間近似為:1第八章統(tǒng)計(jì)回歸模型例1血壓與年齡問(wèn)題:為了研究血壓隨年齡的增長(zhǎng)而升高的關(guān)系，調(diào)查了30個(gè)成年人的血壓(收縮壓，單位mmHg)如下表，利用這些數(shù)據(jù)給出血壓與年齡的關(guān)系，并預(yù)測(cè)不同年齡人群的血壓.1第八章統(tǒng)計(jì)回歸模型解記血壓(因變量)為y,年齡(自變量)為x,畫(huà)出30個(gè)數(shù)據(jù)點(diǎn)的散點(diǎn)圖.直觀地,y與x大致呈線性關(guān)系,記為y＝β0＋β1x.利用一元線性回歸模型，由MATLAB計(jì)算出結(jié)果如下:血壓隨年齡的變化關(guān)系為y＝96.86＋0.953x，決定系數(shù)為0.7123，顯示血壓與年齡有較強(qiáng)的線性關(guān)系.利用上述回歸方程，可預(yù)測(cè)不同年齡人群的血壓規(guī)律，如表8-1所示.1第八章統(tǒng)計(jì)回歸模型表8-11第八章統(tǒng)計(jì)回歸模型由表8-1的預(yù)測(cè)可知,對(duì)于50歲的人來(lái)說(shuō),我們有95%的把握認(rèn)為其血壓(收縮壓)在區(qū)間［124.5,163.2］.1第八章統(tǒng)計(jì)回歸模型1若與因變量y有關(guān)聯(lián)的自變量不止一個(gè),則可建立多元線1

2…,xm),則y＝β0＋β1x1＋β2x2＋…＋βmxm＋ε(8.2.1)性回歸模型.設(shè)影8.響2變多量y元的主線要性因素回有歸m個(gè)模,記型為x＝(x,x,第八章統(tǒng)計(jì)回歸模型根據(jù)n個(gè)獨(dú)立觀測(cè)數(shù)據(jù)yi,xi1,…,xim(i＝1,2,…,n；n>m),得記1第八章統(tǒng)計(jì)回歸模型則式(8.2.2)可表示為矩陣形式Y(jié)＝Xβ＋ε，利用最小二乘法可確定參數(shù)，其參數(shù)β為:并稱(chēng) 為回歸平面方程, 為經(jīng)驗(yàn)回歸系數(shù).1第八章統(tǒng)計(jì)回歸模型1多元線性回歸模型討論的主要問(wèn)題是:用試驗(yàn)值(樣本值)對(duì)未知參數(shù)β和σ2作點(diǎn)估計(jì)和假設(shè)檢驗(yàn),從而建立y與x1,x2,…,xm之間的數(shù)量關(guān)系；在x1＝x01,x2＝x02,…,xm＝x0m處對(duì)y的值作預(yù)測(cè)與控制,即對(duì)y作區(qū)間估計(jì).第八章統(tǒng)計(jì)回歸模型1.多元線性回歸中的檢驗(yàn)首先假設(shè)H0:β0＝β1＝…＝βn＝0.1)F檢驗(yàn)當(dāng)H0成立時(shí)，其中, (回歸平方和)；(殘差平方和).1第八章統(tǒng)計(jì)回歸模型1如果F>F1－α(k,n－m－1),則拒絕H0,認(rèn)為y與x1,x2,…,xm之間顯著地有線性關(guān)系；否則就接受H0,認(rèn)為y與x1,x2,…,xm之間的線性關(guān)系不顯著.第八章統(tǒng)計(jì)回歸模型2)R檢驗(yàn)定義為y與x1,x2,…,xm的多元相關(guān)系數(shù)或復(fù)相關(guān)系數(shù).由于故用F和用R檢驗(yàn)是等效的.1第八章統(tǒng)計(jì)回歸模型2.多元線性回歸中的預(yù)測(cè),對(duì)于給定自變量的值1)點(diǎn)預(yù)測(cè)求出回歸方程,用來(lái)預(yù)測(cè)y*＝β0＋β1x*1＋…＋βmx*m＋ε.稱(chēng)為y*的點(diǎn)預(yù)測(cè).1第八章統(tǒng)計(jì)回歸模型2)區(qū)間估計(jì)y的1－α的預(yù)測(cè)區(qū)間(置信區(qū)間)為,其中1第八章統(tǒng)計(jì)回歸模型1例1

城市公交客運(yùn)量的回歸預(yù)測(cè)問(wèn)題.據(jù)相關(guān)分析，城市公共交通年客運(yùn)量y與城市職工人數(shù)x1、居民零售額x2.職工年收入x3統(tǒng)計(jì)相關(guān).現(xiàn)有北京市1968~1980年的統(tǒng)計(jì)數(shù)據(jù)如表8-2所示，試對(duì)2000年該市的城市公交客運(yùn)量做出預(yù)測(cè).第八章統(tǒng)計(jì)回歸模型表8-21第八章統(tǒng)計(jì)回歸模型續(xù)表1第八章統(tǒng)計(jì)回歸模型解建立多元線性回歸模型，由MATLAB計(jì)算回歸方程為，表明公共交通年客運(yùn)量y與城市職工人數(shù)x1、居民零售額x2.職工年收入x3具有很高的線性關(guān)聯(lián)性.根據(jù)有關(guān)規(guī)劃，2000年該城市職工人數(shù)x1＝4.5(百萬(wàn)人)，居民零售額x2＝15.0(10億元)，職工年收入x3＝5.7(10億元)，則測(cè)北京市公共交通年客運(yùn)量y＝58.067(億次).1第八章統(tǒng)計(jì)回歸模型1在客觀現(xiàn)象中,預(yù)報(bào)量y與自變量x之間存在的關(guān)系式往往不是線性的.我們8.可3依非據(jù)假線設(shè)性或經(jīng)回驗(yàn)歸,構(gòu)模造型特定的函數(shù)如多項(xiàng)式、指數(shù)函數(shù)、三角函數(shù)等描述其關(guān)系,但其參數(shù)的確定和檢驗(yàn)?zāi)壳斑€無(wú)統(tǒng)一方法.下面以Y與x具有多項(xiàng)式關(guān)系為例加以說(shuō)明.第八章統(tǒng)計(jì)回歸模型1設(shè)變量x,Y多項(xiàng)式關(guān)系的回歸模型為:Y＝β0＋β1x＋β2x2＋…＋βpxp＋ε其中p是已知的,βi(i＝1,2,…,p)是未知參數(shù),ε服從正分布N(0,σ2).則Y＝β0＋β1x＋β2x2＋…＋βkxk稱(chēng)為回歸多項(xiàng)式.若令xi＝xi(i＝1,2,…,k),則多項(xiàng)式回歸模型可變?yōu)槎嗑€性回歸模型.第八章統(tǒng)計(jì)回歸模型例1

藥物療效的評(píng)價(jià)與預(yù)測(cè)問(wèn)題.現(xiàn)在得到了美國(guó)艾滋病醫(yī)療試驗(yàn)機(jī)構(gòu)ACTG公布的兩組數(shù)據(jù).ACTG320(見(jiàn)建模競(jìng) 題2006)是同時(shí)服用zidovudine(齊多夫定)、lamivudine(拉美夫定)和indinavir(茚地那韋)3種藥物的多名病人每隔幾周測(cè)試的CD4和HIV的濃度(每毫升血液里的數(shù)量).利用給定的數(shù)據(jù),預(yù)測(cè)繼續(xù)治療的效果,或者確定最佳治療終止時(shí)間(繼續(xù)治療指在測(cè)試終止后繼續(xù)服藥,如果認(rèn)為繼續(xù)服藥效果不好,則可選擇提前終止治療).1第八章統(tǒng)計(jì)回歸模型1解數(shù)據(jù)的完善與規(guī)范化:由于病人測(cè)試的時(shí)間間斷性，不同病人的測(cè)試間隔、次數(shù)不同，以及部分?jǐn)?shù)據(jù)缺失，無(wú)法對(duì)樣本數(shù)據(jù)進(jìn)行直接處理，需先對(duì)數(shù)據(jù)進(jìn)行完善與規(guī)范化預(yù)處理.先對(duì)個(gè)別缺失數(shù)據(jù)嚴(yán)重(測(cè)試不足30周)的樣本進(jìn)行刪除,最終得到有效樣本333個(gè).考慮到病人體內(nèi)HIV和CD4兩個(gè)指標(biāo)變化的連續(xù)性,利用已測(cè)周數(shù)據(jù)對(duì)未知周數(shù)據(jù)進(jìn)行線性插值,得到所有病人整數(shù)周的兩個(gè)指標(biāo)數(shù)據(jù).第八章統(tǒng)計(jì)回歸模型(1)線性插值方法:如果在不相鄰的兩周M1和M2內(nèi)，測(cè)量得到CD4的含量為C1和C2，HIV的含量為H1和H2，則在M1和M2之間插入M2－M1個(gè)周的數(shù)據(jù)，即在M1＋N(0<N<M2－M1)周的CD4含量為:1第八章統(tǒng)計(jì)回歸模型以23424編號(hào)的病員為例，原始數(shù)據(jù)如下:1第八章統(tǒng)計(jì)回歸模型經(jīng)插值后的改進(jìn)數(shù)據(jù)為:1第八章統(tǒng)計(jì)回歸模型1(2)數(shù)據(jù)處理方法:對(duì)區(qū)間［0，40］整數(shù)節(jié)點(diǎn)的CD4和HIV指標(biāo)數(shù)據(jù)進(jìn)行簡(jiǎn)單求和平均，得到該療法治療后CD4指標(biāo)和HIV指標(biāo)的統(tǒng)計(jì)規(guī)律如下:第八章統(tǒng)計(jì)回歸模型1第八章統(tǒng)計(jì)回歸模型CD4的含量隨時(shí)間(周)的變化曲線如圖8-1所示.圖8-1中的曲線是對(duì)圖中的散點(diǎn)進(jìn)行一個(gè)擬合，得出的病人體內(nèi)CD4的平均含量Y隨周t變化的二次函數(shù)為:1第八章統(tǒng)計(jì)回歸模型圖8-11第八章統(tǒng)計(jì)回歸模型參數(shù)和其置信區(qū)間如下表:1第八章統(tǒng)計(jì)回歸模型1根據(jù)以上分析可以得出CD4的平均含量的大致走向是在0~23周以前是較快上升，顯示療效確切；在23~24周左右達(dá)到一個(gè)峰值，在24~28周之間有個(gè)小的波動(dòng)，之后有個(gè)緩慢的上升期，在38周達(dá)到一個(gè)最大值，但以后卻急劇地下降，藥品產(chǎn)生耐藥性.由此確定:如果以CD4指標(biāo)為標(biāo)準(zhǔn)，24周為最佳的停藥時(shí)間.類(lèi)似可處理HIV的指標(biāo)數(shù)據(jù)，得到HIV的含量隨時(shí)間(周)的變化曲線如圖8-2所示.第八章統(tǒng)計(jì)回歸模型圖8-21第八章統(tǒng)計(jì)回歸模型圖8-2中的曲線是對(duì)圖中的散點(diǎn)進(jìn)行一個(gè)擬合，得出的病人體內(nèi)HIV的平均含量Z隨周t變化的二次函數(shù)為:Z(t)＝4.1442t2－0.1217t＋0.0025參數(shù)和置信區(qū)間如下表:1第八章統(tǒng)計(jì)回歸模型1根據(jù)以上分析可以得出HIV的平均含量的大致走向是在0~10周以前是急劇下降的，顯示療效確切，在10~4