第一節(jié)一元線性回歸分析

1、第一節(jié)第一節(jié) 一元線性回歸分析一元線性回歸分析第二節(jié)第二節(jié) 多元線性回歸分析多元線性回歸分析第三節(jié)第三節(jié) 幾類一元非線性回歸幾類一元非線性回歸第六章回歸分析第六章回歸分析一、一元線性回歸模型一、一元線性回歸模型二、未知參數(shù)的估計二、未知參數(shù)的估計三、參數(shù)估計量的分布三、參數(shù)估計量的分布第第6.1節(jié)一元線性回歸分析節(jié)一元線性回歸分析四、參數(shù)四、參數(shù) 的顯著性檢驗的顯著性檢驗五、預(yù)測五、預(yù)測變量之間的關(guān)系變量之間的關(guān)系確定性關(guān)系確定性關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系2rs 確定性關(guān)系確定性關(guān)系身高和體重身高和體重相關(guān)關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系的特征是相關(guān)關(guān)系的特征是:變量之間的關(guān)系很難用一變量之間的關(guān)系很難用一種精

2、確的方法表示出來種精確的方法表示出來.0、回歸分析的基本思想、回歸分析的基本思想確定性關(guān)系確定性關(guān)系和和相關(guān)關(guān)系相關(guān)關(guān)系的聯(lián)系的聯(lián)系由于存在測量誤差等原因由于存在測量誤差等原因,確定性關(guān)系在實際確定性關(guān)系在實際問題中往往通過相關(guān)關(guān)系表示出來問題中往往通過相關(guān)關(guān)系表示出來;另一方面另一方面,當(dāng)對當(dāng)對事物內(nèi)部規(guī)律了解得更加深刻時事物內(nèi)部規(guī)律了解得更加深刻時,相關(guān)關(guān)系也有可相關(guān)關(guān)系也有可能轉(zhuǎn)化為確定性關(guān)系能轉(zhuǎn)化為確定性關(guān)系.回歸分析回歸分析處理變量之間的相關(guān)關(guān)系的一處理變量之間的相關(guān)關(guān)系的一種數(shù)學(xué)方法種數(shù)學(xué)方法,它是最常用的數(shù)理統(tǒng)計方法它是最常用的數(shù)理統(tǒng)計方法.線線 性回歸分析性回歸分析非線性回歸分

3、析非線性回歸分析回回歸歸分分析析一元線性回歸分析一元線性回歸分析多元線性回歸分析多元線性回歸分析 ()()yx設(shè)隨機變量因變量 和普通變量 自變量 之設(shè)隨機變量因變量 和普通變量 自變量 之間存在著相關(guān)關(guān)系間存在著相關(guān)關(guān)系xy1x2x1c2c)(2x .,)( 的分布函數(shù)的分布函數(shù)的的所對應(yīng)所對應(yīng)時時確定的值確定的值取取表示當(dāng)表示當(dāng)yxxxyf. )(yey的數(shù)學(xué)期望的數(shù)學(xué)期望考察考察)()(xyexy 的的回回歸歸函函數(shù)數(shù)關(guān)關(guān)于于 xy問題的分析問題的分析一、一元線性回歸的數(shù)學(xué)模型一、一元線性回歸的數(shù)學(xué)模型)()(xyexy 2, ( ), () .ceec因因為為對對隨隨機機變變量量當(dāng)當(dāng)時

4、時達達到到最最小小2( ),( ) .xxye yx 所所以以在在一一切切 的的函函數(shù)數(shù)中中以以回回歸歸函函數(shù)數(shù)作作為為的的近近似似 均均方方誤誤差差為為最最小小( ).x 在在實實際際問問題題中中 一一般般未未知知回歸分析的任務(wù)回歸分析的任務(wù)根據(jù)試驗數(shù)據(jù)估計回歸根據(jù)試驗數(shù)據(jù)估計回歸函數(shù)函數(shù);討論回歸函數(shù)中參數(shù)的點估計討論回歸函數(shù)中參數(shù)的點估計、區(qū)間估計區(qū)間估計;對回歸函數(shù)中的參數(shù)或者回歸函數(shù)本身進行假設(shè)對回歸函數(shù)中的參數(shù)或者回歸函數(shù)本身進行假設(shè)檢驗檢驗;利用回歸函數(shù)進行預(yù)測與控制等等利用回歸函數(shù)進行預(yù)測與控制等等.回歸問題的一般提法回歸問題的一般提法., 212121果果的的獨獨立立觀觀察察

5、結(jié)結(jié)處處對對分分別別是是在在設(shè)設(shè)的的一一組組不不完完全全相相同同的的值值對對yxxxyyyxxxxnnn.),( ,),(),(2211是一個樣本是一個樣本稱稱nnyxyxyx).,( ,),(),( 2211nnyxyxyx對應(yīng)的樣本值記為對應(yīng)的樣本值記為).(xxy 的的回回歸歸函函數(shù)數(shù)關(guān)關(guān)于于利利用用樣樣本本來來估估計計求解步驟求解步驟1.推測回歸函數(shù)的形式推測回歸函數(shù)的形式方法一根據(jù)專業(yè)知識或者經(jīng)驗公式確定方法一根據(jù)專業(yè)知識或者經(jīng)驗公式確定;方法二作散點圖觀察方法二作散點圖觀察.例例1為研究某一化學(xué)反應(yīng)過程中為研究某一化學(xué)反應(yīng)過程中,溫度溫度x(oc)對產(chǎn)對產(chǎn)品得率品得率y(%)的影響

6、的影響,測得數(shù)據(jù)如下測得數(shù)據(jù)如下.溫度溫度x(oc)得率得率y(%)10011012013014015016017018019045 51 54 61 66 70 74 78 85 89用用matlab畫出散點圖畫出散點圖, ( ).xx 觀觀察察散散點點圖圖具具有有線線性性函函數(shù)數(shù)的的形形式式x=100:10:190;y=45,51,54,61,66,70,74,78,85,89;plot(x,y,.r)( )xx一元線性回歸問題一元線性回歸問題22 (,),.xynxx 假假設(shè)設(shè)對對于于 的的每每一一個個值值有有 都都是是不不依依賴賴于于 的的未未知知參參數(shù)數(shù) 2.建立回歸模型建立回歸模型

7、(),yx記記那那么么220, ( ,).,.yxnx 是是不不依依賴賴于于 的的未未知知參參數(shù)數(shù)一元線性回歸模型一元線性回歸模型的線性函數(shù)的線性函數(shù)x隨機誤差隨機誤差二、未知參數(shù)的估計二、未知參數(shù)的估計2211,()min()nniiiiiiyxyx 20, ( ,).yxn1122(,),(,),(,),nnx yx yx y對于樣本它滿足對于樣本它滿足20,( ,),.iiiiiyxn 各各 相相互互獨獨立立21 2(,), , .iiynxin于于是是 1. ( , )的最小二乘估計的最小二乘估計使得下式成立的使得下式成立的( , )的估計的估計 稱為其最小二乘估稱為其最小二乘估計計.

8、, 求求q的最小值可以利用微分法的最小值可以利用微分法21 ( ,)() ,niiiqyx 設(shè)設(shè)求求偏偏導(dǎo)導(dǎo)可可得得120 ( ,) ()niiiqyx 111211120 ( ,) ()() ()()niiiinniiiinnniiiiiiiqx yxnxyxxxy 正規(guī)方程組正規(guī)方程組, 01211 niiniiniixxxn121()(),()niiiniixx yyxx ,yx1111,.nniiiixx yynn其其中中由于由于則方程組的解為則方程組的解為112211 ,()()(),(),(nniiiiiinniiiiyxxx yyxx yxxxx的的最最小小二二乘乘估估計計量量為

9、為度度函函數(shù)數(shù)為為的的獨獨立立性性可可得得到到聯(lián)聯(lián)合合密密根根據(jù)據(jù)nyyy,212211122exp()niiilyx 2211122() exp().nniiiyx 2. ( , )的最大似然估計的最大似然估計取取最最大大值值等等價價于于l21( ,)()niiiqyx .取最小值 這又回到參數(shù)最小二乘估計的情形取最小值 這又回到參數(shù)最小二乘估計的情形yx yx稱稱其其為為 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程,yx由由于于()yyxx).,(yx幾幾何何中中心心回回歸歸直直線線通通過過散散點點圖圖的的注注參數(shù)的最小二乘估計和最大似然估計等價參數(shù)的最小二乘估計和最大似然估計等價.得到參數(shù)的

10、估計后，我們就可以得到得到參數(shù)的估計后，我們就可以得到 回歸方程回歸方程23. 未未知知參參數(shù)數(shù)的的估估計計20, ( ,).yxn2222() ()( )( )e yxede2,( ).xxy顯然越小 用回歸函數(shù)作為 的近顯然越小 用回歸函數(shù)作為 的近似導(dǎo)致的均方誤差就越小似導(dǎo)致的均方誤差就越小2211(yy )(y)nneiiiiiiqx記記它稱為殘差平方和它稱為殘差平方和22211()niiiyxn 則則的的估估計計為為 2211(yy )()nneiiiiiiqyyxx2221112(yy)()(yy)()nnniiiiiiixxxx121()()()niiiniixx yyxx 由于

11、 的估計為，則由于 的估計為，則22211()()nneiiiiqyyxx因而因而22221111()()nniiiiyyxxnn 例例2(p1932(p193例例6.2)6.2)設(shè)設(shè)父父親親和和他他們們長長子子的的身身高高分分別別為為1 212(,)(, ,),iixyi 其其觀觀測測數(shù)數(shù)據(jù)據(jù)為為x父父親親身身高高y長長子子身身高高65 63 67 64 68 62 70 66 68 67 69 7168 66 68 65 69 66 68 65 71 67 68 70yx求求 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程解解yx 回回歸歸方方程程為為將觀測值代入正規(guī)方程將觀測值代入正規(guī)方程128

12、008118005341854107 求解得求解得35 820 476. . yx則則 關(guān)關(guān)于于 的的線線性性回回歸歸方方程程為為35 820 476. . yx112111() ()()nniiiinnniiiiiiinxyxxx y 這個例子表明：高個子的先代會有高個子的后代，但這個例子表明：高個子的先代會有高個子的后代，但后代的增高并不與先代的增高等量。例如父親身高超后代的增高并不與先代的增高等量。例如父親身高超過祖父身高過祖父身高6in,則兒子的身高超過父親的身高大約為則兒子的身高超過父親的身高大約為3in稱這種現(xiàn)象為向平常高度的回歸，回歸一詞即來源于此稱這種現(xiàn)象為向平常高度的回歸，回

13、歸一詞即來源于此.這種提法最早是由高登提出的，一直沿用至今這種提法最早是由高登提出的，一直沿用至今.當(dāng)時高當(dāng)時高登、皮爾遜、登、皮爾遜、lee研究了研究了1078個家庭，得到的回歸方程個家庭，得到的回歸方程為：為：0 51633 73.yx三、參數(shù)估計的分布三、參數(shù)估計的分布1. 的分布的分布1122111()()() ()()nniiiniiiiinniiiiixx yyxxyayxxxx 為了對參數(shù)估計量進行檢驗，需要討論它們的分布為了對參數(shù)估計量進行檢驗，需要討論它們的分布21() ,()iiiniixxayxx 其其中中顯顯然然相相互互獨獨立立，而而且且2(,)iiynx 因因而而 服

14、服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為12111() ()()niinniiiiiniiiixx xea eyaxxx 22221222111() () ()niniiinniiiiixxda dyxxxx 221 ( ,/() )niinxx 則則2. 的的分分布布2111() ()()niiniiixx xyxynxx 因因而而 服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為11 ()niieeyexxxn 22111() ()()niiniiixx xddynxx 22211()niixnxx 22212211()() )niiniixxxnxx 22211 ( ,)()niixn

15、nxx 則則0003. ,= xxyx對對回回歸歸方方程程的的分分布布0100221111()() ()()()niniiiinniiiiixx xxx xyxyynxxxx 02111()() =()()niiniiixxxxynxx 0y因因而而服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為000 ()eyexx2002111()() () =()()niiniiixxxxd ydynxx 220212211() ()=()() )niiniixxxxnxx 220211()=()()niixxnxx 22000211() (,()()niixxynxnxx 則則2222112221122

16、122221222212222111()() )() ()() () () () (1)()(1)()4. nniiiinniiiiniiiniiniiniiyyxxnneyyeyne ydyeyn dyeyxnxnnxnxnxx 由由于于的的分分布布2222112212222112221() ()()() ()()()()nniiiiniininiiiniiexxxxedexxxxxxxx 222211()() (2)nniiiieyyxxn而有而有2221222111221122* () =()()niiinniiiiinyxnnyyxxnn 設(shè)設(shè)22* e 則則222nen 故故定理定理

17、 6.16.1(,)iiy x假假設(shè)設(shè)滿滿足足線線性性回回歸歸模模型型的的條條件件，則則22222*()()nn 222*,. 而而且且分分別別與與獨獨立立，其其中中是是的的修修正正估估計計證明證明 參見下一節(jié)多元回歸理論參見下一節(jié)多元回歸理論四、參數(shù)四、參數(shù) 的顯著性檢驗的顯著性檢驗12,.ny yy相相互互獨獨立立根據(jù)前三小節(jié)的理論，給定一組觀測值，就可以得根據(jù)前三小節(jié)的理論，給定一組觀測值，就可以得其相應(yīng)的回歸方程。但是二者是否具有此種相關(guān)關(guān)系，其相應(yīng)的回歸方程。但是二者是否具有此種相關(guān)關(guān)系，需要進行必要的檢驗需要進行必要的檢驗.通常檢驗一元線性回歸模型是否成立，需要檢驗：通常檢驗一元線

18、性回歸模型是否成立，需要檢驗：(1) 給定給定x時，時，y服從正態(tài)分布且方差相等；服從正態(tài)分布且方差相等；(2) 對于給定的范圍，對于給定的范圍，y是是 x 的線性函數(shù)；的線性函數(shù)；(3)0.本本節(jié)節(jié)主主要要討討論論第第二二類類問問題題，也也就就等等價價于于 是是否否為為20 , ( ,).yxn設(shè)設(shè)0100: :, :.hh檢檢驗驗假假設(shè)設(shè)*2222(2)(2).eqnn ,eq并并且且相相互互獨獨立立 因因此此212*()().niitxxt n 20102*,()(),niihtxxt n 當(dāng)當(dāng)為為真真時時此此時時0h則則的的拒拒絕絕域域為為221 ( ,/() );niinxx 221

19、2*| |()()niitxxtn 00:,.h 拒拒絕絕認(rèn)認(rèn)為為回回歸歸效效果果顯顯著著00:,.h 接接受受認(rèn)認(rèn)為為回回歸歸效效果果不不顯顯著著回歸效果不顯著的原因分析回歸效果不顯著的原因分析;,)1( 不不可可忽忽略略的的因因素素及及隨隨機機誤誤差差外外還還有有其其他他除除取取值值的的影影響響xy;)()2(的的關(guān)關(guān)系系不不是是線線性性的的與與xye.)3(不不存存在在關(guān)關(guān)系系與與xy 檢驗例檢驗例2中的回歸效果是否顯著中的回歸效果是否顯著,取顯著性水平為取顯著性水平為0.05.解解0 05210.,n對對 查查表表得得0 05 20 0252102 2281.()().tnt查查表表得

20、得3 128.t 0 02510.()tt 00:,.h 拒拒絕絕認(rèn)認(rèn)為為回回歸歸效效果果顯顯著著例例3(p197例例6.3).00的的觀觀察察結(jié)結(jié)果果處處對對是是在在設(shè)設(shè)yxxy 20000, (0,).yxn000()yxx0y此式為的點估計（預(yù)測）此式為的點估計（預(yù)測）又因為又因為0000yyyx00yy且與相互獨立均服從正態(tài)分布，因而且與相互獨立均服從正態(tài)分布，因而00yy 亦亦服服從從正正態(tài)態(tài)分分布布，其其期期望望值值為為0000000()()e yyeyexxx五、預(yù)測五、預(yù)測2200021201() (,()()niixxynxnxxdy 又又0000()()d yydyd y故

21、故220211()(1+)()niixxnxx 22000211()(0,1+)()niixxyynnxx 22222*()(),nn 又又00yy 相相互互獨獨立立, ,則則2* 與與002021211*()(),()()niiyxtt nxxnxx 20121, |()p ttny 給給定定置置信信度度有有的的預(yù)預(yù)測測區(qū)區(qū)間間為為200221121*()()()niixxxtnnxx 200221121*()()()niixxxtnnxx 設(shè)設(shè) （)=)=01, y 于于是是給給定定置置信信度度的的預(yù)預(yù)測測上上下下限限為為1000()()y xyx2000()()yxyx012( )- ( )( )( ).xy xyxyxyx當(dāng)變動時，可得曲線當(dāng)變動時，可得曲線，則這兩條曲線形成帶狀域包含回歸曲線則這兩條曲線形成帶狀域包含回歸曲線例例4(p198例例6.4) (續(xù)例續(xù)例6.2)065 5 10 95 (1). ,.x設(shè)