2020統(tǒng)計(jì)建模多元回歸分析ppt課件

1、數(shù)學(xué)與生物數(shù)學(xué)教研室 蔡昌啟 回歸分析回歸分析 在許多科研問題中在許多科研問題中, ,經(jīng)常遇到一些同處經(jīng)常遇到一些同處于一個(gè)一致體中的變量于一個(gè)一致體中的變量, ,這些變量之間往往這些變量之間往往是相互依賴和相互制約的是相互依賴和相互制約的, ,根據(jù)實(shí)踐問題的根據(jù)實(shí)踐問題的要求要求, ,我們往往需求找出描畫這些變量之間我們往往需求找出描畫這些變量之間依存關(guān)系的數(shù)學(xué)表達(dá)式依存關(guān)系的數(shù)學(xué)表達(dá)式( (數(shù)學(xué)模型數(shù)學(xué)模型).). ( r e g r e s s i o n analysis)一、什么是回歸分析變量之間的相互關(guān)系大致可分為兩類變量之間的相互關(guān)系大致可分為兩類:(1)(1)確定關(guān)系確定關(guān)系-

2、函數(shù)關(guān)系函數(shù)關(guān)系. .(2)(2)不確定關(guān)系不確定關(guān)系-相關(guān)關(guān)系相關(guān)關(guān)系. . 在許多實(shí)踐問題中在許多實(shí)踐問題中 , ,由于消費(fèi)或由于消費(fèi)或?qū)嶒?yàn)過程不可防止存在著誤差的影響實(shí)驗(yàn)過程不可防止存在著誤差的影響, ,使得變量之間的關(guān)系具有某種程度的不使得變量之間的關(guān)系具有某種程度的不確定性確定性, ,并且不能用函數(shù)表示并且不能用函數(shù)表示, ,這些變量這些變量其實(shí)是隨機(jī)變量或至少其中有一個(gè)是隨其實(shí)是隨機(jī)變量或至少其中有一個(gè)是隨機(jī)變量機(jī)變量. . 為確定隨機(jī)變量與隨機(jī)變量為確定隨機(jī)變量與隨機(jī)變量(或非隨或非隨機(jī)變量機(jī)變量 ) 之間的相依關(guān)系之間的相依關(guān)系,需采用統(tǒng)計(jì)分需采用統(tǒng)計(jì)分析方法總結(jié)出隱藏在隨機(jī)性

3、后面的統(tǒng)計(jì)析方法總結(jié)出隱藏在隨機(jī)性后面的統(tǒng)計(jì)規(guī)律性規(guī)律性(統(tǒng)計(jì)模型統(tǒng)計(jì)模型).這類統(tǒng)計(jì)規(guī)律稱為回這類統(tǒng)計(jì)規(guī)律稱為回歸關(guān)系歸關(guān)系. 有關(guān)回歸關(guān)系的計(jì)算方法和實(shí)際統(tǒng)有關(guān)回歸關(guān)系的計(jì)算方法和實(shí)際統(tǒng)稱回歸分析稱回歸分析(regeression analysis). 回歸分析的目的是尋求一個(gè)隨機(jī)變回歸分析的目的是尋求一個(gè)隨機(jī)變量量Y(因變量因變量)對一組隨機(jī)變量對一組隨機(jī)變量X1, X2,Xp(自變量自變量 )的統(tǒng)計(jì)依賴關(guān)系的統(tǒng)計(jì)依賴關(guān)系.二、回歸分析的目的二、回歸分析的目的 普通來說普通來說, ,可經(jīng)過直觀的方法可經(jīng)過直觀的方法( (如如散點(diǎn)圖散點(diǎn)圖) )進(jìn)展粗略判別進(jìn)展粗略判別. .如只需一個(gè)自如只

4、需一個(gè)自變量變量, ,那么稱為一元回歸分析那么稱為一元回歸分析; ;如自變?nèi)缱宰兞總€(gè)數(shù)多于一個(gè)量個(gè)數(shù)多于一個(gè) , ,那么稱為多元回歸那么稱為多元回歸分析分析. .三、變量確實(shí)定及要求三、變量確實(shí)定及要求 將一個(gè)需求預(yù)測的變量作為因?qū)⒁粋€(gè)需求預(yù)測的變量作為因變量變量 ,它的取值是可觀測的但不可控它的取值是可觀測的但不可控制的制的 ;將被以為對因變量的取值具有將被以為對因變量的取值具有顯著影響的哪些變量作為自變量顯著影響的哪些變量作為自變量. 通常情況下通常情況下,自變量的取值能得以自變量的取值能得以控制控制,稱為可控變量稱為可控變量. 例如，我們希望經(jīng)過一些易測的目例如，我們希望經(jīng)過一些易測的目

5、的去預(yù)測正常兒童的心象面積的去預(yù)測正常兒童的心象面積 , 由于心由于心象面積是一個(gè)不易檢測的目的，是一個(gè)象面積是一個(gè)不易檢測的目的，是一個(gè)需求預(yù)測的變量需求預(yù)測的變量,根據(jù)專業(yè)知識(shí)根據(jù)專業(yè)知識(shí) ，以為，以為性別、年齡、身高、體重、胸圍能夠?qū)π詣e、年齡、身高、體重、胸圍能夠?qū)π南竺娣e都有影響。心象面積都有影響。因變量因變量Y-心象面積心象面積; 自變量-性別(X1)、年齡(X2 )、身高(X3 )、體重(X4 )、胸圍(X5)。 四、回歸分析的根本原理四、回歸分析的根本原理 回歸分析的本質(zhì)是根據(jù)隱含統(tǒng)計(jì)規(guī)回歸分析的本質(zhì)是根據(jù)隱含統(tǒng)計(jì)規(guī)律性的觀測值律性的觀測值, ,求出因變量對自變量的求出因變量對

6、自變量的詳細(xì)表達(dá)式詳細(xì)表達(dá)式 y = f ( x1,x2,xp ). y = f ( x1,x2,xp ). 普通普通, ,自變量自變量X1,X2,XpX1,X2,Xp是可控是可控變量變量, ,控制它們?nèi)√厥庵悼刂扑鼈內(nèi)√厥庵祒1,x2,xpx1,x2,xp時(shí)時(shí), ,對不同個(gè)體對不同個(gè)體,Y,Y的取值依然不同的取值依然不同( (隨隨機(jī)性機(jī)性),Y),Y依然是隨機(jī)變量依然是隨機(jī)變量, ,記為記為Y( x1,x2,xp ).Y( x1,x2,xp ). Y Y雖然不能完全確定雖然不能完全確定( (隨機(jī)變量隨機(jī)變量),),但但卻有一個(gè)確定的條件分布卻有一個(gè)確定的條件分布p(Yx1,x2,xp),p(

7、Yx1,x2,xp),從而有一個(gè)確定條從而有一個(gè)確定條件均值件均值 E(Yx1,x2,xp), E(Yx1,x2,xp),它是它是x1,x2,xpx1,x2,xp的函數(shù)的函數(shù). . 能否可用能否可用y=E(Yx1,x2,xp)y=E(Yx1,x2,xp)作為作為Y Y對對X1,X2,XpX1,X2,Xp的回歸方程的回歸方程? ? 定義定義1 (1 (均方誤差均方誤差) )設(shè)設(shè)( Y,X1, ( Y,X1, X2,Xp )X2,Xp )具有結(jié)合分布且二階矩存具有結(jié)合分布且二階矩存在在,f(X1,X2,Xp),f(X1,X2,Xp)是隨機(jī)變量是隨機(jī)變量X1,X2,XpX1,X2,Xp的函數(shù)的函數(shù),

8、 ,那么稱那么稱EY- f (X1,X2,Xp)2為f( X1 , X2 , , Xp )對Y的均方誤差(mean square error). 均方誤差從平均意義上反映了均方誤差從平均意義上反映了函數(shù)函數(shù)f(X1,X2,Xp )f(X1,X2,Xp )與隨機(jī)變量與隨機(jī)變量Y Y之之間差別的大小間差別的大小 , ,它可作為回歸函數(shù)好它可作為回歸函數(shù)好壞的判別規(guī)范壞的判別規(guī)范 . .假設(shè)某個(gè)函數(shù)與假設(shè)某個(gè)函數(shù)與Y Y的的均方誤差最小均方誤差最小, ,我們有理由以為在均我們有理由以為在均方誤差最小規(guī)范下將它作為回歸函數(shù)方誤差最小規(guī)范下將它作為回歸函數(shù)進(jìn)展預(yù)告是最好的進(jìn)展預(yù)告是最好的. .EY-f(

9、X1,X2,Xp)2 定義定義2 2 在定義在定義1 1的條件下的條件下 , , 函數(shù)函數(shù)E(YX1,X2,Xp)E(YX1,X2,Xp)是一切是一切X1,X2,XpX1,X2,Xp的函數(shù)中均方誤差最小的函數(shù)中均方誤差最小的函數(shù)的函數(shù), ,即對恣意給定的函數(shù)即對恣意給定的函數(shù)f(X1,X2,Xp),f(X1,X2,Xp),總有總有EY-E(YX1,X2,Xp )2成立成立. . 定義定義2 2提示用提示用E(Yx1,x2,xp)E(Yx1,x2,xp)去預(yù)告去預(yù)告Y Y在均方誤差最小規(guī)范下是最在均方誤差最小規(guī)范下是最好的好的, ,因此因此, ,y = E(Yx1,x2,xp )就是我們尋覓的回

10、歸函數(shù)就是我們尋覓的回歸函數(shù).在在(Y,X1,X2,Xp )的結(jié)合分布為多元正態(tài)的結(jié)合分布為多元正態(tài)分布時(shí)分布時(shí), E(Yx1, x2,xp )為為x1,x2,xp的的線性函數(shù)線性函數(shù),此時(shí)的回歸函數(shù)為此時(shí)的回歸函數(shù)為y=a0+a1x1+a2x2+ap xp我們稱它為多元線性回歸方程我們稱它為多元線性回歸方程.五、多元線性回歸模型五、多元線性回歸模型 設(shè)設(shè)p個(gè)自變量個(gè)自變量X1 , X2 , , Xp 的的取值為取值為x1 , x2 , , xp 時(shí)，隨機(jī)時(shí)，隨機(jī)Y變變量滿足量滿足其中其中a0 a0 ，a1a1，a2a2，, ap , ap ，22均為未知常均為未知常數(shù)，數(shù)， a0 ,a1 ,

11、 a2 , , ap , a0 ,a1 , a2 , , ap ,稱為稱為“偏回歸偏回歸系數(shù)系數(shù) ;2 ;2稱為隨機(jī)誤差的方差。稱為隨機(jī)誤差的方差。稱上式為稱上式為p元正態(tài)線性回歸模型元正態(tài)線性回歸模型.), 0(222110NexaxaxaaYpp對對p元線性回歸模型我們要處理如下問題元線性回歸模型我們要處理如下問題: 1.根據(jù)樣本觀測值去估計(jì)未知參數(shù)根據(jù)樣本觀測值去估計(jì)未知參數(shù)a0 ,a1 , a2 , , ap ,2 , 從而建立從而建立Y與與X1,X2,Xp 間間的關(guān)系式的關(guān)系式(回歸方程回歸方程);2.對回歸方程的回歸效果進(jìn)展統(tǒng)計(jì)檢驗(yàn)對回歸方程的回歸效果進(jìn)展統(tǒng)計(jì)檢驗(yàn); 3. 檢驗(yàn)各變

12、量檢驗(yàn)各變量X1,X2,Xp分別對目的分別對目的(Y)能否有顯著影響能否有顯著影響.按最小二乘估計(jì)的原理估計(jì)未知參數(shù). 實(shí) 踐 問 題實(shí) 踐 問 題 : 知知 2 9 例 兒 童 的 血 紅 蛋 白例 兒 童 的 血 紅 蛋 白hemoglo,g與鈣與鈣Ca,g、鎂、鎂Mg, g、鐵鐵Fe, g、錳、錳(Mn,g)、銅、銅(Cu,g)的含量如的含量如表表,試建立一個(gè)鈣、鎂、鐵、錳、銅預(yù)測血紅蛋試建立一個(gè)鈣、鎂、鐵、錳、銅預(yù)測血紅蛋白的數(shù)學(xué)模型。白的數(shù)學(xué)模型。1 54.89 30.86 448.70 .012 1.010 13.50 2 72.49 42.61 467.30 .008 1.640

13、 13.00 3 53.81 52.86 425.61 .004 1.220 13.75 編號(hào)編號(hào) 鈣鈣 鎂鎂 鐵鐵 錳錳 銅銅 血紅蛋白血紅蛋白29 47.31 28.55 294.70 .005 .838 7.00多元線性回歸數(shù)學(xué)模型多元線性回歸數(shù)學(xué)模型 1. 單擊單擊 “開場開場 “程序程序 SPSS for windows SPSS10.0 for windows type in data OK 單擊單擊 “ Variable View ( 在第一列在第一列輸入鈣輸入鈣 、鎂、鎂 、鐵、鐵 、錳、錳 、銅、銅 、血紅蛋白、血紅蛋白 ；單擊單擊 “ Data View。SPSS軟件的實(shí)現(xiàn)

14、與結(jié)果分析軟件的實(shí)現(xiàn)與結(jié)果分析2. SPSS輸入數(shù)據(jù)格式輸入數(shù)據(jù)格式: 29行行6列列2. 程序選項(xiàng)程序選項(xiàng) Analyze Regression Linear 引入回歸分析的因變量引入回歸分析的因變量: : 引入回歸分析的自變量引入回歸分析的自變量 : :血紅蛋白血紅蛋白 .鈣、鎂、鐵、錳、銅鈣、鎂、鐵、錳、銅 .在多元回歸方法在多元回歸方法Method中選：強(qiáng)迫引入法中選：強(qiáng)迫引入法Enter單擊單擊 Statistics ； 選項(xiàng)如以下圖選項(xiàng)如以下圖 ；單擊單擊 Continue Plots 點(diǎn)擊點(diǎn)擊 Plots 獲得分析資料的正態(tài)性檢驗(yàn)圖形。獲得分析資料的正態(tài)性檢驗(yàn)圖形。單擊單擊 Co

15、ntinue OK 。2. 2. 方差分析表方差分析表1. 1. 模型摘要模型摘要主要結(jié)果主要結(jié)果M Mo od de el l S Su um mm ma ar ry yb b.900a.810.768Model1RR SquareAdjusted RSquarePredictors: (Constant), 銅（CU）, 鐵（FE）, 錳（MN）, 鈣（CA）, 鎂（MG）a. Dependent Variable: 血紅蛋白b. A AN NO OV VA Ab b107.721521.54419.552.000a25.343231.102133.06428RegressionResid

16、ualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 銅（CU）, 鐵（FE）, 錳（MN）, 鈣（CA）, 鎂（MG）a. Dependent Variable: 血紅蛋白b. C Co oe ef ff fi ic ci ie en nt ts sa a1.3801.550.890.383-6.93E-02.028-.304-2.500.0202.823E-02.053.079.533.5992.794E-02.004.8216.730.000-16.57216.415-.106-1.010.3231.71

17、51.143.2051.501.147(Constant)鈣（CA）鎂（MG）鐵（FE）錳（MN）銅（CU）Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 血紅蛋白a. 3. 3. 回歸系數(shù)表回歸系數(shù)表 結(jié)論結(jié)論: 回歸效果檢驗(yàn)對應(yīng)的統(tǒng)計(jì)量回歸效果檢驗(yàn)對應(yīng)的統(tǒng)計(jì)量 F = 19.552 , P .000 ,以為利用鈣、鎂、鐵、錳、銅預(yù)測血紅蛋白有以為利用鈣、鎂、鐵、錳、銅預(yù)測血紅蛋白有實(shí)踐意義。實(shí)踐意義。預(yù)測血紅蛋白的數(shù)學(xué)模型預(yù)測血紅蛋白的數(shù)學(xué)模型: :54321715. 1578.16028. 0028. 0069. 038. 1XXXXXYR2=0.810, 較大較大, 以為回歸方程有意義以為回歸方程有意義.V Va ar ri ia ab bl le es s E En nt te er re ed d/ /R Re em mo ov ve ed db b銅, 鐵, 錳,鈣, 鎂a.EnterModel1VariablesEnteredVariablesRemovedMethodAll requested variables entered.a. Dependent Variable: 血紅蛋白b. 從偏回歸回歸