衛(wèi)生統(tǒng)計(jì)學(xué)多元回歸與多元逐步回歸

衛(wèi)生統(tǒng)計(jì)學(xué)多元回歸與多元逐步回歸醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室1第一頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室2第十一章多元回歸與多元逐步回歸

(MultipleRegression&StepwiseMultipleRegression)第一節(jié)多元線性回歸的一般解法第二節(jié)二元回歸方程的計(jì)算實(shí)例第三節(jié)多元逐步回歸第四節(jié)使用多元回歸的注意事項(xiàng)第二頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室3予備知識(shí)第三頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室4予備知識(shí)第四頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室5第一節(jié)多元線性回歸的一般解法設(shè)與應(yīng)變量Y

有關(guān)的自變量有k個(gè)，記為X1,X2,X3,...,

Xk?，F(xiàn)觀察了n例表11.1多元線性回歸原始觀察數(shù)據(jù)試作Y與X1,X2,X3,...,Xk多元直線回歸方程第五頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室6第一節(jié)多元線性回歸的一般解法假設(shè)多元線性回歸方程為：多元線性回歸的一般步驟：1.求系數(shù)及2.對(duì)整個(gè)回歸方程作假設(shè)檢驗(yàn)3.對(duì)每一個(gè)自變量作假設(shè)檢驗(yàn)。無(wú)統(tǒng)計(jì)學(xué)意義？如何辦？

如果某幾個(gè)自變量無(wú)統(tǒng)計(jì)學(xué)意義即較小如何辦？第六頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室7第一節(jié)多元線性回歸的一般解法1.求系數(shù)及假設(shè)多元線性回歸方程為：其中，為待定常數(shù)。假設(shè)為已知根據(jù)觀察到的n例數(shù)據(jù)，代入上述公式可得第i例的應(yīng)變量之估計(jì)值。建立等式：根據(jù)最小二乘法，應(yīng)該使所選定的b1,b2,...,bk

能夠讓上述公式的Q

值達(dá)極小。為了使Q達(dá)極小，可將Q

對(duì)b1,b2,...,bk求一價(jià)偏導(dǎo)數(shù)，并使之等于0，經(jīng)化簡(jiǎn)可得下列方程組：第七頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室8其中當(dāng)i=j時(shí)，為各自變量的離均差平方和；當(dāng)ij時(shí)，為兩兩間的離均差積和為各自變量與應(yīng)變量的離均差積和對(duì)于線性方程組可利用行列式，求出系數(shù)b1,b2,b3,...,bk。再用公式求得b0，第八頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室9第一節(jié)多元線性回歸的一般解法二、多元線性回歸方程的假設(shè)檢驗(yàn)用樣本的測(cè)定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對(duì)該方程作假設(shè)檢驗(yàn)1.H0：所有自變量對(duì)應(yīng)變量Ｙ都無(wú)線性回歸關(guān)系。2.計(jì)算Ｆ值SS回歸=b1L1Y+b2L2Y+…+bkLkSS殘差=SS總－SS回歸df總=n－1,df回歸=回歸變量數(shù)=

k,df殘差=n－k－13.根據(jù)df1=k,df2=n－k－1查F

值表求出

Ｆ0.05(k,n-k-1)及Ｆ0.01(k,n-k-1),

并與F

值比較，作出結(jié)論。第九頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室10第一節(jié)多元線性回歸的一般解法三、偏回歸系數(shù)的假設(shè)檢驗(yàn)

為了檢驗(yàn)每個(gè)自變量是否對(duì)Ｙ都存在線性回歸關(guān)系，需分別對(duì)每個(gè)自變量(即相應(yīng)的偏回歸系數(shù))進(jìn)行檢驗(yàn)，以免把作用不顯著的自變量引入回歸方程中。這同樣可用Ｆ檢驗(yàn)

1.將所有k個(gè)自變量Xj(j=1,2,...,k)都引入回歸方程中，得到回歸平方和及殘差平方和，記為SS回歸及SS殘差。2.將擬檢驗(yàn)的某個(gè)自變量Xi從回歸方程中取出后，重新建立起一個(gè)含k-1個(gè)自變量X1,X2,...,Xi-1,Xi+1,...,Xk的回歸方程，并得到不含Xi作用的回歸平方和SS回歸(-i)。

則SS回歸－SS回歸(-i)就是在其他自變量已在回歸方程中的條件下，Xi單獨(dú)引起的回歸平方和的改變量，把這個(gè)量稱為Xi的偏回歸平方和。第十頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室11第一節(jié)多元線性回歸的一般解法3.用Ｆ值來(lái)檢驗(yàn)該Xi的回歸效應(yīng)是否顯著，Ｆ值的計(jì)算公式為4.根據(jù)df1=1,df2=n－k－1查F

值表求出

Ｆ0.05(1,n-k-1)及Ｆ0.01(1,n-k-1),

并與F

值比較，作出結(jié)論。第十一頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室12第一節(jié)多元線性回歸的一般解法

應(yīng)該注意：

⑴從回歸方程中剔除一個(gè)自變量，譬如Xj，這決不是簡(jiǎn)單地把bjXj項(xiàng)從方程中剔除就完事，而是應(yīng)從余下的k-1個(gè)變量著手，重新建立含有k-1個(gè)自變量的新方程組，然后再解出新的。一般來(lái)說(shuō)，新的回歸系數(shù)與原來(lái)的bi是不同的。這是因?yàn)槠貧w系數(shù)之間存在著相關(guān)性，當(dāng)從原方程剔除一個(gè)變量時(shí)，其他變量，特別是與它有密切關(guān)系的一些變量的偏回歸系數(shù)就會(huì)受到影響，有時(shí)影響是很大的。

第十二頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室13第一節(jié)多元線性回歸的一般解法應(yīng)該注意：

⑵在用F

檢驗(yàn)對(duì)偏回歸系數(shù)進(jìn)行一次檢驗(yàn)后，只能剔除其中一個(gè)因子，這個(gè)因子是所有不顯著因子中F

值最小的。然后重新建立新的方程，再對(duì)新的偏回歸系數(shù)進(jìn)行逐個(gè)檢驗(yàn)，直到余下的偏回歸系數(shù)都有統(tǒng)計(jì)學(xué)意義時(shí)為止。

第十三頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室14第一節(jié)多元線性回歸的一般解法

⑶在許多情況下，需要比較各個(gè)自變量對(duì)應(yīng)變量的相對(duì)貢獻(xiàn)大小。但是，由于各自變量的測(cè)量單位不同，單從各偏回歸系數(shù)的絕對(duì)值大小來(lái)分析不易得出正確結(jié)論。為此，首先對(duì)各偏回歸系數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，即消除測(cè)量單位的影響，然后比較各標(biāo)準(zhǔn)化的偏回歸系數(shù)的大小以反映各自對(duì)應(yīng)變量的貢獻(xiàn)大小。標(biāo)準(zhǔn)化偏回歸系數(shù)的計(jì)算公式為：式中Si及Sy分別為自變量Xi及應(yīng)變量Y

的標(biāo)準(zhǔn)差，bi為Xi的偏回歸系數(shù)應(yīng)該注意：第十四頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室15第二節(jié)二元回歸方程的計(jì)算實(shí)例例11.120名兒童的血紅蛋白Y(g/100ml)與微量元素鈣X1

g/100ml)和鐵X2(g/100ml)的測(cè)定結(jié)果如表11.2，試作多元線性回歸。表11.220例兒童的血紅蛋白和微量元素的測(cè)定結(jié)果

第十五頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室16第二節(jié)二元回歸方程的計(jì)算實(shí)例一、計(jì)算回歸系數(shù)

L11=74923.12-(1208.67)2/20=1878.9616L22=3519638.96-(8353.67)2/20=30444.8366L12=507772.11-(1208.67)(8353.67)/20=2930.5941L1Y=14131.85-(1208.67)(233.5)/20=20.6278L2Y=98397.80-(8353.67)(233.5)/20=868.7028LYY=2771.88-(233.5)2/20=45.7675建立聯(lián)立方程：解此方程，可求得；b1=-0.0394b2=0.0323b0=11.68-(-0.0394)(60.43)-(0.0323)(417.68)=0.5699最后可得方程：

=0.5699-0.0394X1+0.0323X2第十六頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室17第二節(jié)二元回歸方程的計(jì)算實(shí)例二、多元線性回歸方程的假設(shè)檢驗(yàn)用樣本的測(cè)定值作多元回歸分析，不可避免地存在著抽樣誤差。因此，在建立起多元線性回歸方程后，還必須對(duì)該方程作假設(shè)檢驗(yàn)該假設(shè)檢驗(yàn)可用方差分析，1.H0：所有自變量對(duì)應(yīng)變量Ｙ都無(wú)線性回歸關(guān)系。2.計(jì)算Ｆ值＝45.7675SS回歸=b1L1Y+b2L2Y+…+bkLk＝(-0.0394)(20.6278)+(0.0323)(868.7028)=27.2464SS殘差=SS總－SS回歸＝45.7675-27.2464=18.5211df總=n－1=20-1=19,df回歸=回歸變量數(shù)

k=2,df殘差=n－k－1=20-2-1=17第十七頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室18第二節(jié)二元回歸方程的計(jì)算實(shí)例3.df回歸＝2,df殘差＝17查Ｆ界值表

Ｆ0.05(2,17)＝3.59Ｆ0.01(2,17)＝6.114.本例Ｆ>Ｆ0.01(2,17),所以P<0.01

拒絕H0，故總體上認(rèn)為微量元素鈣和鐵對(duì)血紅蛋白有回歸關(guān)系。第十八頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室19第二節(jié)二元回歸方程的計(jì)算實(shí)例1.將微量元素鈣X1和鐵X2全部納入回歸方程中，得到的

SS回歸＝27.2464

SS殘差＝18.5211

三、偏回歸系數(shù)的假設(shè)檢驗(yàn)2.把X1

從回歸方程中取出，而單獨(dú)建立X2

與Y

的回歸方程為:=-0.2415+0.02853X2，此時(shí)SS回歸(-1)＝24.78423.若把X2

從回歸方程中取出，而單獨(dú)建立X1

與Y

的回歸方程為:=11.0116+0.010977X1，此時(shí)

SS回歸(-2)＝0.2264第十九頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室20第二節(jié)二元回歸方程的計(jì)算實(shí)例4.進(jìn)行F

檢驗(yàn)⒌查F

界值表，得

Ｆ0.05(1,17)＝4.45Ｆ0.01(1,17)＝8.40可以認(rèn)為X1(鈣)對(duì)血紅蛋白的線性回歸無(wú)統(tǒng)計(jì)學(xué)意義。但是X2(鐵)對(duì)血紅蛋白的線性回歸有統(tǒng)計(jì)學(xué)意義。結(jié)論為：應(yīng)把X1剔除，只建立X2與Y

的線性回歸方程，即：=-0.2415+0.02853X2第二十頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室21第三節(jié)多元逐步回歸

一、基本思路幾個(gè)自變量與一個(gè)因變量關(guān)系的回歸方程中，每個(gè)自變量對(duì)因變量變化所起的作用進(jìn)行假設(shè)檢驗(yàn)結(jié)果，可能有些有統(tǒng)計(jì)學(xué)意義，有些無(wú)統(tǒng)計(jì)學(xué)意義。一個(gè)較理想的回歸方程，應(yīng)包括所有對(duì)因變量有統(tǒng)計(jì)學(xué)意義的自變量，而不包括作用無(wú)統(tǒng)計(jì)學(xué)意義的自變量。建立這樣一個(gè)回歸方程較理想的方法之一是多元逐步回歸分析法第二十一頁(yè)，共二十五頁(yè)，編輯于2023年，星期二醫(yī)學(xué)統(tǒng)計(jì)學(xué)湖北中醫(yī)學(xué)院衛(wèi)生教研室22第三節(jié)多元逐步回歸二、基本原理：1.按每個(gè)自變量對(duì)因變量作用大小，由大到小依次逐個(gè)引入回歸方程2.每引入一個(gè)自變量，都要對(duì)回歸方程中每一個(gè)（包括剛被引入的）自變量的作用作假設(shè)檢驗(yàn)。當(dāng)發(fā)現(xiàn)一個(gè)或幾個(gè)作用無(wú)統(tǒng)計(jì)學(xué)意義變量被引入時(shí)，即行逐個(gè)剔除，3.每剔除一個(gè)自變量后，也要對(duì)仍留在回歸方程中的自變量逐個(gè)作假設(shè)檢驗(yàn)。如果發(fā)現(xiàn)方程中還存在作用無(wú)顯著意義的自變量時(shí)，也予以剔除，4.直至