逐步回歸分析

逐步回歸分析字體［大］［中］［?。葜鸩交貧w是多元回歸中用以選擇自變量的一種常用方法。本條目重點介紹的是一種''向前法〃。此法的基本思想是：將自變量逐個地引入方程，引入的條件是該自變量的偏回歸平方和在未選入的自變量（未選量）中是最大的，并經F檢驗是有顯著性的。另一方面，每引入一個新變量，要對先前已選入方程的變量（已選量）逐個進行F檢驗，將偏回歸平方和最小且無顯著性的變量剔除出方程，直至方程外的自變量不能再引入，方程中的自變量不能再剔除為止。另一種是''向后法〃，它的基本思想是：首先建立包括全部自變量的回歸方程，然后逐步地剔除變量，先對每一自變量作F（或t）檢驗，剔除無顯著性的變量中偏回歸平方和最小的自變量，重新建立方程。接著對方程外的自變量逐個進行F檢驗，將偏回歸平方和最大且有顯著性的變量引入方程。重復上述過程，直至方程中的所有自變量都有顯著性而方程外的自變量都沒有顯著性為止（例見條目''多元線性回歸〃例1、2）。此法在自變量不多，特別是無顯著性的自變量不多時可以使用。與一般多元回歸相比，用逐步回歸法求得的回歸方程有如下優(yōu)點：它所含的自變量個數(shù)較少，便于應用;它的剩余標準差也較小，方程的穩(wěn)定性較好；由于每步都作檢驗，因而保證了方程中的所有自變量都是有顯著性的。逐步回歸分析的主要用途是：（1）建立一個自變量個數(shù)較少的多元線性回歸方程。它和一般多元回歸方程的用途一

樣，可用于描述某些因素與某一醫(yī)學現(xiàn)象間的數(shù)量關系，疾病的預測預報，輔助診斷等等。（2）因素分析。它有助于從大量因素中把對某一醫(yī)學現(xiàn)象作用顯著的因素或因素組找出來，因此在病因分析、療效分析中有著廣泛的應用。但通常還須兼用''向前法〃、“向后法〃，并適當多采用幾個F檢驗的界值水準，結合專業(yè)分析，從中選定比較正確的結果。求回歸方程的方法步驟如下：設有含量為n的樣本，對每個觀察單位觀察了m個自變量Xj（j=1,2,...m）和一個應變量Y（可記為Xm+1），得原始數(shù)據(jù)如表1。表1原始數(shù)據(jù)格式觀察單位編號變量X1X2XmY=Xm+11X11X12X1mX1，m+12X21X22X2mX2，m+1nXn1Xn2XnmXn，m+11.先規(guī)定一個F*值，作為引入或剔除自變量時進行F檢驗的界值。對于給定的顯著性水準a來說，每一步作檢驗時的Fa（1-m’-J值是不同的，f但由于樣本含量n比引入自（1,n1變量的個數(shù)m‘大得多（一般在10倍以上），所以各步的m‘雖然不同，但Fa（1，n-m‘-1）

值都近似相等。故為方便起見，可取一個定數(shù)F*作為F檢驗的標準。2.計算每個變量的均數(shù)j、離均差平方和仏、ljj)，每兩個變量的離均差積和j以及相關系數(shù)j并以求得的rij為元素列出原始相關矩陣R(0)(陣中甲并以求得的rij為元素列出原始相關矩陣R(0)(陣中甲0)=「詁：41.(0)、l?w-H27m+l”0m2訊+1啟1mmm+l7mjMi以后每引入或剔除一個變量都計為一步運算。設R(0)經L步所得的R(L)為廠⑴1mm"⑴iH步,對于每一步，R(L)均同樣按式(2)變換成R(L+1)。設引入或剔除的變量為Xg(g為該變量的下標)，按式(2)作變換Lg,則R(l)成R(L+1)時，兩矩陣中的各元素rij，iH步,嚴1)心嚴1)心1)心1)Uv=吩(1H刃，選自變量。(1)引入未選量。按式(3)計算各未選量的偏回歸平方和Vj(L+1)(1)引入未選量。找出其中最大者，記作Va(L+1)，就它所對應的自變量Xa按式(4)作F檢驗:昭切⑵-冰-2)；M+1

式中m‘為已引入變量的個數(shù)。當F1>F*時引入變量Xa，并對R(L)按式(2)作變換La,得R(L+1)；當F]<F*時挑選變量工作就此結束。(2)剔除已選量。引入新變量后，對原先引入的已選量分別計算其偏回歸平方和Vj(L)：(5)(6)找出Vj(L)中最小者，記作Vb(L)。就Vb(L)所對應的自變量Xb按式(6)作F檢驗。w_皆冷—吸—1)(6)當F2<F*時，剔除Xb，并對R(L)按式(2)作變換Lb得R(L+1);下一步對其余已選量再按式(5)、(6)求Vj并作F檢驗，直到已選量中沒有可剔除時為止;當F2>F*時，已選量都不能被剔除，于是再考慮從未選量中能否引入新變量。如此反復進行到第L步，若已選量都不能被剔除，未選量都不能引入時，逐步運算結束。求回歸方程。由相關矩陣R(L)求得的回歸方程苑曲+b；%+…+瓦蓉稱為標準回歸方程，式中bj是標準偏回歸系數(shù)，按式(7)求得。b'j=rj.m+1(L)。(7)實用中多元線性回歸方程常用變量Xj的原單位，因此須再按式(8)求化成原單位后務的偏回歸系數(shù)q.m+tm+1式中l(wèi)m+1,m+1=lYY，即丫的離均差平方和，jj為務的離均差平方和?；貧w方程的常數(shù)項按式⑼計算，-4—Yb0二-工bjj，⑼式中j為已選量的下標。于是得多元回歸方程為Y=b0+》bjXj°(10)回歸方程的線性假設檢驗。按式(11)作方差分析。(11)(11)￡2總=Lyy,V^=n~1,斛=Epp?lyY=lyy盤］嚴+1,卩劉=￡2回=SS.fe-SS^3v回=朋:”_陰回/卅_陰詁(充井'-1)?；貧w的剩余標準差s按式(12)計算。(12)SS剩(12)n-mf-L°其意義及用途見條目''多元線性回歸〃。多元相關系數(shù)R按式(13)計算，R的意義、用途及假設檢驗見條目''多元線性相關〃。R二J1_心忍+1口(⑶求得多元線性回歸方程后，就可利用它來進行預測，參見條目''多元線性回歸〃。例某單位為了研究正常少年兒童的心象面積與性別、月齡、身高、體重、胸圍的關系，調查了521名2.5?15歲的正常少兒，資料見表2,試用逐步回歸法求預測心象面積的回歸方程。表2521名正常兒童各項指標的部分記錄編號性別*月齡身高體重胸圍實測心象面積X1(月)(cm)(kg)(cm)(cm2)X2X3X4X5Y=X6113295.514.053.549.64213392.013.052.041.61313589.012.553.535.815200176156.055.083.094.605210178163.051.079.087.42*男記作1,女記作0規(guī)定F*值。本例n=521,估計可能選入4個自變量。對于給定的a=0.05,F0-05(p516)丄3.86，故取F*=3.86。計算各變量的均數(shù)j與離均差平方和I》得：j123456j0.4875102.37124.4724.7660.2361.75Ijj130.171016518.26218849.1048820.5429980.76127402.29以及離均差積和Ijj(略)。計算相關系數(shù)「jj,并以rij為元素列矩陣R(0)(rij(0)=rij),(1-0.039603-0.041057-0.0344470.0479920.037969-0.0396031f).9657990.9216310.90S2980.S55474-0.0410570.96579910.9382340.9153320.883857-0.0344470.9216310.93S23410.9668650.S634410.0479920.90S29S0.9153320.96686510.85031Si0.0379690.8554740.8S3S570.S634410.85031S1(3)選自變量。第一步：選第一個自變量。對全部自變量按式(3)計算Vi(1)得(嚴y袴)=f=(0.037969)2/1=0.001442,■Yi'代y券=(0.855474)2/1=0.731836,%同理，V3(1)=0.781203,V4(1)=0.745530,V5(1)=0.723041。其中V3(1)最大即Va,按式(4)作F檢驗。(0.781203)(521-0-2)1-0.781203=1853.06>F(0.781203)(521-0-2)1-0.781203=1853.06>F*,故引入變量X3。對R(0)按式(2)作變換-，此時g=3,L=O。￡=1/屢)=1/1=1,盤'=即/即=-0.041057/1=-0.041057,嗤=-盤仃燉=-0.965799/1=-0.965799,_(0.96579^-Q04105K00000491余類推，得疋\0.0040730.0855780.0742570.0040730.0855780.074257\0.015W0.0242700.0018440.9382340.9153320.8838570.1197150.10S0680.0341740.10S0680.1621660.0412940.0341740.0412940.218795丿(0.9983140.000049-0.0410570.0040730.0S5573、、0.0742570.0000490.0672300.9657990.0154S40.00242700.0018440.041057-0.9657991-0.9382340.915332-0.883857第二步：選第二個自變量。計算各未選量的吟2)：VJ2)=0.005523,V2(2)=0.000050,V(2)4=0.009755,V(2)5=0.010515，其中V5(2)最大，經F檢驗有顯著性，故引入變量X5，對R(1)仍按式(2)作變換L5,這時g=5，L=1，得R(2)(略)。第三步：由于新變量X5的引入方程，對原有變量X3應重新檢驗，為此計算VP、。按式(5)得即6.166502再按式(6)作F檢驗:口^2\521-2-1)(0.068678X521-2-1)0.208279=一0.2082791=170.81故X3不能剔除。于是考慮引入第三個自變量，計算各未選量的Vj(3)：V1(3)=0.002888,V2(3)=0.000295,V4(3)=0.000928，其中V1(3)最大，經F檢驗有顯著性，故引入X1，對R(2)作變換L1，這時g=1,L=2,得R(3)(略)。第四步：由于X1的引入，對已選量X3、X5重作檢驗。計算得V3(3)=0.071558,V5(3)=0.007880,對其最小者作F檢驗，得l用一袒一1)(0.007880)(521-3-1)0.205391傀=一k~0.205391<5+U+l=19.83故原有已選量不能剔除?？紤]引入第四個自變量，計算各未選量的Vj(4)：V2(4)=0.000208,V/4)=0.002046，其中V4⑷最大，經F檢驗有顯著性，引入X4，對R(3)作變換L4，這時g=4,L=3,得R(4)(略)。第五步：由于X4的引入，應對原有的X1、X2、X5重作檢驗，計算得￡(4)=0.004005,V3W=0.044834,V5(4)=0.000341，其中V5(4)最小。按式(6)作F檢驗，砂引(521—4—1)(山叩241)(521-4一1)20-203345=0.87<F*n故剔除XS。對R(4)仍按式(2)作變換L5,此時g=5,L=4,得R(5)(略)。第六步：上步剔除了X5后，應考慮其余已選量％、X3、X4還須剔除否。為此計算得V1(5)=0.005352,V3(5)=0.046192,V4(5)=0.009584,其中V1(5)最小。作F檢驗，得F2=13.59>F*。故已選量都不能剔除。再考慮未選量X2、X5能否選入。由于X5剛被剔除，可不考慮，為此計算V2(6)=0.000099,作F檢驗，得F1=0.25<F*。故不能引入X2。至此，方程外的變量不能進入，方程內的變量不能剔除，逐步運算到此結束。共選進了三個自變量：X1、X3、X4。茲節(jié)錄R(5)中的最后一列：r（5）16=0.073228,r（5）26=0.002541,r（5）36=0.621366,r（5）46=0.282975,r（5）56=0.004447,r（5）66=0.203686。據(jù)式（7）及R（5）可得標準偏回歸系數(shù)為b'1=r（5）16=0.0732,b'3=r（5）36=0.6214,b'4=r⑸46=0.2830。再按式（8）換算成按原單位的偏回歸系數(shù)，得=（0.0732）（127402.29=（0.0732）130.17仿此，b3=0.474，b4=0.460。按式（9）,■Yb=_b口-b口-b口0b113344=61.75-2.291x0.4875-0.474x124.47-0.460x24.76=-9.755。按式(10)，得回歸方程為Y=-9.755+2.291X+0.474X+0.460X，134'即心象面積(cm)2=-9.755+2.291性別(男為1,女為0)+0.474身高(cm)+0.460體重(kg)。對此方程作線性假設檢驗。列方差分析表(表3)