統(tǒng)計學(xué)教案習(xí)題11多元線性回歸與logistic回歸

〔一〕把握內(nèi)容

第十一章多元線性回歸與logistic一、教學(xué)大綱要求多元線性回歸分析的概念：多元線性回歸、偏回歸系數(shù)、殘差。多元線性回歸的分析步驟：多元線性回歸中偏回歸系數(shù)及常數(shù)項(xiàng)的求法、多元線性回歸的應(yīng)用。P值下結(jié)論。logistic回歸模型構(gòu)造：模型構(gòu)造、發(fā)病概率比數(shù)、比數(shù)比。5．logistic回歸參數(shù)估量方法。6．logistic回歸篩選自變量：似然比檢驗(yàn)統(tǒng)計量的計算公式；篩選自變量的方法。〔二〕生疏內(nèi)容常用統(tǒng)計軟件〔SPSS及SAS〕多元線性回歸分析方法：數(shù)據(jù)預(yù)備、操作步驟與結(jié)果輸出?！踩沉私鈨?nèi)容標(biāo)準(zhǔn)化偏回歸系數(shù)的解釋意義。二、教學(xué)內(nèi)容精要(一)多元線性回歸分析的概念將直線回歸分析方法加以推廣，用回歸方程定量地刻畫一個應(yīng)變Y與多個自變量X間的線形依存關(guān)系，稱為多元線形回歸multiplelinearregressio，簡稱多元回歸multiple regressio〕bX0 1 1 2 2 k k式中Y?為各自變量取某定值條件下應(yīng)變量均數(shù)的估量值，X，X ，…，X 為自變量，k為自變量個數(shù)，b為回歸方1 2 k 0程常數(shù)項(xiàng)，也稱為截距，其意義同直線回歸，bb1 2

，…,bk

稱為偏回歸系數(shù)partialregressioncoefficien，b 表示j

以外的自變量固定條件下，Xj

每轉(zhuǎn)變一個單位后Y的平均轉(zhuǎn)變量。j(二)多元線性回歸的分析步驟Y?是與一組自變量X，X ，…，X 相對應(yīng)的變量Y的平均估量值。1 2 k多元回歸方程中的回歸系數(shù)bb1 2

，…,bk

可用最小二乘法求得，也就是求出能使估量值Y?和實(shí)際觀看值Y的殘差平方和e2i

(YY?2為最小值的一組回歸系數(shù)bb1 2

，…,bk

值。依據(jù)以上要求，用數(shù)學(xué)方法可以得出求回歸系數(shù)bb1

，…,bk

的以下正規(guī)方程組normalequatio：bl

bl

bl l111

212

k1k 1ybl121

bl222

bl lk2k 2ybl1k1

bl

bl lkkk ky式中l(wèi)

(X

X)(X X)XX

(X)(X)i jij

i i j

i j nl (Xiy

X)(YY)XY(i i

X)( Y)in常數(shù)項(xiàng)b0

可用下式求出：

b YbX0 1

bX2

bXk k〔三〕多元線性回歸分析中的假設(shè)檢驗(yàn)在算得各回歸系數(shù)并建立回歸方程后，還應(yīng)對此多元回歸方程作假設(shè)檢驗(yàn)，推斷自變XX1 2

，…，Xk

是否與Y真有線性依存關(guān)系，也就是檢驗(yàn)無效假設(shè)H0。檢驗(yàn)時常用統(tǒng)計量F

〔0 1

3

0〕,備選假設(shè)H1

為各

0j式中nk為自變量的個數(shù)。

MSF 回歸MS誤差

l (nk1)l k回歸誤差l k回歸式中 l回歸

bl1y

bl

blkkyl l誤差

l回歸l 總

2lyy(四)logistic回歸模型構(gòu)造設(shè)X,X, ,X 為一組自變量，Y為應(yīng)變量。當(dāng)Y是陽性反響時，記為Y=1；當(dāng)Y是陰性反響時，記為Y=0。1 2 kP表示發(fā)生陽性反響的概率；用Q表示發(fā)生陰性反響的概率，明顯PQ=1。Logistic回歸模型為：1P e0X12X2kXk1同時可以寫成：

1e0X12X11Q11

kXk11e01

XX1 2

kXk式中

(jk)是與爭論因素X

有關(guān)的參數(shù)，稱為偏回歸系數(shù)。0 j

大事發(fā)生的概率P與x之間呈曲線關(guān)系，當(dāng)x在

之間變化時，P或Q在〔0，1〕之間變化。假設(shè)有n例觀看對象第i名觀看對象在自變量X ,Xi1

, ,Xi2

作用下的應(yīng)變量為Yi

Yi

=Yi

相應(yīng)地用P表示其發(fā)生陽性反響的概率；用Q表示其發(fā)生陰性反響的概率，仍舊有PQ

=1P和Q

的計算如下：i i1 e01

Xi12

Xi2

kXik

i i i i0Pi 1e0Q

X 1 i1 1

Xi2

kXik1i 1e01

Xi12

Xi2

kXik這樣，第i個觀看對象的發(fā)病概率比數(shù)〔odds〕為PQi i

，第l個觀看對象的發(fā)病概率比數(shù)為PQl l

，而這兩個觀ORoddsrati。比照數(shù)比取自然對數(shù)得到關(guān)系式：ln

(X

X )(X

X )(X

X )PQi iPQPQi iPQ

2 i2

k ik lkl l 等式左邊是比數(shù)比的自然對數(shù)，等式右邊的X Xij lj

j

Xi

的不同暴露水平Xij

與X 之差。lj 的流行病學(xué)意義是在其它自變量固定不變的狀況下Xj

的暴露水平每轉(zhuǎn)變一個測量單位時所引起的比數(shù)比的j自然對數(shù)轉(zhuǎn)變量?；蛘哒f，在其他自變量固定不變的狀況下，當(dāng)自變量X

的水平每增加一個測量單位時所引起的比數(shù)j比為增加前的ej倍。同多元線性回歸一樣，在比較暴露因素對反響變量相對奉獻(xiàn)的大小時，由于各自變量的取值單位不同，也不能用偏回歸系數(shù)的大小作比較，而須用標(biāo)準(zhǔn)化偏回歸系數(shù)來做比較。標(biāo)準(zhǔn)化偏回歸系數(shù)值的大小，直接反映了其相應(yīng)的暴露因素對應(yīng)變量的相對奉獻(xiàn)的大小。標(biāo)準(zhǔn)化偏回歸系數(shù)的計算，可利用有關(guān)統(tǒng)計軟件在計算機(jī)上解決?！参濉砽ogistic回歸參數(shù)估量由于logistic回歸是一種概率模型，通常用最大似然估量法〔maximumlikelihoodestimate〕求解模型中參數(shù) 的j估量值bj

(jk)。YXX1

, ,X2

作用下的陽性大事〔或疾病〕發(fā)生的指示變量。其賦值為：1，第iY i 0，第i第i個觀看對象對似然函數(shù)的奉獻(xiàn)量為：li

PYiii

Q1Yii當(dāng)各大事是獨(dú)立發(fā)生時，則n個觀看對象所構(gòu)成的似然函數(shù)L是每個觀看對象的似然函數(shù)奉獻(xiàn)量的乘積，即Lnl

PYQ1Y式中∏為i1到n的連乘積。

i ii i ii1 i1依最大似然估量法的原理，使得L到達(dá)最大時的參數(shù)值即為所求的參數(shù)估量值，計算時通常是將該似然函數(shù)取自然對數(shù)〔稱為對數(shù)似然函數(shù)〕后，用Newton—Raphson迭代算法求解參數(shù)估量值b〔六〕logistic回歸篩選自變量

(j2，，k)。j在logistic回歸中篩選自變量的方法有似然比檢〔likelihoodratiotes計分檢(score testWald檢test)三種。其中似然比檢驗(yàn)較為常用， 用Λ 2lnL”L2(lnL”lnL)式中l(wèi)nL為方程中包含m(mk)L”為在方程中包含原m個自變量的基礎(chǔ)上再參加1X

后的似然函數(shù)值Hj

Λ聽從自由度為12

2(1)時，則在水平上拒絕無效假設(shè)，即認(rèn)為X應(yīng)參加。逆向進(jìn)展即可剔除自變量。〔一〕單項(xiàng)選擇題

Xj三、典型試題分析

j多元線性回歸分析中，反映回歸平方和在應(yīng)變Y的總離均差平方和中所占比重的統(tǒng)計量是〔 。復(fù)相關(guān)系數(shù)偏相關(guān)系數(shù)偏回歸系數(shù)確定系數(shù)答案：D[評析] 此題考點(diǎn)：多元線性回歸中的幾個概念的理解。多元線性回歸中的偏回歸系數(shù)〔multiplelinearregression〕表示在其它自變量固定不變的狀況下自變量X 每轉(zhuǎn)變j一個單位時，單獨(dú)引起應(yīng)變量Y的平均轉(zhuǎn)變量。確定系數(shù)〔coefficientofdetermination〕表示回歸平方和SS

占總離均差平方和SS

R2。即R2總

SS SS回歸

回歸R〔multiplecorrelationcoefficient〕,p0R≤1。Logistic回歸分析適用于應(yīng)變量為〔 。A．分類值的資料 B．連續(xù)型的計量資料C．正態(tài)分布資料 D．一般資料答案：A[評析]此題考點(diǎn)：logistic回歸的概念。logistic料，特別適用于應(yīng)變量為二項(xiàng)分類的情形。模型中的自變量可以是定性離散值，也可以是計量觀測值。〔二〕計算題依據(jù)表11-2數(shù)據(jù)，分別用SPSS統(tǒng)計軟件、SAS統(tǒng)計軟件寫出多元線性回歸的統(tǒng)計分析步驟及其簡要結(jié)果。表11-1 某學(xué)校20名一年級女大學(xué)生肺活量及有關(guān)變量測量結(jié)果編號 體重X/kg 胸圍X /cm 肩寬X/cm 肺活量Y/L1 2 3150.873.236.32.96249.084.134.53.13342.878.331.01.91455.077.131.02.63545.381.730.02.86645.374.832.01.91751.473.736.52.98853.879.437.03.28949.072.630.12.521053.979.537.13.271148.883.833.93.101252.688.438.03.281342.778.230.91.921452.588.338.13.271555.177.231.12.641645.281.630.22.851751.478.336.53.161848.772.530.02.511951.378.236.43.152045.875.032.51.94答案：SPSEXAP1sa4列20StatisticRegressionLinear...Dependent：YIndependent(s)：X，X，X1 2 3Method：Enter結(jié)果：ModelVariablesEntered ModelVariablesEntered VariablesRemovedMethod1XXX.Enter3〔肩寬〕,2〔胸圍〕,1〔體重〕Allrequestedvariablesentered.DependentVariable:Y〔肺活量〕ModelRRModelRRSquareAdjustedRSquare.662Std.ErroroftheEstimate1.846.715.2893a Predictors:(Constant),X3,X2,X1ANOVAModelSumofSquaresdfMeanSquareFSig.1 Regression3.36731.12213.413.000Residual1.339168.368E-02Total4.70619a Predictors:(Constant),b DependentVariable:Y

X ,X ,X3 2 1ModelUnstandardizedModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)XXX321-4.6761.321-3.541.0036.036E-02.021.4742.899.0103.508E-02.015.3332.272.0375.010E-02.029.3071.735.102a DependentVariable:YSAS：

數(shù)據(jù)步 過程步DATA EXAP11—2；INPUTx1x2x3y@@； PROCREG；CARDS； MODELy=x1x2x3；50.873.236.32.96?45.875.032.51.94； RUN；結(jié)果：

AnalysisofVarianceSourceDFSumofSquaresMeanSquareFValuePr>FModel33.367321.1224413.410.0001Error161.338930.08368CorrectedTotal194.70626ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-4.675531.32051-3.540.0027X110.060360.020822.900.0105X210.035080.015442.270.0372X310.050100.028881.730.1020[評析] 此題考點(diǎn)：統(tǒng)計軟件關(guān)于多元線性回歸的分析方法及主要輸出結(jié)果。依據(jù)SPSS或SAS的輸出結(jié)果，可進(jìn)展以下分析：檢驗(yàn)H： 0的方差分析表。F=13.413，P=0.0001，拒絕H，肺活量至少與一個自變量存在線0 1 2 3 0性關(guān)系。估量偏回歸系數(shù)b，b，bY

4.680.06X0.04X 0.05X，R2=0.715，R2=0.662。1 2 3

1 2 3 a偏回歸系數(shù)檢驗(yàn)，見表11-2。表11-2 偏回歸系數(shù)估量值及其檢驗(yàn)偏回歸系數(shù)估量值偏回歸系數(shù)估量值SEtPb-4.6751.321-3.540.00b0.0600.0212.900.01b0.0350.0152.270.04b0.0500.0291.730.10123〔一〕單項(xiàng)選擇題

四、習(xí)題可用來進(jìn)展多元線性回歸方程的協(xié)作適度檢驗(yàn)是：2檢驗(yàn) B．F檢驗(yàn) C．U檢驗(yàn) D．Ridit檢驗(yàn)在多元回歸中，假設(shè)對某個自變量的值都增加一個常數(shù)，則相應(yīng)的偏回歸系數(shù)：不變 B．增加一樣的常數(shù) C．削減一樣的常數(shù) D．增加但數(shù)值不定在多元回歸中，假設(shè)對某個自變量的值都乘以一個一樣的常數(shù)k，則：該偏回歸系數(shù)不變該偏回歸系數(shù)變?yōu)樵瓉淼?/k倍全部偏回歸系數(shù)均發(fā)生轉(zhuǎn)變該偏回歸系數(shù)轉(zhuǎn)變，但數(shù)值不定作多元回歸分析時，假設(shè)降低進(jìn)入的F界值，則進(jìn)入方程的變量一般會：增多 B．削減 C．不變 D．可增多也可削減〔二〕名詞解釋1.多元線性回歸 2.偏回歸系數(shù) 3.復(fù)相關(guān)系數(shù) 4.確定系數(shù)5.比數(shù) 6.比數(shù)比〔三〕logistic回歸模型中，偏回歸系數(shù)的解釋意義是什么？i〔四〕某學(xué)者爭論在某種養(yǎng)分缺乏狀態(tài)下兒童的體重〔Y，k〕與身高〔X，c、年齡〔X ，歲〕的關(guān)系獲得了1 212名觀看對象的觀測資料，計算得到如下根本數(shù)據(jù)：XYX 1611，X2219631，X ，X2976，Y341，Y29883，XXY1XY46439，

1 2 2 1 23079。1 2請寫出求解Y

b bX bX二元線性回歸方程的正規(guī)方程組。0 1 1 2 2設(shè)方程組的解為b0

2.114，b1

0.135，b2

0.923，請寫出回歸方程。完成以下方差分析表。 表11-3 12名兒童體重與身高、年齡回歸分析方差分析表變異來源 v SS MS F回歸殘差總和〔一〕 單項(xiàng)選擇題

五、習(xí)題答案要點(diǎn)1．B 2．A 3．B 4．A〔二〕名詞解釋用回歸方程定量地刻畫一個應(yīng)變量Y與多個自變量X間的線性依存關(guān)系，稱為多元線性回歸〔multiplelinearregressio，簡稱多元回歸multiple regressio。多元線性回歸的根本形式為：bbXbX bX b，b0 1 1 2 2 k k 1 2

，…,bk

稱為偏回歸系數(shù)〔partialregressioncoefficien，bj

X

以外的自變量固定條件下，Xj

每轉(zhuǎn)變一個單位后Y的平均轉(zhuǎn)變量。j復(fù)相關(guān)系