多元線性回歸回歸

關(guān)于多元線性回歸回歸第1頁，講稿共88頁，2023年5月2日，星期三2概念多因素分析是同時對觀察對象的兩個或兩個以上的變量進行分析。常用的統(tǒng)計分析方法有：多元線性回歸、Logistic回歸、COX比例風險回歸模型、因子分析、主成分分析等。第2頁，講稿共88頁，2023年5月2日，星期三3多變量資料數(shù)據(jù)格式例號X1X2…XpY1X11X12…X1pY12X21X22…X2pY2┆┆┆…┆┆nXn1Xn2…XnpYnY為定量變量——LinearRegressionY為二項分類變量——BinaryLogisticRegressionY為多項分類變量——MultinomialLogisticRegressionY為有序分類變量——OrdinalLogisticRegressionY為生存時間與生存結(jié)局——CoxRegression第3頁，講稿共88頁，2023年5月2日，星期三4

（1）因素篩選：例如影響高血壓的諸多因素中：

1）哪些是主要因素？

2）各因素的作用大??？（2）控制混雜因素（3）提高回歸方程的估計精度多因素分析只有一個自變量的單因素回歸更能縮小應(yīng)變量Y對其估計值的離差，在預測和統(tǒng)計控制方面應(yīng)用的效果更好。多因素回歸分析主要用途：第4頁，講稿共88頁，2023年5月2日，星期三5Y，X——直線回歸Y，X1，X2，…Xm——多元回歸（多重回歸）一、多元線性回歸

(multiplelinearregressoin)例：欲研究血壓受年齡、性別、體重、性格、職業(yè)（體力勞動或腦力勞動）、飲食、吸煙、血脂水平等因素的影響。第5頁，講稿共88頁，2023年5月2日，星期三6β0為回歸方程的常數(shù)項（constant)，表示各自變量均為0時y的平均值；m為自變量的個數(shù)；β1、β2、βm為偏回歸系數(shù)（Partialregressioncoefficient）意義：如β1

表示在X2、X3……Xm固定條件下，X1每增減一個單位對Y的效應(yīng)（Y增減β個單位）。e為去除m個自變量對Y影響后的隨機誤差，稱殘差（residual)。多元回歸方程的一般形式（一）多元回歸模型第6頁，講稿共88頁，2023年5月2日，星期三7

為y的估計值或預測值（predictedvalue)；

b0為回歸方程的常數(shù)項（constant)，表示各自變量均為0時y的估計值；由樣本估計而得的多元回歸方程：b1、b2、bm為偏回歸系數(shù)（Partialregressioncoefficient）意義：如b1

表示在X2、X3……Xm固定條件下，X1每增減一個單位對Y的效應(yīng)（Y增減b個單位）。第7頁，講稿共88頁，2023年5月2日，星期三8適用條件：線性（linear）、獨立性（independent）、正態(tài)性（normal）、方差齊性（equalvariance）——“LINE”。線性——自變量與應(yīng)變量的關(guān)系是線性的。用散點圖判斷。獨立性——任意兩個觀察值互相獨立。常利用專業(yè)知識判斷。正態(tài)性——就自變量的任何一個線性組合，應(yīng)變量y均服從正態(tài)分布。即要求殘差服從正態(tài)分布。常用殘差圖分析。方差齊性——就自變量的任何一個線性組合，應(yīng)變量y的方差均相同。即要求殘差的方差齊性。用散點圖或殘差圖判斷。第8頁，講稿共88頁，2023年5月2日，星期三9（1）用各變量的數(shù)據(jù)建立回歸方程（2）對總的方程進行假設(shè)檢驗（3）當總的方程有顯著性意義時，應(yīng)對每個自變量的偏回歸系數(shù)再進行假設(shè)檢驗，若某個自變量的偏回歸系數(shù)無顯著性，則應(yīng)把該變量剔除，重新建立不包含該變量的多元回歸方程。（二）多元回歸分析步驟對新建立的多元回歸方程及偏回歸系數(shù)按上述程序進行檢驗，直到余下的偏回歸系數(shù)都具有統(tǒng)計意義為止。最后得到最優(yōu)方程。第9頁，講稿共88頁，2023年5月2日，星期三10例127名糖尿病人的血清總膽固醇、甘油三脂、空腹胰島素、糖化血紅蛋白、空腹血糖的測量值列于表1中，試建立血糖與其它幾項指標關(guān)系的多元線性回歸方程。表127名糖尿病人的血糖及有關(guān)變量的測量結(jié)果序號i總膽固醇甘油三脂胰島素糖化血血

糖（mmol/L）(mmol/L)(μU/ml)紅蛋白(%)(mmol/L)X1X2X3X4Y15.681.904.538.211.223.791.647.326.98.836.023.566.9510.812.3………………265.840.928.616.413.3273.841.206.459.610.4第10頁，講稿共88頁，2023年5月2日，星期三11由上表得到如下多元線性回歸方程：1、建立回歸方程第11頁，講稿共88頁，2023年5月2日，星期三122、回歸方程的假設(shè)檢驗——F檢驗結(jié)果無顯著性

1）表明所觀察的自變量與應(yīng)變量不存在線性回歸關(guān)系；

2）也可能由于樣本例數(shù)過少；結(jié)果有顯著性表明至少有一個自變量與應(yīng)變量之間存在線性回歸關(guān)系。H0：β1=β2=…=βm=0H1：β1、β2、…βm不等于0或不全等于0第12頁，講稿共88頁，2023年5月2日，星期三13第13頁，講稿共88頁，2023年5月2日，星期三143、各個偏回歸系數(shù)的假設(shè)檢驗——t檢驗將總膽固醇(X1)

剔除。

注意：通常每次只剔除關(guān)系最弱的一個因素。對于同一資料，不同自變量的t值可以相互比較，t的絕對值越大，或P越小，說明該自變量對Y所起的作用越大。第14頁，講稿共88頁，2023年5月2日，星期三15重新建立不包含提出因素的回歸方程注意：表中偏回歸系數(shù)已變化。第15頁，講稿共88頁，2023年5月2日，星期三16對新建立的回歸方程進行檢驗檢驗結(jié)果有顯著性意義。第16頁，講稿共88頁，2023年5月2日，星期三17對新方程的偏回歸系數(shù)進行檢驗檢驗結(jié)果均有意義，因此回歸方程保留甘油三酯(X2)、胰島素(X3)和糖化血紅蛋白(X4)三個因素。最后獲得回歸方程為：第17頁，講稿共88頁，2023年5月2日，星期三181、確定系數(shù)（R2）：意義：在y的總變異中，由x變量組建立的線性回歸方程所能解釋的比例。0~1，越大越優(yōu)。特點：R2是隨自變量的增加而增大。因此，在相近的情況下，以包含的自變量少者為優(yōu)。（三）回歸方程的評價２、R——復相關(guān)系數(shù)（multiplecorrelationcoefficient）表示m個自變量共同對應(yīng)變量線性相關(guān)的密切程度。0≤R≤1。即Y與的相關(guān)系數(shù)。第18頁，講稿共88頁，2023年5月2日，星期三19

３、校正確定系數(shù)（adjustedR-square，R2a

）越大越優(yōu)。R2a不會隨無意義的自變量增加而增大。是衡量方程優(yōu)劣的常用指標。

校正確定系數(shù)的計算：p為方程中包含的自變量個數(shù)，p≤m。R2一定時，p↑→R2

a↓第19頁，講稿共88頁，2023年5月2日，星期三20第20頁，講稿共88頁，2023年5月2日，星期三21（四）自變量的篩選基本思路：盡可能將回歸效果顯著的自變量選入方程中，作用不顯著的自變量排除在外。（1）全局擇優(yōu)法（allpossiblesubsetsselection）：（2）逐步選擇法前進法（Forwardselection）后退法（Backwardelimination）逐步法（Stepwise）第21頁，講稿共88頁，2023年5月2日，星期三221、全局擇優(yōu)法（最優(yōu)子集回歸）

（allpossiblesubsetsselection）：有m個自變量就有2m-1個自變量子集。在各子集中選擇最優(yōu)的回歸方程。僅適用于自變量個數(shù)不太多的情況。第22頁，講稿共88頁，2023年5月2日，星期三232、向前篩選法（Forwardselection）：事先給定一個入選標準，即（通常=0.05），然后根據(jù)各因素偏回歸平方和從大到小，依次逐個引入回歸方程至無顯著性自變量可以入選為止，因素一旦入選便始終保留在方程中而不被剔除。局限性：后續(xù)變量的引入可能會使先進入方程的變量變得不重要。第23頁，講稿共88頁，2023年5月2日，星期三243、向后剔除法（Backwardelimination）首先建立全部自變量的全回歸方程，給定剔除標準，根據(jù)各因素偏回歸平方和從小到大，依次逐個將無顯著性的自變量從回歸方程中剔除。優(yōu)點：考慮到了自變量的組合作用，選中的自變量數(shù)目一般會比前進法選中的多。缺點：當自變量數(shù)目較多或有某些自變量高度相關(guān)時，可能得不出正確的結(jié)果。第24頁，講稿共88頁，2023年5月2日，星期三254、逐步法（Stepwise）：給出入選標準（通常1=0.05）和剔除標準（通常2=0.10），每次選入一個在方程外且最具統(tǒng)計學意義的自變量后，就對原在方程中的自變量做剔除檢驗，這個過程逐步進行，直到?jīng)]有有統(tǒng)計意義的自變量可以入選，也沒有無統(tǒng)計學意義的自變量保留在方程中為止。實際工作中，多采用逐步法。用上述方法對上例資料進行分析。第25頁，講稿共88頁，2023年5月2日，星期三26

（六）應(yīng)用多元線性回歸分析時需注意的事項

（1）樣本量要求：無精確的計算公式。據(jù)經(jīng)驗，樣本量應(yīng)是自變量數(shù)的5~10倍以上。（2）做預報時，只能在自變量X的觀察值范圍內(nèi)進行；（3）在資料要求上，應(yīng)變量Y服從正態(tài)分布；（4）注意資料的特異點（outlier）；第26頁，講稿共88頁，2023年5月2日，星期三27（5）觀測值重新量化問題二項分類資料：用X表示分類變量，陰性為0，陽性為1。有序多項分類資料：用一個X作為分類變量，以自然數(shù)0，1，2，…賦值。如將病情分為輕中重三類時，用X表示病情，賦值方法為：無序多項分類資料：或第27頁，講稿共88頁，2023年5月2日，星期三28

上述以職員作為對比水平(基礎(chǔ)水平)。啞變量X1、X2、X3分別代表了工人、農(nóng)民、干部與職員相比的系數(shù)。啞變量代表的是同一個變量的不同取值，在分析時應(yīng)當同時進入或移出方程。即使只有部分啞變量有統(tǒng)計學意義也是如此。第28頁，講稿共88頁，2023年5月2日，星期三29（7）自變量的聯(lián)合作用分析若要考慮X3、X4對應(yīng)變量y的聯(lián)合作用，可設(shè)置一個新變量X5=X3X4。若b3、b4和b5都有統(tǒng)計學意義，則說明X3、X4對應(yīng)變量既有單獨作用，又有交互作用。（6）自變量篩選過程中引入和剔除變量時檢驗水準的確定1）引入變量檢驗的水準小于或等于剔除變量時檢驗的水準2）通常引入變量檢驗的水準為0.05，剔除變量時0.10，但不絕對。第29頁，講稿共88頁，2023年5月2日，星期三30說明X3、X4對應(yīng)變量既有單獨作用，又有交互作用。即說明糖尿病人體內(nèi)胰島素對血糖的影響依賴于糖化血紅蛋白的含量。第30頁，講稿共88頁，2023年5月2日，星期三31（8）自變量的共線性

當自變量之間存在較強的相關(guān)關(guān)系時，稱之為共線性。

后果——偏回歸系數(shù)的估計值容易失真。當多元回歸的分析結(jié)果出現(xiàn)以下情況時可考慮是否存在自變量共線性：

1）在某個檢驗水準下，整個回歸方程有統(tǒng)計學意義，但是每個偏回歸系數(shù)的檢驗均無統(tǒng)計學意義。

2）偏回歸系數(shù)的符號與醫(yī)學專業(yè)知識不一致。

3）參數(shù)估計的標準誤變得很大，使t值變得很小，P值很大。第31頁，講稿共88頁，2023年5月2日，星期三32判斷方法：利用自變量間的相關(guān)系數(shù)陣。（r＞0.9，共線性可能性大）處理方法：最簡單、有效的方法是根據(jù)專業(yè)知識人為去除在專業(yè)上比較次要的、或缺失值較多、測量誤差較大的共線性因子。

第32頁，講稿共88頁，2023年5月2日，星期三33（9）殘差分析——模型診斷通常以標準化殘差（standardizedresidual)為縱坐標，以為橫坐標，作殘差圖。第33頁，講稿共88頁，2023年5月2日，星期三34第34頁，講稿共88頁，2023年5月2日，星期三簡單分析實例例1為研究男性高血壓患者血壓與年齡、身高、體重等變量的關(guān)系，隨機測量了32名40歲以上男性的血壓y、年齡x1、體重指數(shù)x2,試建立多重線性回歸方程。數(shù)據(jù)文件見mreg2.sav。第35頁，講稿共88頁，2023年5月2日，星期三簡單分析實例－初步分析初步分析：與簡單線性回歸相類似，先繪制散點圖，以便在進行回歸分析之前了解各變量之間是否存在線性關(guān)系。本例有兩個自變量與一個反應(yīng)變量，繪制散點圖矩陣，如下。第36頁，講稿共88頁，2023年5月2日，星期三

繪制散點圖矩陣簡單分析實例－初步分析第37頁，講稿共88頁，2023年5月2日，星期三簡單分析實例第38頁，講稿共88頁，2023年5月2日，星期三簡單分析實例第39頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

給出了自變量進入模型的方式，此處尚未涉及變量篩選問題，因為兩個變量是被強行納入模型的（Method為Enter），當然就不存在剔除變量的事情了。第40頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

模型擬合優(yōu)度情況的檢驗，結(jié)果顯示，復相關(guān)系數(shù)為0.840，決定系數(shù)為0.706，調(diào)整的決定系數(shù)為0.686，還輸出了剩余標準差。第41頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

回歸模型的假設(shè)檢驗結(jié)果，顯示F＝34.808，P<0.001，說明所建立的回歸模型是有統(tǒng)計學意義的，至少有一個自變量的回歸系數(shù)不為0。第42頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

給出了模型的常數(shù)項以及兩個自變量的偏回歸系數(shù)及其檢驗結(jié)果，可以寫出回歸方程如下：Y＝54.798+1.379x1+4.513x2主要結(jié)果第43頁，講稿共88頁，2023年5月2日，星期三

SPSS結(jié)果中輸出偏回歸系數(shù)的同時，也輸出了各自的標準偏回歸系數(shù)。年齡的標準化偏回歸系數(shù)為0.664，體重指數(shù)的標準化偏回歸系數(shù)為0.247，因此，可以認為，年齡對血壓的影響比體重指數(shù)對血壓的影響大。簡單分析實例結(jié)果分析第44頁，講稿共88頁，2023年5月2日，星期三例2

仍以例1的資料為例，試作逐步回歸分析。數(shù)據(jù)文件見mreg2.sav。逐步回歸第45頁，講稿共88頁，2023年5月2日，星期三逐步回歸第46頁，講稿共88頁，2023年5月2日，星期三逐步回歸第47頁，講稿共88頁，2023年5月2日，星期三逐步回歸

輸出SPSS在逐步回歸過程中擬合的步驟中，每一步引入模型的變量情況,此處只有一個變量引入。結(jié)果分析第48頁，講稿共88頁，2023年5月2日，星期三逐步回歸結(jié)果分析

分別輸出擬合的模型中，擬合優(yōu)度情況的檢驗結(jié)果：復相關(guān)系數(shù)、決定系數(shù)、調(diào)整的決定系數(shù)以及剩余標準差。本例只有一步，故結(jié)果很簡單，僅擬合一個模型。第49頁，講稿共88頁，2023年5月2日，星期三逐步回歸結(jié)果分析

給出各個擬合模型的常數(shù)項以及各自變量的偏回歸系數(shù)、95％可信區(qū)間及其檢驗結(jié)果（此處為僅有一步的結(jié)果）。第50頁，講稿共88頁，2023年5月2日，星期三逐步回歸結(jié)果分析

給出擬合模型過程中被剔除的變量情況及其檢驗結(jié)果（此處為僅有一步）。第51頁，講稿共88頁，2023年5月2日，星期三殘差分析非標準化殘差（原始殘差）標準化殘差（Pearson殘差）學生化殘差剔除殘差學生化剔除殘差

殘差種類第52頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－因變量與自變量之間存在線性關(guān)系的檢驗（以例1為例：年齡）第53頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－因變量與自變量之間存在線性關(guān)系的檢驗（以例1為例：體重指數(shù)）第54頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－獨立性的檢驗通過LinearRegression過程的statistics按鈕中的Durbin-Watson檢驗進行判斷。若自變量數(shù)少于4個，統(tǒng)計量接近2，基本上可以肯定殘差間相互獨立。仍以例1為例，結(jié)果如下。第55頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－方差齊性的檢驗第56頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－正態(tài)性的檢驗繪制殘差的直方圖及PP圖的復選框第57頁，講稿共88頁，2023年5月2日，星期三殘差分析

模型適用條件的檢驗－正態(tài)性的檢驗結(jié)果第58頁，講稿共88頁，2023年5月2日，星期三59二、Logistic

回歸一、概念

Logistic回歸是一種適用于應(yīng)變量為分類值多因素概率型曲線模型。Y為二項分類：非條件Logistic回歸——成組設(shè)計條件Logistic回歸——配對設(shè)計Y為多分類：多分類Logistic回歸第59頁，講稿共88頁，2023年5月2日，星期三60BinaryLogistic適用于應(yīng)變量為二項分類的資料。應(yīng)變量（Y）在一組自變量（X）的作用下所發(fā)生的結(jié)果賦值規(guī)則為：logistic回歸模型：統(tǒng)計學中，把ln（P/Q）稱為P的Logit轉(zhuǎn)換或?qū)?shù)轉(zhuǎn)換，即LogitP。由此得到的回歸方程，稱為Logistic回歸方程。

出現(xiàn)陽性的結(jié)果——1，其概率用P來表示；出現(xiàn)陰性的結(jié)果——0，其概率用Q或（1–P）來表示。第60頁，講稿共88頁，2023年5月2日，星期三61由上式可得:由樣本估計而得的logistic回歸模型：第61頁，講稿共88頁，2023年5月2日，星期三62將P/Q稱為比數(shù)（odds，優(yōu)勢、比值）；兩個比數(shù)之比稱為比數(shù)比OR（oddsratio，優(yōu)勢比、比值比）。第i個觀察對象的發(fā)病概率比數(shù)（odds)為Pi/Qi，則：第l個觀察對象的發(fā)病概率比數(shù)為Pl/Ql，則：第62頁，講稿共88頁，2023年5月2日，星期三63則：式中：——同一因素xj的不同暴露水平之差。

bj——在其它自變量固定不變的情況下，xj的水平每增加一個單位時，ln(OR)的改變量，即所引起的比數(shù)比為增加前的ebj倍若Xj賦值為：第63頁，講稿共88頁，2023年5月2日，星期三64bj=0時，ORj=1，說明因素xj對疾病不起作用；bj＞0時，ORj＞1，說明xj是一個危險因素；bj＜0時，ORj<1，說明xj是一個保護因素。對于發(fā)病率很低的慢性?。ㄈ缧哪X血管疾病、惡性腫瘤等），由于P<<1，OR可作為RR的近似估計：所以，logistic回歸常用于流行病學調(diào)查資料，其優(yōu)點是得到某一因素的回歸系數(shù)估計值后，就可得到不同水平下相對危險度的近似估計值。第64頁，講稿共88頁，2023年5月2日，星期三65模型的應(yīng)用主要有三個方面：篩選危險因素：求出各協(xié)變量對應(yīng)變量的比數(shù)比（OR）；校正混雜因素：可以很方便地控制混雜因素，得到校正后比數(shù)比的估計值和置信區(qū)間；預測與判斷：Logistic回歸模型是概率型模型，在一定條件下能預測某事件發(fā)生的概率，或估計各種自變量組合條件下應(yīng)變量的某一類結(jié)果是否發(fā)生。第65頁，講稿共88頁，2023年5月2日，星期三例1某醫(yī)師希望研究病人的年齡age、性別sex（0為女性、1為男性）、心電圖檢驗是否異常ecg（ST段壓低、0為正常、1為輕度異常、2為重度異常）與冠心病ca是否有關(guān)，數(shù)據(jù)見logistic_binary.sav。簡單分析實例第66頁，講稿共88頁，2023年5月2日，星期三簡單分析實例第67頁，講稿共88頁，2023年5月2日，星期三選入應(yīng)變量選入自變量簡單分析實例第68頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

此表為應(yīng)變量取值水平編碼，SPSS默認取值水平高的為陽性結(jié)果。第69頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

本表輸出當前模型的-2log（似然值）和兩個偽決定系數(shù)，但對于logistic回歸而言，通?？匆姷膫螞Q定系數(shù)不像線性回歸模型中的決定系數(shù)那么大。第70頁，講稿共88頁，2023年5月2日，星期三簡單分析實例結(jié)果分析

此表輸出模型中的各自變量的偏回歸系數(shù)及其標準誤、Wald2、自由度、P值、OR值（即exp（B））。第71頁，講稿共88頁，2023年5月2日，星期三啞變量設(shè)置在回歸模型中，回歸系數(shù)b表示其他自變量不變，x每改變一個單位時，所預測的y的平均變化量，當x為連續(xù)性變量時，這樣解釋沒有問題，二分類變量由于只存在兩個類別間的比較，也可以對系數(shù)得到很好的解釋。但是當x為多分類變量時，僅擬合一個回歸系數(shù)就不太合適了，此時需要使用啞變量（dummyvariable）方式對模型進行定義。第72頁，講稿共88頁，2023年5月2日，星期三例2Hosmer和Lemeshow于1989年研究了低出生體重嬰兒的影響因素，結(jié)果變量為是否娩出低出生體重兒（變量名為LOW，1表示低出生體重兒，0表示非低出生體重兒），考慮的自變量有產(chǎn)婦妊娠前體重、產(chǎn)婦年齡、種族、是否吸煙、早產(chǎn)次數(shù)、是否患高血壓等。（數(shù)據(jù)文件見：logistic_step.sav。）啞變量設(shè)置第73頁，講稿共88頁，2023年5月2日，星期三啞變量設(shè)置第74頁，講稿共88頁，2023年5月2日，星期三啞變量設(shè)置第75頁，講稿共88頁，2023年5月2日，星期三選入無序多分類變量設(shè)置參照水平啞變量設(shè)置