多元線性回歸分析正式

1、關(guān)于多元線性回歸分析正式第1頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三2講課內(nèi)容第一節(jié) 多元線性回歸(重點(diǎn))第二節(jié) 自變量選擇方法(重點(diǎn))第三節(jié) 多元線性回歸的應(yīng)用及注 意事項(xiàng)第2頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三3第一節(jié) 多元線性回歸一、多元線性回歸模型第3頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三4第4頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三5多元回歸：多個(gè)Y，多個(gè)X多重回歸：一個(gè)Y，多個(gè)X第5頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三6 0 常數(shù)項(xiàng)j 偏回歸系數(shù)(partial regression

2、 coefficient)： 在其它自變量保持不變時(shí)，Xj增加或減少 一個(gè)單位時(shí)Y的平均變化量。e 去除m個(gè)自變量對(duì)Y影響后的隨機(jī)誤差。第6頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三7 多元線性回歸模型應(yīng)用條件：1.Y與X1，X2，Xm之間具有線性關(guān)系；2.各個(gè)Yi間相互獨(dú)立；3.e服從均數(shù)為0、方差為2的正態(tài)分布。第7頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三8多元線性回歸分析步驟：1.根據(jù)樣本數(shù)據(jù)求得模型參數(shù)估計(jì)值：2.對(duì)回歸方程及各Xj作假設(shè)檢驗(yàn)。第8頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三9二、多元線性回歸方程的建立第9頁，共62頁，2

3、022年，5月20日，19點(diǎn)37分，星期三10YX第10頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三11第11頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三12X1X2Y第12頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三13用最小二乘法解正規(guī)方程組，使殘差平方和Q最小。第13頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三14第14頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三15用最小二乘法解正規(guī)方程組，使殘差平方和Q最小。第15頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三16 第16頁，共62頁，2022年，5月2

4、0日，19點(diǎn)37分，星期三17 第17頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三18 第18頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三19 三、多元線性回歸方程的 假設(shè)檢驗(yàn)及評(píng)價(jià)第19頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三20 （一）回歸方程的假設(shè)檢驗(yàn)及評(píng)價(jià)1.方差分析法不全為0。第20頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三21 第21頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三22 第22頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三23 2.決定系數(shù)R2血糖含量變異的60%可由總膽固醇、甘油三

5、酯、胰島素和糖化血紅蛋白的變異解釋。第23頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三243.復(fù)相關(guān)系數(shù)RY與多個(gè)自變量間的線性相關(guān)程度；Y與估計(jì)值 間的Pearson相關(guān)系數(shù)r。第24頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三25 （二）各自變量的假設(shè)檢驗(yàn)及評(píng)價(jià)1.偏回歸平方和表示模型中含有其它m-1個(gè)自變量的條件下該自變量對(duì)Y的回歸貢獻(xiàn)。其值愈大說明相應(yīng)的自變量愈重要。第25頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三26 第26頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三27 0.6129+11.9627+20.0635+27.7

6、939133.7107第27頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三28 胰島素(X3)與糖化血紅蛋白(X4)與血糖(Y)有線性回歸關(guān)系。第28頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三29 2.t檢驗(yàn)法第29頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三30 胰島素(X3)與糖化血紅蛋白(X4)與血糖(Y)有線性回歸關(guān)系。第30頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三31 標(biāo)準(zhǔn)化回歸系數(shù)bj 的絕對(duì)值用來比較各個(gè)自變量Xj 對(duì)Y的影響程度大??；絕對(duì)值越大影響越大。標(biāo)準(zhǔn)化回歸方程的截距為0。3.標(biāo)準(zhǔn)化回歸系數(shù)標(biāo)準(zhǔn)化回歸系數(shù)與一般回

7、歸方程的回歸系 數(shù)的關(guān)系：標(biāo)準(zhǔn)化回歸方程 第31頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三32對(duì)血糖影響大小的順序依次為糖化血紅蛋白(X4)、胰島素(X3)、甘油三酯(X2)與總膽固醇 (X1)。胰島素為負(fù)向影響。第32頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三33 第二節(jié) 自變量選擇方法第33頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三34 一、全局選擇法對(duì)自變量各種不同的組合所建立的回歸方程進(jìn)行比較，從全部組合中挑出一個(gè)“最優(yōu)”的回歸方程。第34頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三35 R2可用來評(píng)價(jià)回歸方程優(yōu)劣。隨著自變

8、量增加，R2不斷增大，對(duì)兩個(gè)不 同個(gè)數(shù)自變量回歸方程比較，須考慮方程 包含自變量個(gè)數(shù)影響，應(yīng)對(duì)R2進(jìn)行校正。所謂“最優(yōu)”回歸方程指 最大者。1.校正決定系數(shù) 選擇法第35頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三36 P為方程中自變量個(gè)數(shù)。最優(yōu)方程的Cp期望值是p+1。 應(yīng)選擇Cp最接近P+1的回歸方程為最優(yōu)。2. 選擇法第36頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三37 第37頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三38 二、逐步選擇法全局選擇計(jì)算量很大： 6個(gè)變量，計(jì)算26-1=63個(gè)方程； 10個(gè)變量，計(jì)算210-1=1023個(gè)方程。按

9、選入變量順序不同分前進(jìn)法、后退法 與逐步回歸法，共同特點(diǎn)是每一步只引 入或剔除一個(gè)自變量Xj。第38頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三39對(duì)Xj的取舍要進(jìn)行F檢驗(yàn)：計(jì)算進(jìn)行到第l步時(shí)：p :方程中自變量個(gè)數(shù)SS回：Xj的偏回歸平方和SS殘：殘差平方和第39頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三40 1.前進(jìn)法（只選不剔）開始方程中無自變量，然后從方程外選取偏回歸平方和最大的自變量作F檢驗(yàn)以決定是否選入方程，直至無自變量可以引入方程為止。缺點(diǎn)：后續(xù)變量的引入可能使先前引入的變量變的不重要。Xj入選第40頁，共62頁，2022年，5月20日，19點(diǎn)37分

10、，星期三41 2.后退法（只剔不選）開始方程中包含全部自變量，然后從方程中選取偏回歸平方和最小的自變量作F檢驗(yàn)以決定是否從方程中剔除，直至無自變量可以從方程中剔除為止。缺點(diǎn)：當(dāng)某些自變量高度相關(guān)時(shí)，可能得不 出正確結(jié)果。Xj剔除第41頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三42 3.逐步回歸法（先選后剔，雙向篩選）開始方程中無自變量，從方程外選取偏回歸平方和最大的自變量作F檢驗(yàn)以決定是否選入方程；每引一個(gè)自變量進(jìn)入方程后，從方程中選取偏回歸平方和最小的自變量作F檢驗(yàn)以決定是否從方程中剔除；直至方程外無自變量可引入，方程內(nèi)無自變量可剔除為止。第42頁，共62頁，2022年，5月

11、20日，19點(diǎn)37分，星期三43 Xj剔除內(nèi)剔Xj入選外引入值定的越小選取自變量標(biāo)準(zhǔn)越嚴(yán)，被選 入方程內(nèi)自變量數(shù)越少。 入值越大則反之。小樣本：入=0.05，出=0.10。 大樣本：入=0.10，出=0.15。 入出，以免Xj上一步剔除后下一步又被選入第43頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三44 選X4前先建立4個(gè)直線回歸方程；選X1前先建立1個(gè)含3個(gè)自變量、 3個(gè)含2個(gè) 自變量的多元線性回歸方程。第44頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三45 第45頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三46 第46頁，共62頁，2022年，5

12、月20日，19點(diǎn)37分，星期三47 第47頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三48 第48頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三49 第49頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三50 第三節(jié) 多元線性回歸的應(yīng)用及注意事項(xiàng)第50頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三51 一、多元線性回歸的應(yīng)用 1.影響因素分析 年齡(X1)飲食習(xí)慣(X2)吸煙狀況(X3)工作緊張度(X4)家族史(X5) 高血壓(Y)bj的意義為在其它自變量保持不變時(shí)，Xj增加或減少一個(gè)單位時(shí)Y的平均變化量。故可排除混雜因素。第51頁，共62頁，2

13、022年，5月20日，19點(diǎn)37分，星期三52 2.估計(jì)與預(yù)測心臟表面積(Y)=b0+b1心臟橫徑(X1) + b2心臟縱徑(X2)+ b3心臟寬徑(X3)新生兒體重(Y)=b0+b1胎兒孕齡(X1)+ b2 胎兒 頭徑(X2)+ b3胎兒胸徑(X3)+ b4胎兒腹徑(X4)第52頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三53 3.統(tǒng)計(jì)控制利用回歸方程進(jìn)行逆估計(jì)，確定Y后控制X 。采用射頻治療儀治療腦腫瘤：腦皮質(zhì)毀損半徑(Y) =b0+b1射頻溫度(X1)+ b2照射時(shí)間(X2)第53頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三54 二、多元線性回歸應(yīng)用的注意事項(xiàng)

14、 1.指標(biāo)的數(shù)量化 應(yīng)變量Y為連續(xù)變量自變量X可為連續(xù)、有序分類或無序分類變量 (1)連續(xù)變量：X (2)有序分類變量： 1 輕 X= 2 中 3 重第54頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三55 (3)無序分類變量啞變量(dummy variables)第55頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三56 2.樣本含量 n至少是X個(gè)數(shù)m的510倍3.多重共線性 實(shí)際應(yīng)用中非常普遍，可使最小二乘法建 立的回歸方程失效； 消除方法：主成分回歸；剔除某個(gè)造成共 線性的自變量。第56頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三57 4.變量間的交互作用某一自變量對(duì)Y的作用大小與另一自變量的取值有關(guān)。 血糖(Y)與總膽固醇 (X1)、甘油三酯(X2)、胰島素(X3)、糖化血紅蛋白(X4)間逐步回歸方程：X3與X4間有交互作用：第57頁，共62頁，2022年，5月20日，19點(diǎn)37分，星期三58 5.殘差分析標(biāo)準(zhǔn)化殘差第58頁，共6