[醫(yī)學(xué)]多重分析一ppt課件

1、LOGOMultivariate analysis多變量分析多變量分析u多重線性回歸Multiple linear regression u多元線性回歸(Multivariable linear regression uLogistic回歸Logistic regressionuCox回歸Cox regressionu主成分分析principle component analysisu因子分析factor analysisu聚類分析Cluster Analysis u判別分析Discriminant Analysis多元線性回歸分析多元線性回歸分析v多元線性回歸分析是研討多個(gè)變量之間關(guān)系的回歸

2、分析方法, 按因變量和自變量的數(shù)量對(duì)應(yīng)關(guān)系可劃分為一個(gè)因變量對(duì)多個(gè)自變量的回歸分析(簡(jiǎn)稱為“一對(duì)多回歸分析)及多個(gè)因變量對(duì)多個(gè)自變量的回歸分析(簡(jiǎn)稱為“多對(duì)多回歸分析), 按回歸模型類型可劃分為線性回歸分析和非線性回歸分析。v當(dāng)因變量個(gè)數(shù)大于1時(shí)稱為多重回歸 多元線性回歸分析多元線性回歸分析Mulit variable linear regession v人的體重與身高、胸圍v血壓值與年齡、性別、勞動(dòng)強(qiáng)度、飲食習(xí)慣、吸煙情況、家族史v糖尿病人的血糖與胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂v射頻治療儀定向治療腦腫瘤過(guò)程中，腦皮質(zhì)的毀損半徑與輻射的溫度、與照射的時(shí)間Root MSE 殘差規(guī)范

3、差 2.00954 R-Square 決議系數(shù) 0.6008Adj R-Sq 校正決議系數(shù) 0.5282Dependent Mean 應(yīng)變量的均值11.92593 反映了回歸方程的精度，其值越小闡明回歸效果越好 0095. 20382. 41) 1/()(2.12,殘殘）（MSmnSSmnYYSmY闡明一切自變量能解釋Y變化的百分比。取值0，1，越接近1模型擬合越好 6008. 05519.2228412.8815519.2227107.13312總殘總回SSSSSSSSR闡明一切自變量與Y間的線性相關(guān)程度。 即察看值Y與估計(jì)值 之間的相關(guān)程度。假設(shè)只需一個(gè)自變量，此時(shí) 7751. 06008

4、. 02RRYY|r|R 5282. 026/5519.22222/8412.8811) 1/()1/(1) 1(1)1 (122總殘總殘MSMSnSSpnSSpnnRRcY響考慮了自變量個(gè)數(shù)的影,22RRc Parameter Standard Standardized Variable DF Estimate Error t Value Pr |t| Estimate 變量 自在度 回歸系數(shù) 規(guī)范誤 t值 P值 規(guī)范化回歸系數(shù) Intercept 22 5.94327 2.82859 2.10 0.0473 0 X1 22 0.14245 0.36565 0.39 0.7006 0.077

5、58 X2 22 0.35147 0.20420 1.72 0.0993 0.30931 X3 22 -0.27059 0.12 -2.23 0.0363 -0.33948 X4 22 0.63820 0.24326 2.62 0.0155 0.39774的對(duì)角線元素對(duì)應(yīng)于j1.12,)(;1),(XXXCmnCSbSbtjjmYjbjjjYjjYYjjjYYjjjjSSbnlnlbllbb) 1/() 1/( 變量變量回歸系數(shù)回歸系數(shù)b bj j標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化回歸系數(shù)回歸系數(shù)bbj jl ljjjj標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差S SX1X10.142450.14245 0.07758 0.0775866.01

6、0366.01031.5934 1.5934 X2X20.351470.35147 0.30931 0.30931172.3648172.36482.5748 2.5748 X3X3-0.27059-0.27059-0.33948-0.33948350.3106350.31063.6706 3.6706 X4X40.63820.6382 0.39774 0.3977486.440786.44071.8234 1.8234 Y Y222.5519222.55192.9257 2.9257 1; 1;) 1(21)(mnmnSSSSSSFjj殘回回 是在其它自變量存在于回歸方程中的是在其它自變量存

7、在于回歸方程中的下，考下，考察某一察某一自變量自變量Xj對(duì)應(yīng)變量對(duì)應(yīng)變量Y的回歸效應(yīng)的回歸效應(yīng) ；j=1,2,m 0:0:10jjHH； 1. 變量多添加了模型的復(fù)雜度變量多添加了模型的復(fù)雜度2. 計(jì)算量增大計(jì)算量增大3. 估計(jì)和預(yù)測(cè)的精度下降估計(jì)和預(yù)測(cè)的精度下降4. 模型運(yùn)用費(fèi)用添加模型運(yùn)用費(fèi)用添加 根據(jù)一些準(zhǔn)那么根據(jù)一些準(zhǔn)那么criterion建立建立 “最優(yōu)回歸模最優(yōu)回歸模型型校正決議系數(shù)思索了自變量的個(gè)數(shù)Cp準(zhǔn)那么C即criterion，p為所選模型中變量的個(gè)數(shù)；Cp接近p+1模型為最優(yōu)AIC(Akaikes Information Criterion)準(zhǔn)那么； AIC越小越好 528

8、2. 026/5519.22222/8412.8811) 1/()1/(1) 1(1)1 (122總殘總殘MSMSnSSpnSSpnnRRc響考慮了自變量個(gè)數(shù)的影,22RRc的模型為最佳接近提出年殘殘殘殘1)p()2()()(1()2()()(MallowsCL1964pmpmppCpnMSMSpnpnMSSSC越小越好最小二乘法年由日本學(xué)者赤池提出AICpSnpnnAICpy)(2/ )ln(1973212. 求出一切能夠的回歸模型共有求出一切能夠的回歸模型共有2m1個(gè)對(duì)應(yīng)的準(zhǔn)那么值；按上述個(gè)對(duì)應(yīng)的準(zhǔn)那么值；按上述準(zhǔn)那么選擇最優(yōu)模型準(zhǔn)那么選擇最優(yōu)模型 ADJRSQADJRSQCPCPAICA

9、ICADJRSQADJRSQCPCPAICAICx2x3x4x2x3x4x2x3x2x30.407480.407483 346.6646.66x1x2x3x4x1x2x3x40.528230.528235 542.15742.157x1x3x1x30.375220.375223 348.09148.091x1x3x4x1x3x40.487970.487974 443.56843.568x4x40.346530.346532 248.40548.405x1x2x4x1x2x40.446830.446834 445.65545.655x1x10.284430.284432 250.85750.85

10、7x1x4x1x40.441370.441373 345.0745.07x1x2x1x20.274780.274783 352.11652.116x2x4x2x40.43950.43953 345.1645.16x3x30.230630.230632 252.81452.814x3x4x3x40.435420.435423 345.35645.356x2x20.178640.178642 254.57954.579x1x2x3x1x2x30.407560.407564 447.50747.507 假設(shè)自變量個(gè)數(shù)為4，那么一切的回歸有241 15個(gè)；當(dāng)自變量數(shù)個(gè)數(shù)為10時(shí)，一切能夠的回歸為 21

11、01 1023個(gè)；。；當(dāng)自變量數(shù)個(gè)數(shù)為50時(shí)，一切能夠的回歸為25011015個(gè)。 1. 前進(jìn)法forward selection2. 后退法backward elimination3. 逐漸回歸法stepwise regression。 它們的共同特點(diǎn)是每一步只引入或剔除一個(gè)自變量。決議其取舍那么基于對(duì)偏回歸平方和的F檢驗(yàn)1; 1;) 1(21)(pnpnSSSSSSFjj殘回回 自變量從無(wú)到有、從少到多自變量從無(wú)到有、從少到多 Y Y對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最對(duì)每一個(gè)自變量作直線回歸，對(duì)回歸平方和最大的自變量作大的自變量作F F檢驗(yàn)，有意義檢驗(yàn)，有意義P P小那么引入小那么引

12、入。在此根底上，計(jì)算其它自變量的偏回歸平方和在此根底上，計(jì)算其它自變量的偏回歸平方和，選取偏回歸平方和最大者作，選取偏回歸平方和最大者作F F檢驗(yàn)，檢驗(yàn)，。 局限性：即后續(xù)變量的引入能夠會(huì)使先進(jìn)入方局限性：即后續(xù)變量的引入能夠會(huì)使先進(jìn)入方程的自變量變得不重要。程的自變量變得不重要。 先將全部自變量放入方程，然后逐漸剔除先將全部自變量放入方程，然后逐漸剔除 偏回歸平方和最小的變量，作偏回歸平方和最小的變量，作F F檢驗(yàn)及相檢驗(yàn)及相應(yīng)的應(yīng)的P P值，決議它能否剔除值，決議它能否剔除P P大大 。 建立新的回歸方程。反復(fù)上述過(guò)程。建立新的回歸方程。反復(fù)上述過(guò)程。 局限性：自變量高度相關(guān)時(shí)，能夠得不局

13、限性：自變量高度相關(guān)時(shí)，能夠得不出正確的結(jié)果出正確的結(jié)果 。 雙向挑選 ；引入有意義的變量前進(jìn)法，剔除無(wú)意義變量后退法 小樣本檢驗(yàn)水準(zhǔn)a定為0.10或0.15，大樣本把值定為0.05。值越小表示選取自變量的規(guī)范越嚴(yán)。 留意，引入變量的檢驗(yàn)水準(zhǔn)要小于或等于剔除變量的檢驗(yàn)水準(zhǔn)。 模型模型SSSS回回SSSS殘殘SSSS總總Y Y與與X4X482.714482.7144139.8375139.8375222.5519222.5519Y Y與與X1X169.425169.4251153.1267153.1267222.5519222.5519Y Y與與X2X246.787346.7873175.764

14、5175.7645222.5519222.5519Y Y與與X3X357.913357.9133164.6386164.6386222.5519222.5519 模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X4X482.7144 82.7144 Y Y與與X4 X1X4 X1107.7903 25.075925.0759 114.76155.24410.0311Y Y與與X4 X2X4 X2107.4074 107.4074 24.6931 24.6931 115.1444115.14445.14695.14690.03260.0326Y Y與與X4 X3X4

15、 X3106.5683 106.5683 23.8539 23.8539 115.9836115.98364.93604.93600.03600.0360 模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X1X169.425169.4251 38.365238.3652 Y Y與與X4X482.7144 82.7144 25.07595.24415.24410.03110.0311Y Y與與X4 X1X4 X1107.7903 114.7615 模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X4 X1X4 X1107.7903 Y

16、Y與與X4 X1 X4 X1 X2X2113.6472 5.8569Y Y與與X4 X1 X4 X1 X3X3121.7480 121.7480 13.957713.9577 100.8038100.80383.18473.18470.08750.0875 變變量量模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X4 X1 X3X4 X1 X3121.7480 121.7480 100.804100.804X1X1Y Y與與X4 X3X4 X3106.5683106.568315.1797 15.1797 X3X3Y Y與與X4 X1X4 X1107.7903 1

17、07.7903 13.957713.9577 3.1847 3.1847 0.08700.0870X4X4Y Y與與X1 X3X1 X394.202694.202627.5454 27.5454 模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X4 X1 X3 X4 X1 X3 X2X2133.7107133.710711.9627 11.9627 88.841288.84122.9624 2.9624 0.0990.099Y Y與與X4 X1 X3 X4 X1 X3 121.7480 121.7480 變變量量模型模型SS回回SSSS偏回偏回SSSS殘殘F(tuán) F值

18、值P P值值Y Y與與X4 X1 X3 X4 X1 X3 X2X2133.7107 133.7107 88.8412 88.8412 X2X2Y Y與與X4 X1 X3 X4 X1 X3 121.7480 121.7480 11.9627 11.9627 X1X1Y Y與與X4 X3 X2X4 X3 X2133.0978 133.0978 0.61290.6129 0.1518 0.1518 0.7006 0.7006 X3X3Y Y與與X4 X1 X2X4 X1 X2113.6472 113.6472 20.0635 20.0635 X4X4Y Y與與X1 X3 X2X1 X3 X2105.

19、9167 105.9167 27.7940 27.7940 變變量量模型模型SSSS回回SSSS偏回偏回SSSS殘殘F(tuán) F值值P P值值Y Y與與X4 X3 X4 X3 X2X2133.0978 133.0978 89.4540 89.4540 X4X4Y Y與與X3 X2X3 X2100.8292 100.8292 32.2686 32.2686 X3X3Y Y與與X4 X2X4 X2107.4074 107.4074 25.6904 25.6904 6.6054 6.6054 0.0171 0.0171 X2X2Y Y與與X4 X3X4 X3106.5683 106.5683 26.529

20、5 26.5295 變異來(lái)源變異來(lái)源自由自由度度SSMSFP總變異總變異26222.5519回回 歸歸3133.09844.36611.410.0001殘殘 差差2389.4543.889 影響要素分析，控制混雜要素預(yù)測(cè)：由自變量值推出應(yīng)變量Y的值控制：指定應(yīng)變量Y的值查看自變量的改動(dòng)量1自變量為延續(xù)型變量 ：必要時(shí)作變換2自變量為有序變量：依次賦值，如療效好中差，可分別賦值3、2、13自變量為二分類：如令男1，女04自變量為名義分類：需求采用啞變量dummy variables進(jìn)展編碼 假設(shè)職業(yè)分類為工、農(nóng)、商、學(xué)、兵5類，那么可定義比分類數(shù)少1個(gè)，即4個(gè)啞變量。編碼方法如下： 察看個(gè)體數(shù)n

21、與變量個(gè)數(shù)m的比例普通至少應(yīng)為：n : m510不同準(zhǔn)那么、方法得出的“最優(yōu)方程不同；不同的引入、剔除規(guī)范獲得的“最優(yōu)方程不同；方程還受數(shù)據(jù)的正確性、共線性影響 自變量間存在著線性關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，稱為該變量與另外的自變量間存在有共線性(collinearity)?；貧w系數(shù)的符號(hào)與由專業(yè)知識(shí)不符變量的重要性與專業(yè)不符 整個(gè)方程決議系數(shù)R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著。處理共線性的主要方法：挑選自變量用主成分回歸嶺回歸。 當(dāng)某一自變量對(duì)應(yīng)變量的作用大小與另一個(gè)自變量的取值有關(guān)時(shí)，那么表示兩個(gè)變量有交互作用interaction。 檢驗(yàn)兩變量間有無(wú)交互作

22、用，普遍的做法是在方程中參與它們的乘積項(xiàng)再做檢驗(yàn)。如調(diào)查X1、X2間的交互作用，可在模型中參與X1X2項(xiàng)。00000000a. 二元正態(tài)b. y的標(biāo)準(zhǔn)差隨x遞增c. y關(guān)于x的回歸是非線性的d. 非線性，且方差不等yyyyyyyyyyyyxxxxxxx殘殘殘差標(biāo)準(zhǔn)差殘差標(biāo)準(zhǔn)化殘差：MSeMSYYeiiii普通規(guī)范化殘差絕對(duì)值大于2思索為異常點(diǎn)outlier也稱離群值多重共線性之主成分回歸多重共線性之主成分回歸v剛剛說(shuō)到了多重共線性，逐漸回歸等方法也是可以消除多重共線性的，除此之外，還有主成分回歸，嶺回歸等。v要想明白什么是主成分回歸，我們先來(lái)了解一下什么是主成分分析。 人體系統(tǒng)是多要素的復(fù)雜系

23、統(tǒng)。在研討究竟是什么危險(xiǎn)要素影響到人體的安康，多變量問(wèn)題是經(jīng)常會(huì)遇到的。變量太多，無(wú)疑會(huì)添加分析問(wèn)題的難度與復(fù)雜性，而且在許多實(shí)踐問(wèn)題中，多個(gè)變量之間是具有一定的相關(guān)關(guān)系的。 因此，人們會(huì)很自然地想到，能否在相關(guān)分析的根底上，用較少的新變量替代原來(lái)較多的舊變量，而且使這些較少的新變量盡能夠多地保管原來(lái)變量所反映的信息？ 問(wèn)題的提出：?jiǎn)栴}的提出： 現(xiàn)實(shí)上，這種想法是可以實(shí)現(xiàn)的，主成分分析方法就是綜合處置這種問(wèn)題的一種強(qiáng)有力的工具。 主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合目的的一種統(tǒng)計(jì)分析方法。 從數(shù)學(xué)角度來(lái)看，這是一種降維處置技術(shù)。 一、主成分分析的根本原理一、主成分分析的根本原理 v 假定

24、有n個(gè)人群樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)np階的人群數(shù)據(jù)矩陣npnnppxxxxxxxxxX212222111211v 當(dāng)p較大時(shí)，在p維空間中調(diào)查問(wèn)題比較費(fèi)事。為了抑制這一困難，就需求進(jìn)展降維處置，即用較少的幾個(gè)綜合目的替代原來(lái)較多的變量目的，而且使這些較少的綜合目的既能盡量多地反映原來(lái)較多變量目的所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的。定義：記x1，x2，xP為原變量目的，z1，z2，zmmp為新變量目的pmpmmmppppxlxlxlzxlxlxlzxlxlxlz22112222121212121111(3.5.2) n系數(shù)lij確實(shí)定原那么： n zi與zjij；i，j=1，2

25、，m相互無(wú)關(guān)； z1是x1，x2，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，xP的一切線性組合中方差最大者； zm是與z1，z2，zm1都不相關(guān)的x1，x2，xP， 的一切線性組合中方差最大者。 那么新變量目的z1，z2，zm分別稱為原變量目的x1，x2，xP的第一，第二，第m主成分。 從以上的分析可以看出，主成分分析的本質(zhì)就是確定原來(lái)變量xjj=1，2 ， p在諸主成分zii=1，2，m上的荷載 lij i=1，2，m； j=1，2 ，p。 從數(shù)學(xué)上容易知道，從數(shù)學(xué)上可以證明，它們分別是的相關(guān)矩陣的m個(gè)較大的特征值所對(duì)應(yīng)的特征向量。 二、計(jì)算步驟二、計(jì)算步驟 一計(jì)算相關(guān)

26、系數(shù)矩陣 riji，j=1，2，p為原變量xi與xj的相關(guān)系數(shù)， rij=rji，其計(jì)算公式為：pppppprrrrrrrrrR2122221112113.5.3 nknkjkjikinkjkjikiijxxxxxxxxr11221)()()(3.5.4 二計(jì)算特征值與特征向量： 解特征方程，常用雅可比法Jacobi求出特征值，并使其按大小順序陳列 ； 0RI0,21p 分別求出對(duì)應(yīng)于特征值的特征向量 ，要求 =1，即，其中表示向量 的第j個(gè)分量。i), 2 , 1(pieiie112pjijeijeie 計(jì)算主成分奉獻(xiàn)率及累計(jì)奉獻(xiàn)率計(jì)算主成分奉獻(xiàn)率及累計(jì)奉獻(xiàn)率 奉獻(xiàn)率奉獻(xiàn)率: :),2, 1

27、(1pipkki累計(jì)奉獻(xiàn)率: ),2, 1(11pipkkikk普通取累計(jì)奉獻(xiàn)率達(dá)8595%的特征值所對(duì)應(yīng)的第一、第二、第mmp個(gè)主成分。 m,21 計(jì)算主成分載荷 各主成分的得分： ), 2 , 1,(),(pjiexzplijijiij3.5.5 nmnnmmzzzzzzzzzZ2122221112113.5.6 三、三、 主成分分析方法運(yùn)用實(shí)例主成分分析方法運(yùn)用實(shí)例 下面，我們根據(jù)表3.4.5給出的數(shù)據(jù)，對(duì)某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)做主成分分析， 樣本序號(hào)x1：人口密度(人/km2)x 2：人均耕地面積(ha)x 3：森林覆蓋率(%)x 4：農(nóng)民人均純收入(元/人)x 5：人均糧食產(chǎn)量(kg/人

28、)x 6：經(jīng)濟(jì)作物占農(nóng)作物播面比例()x 7：耕地占土地面積比率()x 8：果園與林地面積之比()x 9：灌溉田占耕地面積之比()1363.9120.35216.101192.11295.3426.72418.4922.23126.2622141.5031.68424.3011752.35452.2632.31414.4641.45527.0663100.6951.06765.6011181.54270.1218.2660.1627.47412.4894143.7391.33633.2051436.12354.2617.48611.8051.89217.5345131.4121.62316.6

29、071405.09586.5940.68314.4010.30322.932表表3.4.5 3.4.5 某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù)某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù) 668.3372.03276.2041540.29216.398.1284.0650.0114.861795.4160.80171.106926.35291.528.1354.0630.0124.862862.9011.65273.3071501.24225.2518.3522.6450.0343.201986.6240.84168.904897.36196.3716.8615.1760.0556.1671091.

30、3940.81266.502911.24226.5118.2795.6430.0764.4771176.9120.85850.302103.52217.0919.7934.8810.0016.1651251.2741.04164.609968.33181.384.0054.0660.0155.4021368.8310.83662.804957.14194.049.114.4840.0025.791477.3010.62360.102824.37188.0919.4095.7215.0558.4131576.9481.02268.0011255.42211.5511.1023.1330.013.

31、4251699.2650.65460.7021251.03220.914.3834.6150.0115.59317118.5050.66163.3041246.47242.1610.7066.0530.1548.70118141.4730.73754.206814.21193.4611.4196.4420.01212.94519137.7610.59855.9011124.05228.449.5217.8810.06912.65420117.6121.24554.503805.67175.2318.1065.7890.0488.46121122.7810.73149.1021313.11236

32、.2926.7247.1620.09210.078步驟如下：1將表3.4.5中的數(shù)據(jù)作規(guī)范差規(guī)范化處置，然后將它們代入公式3.5.4計(jì)算相關(guān)系數(shù)矩陣見(jiàn)表3.5.1。x1x2x3x4x5x6x7x8x9x11-0.327 -0.714 -0.3360.3090.4080.790.1560.744x2-0.331-0.0350.6440.420.2550.009-0.0780.094x3-0.71-0.03510.07-0.74-0.755-0.93-0.109-0.924x4-0.340.6440.0710.3830.069-0.05-0.0310.073x50.3090.42-0.740.38

33、310.7340.6720.0980.747x60.4080.255-0.7550.0690.73410.6580.2220.707x70.790.009-0.93-0.0460.6720.6581-0.030.89x80.156-0.078 -0.109 -0.0310.0980.222-0.0310.29x90.7440.094-0.9240.0730.7470.7070.890.291表表3.5.13.5.1相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣 2由相關(guān)系數(shù)矩陣計(jì)算特征值，以及各個(gè)主成分的奉獻(xiàn)率與累計(jì)奉獻(xiàn)率見(jiàn)表3.5.2。由表3.5.2可知，第一，第二，第三主成分的累計(jì)奉獻(xiàn)率已高達(dá)86.596%大于85%，故只需求求出第一、第二、第三主成分z1，z