高級醫(yī)學(xué)統(tǒng)計學(xué)課件

BootStrap研究生《醫(yī)學(xué)統(tǒng)計學(xué)2》課程BootStrap研究生《醫(yī)學(xué)統(tǒng)計學(xué)2》課程1主要內(nèi)容Bootstrap簡介參數(shù)和非參數(shù)Bootstrap不同資料的Bootstrap處理Bootstrap應(yīng)用實例主要內(nèi)容Bootstrap簡介2統(tǒng)計學(xué)的基本過程我們需要知道的是某些變量的平均和誤差執(zhí)行某些測量若干次誤差隨著測量次數(shù)的增加而減少統(tǒng)計學(xué)的基本過程我們需要知道的是某些變量的平均和誤差3中心極限定理

中心極限定理

4有時候……R2的分布？獨立性假設(shè)被違背時，回歸系數(shù)的分布？某些先進方法中的指標(biāo)分布？隨機森林分析中的重要性得分？預(yù)測模型的AUC?有時候……R2的分布？5高級醫(yī)學(xué)統(tǒng)計學(xué)課件6“Pullingoneselfupbyone’sbootstraps”

“Ifoundmyselfstunned,andinaholeninefathomsunderthegrass,whenIrecovered,hardlyknowinghowtogetoutagain.Lookingdown,IobservedthatIhadonapairofbootswithexceptionallysturdystraps.Graspingthemfirmly,Ipulledwithallmymight.SoonIhadhoistmyselftothetopandsteppedoutonterrafirmawithoutfurtherado."--CampaignsandAdventuresofBaronMunchausen,1786.吹牛大王歷險記“Pullingoneselfupbyone’sb7Bootstrap一種估計抽樣誤差和計算可信區(qū)間的方法。1979EfronBradleyEfronB(1979).Bootstrapmethods:Anotherlookatthejackknife.Ann.Statist.71–2620世紀70年代以來統(tǒng)計學(xué)上“唯一的偉大進展”。

KotzandJohnson,1992Bootstrap一種估計抽樣誤差和計算可信區(qū)間的方法。8EfronBradleyBradleyEfron博士現(xiàn)任斯坦福大學(xué)統(tǒng)計系MaxH.Stern講席教授。Efron教授是公認的當(dāng)今世界最有影響力的統(tǒng)計學(xué)領(lǐng)域的權(quán)威。他的主要貢獻包括Bootstrap再抽樣方法。經(jīng)驗貝葉斯方法，微分幾何在統(tǒng)計推斷中的應(yīng)用，生存分析方法，生物芯片數(shù)據(jù)分析方法等。Efron教授是麥可阿瑟獎獲得者，美國國家科學(xué)院院士，美國科學(xué)與藝術(shù)學(xué)院院士。他還獲得過統(tǒng)計學(xué)領(lǐng)域幾乎所有的著名獎項，包括著名的Wilks獎?wù)?，Parzen獎,Rao獎。2005年，Efron教授獲得了美國國家科學(xué)獎?wù)拢绹匀豢茖W(xué)最高獎）以表彰他在統(tǒng)計學(xué)領(lǐng)域所作出的杰出貢獻。這一獎?wù)略?007年7月27日在白宮舉行的一個特別儀式上由時任美國總統(tǒng)喬治W.布什親自頒發(fā)。EfronBradleyBradleyEfron博士現(xiàn)任9Bootstrap的前身：Jack-knife(刀切法)一種特殊的Bootstrap每個Jackknife樣本包括原樣本-1個個體Bootstrap的前身：Jack-knife(刀切法)一10Bootstrap的基本流程從一個給定的數(shù)據(jù)中有放回地重復(fù)抽樣若干次數(shù)，得到若干個樣本；對于某個樣本，計算相應(yīng)的統(tǒng)計量；得到這個統(tǒng)計量的分布是其真實分布的估計；Bootstrap的基本流程從一個給定的數(shù)據(jù)中有放回地重復(fù)抽11Bootstrap:resamplingwithreplacementD、E、A、C、E、B、A、D、A、……Bootstrap:resamplingwithrep12Bootstrap對資料的基本要求樣本必須是總體的代表；照著蘋果永遠畫不出一個桔子出來！Bootstrap對資料的基本要求樣本必須是總體的代表；13一個最簡單的小例子假設(shè)總體是均數(shù)為5，標(biāo)準差為3的正態(tài)分布；現(xiàn)有樣本包含100個個體；如何求中位數(shù)的方差及其95%CI？理論上一個最簡單的小例子假設(shè)總體是均數(shù)為5，標(biāo)準差為3的正態(tài)分布；14手頭樣本>data[1]3410551061349[12]6653106-17424[23]23308529648[34]877754434112[45]92447565594[56]100756634226[67]658114-283384[78]16556474686[89]4887639312104[100]2手頭樣本>data15從中有放回地抽取100個個體，重復(fù)20次>resamples[1][1]312653472-1-17045547347212881044011[30]731410844710546-124841212802689663[59]48645357871066316131041285421046[88]21059914864945r.median<-sapply(resamples,median)5.05.05.05.05.05.05.05.05.04.04.55.05.04.05.05.05.05.05.05.0sqrt(var(r.median))0.5250313mean(r.median)4.875從中有放回地抽取100個個體，重復(fù)20次>resample16求95%CI利用近似正態(tài)分布的原理利用百分位數(shù)區(qū)間(4,5)求95%CI利用近似正態(tài)分布的原理17什么時候可以用Bootstrap法？當(dāng)統(tǒng)計量的理論分布過于復(fù)雜或者難于獲得時；樣本含量偏小，不足以進行統(tǒng)計推斷；當(dāng)需要進行效能計算時，且手頭有個小預(yù)實驗時；需要一個快速的答案。什么時候可以用Bootstrap法？當(dāng)統(tǒng)計量的理論分布過于復(fù)18Bootstrap的分類參數(shù)Bootstrap假設(shè)樣本來自的總體分布已知；利用手頭樣本估計總體參數(shù)；按照估計出的總體分布產(chǎn)生樣本；根據(jù)樣本計算統(tǒng)計量的分布非參數(shù)Bootstrap將手頭樣本當(dāng)成總體，從中抽樣；Bootstrap的分類參數(shù)Bootstrap19參數(shù)和非參數(shù)Bootstrap參數(shù)和非參數(shù)Bootstrap20出生體重和70-100體重間的關(guān)系出生體重和70-100體重間的關(guān)系21非參數(shù)Bootstrap從所有的個體中有放回地抽取n個，eg.4,5,2,4,9,10,3,3,6,2,1,6,9,8計算感興趣的統(tǒng)計量重復(fù)B次，得到統(tǒng)計量的分布非參數(shù)Bootstrap從所有的個體中有放回地抽取n個，eg22參數(shù)Bootstrap先擬合回歸方程，估計殘差方差，σ2=14.1從N(0,σ2)中隨機抽取n個殘差根據(jù)第一步中回歸方程估計，計算Y的Bootstrap樣本根據(jù)Yb和X計算斜率重復(fù)得到斜率的Bootstrap分布。參數(shù)Bootstrap先擬合回歸方程，估計殘差方差，σ2=123半?yún)?shù)Bootstrap先擬合回歸方程，估計殘差對殘差進行Bootstrap抽樣根據(jù)第一步中回歸方程估計，計算Y的Bootstrap樣本根據(jù)Yb和X計算斜率重復(fù)得到斜率的Bootstrap分布。僅當(dāng)殘差為獨立同分布時適用。半?yún)?shù)Bootstrap先擬合回歸方程，估計殘差24如何用Bootstrap進行估計令Yi,i=1,…,n為樣本T(Y)為Y的函數(shù){Y`b,1,…,Y`b,n}為第b個Bootstrap樣本，b=1,..,B則Var(T)的Bootstrap估計值為T的95%CI可以根據(jù)Boostrap分布的百分位數(shù)得到。如何用Bootstrap進行估計令Yi,i=1,…,n為樣25Bootstrap的可信區(qū)間估計非學(xué)生化樞軸法(non-studentizedpivotalmethod)Bootstrap-t法百分位數(shù)法偏倚校正法Bootstrapconfidenceintervals:when,which,what?Apracticalguideformedicalstatisticians.JCarpenterandJ.Bithell.StatisticsinMedicine,2000;19:1141-64.Bootstrap的可信區(qū)間估計非學(xué)生化樞軸法(non-st26Bootstrap的可信區(qū)間估計Bootstrap的可信區(qū)間估計27Bootstrapt法優(yōu)點：簡單，一般較可靠缺點：計算較為復(fù)雜，耗時Bootstrapt法28百分位數(shù)法優(yōu)點：簡單缺點：當(dāng)分布不近似對稱時，覆蓋率可能較低百分位數(shù)法29偏移校正法校正因子Z校正因子ArA1及rA2作為百分位數(shù)區(qū)間的下限和上限。偏移校正法校正因子Z30不同資料的Bootstrap處理單樣本資料兩樣本資料回歸分析Bootstrap假設(shè)檢驗不同資料的Bootstrap處理單樣本資料31單樣本情形單樣本情形32兩樣本情形兩組分別Bootstrap合并組成BS樣本；治療組對照組945219710416146381099511413023402746兩樣本情形兩組分別Bootstrap治療組對照組94521933回歸與BootstrapY：應(yīng)變量X：自變量β0、

β1

：回歸系數(shù)ε：殘差回歸與BootstrapY：應(yīng)變量34兩種Bootstrap方法針對數(shù)據(jù)對的Bootstrap針對殘差的Bootstrap兩種Bootstrap方法針對數(shù)據(jù)對的Bootstrap35針對殘差的Bootstrap先估計和：eg.最小二乘法求殘差；對殘差進行Bootstrap對于某一個殘差Bootstrap樣本，根據(jù)下式求Y的Bootstrap樣本。注意X與實際樣本完全相同！這是半?yún)?shù)Bootstrap針對殘差的Bootstrap先估計和：e36兩種Bootstrap選哪一個針對殘差的Bootstrap：殘差和自變量是獨立的！自變量最好是指定的固定取值變量！針對對子的Bootstrap:X和Y都是隨機變量也取決于我們有多么信任模型是否正確！兩種Bootstrap選哪一個針對殘差的Bootstrap：37回歸的Bootstrap Dose Surv.Prop LogSurvProp1 1.175 0.44000 -0.82098062 1.175 0.55000 -0.59783703 2.350 0.16000 -1.83258154 2.350 0.13000 -2.04022085 4.700 0.04000 -3.21887586 4.700 0.01960 -3.93222577 4.700 0.06210 -2.77900938 7.050 0.00500 -5.29831749 7.050 0.00320 -5.744604510 9.400 0.00110 -6.812445111 9.400 0.00015 -8.804875312 9.400 0.00019 -8.568486513 14.100 0.00700 -4.961845114 14.100 0.00006 -9.7211660回歸的Bootstrap Dose Surv.Prop 38高級醫(yī)學(xué)統(tǒng)計學(xué)課件39模型EstimateSEP模型1β1-0.67640.0560<0.0001模型2β1-1.04860.1589<0.0001β20.03430.01400.0303模型EstimateSEP模型1β1-0.67640.05640去除離群值EstimateSEP模型1β1-0.77670.0299<0.0001模型2β1-0.86130.0945<0.0001β20.00860.00910.3650去除離群值EstimateSEP模型1β1-0.77670.41高級醫(yī)學(xué)統(tǒng)計學(xué)課件42最小中位二乘回歸(LeastMedianSquareRegreession，LMS)最小中位二乘回歸(LeastMedianSquareR43LMS的估計結(jié)果：Doseβ1=-0.7515BootstrapSEofββ1:0.2308LMS的估計結(jié)果：Doseβ1=-0.751544LMS的估計結(jié)果：Dose2β2=-0.0256BootstrapSEofβ2:0.0335LMS的估計結(jié)果：Dose2β2=-0.025645復(fù)雜抽樣復(fù)雜抽樣時，方差的估計往往較為困難；Bootsrap法的一個吸引人之處便是其可用于復(fù)雜抽樣時統(tǒng)計量方差的估計；分層抽樣；整群抽樣；復(fù)雜抽樣復(fù)雜抽樣時，方差的估計往往較為困難；46多少次Bootstrap抽樣較為合適？多少個Bootstrap樣本合適？沒有標(biāo)準答案！1000~2000?先試100個，再試1000個，看看結(jié)果有沒有巨大改變多少次Bootstrap抽樣較為合適？多少個Bootstra47Bootstrap的優(yōu)缺點優(yōu)點簡單！Simple!直接！straightforward！缺點過于樂觀！有時候忽略了很多假設(shè)！Bootstrap的優(yōu)缺點優(yōu)點48應(yīng)用實例：相加交互作用的假設(shè)檢驗傳統(tǒng)基于logistic回歸的模型相加交互作用應(yīng)用實例：相加交互作用的假設(shè)檢驗傳統(tǒng)基于logistic回歸49步驟：在B=0時，估計A的單獨效應(yīng)在A=0時，估計B的單獨效應(yīng)估計A和B一起作用時的效應(yīng)計算AB-A-BBootstrap求方差！步驟：在B=0時，估計A的單獨效應(yīng)50相乘交互作用結(jié)果Coefficients:

Estimate Std.Error Pr(>|z|)(Intercept) -2.4423 0.3686 3.45e-11***A 1.2340 0.4386 0.0049**B 1.0561 0.4454 0.0177*A:B 0.5162 0.5442 0.3428相乘交互作用結(jié)果Coefficients:51Bootstrap法估計結(jié)果MeanofOR：12.33VarianceofOR:59.3695%CIofOR:(3.65,32.16)Bootstrap法估計結(jié)果MeanofOR：12.3352