診斷實驗的評價課件

1、診斷實驗的評價診斷實驗的評價案 例 一位54歲的美國高中教師，前往她的社區(qū)醫(yī)生處進(jìn)行年度體檢。主訴既往身體健康，無不適。一年前曾有一次短暫的發(fā)熱史，未經(jīng)治療已經(jīng)緩解。醫(yī)生對其進(jìn)行了身體檢查，包括乳房觸診、婦科查體等均無異常。建議患者進(jìn)行乳腺鉬鈀X線檢查，結(jié)果提示異常。于是進(jìn)一步進(jìn)行細(xì)針穿刺抽吸乳腺組織活檢（Fine-needle aspiration, FNA）檢測，F(xiàn)NA病理結(jié)果顯示有癌細(xì)胞。于是患者被安排1周后手術(shù)。手術(shù)的同時又做了病理切片，結(jié)果確診為乳腺癌。 注：FNA檢測結(jié)果可分為以下三種：一是良性（不存在癌細(xì)胞）；二是可疑（有變異細(xì)胞還不確定是否為癌細(xì)胞）；三是存在癌細(xì)胞。 診斷實驗

2、的評價問 題 1.該患者無不適主訴，乳房觸診等物理診斷均無異常，為何醫(yī)生還要對其行乳腺鉬鈀X線檢查？ 2. 既然鉬鈀X線檢查已提示為異常，為何還要進(jìn)一步行FNA檢測，增加患者的痛苦、創(chuàng)傷和診療費用？ 3. 手術(shù)活檢是乳腺癌確診的最終依據(jù)，假設(shè)該患者的X線檢查為異常，而FNA檢查為正常，是否有必要進(jìn)一步行外科手術(shù)活檢？診斷實驗的評價提 示 50歲以上的婦女，在乳房觸診正常的情況下，患乳腺癌的幾率為0.3% 鉬鈀X線檢測異常則有13%的可能患乳腺癌 FNA檢測結(jié)果為陽性，患乳腺癌的可能性為64% 4.對于乳腺觸診無可疑包塊而鉬鈀X線攝片異常者，若FNA檢查為正常，則有99%的把握可排除乳腺癌即只有

3、1%的可能性是乳腺癌。那么外科手術(shù)可考慮暫時不做，建議其定期體檢、隨訪，復(fù)查乳腺鉬鈀X線。診斷實驗的評價篩檢與診斷步驟示意圖 定期治療性干預(yù)診斷實驗的評價診斷（診斷（diagnosis) 不僅包括各種實驗室檢查，也包不僅包括各種實驗室檢查，也包括病史體檢所獲得的臨床資料、括病史體檢所獲得的臨床資料、X X線、線、超聲等各種公認(rèn)的診斷標(biāo)準(zhǔn)，并且利超聲等各種公認(rèn)的診斷標(biāo)準(zhǔn)，并且利用這些資料和技術(shù)標(biāo)準(zhǔn)對疾病和健康用這些資料和技術(shù)標(biāo)準(zhǔn)對疾病和健康狀況做出確切的結(jié)論。狀況做出確切的結(jié)論。診斷試驗診斷試驗（diagnostic test）：）：泛指在泛指在診療過程中進(jìn)行的各種以診斷為目的診療過程中進(jìn)行的各

4、種以診斷為目的的檢查手段。是把病人與可疑有病但的檢查手段。是把病人與可疑有病但實際無病的人區(qū)別開來。實際無病的人區(qū)別開來。診斷實驗的評價案 例 Bibbo等人選擇114例乳腺觸診無可疑包塊而鉬鈀X線檢查異常的女性病例，先行FNA檢測，隨后在同側(cè)乳腺做了手術(shù)活檢，結(jié)果見表1。 表1 FNA檢測與手術(shù)活檢診斷乳腺癌的比較 手術(shù)活檢 FNA檢測 乳腺癌 非乳腺癌 合計 陽性 14 8 22 陰性 1 91 92 合計 15 99 114 問題4：對FNA檢測乳腺癌的真實性如何進(jìn)行評價？診斷實驗的評價目標(biāo)人群目標(biāo)人群陽性陽性陰性陰性陽性陽性陰性陰性病人病人非病人非病人待評待評價的價的試驗試驗abcd篩

5、檢試驗的評價程序篩檢試驗的評價程序金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)第二節(jié) 篩檢試驗的評價診斷實驗的評價試 驗 金 標(biāo) 準(zhǔn) 合 計 病例 非病例 陽 性 真陽性（a） 假陽性（b） 總陽性人數(shù)（a+b，r1）陰 性 假陰性（c） 真陰性（d） 總陰性人數(shù)（c+d，r2）合 計 患者總數(shù) 非患者總數(shù) 受檢查人數(shù) （a+c，c1） （b+d，c2） （a+b+c+d，n） 評價：真實性、可靠性、實用性第二節(jié) 篩檢試驗的評價診斷實驗的評價一、真實性（validity) P86 真實性真實性：指測量值與實際值（金標(biāo)準(zhǔn)金標(biāo)準(zhǔn)的測量值）符合的程度。 靈敏度（sensitivity，Se）和假陰性率（漏和假陰性率（漏診率診率,

6、fasle negative rate, FN） 特異度（specificity，Sp）和假陽性率和假陽性率（誤診率（誤診率, fasle positive rate, FP） 約登指數(shù)（正確指數(shù)，約登指數(shù)（正確指數(shù)，r ） 符合率（符合率（agreement rate) 預(yù)測值預(yù)測值 似然比（似然比（likelihood ratio，LR) 診斷實驗的評價評價試驗的真實性試 驗 金標(biāo)準(zhǔn) 合計 病例 非病例 陽 性 a b a+b陰 性 c d c+d合 計 a+c b+d a+b+c+d假陰性率 c/a+c特異度 d/b+d靈敏度 a/a+c假陽性率 b/b+d診斷實驗的評價 r r （靈敏

7、度特異度）（靈敏度特異度）1 1 1 1（假陽性率假陰性率）（假陽性率假陰性率） r值范圍在值范圍在01之間之間 r越大，準(zhǔn)確性越高，與實際越符合越大，準(zhǔn)確性越高，與實際越符合正確診斷指數(shù)（正確診斷指數(shù)（Youdens index，r）診斷實驗的評價真實性指標(biāo) 預(yù)測值：指真陽（陰）性人數(shù)占試驗結(jié)果陽（陰）性人數(shù)的百分比，又稱驗后概率（PV）。 試 驗 金標(biāo)準(zhǔn) 合計 病例 非病例 陽 性 a b a+b陰 性 c d c+d合 計 a+c b+d a+b+c+d陰性預(yù)測值 d/c+d陽性預(yù)測值 a/a+b患病率a+c/a+b+c+d（驗前概率）診斷實驗的評價似然比似然比 (likelihood

8、ratio, LR)即病人中出現(xiàn)某種試驗結(jié)果的概率即病人中出現(xiàn)某種試驗結(jié)果的概率與非病人中出現(xiàn)相應(yīng)結(jié)果的概率之與非病人中出現(xiàn)相應(yīng)結(jié)果的概率之比，說明病人出現(xiàn)該結(jié)果的機(jī)會是比，說明病人出現(xiàn)該結(jié)果的機(jī)會是非病人的多少倍。非病人的多少倍。是一個相對穩(wěn)定的綜合性評價指標(biāo)，是一個相對穩(wěn)定的綜合性評價指標(biāo)，不受患病率影響。不受患病率影響。診斷實驗的評價u 陽性似然比陽性似然比 篩檢試驗結(jié)果的真陽性率與假陽性篩檢試驗結(jié)果的真陽性率與假陽性率之比。比值越大診斷價值越高。率之比。比值越大診斷價值越高。特異度靈敏度假陽性率真陽性率1LR診斷實驗的評價u 陰性似然比陰性似然比 篩檢試驗結(jié)果的假陰性率與真陰性篩檢試驗

9、結(jié)果的假陰性率與真陰性率之比。比值越小診斷價值越高。率之比。比值越小診斷價值越高。特異度靈敏度真陰性率假陰性率1LR診斷實驗的評價評價結(jié)果 靈敏度=93.33% 假陰性率=6.67% 特異度=91.91% 假陽性率=8.09% 約登指數(shù)=0.8524 陽性似然比=11.54 陰性似然比=0.07 陽性預(yù)測值=63.6% 陰性預(yù)測值=98.9%診斷實驗的評價A人數(shù)測量值正常人 病人診斷點正常人與病人的測量值呈獨立分布正常人與病人的測量值呈獨立分布 評價指標(biāo)的相互關(guān)系及其應(yīng)用診斷實驗的評價診斷點正常人 病人B人數(shù)測量值正常人與病人的測量值呈連續(xù)分布正常人與病人的測量值呈連續(xù)分布評價指標(biāo)的相互關(guān)系及

10、其應(yīng)用診斷實驗的評價C人數(shù)測量值重疊正常人 病人正常人與病人的測量值呈交叉分布正常人與病人的測量值呈交叉分布評價指標(biāo)的相互關(guān)系及其應(yīng)用診斷實驗的評價評價指標(biāo)的相互關(guān)系及其應(yīng)用 靈敏度和特異度P88診斷實驗的評價診斷實驗的評價確定截斷值（確定截斷值（cut-off value)的的原則原則 1漏掉一個可能病例的后果漏掉一個可能病例的后果 如果該病早期診斷和早期治療可獲得很好的治療效果，否則后果嚴(yán)重，此時應(yīng)選擇靈敏度高的判定標(biāo)準(zhǔn)，盡可能把所有的可疑病人都診斷出來。 2.如果早期治療的效果與臨床期才開始治療的效果相近，則應(yīng)選擇特異度高的判斷標(biāo)準(zhǔn)，盡量減少假陽性。 3.假陽性與假陰性的重要性相等假陽性

11、與假陰性的重要性相等 當(dāng)出現(xiàn)這種情況時，可選擇靈敏度與特異度相等，或使正確指數(shù)最大的分界值作為判斷標(biāo)準(zhǔn)。 判斷標(biāo)準(zhǔn)左移時，靈敏度增加，特異度下降，假陽性增加，將使診斷成本增加。 判斷標(biāo)準(zhǔn)右移時，特異度增加，靈敏度下降，假陰性增加，將使漏診率增加。診斷實驗的評價 預(yù)測值的影響因素預(yù)測值的影響因素:特異度、靈敏度、患病率 靈敏度患病率陽性預(yù)測值 靈敏度患病率+(1特異度）(1靈敏度） (1患病率)特異度陰性預(yù)測值 (1患病率)特異度+患病率 (1靈敏度）診斷實驗的評價患病率與預(yù)測值的關(guān)系患病率患病率：患病率越高，陽性預(yù)測值越高：患病率越高，陽性預(yù)測值越高診斷實驗的評價案例關(guān)聯(lián)分析 同年，Smith

12、 C等人選擇317例乳腺觸診有可疑包塊且鉬鈀X線檢查異常的女性病例，同樣先行FNA檢測，隨后在同側(cè)乳腺做了手術(shù)活檢，結(jié)果見表2和表3。 表2 FNA檢測與手術(shù)活檢診斷乳腺癌的比較（FNA可疑可判為陽性） 手術(shù)活檢FNA檢測 乳腺癌 非乳腺癌 合計 陽性 113 15 128 陰性 8 181 189 合計 121 196 317 表3 FNA檢測與手術(shù)活檢診斷乳腺癌的比較（FNA可疑可判為陰性） 手術(shù)活檢FNA檢測 乳腺癌 非乳腺癌 合計 陽性 91 0 92 陰性 30 196 226 合計 121 196 317診斷實驗的評價患病率患病率(%)(%)靈敏靈敏度度(%)(%)特異特異度度(%

13、)(%)診斷診斷結(jié)果結(jié)果診斷診斷 合計合計 陽性預(yù)陽性預(yù)測值測值(%)(%)陰性預(yù)陰性預(yù)測值測值(%)(%)乳腺癌乳腺癌非乳腺癌非乳腺癌13939214 82264 191 9299合計合計1599114389392113 1512888 818118996合計合計121196317387510091 0 911003019622687合計合計121196317靈敏度、特異度和患病率不同時乳腺癌診斷結(jié)果靈敏度、特異度和患病率不同時乳腺癌診斷結(jié)果診斷實驗的評價ROC曲線受試者工作特性曲線受試者工作特性曲線 診斷性試驗用計量資料表達(dá)結(jié)果時，將測量值按大小順序排列，可用任意測量值作為正常與異常的閾值

14、計算敏感度和特異度。ROC曲線能將每個敏感度/假陽性率(1-特異度)對子，用圖形表示出來，直觀地表示整個敏感度/特異度變動范圍及其特征。 ROC曲線下面積應(yīng)在0.51.0之間。 0.5：準(zhǔn)確性較低 0.7：準(zhǔn)確性中等 0.9：準(zhǔn)確性較高 對ROC曲線下的面積應(yīng)作顯著性檢驗顯著性檢驗。診斷實驗的評價ROC曲線：曲線：確定試驗最佳診斷閾值（圖中最接近左上方的A點）診斷實驗的評價CPK和EKG診斷心梗ROC曲線比較 假陽性率假陽性率真陽性率（靈敏度）比較兩種或兩種以上試驗的價值診斷實驗的評價案例分析 甲乙兩位放射科醫(yī)生閱讀相同的乳腺癌鉬鈀X線攝片100張，讀片結(jié)果列于表4。 表4 兩位放射科醫(yī)生對1

15、00張乳腺鉬鈀X線攝片的讀片結(jié)果 甲醫(yī)生乙醫(yī)生 正常 異常 合計 正常 40（a） 20(b) 60(r1) 異常 4 (c) 36(d) 40(r2) 合計 44 (c1) 56(c2) 100(N) 問題：甲乙兩醫(yī)生用鉬鈀X線攝片診斷乳腺癌的可靠性如何？診斷實驗的評價二、可靠性(reliability) 可靠性（信度、重復(fù)性或精密度）：是指在相同的條件下，重復(fù)試驗獲得相同結(jié)果的穩(wěn)定程度。 影響試驗可靠性的因素有： （1）受試對象自身的生物學(xué)變異 （2）觀察者的變異：包括觀察者間誤差和觀察者自身誤差。 （3）試驗方法的變異：所使用的儀器、藥品和試劑的變異。診斷實驗的評價診斷試驗可靠性的評價指

16、標(biāo)計量資料：變異系數(shù) CV= s /計數(shù)資料：符合率、卡帕（Kappa）值 a+d 符合率 = 100% N 診斷實驗的評價Kappa值計算 簡化公式簡化公式 N(a+d)-(r1c1+r2c2) Kappa= N2-(r1c1+r2c2)觀察一致率觀察一致率(Po)= a+d/N機(jī)遇一致率機(jī)遇一致率(Pc)= (r1 c1)/N+ (r2 c2)/N/N 非機(jī)遇一致率非機(jī)遇一致率=1-Pc 實際一致率實際一致率=Po-Pc Kappa值值=Po-Pc/1-Pc診斷實驗的評價Kappa值判斷標(biāo)準(zhǔn) Kappa值 一致性強(qiáng)度 0.40 差 0.40 中、高度 0.75 極好本案例：符合率=76%

17、Kappa =0.53診斷實驗的評價第三節(jié)第三節(jié) 提高試驗效率的提高試驗效率的方法方法一、選擇患病率高的人群（增加驗前概率）二、聯(lián)合試驗、聯(lián)合試驗 并聯(lián)試驗并聯(lián)試驗（parallel test）：只要有一個試驗結(jié)只要有一個試驗結(jié)果為陽性者即定為陽性。該法可以提高靈敏度。果為陽性者即定為陽性。該法可以提高靈敏度。 平行平行 串聯(lián)試驗（串聯(lián)試驗（serial test）：）：只有所有試驗結(jié)果為只有所有試驗結(jié)果為陽性才可定為陽性。該法可以提高特異度。陽性才可定為陽性。該法可以提高特異度。 系列系列P94診斷實驗的評價試試驗驗對對象象A方法方法C方法方法B方法方法陰陰性性陽陽性性并聯(lián)試驗?zāi)Ｊ綀D并聯(lián)試驗

18、模式圖診斷實驗的評價A方法方法試試驗驗對對象象B方法方法C方法方法陽陽性性陰陰性性串聯(lián)試驗?zāi)Ｊ綀D串聯(lián)試驗?zāi)Ｊ綀D診斷實驗的評價平平行行試試驗驗與與系系列列試試驗驗對對靈靈敏敏度度、特特異異度度及及預(yù)預(yù)測測值值的的影影響響 （現(xiàn)現(xiàn)患患率率 20%） 靈靈敏敏度度 (%) 特特異異度度 (%) 陽陽性性預(yù)預(yù)測測值值 (%) 陰陰性性預(yù)預(yù)測測值值 (%) A 試試驗驗 80 60 33 92 B 試試驗驗 90 90 69 97 A 或或 B(平平行行) 98 54 35 99 A 和和 B(系系列列) 72 96 82 93 診斷實驗的評價平行試驗：平行試驗：總靈敏度靈總靈敏度靈(A)靈靈(B) （

19、1靈靈(A) ） 總特異度特總特異度特(A)特特(B)系列試驗：系列試驗：總靈敏度靈總靈敏度靈(A)靈靈(B)總特異度特總特異度特(A)特特(B) （1特特(A) ）前提：兩個實驗相互獨立。前提：兩個實驗相互獨立。診斷實驗的評價 確定“金標(biāo)準(zhǔn)” 選擇研究對象 確定樣本量 試驗結(jié)果與金標(biāo)準(zhǔn)分類結(jié)果比較篩檢試驗的研究設(shè)計要點篩檢試驗的研究設(shè)計要點診斷實驗的評價1.確定“金標(biāo)準(zhǔn)” 金標(biāo)準(zhǔn)：指可靠的、公認(rèn)的、能正確地將有病和無病區(qū)分開的診斷方法。q冠心病冠心病: 冠狀動脈造影冠狀動脈造影q腫瘤腫瘤: 病理學(xué)檢查病理學(xué)檢查q不明原因的腹痛不明原因的腹痛: 手術(shù)探查手術(shù)探查 金標(biāo)準(zhǔn)具有創(chuàng)傷性，因此探求一些

20、新的診斷方金標(biāo)準(zhǔn)具有創(chuàng)傷性，因此探求一些新的診斷方法（診斷試驗），并比較其與金標(biāo)準(zhǔn)的差別、得失法（診斷試驗），并比較其與金標(biāo)準(zhǔn)的差別、得失及推廣價值有現(xiàn)實意義。及推廣價值有現(xiàn)實意義。 診斷實驗的評價2. 選擇研究對象選擇研究對象臨床各型臨床各型 ( 輕、中、重輕、中、重 ) 臨床各期臨床各期 ( 早、中、晚早、中、晚 ) 有無并發(fā)癥有無并發(fā)癥對照組對照組* 健康人健康人* 未患該病而患其他疾病的病人未患該病而患其他疾病的病人病例組病例組診斷實驗的評價待評價篩檢試驗的靈敏度待評價篩檢試驗的靈敏度待評價篩檢試驗的特異度待評價篩檢試驗的特異度容許誤差容許誤差：0.050.05或或0.010.013

21、3、樣本含量估算、樣本含量估算診斷實驗的評價當(dāng)靈敏度和特異度均接近當(dāng)靈敏度和特異度均接近50%50%時，可用時，可用近似下列公式計算樣本量。近似下列公式計算樣本量。 當(dāng)靈敏度或特異度小于當(dāng)靈敏度或特異度小于20%20%或大于或大于80%80%時，時，因其趨向偏態(tài)分布，可用下列公式計算因其趨向偏態(tài)分布，可用下列公式計算樣本量。樣本量。 ppun)1 ()(221 )1 (/(sin/3 .57ppun 靈敏度用于估計病例組人數(shù)，特異度用于估計對照組人數(shù)。 兩組樣本量都至少在30例以上，才能保證結(jié)果受機(jī)會影響的程度在可接受的范圍內(nèi)。診斷實驗的評價4.確定篩檢試驗的閾值 均數(shù)加減標(biāo)準(zhǔn)差法： 正態(tài)分布時 均數(shù)2