定性試驗(yàn)評(píng)價(jià)和檢測(cè)結(jié)果一致性檢驗(yàn)的統(tǒng)計(jì)分析方法

1、2009PerkIPerkinElmerFortheBetterHUMANHEALTH|ENVIRONMENTALHEALTH體外診斷醫(yī)療器械分析性能評(píng)估一一CLSIEP文件介紹（二）Sep.30,2013JerryHuangJnElmer“分析性能驗(yàn)證”的意義廠家評(píng)估檢測(cè)系統(tǒng)的性能;滿足法規(guī)；CE-Markingo用戶滿足法規(guī)（醫(yī)療機(jī)構(gòu)臨床實(shí)驗(yàn)室管理辦法）；IS015189實(shí)驗(yàn)室認(rèn)可。fCLSIEP文件介名定性測(cè)定的性能分析(CLSIEP12-A2)檢測(cè)結(jié)果一致性檢驗(yàn)的統(tǒng)計(jì)分析方法fCLSIEP文件介名定性測(cè)定的性能分析(CLSIEP12-A2)1、定性試驗(yàn)評(píng)價(jià)指標(biāo)特異性；靈敏度；測(cè)定下限；

2、重復(fù)性；準(zhǔn)確性；抗干擾能力。定性檢測(cè)系統(tǒng)方法學(xué)驗(yàn)證流程3、Cutoff重復(fù)性和測(cè)定下限驗(yàn)證臨界點(diǎn)的定義同樣一份樣本，在多次重復(fù)實(shí)驗(yàn)中各有50%的幾率獲得陽(yáng)性或陰性的結(jié)果時(shí)該分析物的濃度。臨界點(diǎn)與試劑盒陽(yáng)性反應(yīng)判斷值(Cutoff值)的區(qū)別a)這里的臨界點(diǎn)指的是一個(gè)處于試劑檢測(cè)臨界點(diǎn)的樣本濃度，其一旦確定,是不變的；b)試劑盒Cutoff值指的是一個(gè)判斷某一次測(cè)定結(jié)果的由陰性和陽(yáng)性對(duì)照信號(hào)值按一定公式計(jì)算出來(lái)的信號(hào)值，每次測(cè)定都會(huì)有所差異。臨界點(diǎn)的(精密度)重復(fù)性指的是什么？是為正在評(píng)價(jià)的檢測(cè)試劑或系統(tǒng)建立分析物的臨界濃度(C50),并且確保臨界濃度土20%的范圍處于95%區(qū)間內(nèi)(C5-C95)

3、。Lower 95% IntervalCutoffUpper 95%Interval3、Cutoff重復(fù)性和測(cè)定下限驗(yàn)證一臨界值（Cutoff）：實(shí)驗(yàn)結(jié)果處于（陰、陽(yáng)性）分界點(diǎn)時(shí)的樣品中分析物濃度值，低于此值，定性實(shí)驗(yàn)的結(jié)果為陰性，高于此值，定性實(shí)驗(yàn)的結(jié)果為陽(yáng)性。對(duì)定性實(shí)驗(yàn)來(lái)講，臨界值是唯一的醫(yī)學(xué)決定水平，當(dāng)樣品中被測(cè)物濃度處于臨界水平時(shí)，定性實(shí)驗(yàn)重復(fù)檢查同一樣品，將產(chǎn)生50%的陽(yáng)性結(jié)果和50%的陰性結(jié)果。當(dāng)樣品濃度在臨界值以上增加時(shí)，陽(yáng)性結(jié)果比率增加；而當(dāng)樣品濃度在臨界值以下減低時(shí)，陰性結(jié)果比率增加。臨床界值的95%區(qū)間：在樣品濃度高于臨界值并重復(fù)實(shí)驗(yàn)產(chǎn)生95%陽(yáng)性結(jié)果和濃度低于臨界值并產(chǎn)生

4、95%陰性結(jié)果之間的樣品濃度范圍。一般通過(guò)重復(fù)測(cè)定臨界值附近及“95%區(qū)間”以外的樣品，以得到一致性結(jié)果的能力，來(lái)評(píng)價(jià)該試驗(yàn)方法的優(yōu)良。不同試驗(yàn)檢測(cè)同一樣本的臨界值“95%區(qū)間”及能產(chǎn)生穩(wěn)定結(jié)果的濃度范圍可能不同，區(qū)分這種差異的能力對(duì)試驗(yàn)方法的評(píng)價(jià)將十分有用。4、精密度曲線1不精密度曲線尸 - l - I L L - l 映兩初Ma 6 66 6 36 sfn$ay Ewsod WSJodActual Concentration兩種不同方法的不精密度曲線比較比對(duì)試劑的C50和C5C95區(qū)間能反映試劑的靈敏度和不精密度。試齊I批內(nèi)與批間C50的差異越小，說(shuō)明試劑的重復(fù)性越好。C50濃度也反映出試

5、劑靈敏度的差異，C50濃度小的試劑對(duì)低濃度的標(biāo)本檢出能力強(qiáng)，檢測(cè)靈敏度較高。在同C50下C5C95范圍越小，說(shuō)明試劑的精密性越好。5、精密度評(píng)價(jià)驗(yàn)證步驟.制備足夠40次重復(fù)檢測(cè)的3份樣本：分別為處于臨界濃度、高于臨界濃度20%和低于臨界濃度20%的樣本。.重復(fù)檢測(cè)樣本40次，確定每一份樣本結(jié)果為陽(yáng)性和陰性的百分比。.評(píng)價(jià)臨界濃度是否準(zhǔn)確？評(píng)價(jià)+20%至-20%的濃度范圍是否包含于、位于或者超出這種方法的95%區(qū)間？40次測(cè)定的陽(yáng)性結(jié)果C50準(zhǔn)確性判定27/40(67.5%)(14-26)/40(35%65%)正確Cso的可信度取決于實(shí)際檢測(cè)結(jié)果以及檢測(cè)的樣本數(shù)量。6、精密度評(píng)價(jià)驗(yàn)證步驟類(lèi) 型樣

6、本 濃度陰性或陽(yáng)性結(jié)果所占比例結(jié)論1+20%陽(yáng)性結(jié)果= 35/40 (87.5%)1） -20%+20%濃度范圍在CsC區(qū)間之內(nèi)：2）用該方法檢測(cè)濃度超過(guò)C5 20%的樣本檢 測(cè)結(jié)果不一致：3）此結(jié)論錯(cuò)誤率5%,需使用更寬濃度范圍的樣 木（如30%）進(jìn)行另外的試驗(yàn)。-20%陰性結(jié)果= 35/40 (87.5%)2+20%陽(yáng)性結(jié)果之36/40（90%）1） -20%+20%濃度范圍包含了 CsC95區(qū)間：2）用該方法檢測(cè)濃度超過(guò)C50 20%的樣本檢 測(cè)結(jié)果一致。-20%陰性結(jié)果之36/40（90%）3+20%陽(yáng)性結(jié)果之36/40（90%）1） -20%+20%濃度范圍只是部分在CsC95 區(qū)間

7、內(nèi)。（+20%包含了備5區(qū)間，但-20%濃 度的樣本在C5C區(qū)間內(nèi)）：2）用該方法檢測(cè)濃度超過(guò)C50 +20%的樣本檢 測(cè)結(jié)果一致：濃度低于Cso-20%的樣本用該 方法卻不一定能得到一致結(jié)果：3）需要用低于C50更大百分率濃度的樣本（如 -30%）進(jìn)行補(bǔ)充試驗(yàn)。-20%陰性結(jié)果= 35/40 (87.5%)4+20%陽(yáng)性結(jié)果= 35/40 (87.5%)1） -20%+20%濃度范圍只是部分在C$C95 區(qū)間內(nèi)。（+20臟ECsC95區(qū)間內(nèi)，但-20%包含 jCsC95區(qū)間）：2）用該方法檢測(cè)濃度低于Cso-20%的樣本檢 測(cè)結(jié)果一致：濃度超過(guò)Cso + 20%的樣本用該 方法卻不一定能得到

8、一致結(jié)果：3）需耍用高于C50更大百分率濃度的樣本（如 +30%）進(jìn)行補(bǔ)充試驗(yàn)。-20%陰性結(jié)果236/40(90%)如果C$0估計(jì)不準(zhǔn)，那么-20%到+20與濃度范闈也會(huì)變化，這將導(dǎo)致濃度范闈的一側(cè)落在JC95區(qū)間之外。臨界濃度如果準(zhǔn)確，樣品重復(fù)檢測(cè)應(yīng)獲得50%的陽(yáng)性和50%的陰性結(jié)果。如果+20%的樣本獲得陽(yáng)性結(jié)果的次數(shù)295%,并且-20%的樣本獲得陰性結(jié)果的次數(shù)之95%,那么這個(gè)范圍位于或超出這種方法的95%區(qū)間。因而,距離臨界濃度之20%的樣本可用此種方法獲得一致的結(jié)果（測(cè)定下限）。如果+20%的樣本獲得陽(yáng)性結(jié)果的次數(shù)95%,并且/或20%的樣本獲得陰性結(jié)果的次數(shù)95%,那么這個(gè)范圍

9、在這種方法的95%區(qū)間內(nèi)。因而，距離臨界濃度20%的樣本用此種方法不會(huì)獲得一致的結(jié)果，并且此種方法的95%區(qū)間距離臨界濃度20%。在一種方法的95%區(qū)間距離臨界濃度20%的情況下，需要做另一個(gè)或一系列實(shí)驗(yàn)以確定真正的95%區(qū)間。入特異性驗(yàn)證特定病原體以外感染性疾病患者的樣本；含有干擾性物質(zhì)的樣本：類(lèi)風(fēng)濕因子（RF）陽(yáng)性、含異嗜性抗體、溶血、脂血、高膽紅素樣本；交叉反應(yīng)物質(zhì)的干擾；健康人群樣本。8、準(zhǔn)確性驗(yàn)證（方法比較）1）另一種定性方法（如使用者目前正在使用的方法）；2）“金標(biāo)準(zhǔn)”方法；3）某種定量方法或臨床診斷。不一致結(jié)果的處理如果比較方法不是100%準(zhǔn)確，可以用“金標(biāo)準(zhǔn)”或“參考方法”來(lái)檢

10、測(cè)在試驗(yàn)和比較方法間產(chǎn)生差異的樣本。參考血清盤(pán)1）曾經(jīng)被檢測(cè)過(guò)的、或者被成熟方法檢測(cè)的，或臨床診斷中有意義的臨床樣本對(duì)于評(píng)價(jià)定性方法來(lái)說(shuō)很有價(jià)值；2）陽(yáng)性樣本濃度高低不等，具有代表性，可占整個(gè)血清盤(pán)樣本數(shù)的50%；3）陰性樣本可含有干擾物質(zhì)，可占整個(gè)血清盤(pán)樣本數(shù)的50%。9、方法學(xué)比較結(jié)果的計(jì)算1)、已知診斷結(jié)果2)、未知診斷結(jié)果試驗(yàn)方法和金標(biāo)準(zhǔn)比較的2X2列聯(lián)表測(cè)定結(jié)果對(duì)比方法診斷結(jié)果金標(biāo)準(zhǔn)(D)陽(yáng)性陰性總數(shù)病例(D+)對(duì)照(D_)總數(shù)試驗(yàn)方法陽(yáng)性aba+b試驗(yàn)方法(T)陽(yáng)性(T+)TPFPTP+FP陰性Cdc+d陰性(T_)FNTNFN+TN總數(shù)a+cb+da+b+c+d=n敏感度估計(jì)=1

11、00% X TP/ (TP + FN)特異性估計(jì)=100%X TN/ (FP+TN)患病率=100% X (TP + FN) /N陽(yáng)性預(yù)測(cè)值(PVP) = 100% X TP/ (TP + FP)陰性預(yù)測(cè)值(PVN) = 100% X TN/ (FN + TN)效能估計(jì)值(預(yù)測(cè)效率)=100% X (TP + TN) /NCLW EP12瞰陽(yáng)性一致率=a/(a+c)X100%陰性一致率=d/(b+d)X100%總一致率=(a+d)/(a+b+c+d)X100%一致率的95斷平分可信區(qū)間計(jì)算公式：100%-Q2)/Q3，100%(Qi+Q2)/Q3對(duì)于陽(yáng)性一致率：Qi=2a+1.962=2a+3

12、.84Q2=1.96XJ1.962+4ac/(a+c)=1.96XJ3.84+4ac/(a+c)Q3=2(a+c+1.962)=2(a+c)+7.68對(duì)于陰性一致率：Qi=2d+1.962=2d+3.84Q2=1.96XJ1.962+4bd/(b+d)=1.96X，3.84+4bd/(b+d)Q3=2(b+d+1.962)=2(b+d)+7.68對(duì)于總一致率：Qi=2(a+d)+1.962=2(a+d)+3.84Q2=1.96XJ1.962+4(a+d)(b+c)/n=1.96XJ3.84+4(a+d)(b+c)/nQ3=2(n+1.962)=2n+7.68CLSIEP文件介名f檢測(cè)結(jié)果一致性

13、檢驗(yàn)的統(tǒng)計(jì)分析方法定性測(cè)定結(jié)果間的一致性評(píng)價(jià).Kappa一致性檢驗(yàn)；.配對(duì)四格表資料的卡方檢驗(yàn)。定量測(cè)定結(jié)果間的一致性評(píng)價(jià).配對(duì)t檢驗(yàn).相關(guān)系數(shù).組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficients,ICC).Bland-Altman法(方法學(xué)比對(duì)).ATE/LER區(qū)域法評(píng)價(jià)一致性定性測(cè)定結(jié)果間的一致性評(píng)價(jià)1.Kappa一致性檢驗(yàn)；測(cè)定結(jié)果對(duì)比方法頻率陽(yáng)性陰性總數(shù)試驗(yàn)方法陽(yáng)性aba+b4=Ai/n陰性Cdc+d。2=Az/n總數(shù)a+cb+da+b+c+d=n頻率瓦=Bi/nb2=B2/nKappa系數(shù)(K)計(jì)算式中，旦為觀察一致比，己為期望一致比,旦-9為實(shí)際一致

14、率，1一旦為非期望一致比,4為列表中左上角到右下角主對(duì)角線上的實(shí)際值，4、與分別為第i行、第i列的理論值，生、瓦分別為第i行、第i列的理論頻率，n為總觀察例數(shù)。Kappa值的假設(shè)檢驗(yàn)（U檢驗(yàn)）KHo：K=0,Ho：KWO,a=0.05,U=,=J-（l-兄）/。（1一2產(chǎn)Sk式中，U為標(biāo)準(zhǔn)正態(tài)百分位數(shù)，n為總觀察例數(shù)，Sk為K的標(biāo)準(zhǔn)誤，K除以&構(gòu)造出U統(tǒng)計(jì)量,進(jìn)而可對(duì)一致性進(jìn)行假設(shè)檢驗(yàn)。K的95%可信區(qū)間為（K-1.96Sk，K+1.96SaOK的99%可信區(qū)間為（K-2.58Sk，K+2.58SaOKappa0.8,一致性為優(yōu)，認(rèn)為兩系統(tǒng)等效；0.6VKappaK0.8,一致性良好，需進(jìn)行陽(yáng)

15、性和陰性符合率比較并進(jìn)行統(tǒng)計(jì)學(xué)分析：0.4Kappa一致性中等，需進(jìn)行陽(yáng)性和陰性符合率比較并進(jìn)行統(tǒng)計(jì)學(xué)分析：Kappa定量測(cè)定結(jié)果間的一致性評(píng)價(jià).相關(guān)系數(shù),相關(guān)系數(shù)是用于表示兩定量資料線形相關(guān)關(guān)系的密切程度，是基于測(cè)量個(gè)體間變異以及測(cè)量方法間變異計(jì)算得到的；/相關(guān)系數(shù)反映的是兩變量線性關(guān)系的密切程度而非一致性；/相關(guān)系數(shù)對(duì)系統(tǒng)誤差是不敏感；,相關(guān)系數(shù)的假設(shè)檢驗(yàn)是與0進(jìn)行比較而非1,所以假設(shè)檢驗(yàn)結(jié)果對(duì)于一致性評(píng)價(jià)的意義也不大。.組內(nèi)相關(guān)系數(shù)(intra-classcorrelationcoefficients,ICC)反映被測(cè)量者變異占總變異的比例。ICC=&/+61+61)其中，除為被測(cè)量者變

16、異，晶為由系統(tǒng)誤差造成的變異，能為由隨機(jī)誤差造成的變異。可以看出，ICC值介于01之間，一般認(rèn)為:ICC0.75則信度“佳”；ICCC0.40則信度“差”；介于兩者之間一般認(rèn)為良好。ICC大意味著系統(tǒng)誤差與隨機(jī)誤差引起的變異均小。ICC的假設(shè)檢驗(yàn)也是與0比較而非與1比較，所以假設(shè)檢驗(yàn)結(jié)果對(duì)一致性判斷意義不大。ICC的應(yīng)用受到測(cè)量值范圍的局限，有時(shí)也會(huì)做出錯(cuò)誤的判斷。定量測(cè)定結(jié)果間的一致性評(píng)價(jià)4.Bland-Altman法主要原理是根據(jù)兩種儀器的測(cè)量結(jié)果,計(jì)算出一致性接線（Limits of Agreement,LoAo指量結(jié)果差值D的”均值2標(biāo)準(zhǔn)差），并用圖形直觀地反映，最后結(jié)果臨床實(shí)際意義，

17、確定專(zhuān)業(yè)界限，從而得出兩種儀器的測(cè)量結(jié)果是否具有良好的一致性；界值；有臨床意義的一致性界限（由臨床醫(yī)生決定）；樣本量越大，LoAQ范圍越小，越容易得到一致性較好的結(jié)論；對(duì)數(shù)據(jù)的分布情況也有一些要求，即數(shù)據(jù)的覆蓋范圍盡量寬一些，太窄的話容易得到錯(cuò)誤的結(jié)論，也不容易發(fā)現(xiàn)是否存在差值隨均值成比例變化的情形；主要用于新方法與金標(biāo)準(zhǔn)之間的比較，或?qū)煞N測(cè)量?jī)x器進(jìn)行一致性評(píng)價(jià)可以判斷儀器出具數(shù)據(jù)的可替代性；應(yīng)對(duì)測(cè)量的可重復(fù)性進(jìn)行分析。要求至少要有一種測(cè)量方法對(duì)測(cè)量對(duì)象沒(méi)有影響,以減小因測(cè)量對(duì)象本身的不一致造成數(shù)據(jù)的差別，影響對(duì)測(cè)量方法和儀器的分析。Bland-Altman法的圖形是兩組測(cè)量值差值對(duì)應(yīng)于測(cè)量

18、值均值的散點(diǎn)圖，又稱(chēng)DA圖，其中：縱軸：D=Xa-Xb橫軸：A=（Xq+XQ/2|定量測(cè)定結(jié)果、間的一致性評(píng)價(jià)4. Bland-A It man 法151050+ 1 96 SD11 2Mean16-1 96 SD-10-14.5-15-206080100120140160AVERAGEofTEST1andTEST2同時(shí)，考慮到抽樣誤差，除了LoA,還要有LoA的可信區(qū)間(LoACI)o計(jì)算LoACI所對(duì)應(yīng)的標(biāo)準(zhǔn)誤差一般為1.71SE(d),即可計(jì)算出兩條一致性界限分別對(duì)應(yīng)的可信區(qū)間。當(dāng)D與A獨(dú)立時(shí)(兩種測(cè)量數(shù)據(jù)具有方差齊性，差值不會(huì)系統(tǒng)地隨測(cè)量尺度的擴(kuò)大而變化，差值都服從正態(tài)分布)一致性界限

19、可作為評(píng)價(jià)一致性的指標(biāo)。如果兩種儀器測(cè)量結(jié)果的差異位于一致性界限內(nèi)，并且在臨床上是可以接受的，則可以認(rèn)為這兩種檢測(cè)方法具有良好的一致性，可互換；如果兩種儀器測(cè)量結(jié)果的差異超出臨床界值或者在臨床上不可以接受，那么可以認(rèn)為這兩種檢測(cè)方法一致性較差。當(dāng)D與A本獨(dú)立時(shí)(即兩種測(cè)量數(shù)據(jù)不具方差齊性，差值隨著度量等級(jí)的變化而變化)不能簡(jiǎn)單地計(jì)算一致性界限，需要進(jìn)行回歸分析，然后根據(jù)Bradley-Blackwood檢驗(yàn)結(jié)果判斷兩種測(cè)量數(shù)據(jù)的一致性。當(dāng)數(shù)據(jù)的差值與均值成比例變化時(shí)，需要對(duì)原始數(shù)據(jù)進(jìn)行對(duì)數(shù)轉(zhuǎn)換，然后再進(jìn)行作圖分析。數(shù)據(jù)進(jìn)行對(duì)數(shù)變化并不能徹底消除差值與均值成比例的問(wèn)題。這樣做可以使得LoA與Lo

20、ACI明顯變窄，相比較于采用原始數(shù)據(jù)有更大的優(yōu)勢(shì)。Bland-Altman法評(píng)價(jià)一致性既考慮了隨機(jī)誤差也考慮了系統(tǒng)誤差，同時(shí)可以結(jié)合專(zhuān)業(yè)意義進(jìn)行判斷，具有獨(dú)特的優(yōu)勢(shì)。定量測(cè)定結(jié)果間的一致性評(píng)價(jià)5.ATE/LER區(qū)域法評(píng)價(jià)一致性ATE/LER區(qū)域法是FDA推薦用于評(píng)價(jià)一致性的新指標(biāo)，主要適用于定量資料；主要原理是分析一種儀器的測(cè)量結(jié)果與另一種儀器測(cè)量結(jié)果的總體吻合度，并用圖形直觀地反映這一結(jié)果，最后結(jié)合臨床意義，得出兩種測(cè)量方法是否具有良好的一致性；圖形中各名區(qū)域部分的劃分需要臨床專(zhuān)家和統(tǒng)計(jì)學(xué)專(zhuān)家共同做出判斷，以制定臨床界值；當(dāng)兩種檢測(cè)方法完全一致時(shí)，散點(diǎn)應(yīng)分布在圖中均等線Y二X上；結(jié)合臨床意義可將圖形劃分為三個(gè)區(qū)域：ATE區(qū)域：圍繞Y=X附近的白色區(qū)域，此區(qū)域內(nèi)誤差在臨床上可以接受，就總體而言，觀察對(duì)象落入ATE區(qū)域內(nèi)應(yīng)超過(guò)95%；LER區(qū)