試驗數(shù)據(jù)異常值的檢驗及剔除方法

1、目錄摘要 . .關(guān)鍵詞 .1 引言 . .2 異常值的判別方法 .檢驗（ 3S）準則 . .狄克松（ Dixon ）準則 . .格拉布斯（ Grubbs）準則 .指數(shù)分布時異常值檢驗.萊茵達準則（ PanTa） . .肖維勒準則（ Chauvenet） .3實驗異常數(shù)據(jù)的處理.4結(jié)束語 .參考文獻.錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。錯誤 ! 未定義書簽。試驗數(shù)據(jù)異常值

2、的檢驗及剔除方法摘要：在實驗中不可避免會存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會掩蓋研究對象的變化規(guī)律和對分析結(jié)果產(chǎn)生重要的影響，異常值的檢驗與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標準差計算準確性的前提 . 本文簡述判別測量值異常的幾種統(tǒng)計學(xué)方法，并利用DPS軟件檢驗及剔除實驗數(shù)據(jù)中異常值，此方法簡單、直觀、快捷，適合實驗者用于實驗的數(shù)據(jù)處理和分析.關(guān)鍵詞： 異常值檢驗；異常值剔除；DPS；測量數(shù)據(jù)1 引言在實驗中，由于測量產(chǎn)生誤差， 從而導(dǎo)致個別數(shù)據(jù)出現(xiàn)異常，往往導(dǎo)致結(jié)果產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常. 而異常數(shù)據(jù)的出現(xiàn)會掩蓋實驗數(shù)據(jù)的變化規(guī)律，以致使研究對象變化規(guī)律異常，得出錯誤結(jié)論. 因

3、此，正確分析并剔除異常值有助于提高實驗精度.判別實驗數(shù)據(jù)中異常值的步驟是先要檢驗和分析原始數(shù)據(jù)的記錄、操作方法、實驗條件等過程，找出異常值出現(xiàn)的原因并予以剔除.1利用計算機剔除異常值的方法許多專家做了詳細的文獻報告 . 如王鑫，吳先球，用 Origin 剔除線形擬合中實驗數(shù)據(jù)的異常值；嚴昌順用計算機快速剔除含粗大誤差的“環(huán)值” ；運用了統(tǒng)計學(xué)中各種判別異常值的準則，各種準則的優(yōu)劣程度將體現(xiàn)在下文 .2 異常值的判別方法判別異常值的準則很多， 常用的有 t 檢驗（3S）準則、狄克松（Dixon ）準則、格拉布斯（ Grubbs）準則等準則 . 下面將一一簡要介紹 .2.1檢驗（ 3S）準則t 檢

4、驗準則又稱羅曼諾夫斯基準則，它是按 t 分布的實際誤差分布范圍來判別異常值，對重復(fù)測量次數(shù)較少的情況比較合理.基本思想：首先剔除一個可疑值，然后安t 分布來檢驗被剔除的值是否為異常值 .設(shè)樣本數(shù)據(jù)為 x1 , x2 , x3 Lxn ，若認 xj 為可疑值 . 計算余下 n1 個數(shù)據(jù)平均值1n1n1 )2xn 1 及標準差 sn 1，即 xn 11 i 1,ixi , sn 1( xi xnnjn2 i 1, i j.然后，按 t 分布來判別被剔除的值xj 是否為異常值 .若xjx(, )，則x j為異常值，應(yīng)予剔除，否則為正常值，應(yīng)予以保n 1留 . 其中： a 為顯著水平； n 數(shù)據(jù)個數(shù)；

5、 k(n, a) 為檢驗系數(shù)，可通過查表得到.2.2狄克松（ Dixon ）準則設(shè)有一組測量數(shù)據(jù)x1x2x3L xn ，且為正態(tài)分布，則可能為異常值的測量數(shù)據(jù)必然出現(xiàn)在兩端，即x1 或 xn .狄克松給出了不同樣本數(shù)量 n 時檢驗統(tǒng)計量的計算公式（見表 1）. 當顯著水平 a 為 1%或 5%時，狄克松給出了其臨界值 D1 a(n ) . 如果測量數(shù)據(jù)的檢驗統(tǒng)計量DD1 a ( n ) ，則 x1 為異常值，如果測量數(shù)據(jù)的檢驗統(tǒng)計量D 'D1 a (n) ，則 xn 為異常值 .表 1 狄克松檢驗統(tǒng)計量計算公式為統(tǒng)計量 D數(shù)據(jù)個數(shù) nx1 為可疑值 Dxn 為可疑值 D'3n

6、7(x2x1) / (xnx1)( xnxn 1 ) / ( xnx1)8n 10( x2x1 ) / ( xn 1x1 )(xnxn 1) / (xnx2 )11n 13( x3x1) / ( xn 1x1 )( xnxn 2 ) / (xnx2 )14n 30( x3x1 ) / ( xn 2x1 )(xnxn 2 ) / (xnx3 )2.3格拉布斯（ Grubbs）準則設(shè)有一組測量數(shù)據(jù)為正態(tài)分布，為了檢驗數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即 x1 x2 x3 L xn ，可能為異常值的測量數(shù)據(jù)一定出現(xiàn)在最大或最小的數(shù)據(jù)中 .若最小值 x1是可疑的，則檢驗統(tǒng)計量 G (x x1)

7、 / s . 式中 x 是均值、 s 是標準差，即 x1 nxsi,1n( xi x )2 .n i1n1 i 1對于檢驗統(tǒng)計量 G ，格拉布斯導(dǎo)出了其統(tǒng)計分布， 并給出了當顯著水平 a 為1%或 5%時的臨界值 G(1n ) ( n) . G(1n) (n) 稱格拉布斯系數(shù)，可通過抽查表得到. 當最小值 x1 或最大值 xn 對應(yīng)的檢驗統(tǒng)計量 G 大于臨界值時，則認為與之對應(yīng)的x1 或xn 為可疑異常值，應(yīng)予以剔除 .2.4指數(shù)分布時異常值檢驗設(shè)一組測量數(shù)據(jù)為指數(shù)分布，為了檢驗數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即 x1 x2 x3 L xn . 檢驗最小值或最大值是否為異常值的檢驗方

8、法如下：nn當樣本量 n 100 時，計算統(tǒng)計量 Tn(n )xn /xi及 Tn (1)x1 /xii 1i 1對于給定的顯著水平 a（通常?。┖蜆颖緮?shù)量 n ，通過查表得到 Tn (n) 及 Tn(1) 分別對應(yīng)的臨界值 Tn( n ) (1 a) 和 Tn(1) (a) . 若 Tn( n)Tn (n) (1a) 時，認為 xn 為異常值；若Tn (1)Tn(1) ( a) 時，認為 x1 為異常值 .當樣本容量 n100 時，計算統(tǒng)計量nEn()n(n1)(xnxn 1 ) / (xixn 1 ) 及i 1nEn (1)n(n1) x1 / (xi nx1 ) .i11對于給定顯著水平

9、 a 和樣本數(shù)量 n ，若 En()nF2,2 n2,1 a(n1)(an 11) ，則1判斷 xn 為異常值；若 En (1) F2,22n , a (n 1)(1) an 11 ，則判斷 x1 為異常值 .2.5萊茵達準則（ PanTa）n對于實驗數(shù)據(jù)測出值 x1, x2 , x3,L , xn ，求取其算術(shù)平均值 x1/ nxi及剩余i 1誤差值 vixix ，然后求出其均方根偏差(vi2/ n 1)1/2 .判別依據(jù)（假設(shè) v 服從正態(tài)分布）：xix3，則 xi 相對而言誤差較大，應(yīng)舍去；xix3， xi 為正常數(shù)據(jù)，應(yīng)該保留 .有概率論統(tǒng)計可知，如果誤差服從正要分布，誤差大于3的觀測

10、數(shù)據(jù)出現(xiàn)的概率小于，相當大于300 次觀測中有一次出現(xiàn)的可能. 萊茵達準則只是進行粗略的剔除，取舍的概率較小，可能將不合理的異常值保留.2.6肖維勒準則（ Chauvenet）次準則也是建立在實驗數(shù)據(jù)服從正態(tài)分布數(shù)據(jù)的參與誤差viZc，則剔除該數(shù)據(jù) . 其中. 假設(shè)多次測量的21/2(vi / n1)n 個測量值中，樣品容量為 n時的判別系數(shù)Zc3 ，彌補了萊茵達準則的不足，故此準則優(yōu)勝于萊茵達準則，但條件更為苛刻.3 實驗異常數(shù)據(jù)的處理對于測定中異常數(shù)據(jù)的處理，必須慎重考慮，不能憑預(yù)感任意刪除或添加.應(yīng)該從所學(xué)知識上考慮， 異常值有時能反映試驗中的某些新現(xiàn)象. 這類“異常值”正深化人們對客觀

11、事物的認識，如果隨意刪除它， 可能深入了解和發(fā)現(xiàn)新事物的一次機會，那么對學(xué)者深入研究非常可惜. 所以對任何異常數(shù)據(jù)都因首先在技術(shù)上尋找原因，如果在技術(shù)上發(fā)現(xiàn)原因，理應(yīng)舍去. 如在技術(shù)上無法作出判斷，卻可在上述準則中發(fā)現(xiàn)其高度異常，也因舍棄.其中，運用 DPS軟件進行異常數(shù)據(jù)的檢驗與剔除特別方便，而且不許編寫程序，它融合了 SPSS表格和 EXCELL表格，操作簡單，實用性強 . 如圖一下為DPS數(shù)據(jù)處理系統(tǒng)對話框 .圖一 數(shù)據(jù)處理系統(tǒng)對話框只要執(zhí)行菜單命令下的“數(shù)據(jù)分析異常值檢驗”彈出如圖二下圖的窗口，然后進行選擇檢驗分析方法及顯著水平，點擊確定即可 .圖二 用戶對話框在測定中，有時發(fā)現(xiàn)個別數(shù)據(jù)離群嚴重，上述檢驗原則為異常值，但它與其他測定值的差異在儀器的精度范圍內(nèi)，這種數(shù)據(jù)不應(yīng)舍去，應(yīng)予保留.而對于一些分析而言，需要估計總體參數(shù)，異常數(shù)據(jù)一般都要舍去 . 對于不同的之心度應(yīng)作相應(yīng)的處理，則要據(jù)實際情況而定 .4 結(jié)束語由上述可知，用DPS軟件進行異常值檢驗和剔除的過程簡單、直觀、快捷，適用于大眾學(xué)生進行各實驗數(shù)據(jù)的處理和分析. 將此軟件運用于實驗教學(xué)，可以使學(xué)生快速準確判斷實驗結(jié)果，也可以提高教學(xué)質(zhì)量.參考文獻1 王鑫，吳先球用 Origin 剔除線形擬合中實驗數(shù)據(jù)的異常值 J 山西師范大學(xué)學(xué)報，