試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法

1、 目錄 摘要 . I I. 關(guān)鍵詞 . I.I. 1 1 弓 I I 言 . .1 . 2 2異常值的判別方法 . . .1. 2.12.1 檢驗(yàn)3 3 司 準(zhǔn)那么 1. 2.22.2 狄克松DixonDixon準(zhǔn)WJ 2. 2.32.3 格拉布斯GrubbsGrubbs準(zhǔn)貝U . 2. 2.42.4 指數(shù)分布時異常值檢驗(yàn) 3. 2.52.5 萊茵達(dá)準(zhǔn)那么PanT PanT 3. 2.62.6 肖維勒準(zhǔn)貝U ChauvenetChauvenet . 4. 3 3 實(shí)驗(yàn)異常數(shù)據(jù)的處理 . 4. . 4 4 結(jié)束語 . 5. 參考文獻(xiàn) . 6. . 內(nèi)江師范學(xué)院本科學(xué)年論文 I 試驗(yàn)數(shù)據(jù)異常值的檢

2、驗(yàn)及剔除方法 摘要:在實(shí)驗(yàn)中不可防止會存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會 掩蓋研究對象的變化規(guī)律和對分析結(jié)果產(chǎn)生重要的影響，異常值的檢 驗(yàn)與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標(biāo)準(zhǔn)差計(jì)算準(zhǔn)確性的 前提.本文簡述判別測量值異常的幾種統(tǒng)計(jì)學(xué)方法， 并利用 DPSDPS 軟件檢 驗(yàn)及剔除實(shí)驗(yàn)數(shù)據(jù)中異常值，此方法簡單、直觀、快捷，適合實(shí)驗(yàn)者 用于實(shí)驗(yàn)的數(shù)據(jù)處理和分析. 關(guān)鍵詞：異常值檢驗(yàn)；異常值剔除；DPS;DPS;測量數(shù)據(jù)內(nèi)江師范學(xué)院本科學(xué)年論文 1 1 1 引言 在實(shí)驗(yàn)中，由丁測量產(chǎn)生誤差，從而導(dǎo)致個別數(shù)據(jù)出現(xiàn)異常，往往導(dǎo)致結(jié)果 產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常.而異常數(shù)據(jù)的出現(xiàn)會掩蓋實(shí)驗(yàn)數(shù)據(jù)

3、的變化 規(guī)律，以致使研究對象變化規(guī)律異常，得出錯誤結(jié)論 .因此，正確分析并剔除異 常值有助丁提高實(shí)驗(yàn)精度. 判別實(shí)驗(yàn)數(shù)據(jù)中異常值的步驟是先要檢驗(yàn)和分析原始數(shù)據(jù)的記錄、操作方 法、實(shí)驗(yàn)條件等過程，找出異常值出現(xiàn)的原因并予以剔除 . . 利用計(jì)算機(jī)剔除異常值的方法許多專家做了詳細(xì)的文獻(xiàn) 1報(bào)告.如王鑫，吳先 球，用 OriginOrigin 剔除線形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值； 嚴(yán)昌順.用計(jì)算機(jī)快速剔除含 粗大誤差的“環(huán)值；運(yùn)用了統(tǒng)計(jì)學(xué)中各種判別異常值的準(zhǔn)那么，各種準(zhǔn)那么的優(yōu)劣 程度將表達(dá)在下文. 2 2 異常值的判別方法 判別異常值的準(zhǔn)那么很多，常用的有 t檢驗(yàn)3S3S準(zhǔn)那么、狄克松DixonDix

4、on準(zhǔn) 那么、格拉布斯GrubbGrubb準(zhǔn)那么等準(zhǔn)那么.下面將一一簡要介紹. . 2.1 2.1 檢驗(yàn)3S3S準(zhǔn)那么 t檢驗(yàn)準(zhǔn)那么乂稱羅曼諾夫斯基準(zhǔn)那么，它是按t分布的實(shí)際誤差分布范圍來判別 異常值，對重復(fù)測量次數(shù)較少的情況比擬合理. 根本思想：首先剔除一個可疑值，然后安t分布來檢驗(yàn)被剔除的值是否為異 常值. 設(shè)樣本數(shù)據(jù)為Xi,X2,X3Xn，假設(shè)認(rèn)X為可疑值.計(jì)算余下n1個數(shù)據(jù)平均值 1 n 1 n , Xn 及標(biāo)傕差 sn ，即 Xn= - Z Xi，Sn=J - Z 一乂“ n - 1 i 土i = j n - 2 i 土i=j . 然后，按七分布來判別被剔除的值X是否為異常值. 假設(shè)

5、Xj -Xnkna ，那么X為異常值，應(yīng)予剔除，否那么為正常值，應(yīng)予以保 留.其中：a為顯著水平；n數(shù)據(jù)個數(shù)；kn,a為檢驗(yàn)系數(shù)，可通過查表得到. 2.2 2.2 狄克松DixonDixon準(zhǔn)那么 設(shè)有一組測量數(shù)據(jù)Xi Djn，那么Xi為異常值，如果測量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量 D Djn，那么Xn為異 常值. 表 1 1 狄克松檢驗(yàn)統(tǒng)計(jì)量計(jì)算公式為 數(shù)據(jù)個數(shù)n 統(tǒng)里D Xi為可疑值D Xn為可疑值D 3 n 苴7 g -X/Xn -X Xn - 4/ Xn -Xi 8 n iG X2 Xi/Xn_Xi Xn -Xn/ Xn - X2 ii主n壬i3 X3 Xi /Xn-X Xn Xn/Xn X2 i

6、4 n 30 X3 Xi / 4N X Xn -Xj/Xn - X3 2.3 2.3 格拉布斯GrubbSGrubbS準(zhǔn)那么 設(shè)有一組測量數(shù)據(jù)為正態(tài)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按 大小順序排列，即Xi苴X2X3Xn ,可能為異常值的測量數(shù)據(jù)一定出現(xiàn)在最大 或最小的數(shù)據(jù)中. 假設(shè)最小值Xi是可疑的，那么檢驗(yàn)統(tǒng)計(jì)量G =X-Xi/ s.式中X是均值、s是標(biāo)準(zhǔn) i n i n c 差，即 X =_ Xi，S Xi -X. n i i . n -1 i z 對丁檢驗(yàn)統(tǒng)計(jì)量G，格拉布斯導(dǎo)出了其統(tǒng)計(jì)分布，并給出了當(dāng)顯著水平a為 i%i%或 5%5%時的臨界值Giqn . .Giqn稱格拉布斯系

7、數(shù)，可通過抽查表得到.當(dāng)最 小值Xi或最大值A(chǔ)對應(yīng)的檢驗(yàn)統(tǒng)計(jì)量G大丁臨界值時，那么認(rèn)為與之對應(yīng)的 Xi或 Xn為可疑異常值，應(yīng)予以剔除 2.42.4 指數(shù)分布時異常值檢驗(yàn) 內(nèi)江師范學(xué)院本科學(xué)年論文 3 設(shè)一組測量數(shù)據(jù)為指數(shù)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大 小順序排歹0,即* x2 M X3xn.檢驗(yàn)最小值或最大值是否為異常值的檢驗(yàn)方法 如下： n n 當(dāng)樣本量nOO時，計(jì)算統(tǒng)計(jì)量Tn(n)=Xn/ Xj及=X X, i _1 =1 對丁給定的顯著水平a (通常取 0.5)0.5)和樣本數(shù)量n，通過查表得到Tn(n)及Tn 分別對應(yīng)的臨界值Tn(n)(1 -a)和Tn(a).假設(shè)Tn

8、n)A% )(1 -a)時，認(rèn)為Xn為異常值； 假設(shè)Tn100時，計(jì)算統(tǒng)計(jì)量En(n) = (n -1)(Xn - Xn_i) /也Xj+ X n_j )及 i U n En(1) = n(n 1)X1 /( M Xi nX1) . . i 1 對丁給定顯著水平 a和樣本數(shù)量n ,假設(shè)En()n 2,2 2正=(n-1)(a1),那么 1 判斷Xn為異常值；假設(shè)En(1) AF2,2n/,a =(n -1)(1 -a) -1，那么判斷 R 為異常值. 2.5 2.5 萊茵達(dá)準(zhǔn)那么(PanTa)PanTa) 對丁實(shí)驗(yàn)數(shù)據(jù)測出值X1,X2,X3，Xn，求取其算術(shù)平均值；=1/n Xi及剩余 i=1

9、 誤差值Vi =Xi -X ,然后求出其均方根偏差 =( v2 / n -1)2 . . 判別依據(jù)(假設(shè)v服從正態(tài)分布)： Xi-X A3CT，那么X相對而言誤差較大，應(yīng)舍去； Xi-X壬3CT , X為正常數(shù)據(jù)，應(yīng)該保存. 有概率論統(tǒng)計(jì)可知，如果誤差服從正要分布，誤差大丁 3。的觀測數(shù)據(jù)出現(xiàn) 的概率小丁 0.003,0.003,相當(dāng)大丁 300300 次觀測中有一次出現(xiàn)的可能.萊茵達(dá)準(zhǔn)那么只是進(jìn) 行粗略的剔除，取舍的概率較小，可能將不合理的異常值保存 . . 2.6 2.6 肖維勒準(zhǔn)那么(Chauvenet)Chauvenet) 次準(zhǔn)那么也是建立在實(shí)驗(yàn)數(shù)據(jù)服從正態(tài)分布.假設(shè)屢次測量的n個測量

10、值中， 數(shù)據(jù)的參與誤差VAZq ,那么剔除該數(shù)據(jù).其中 u =( v2/n1)1/2 ,樣品容量為n 時的判別系數(shù)Zc坷.dps 立件貌據(jù)隔搐敷據(jù)分析田檻設(shè)計(jì)國費(fèi)統(tǒng)計(jì)分類數(shù)據(jù)統(tǒng)計(jì)兮業(yè)統(tǒng)計(jì)爰元分析數(shù)學(xué)相超逗尊學(xué)數(shù)佰分析時1日序列苴它菲It 圖一數(shù)據(jù)處理系統(tǒng)對話框 只要執(zhí)行菜單命令下的“數(shù)據(jù)分析一一異常值檢驗(yàn)彈出如圖二下列圖的窗 口，然后進(jìn)行選擇檢驗(yàn)分析方法及顯著水平，點(diǎn)擊確定即可 .內(nèi)江師范學(xué)院本科學(xué)年論文 5 圖二用戶對話框 在測定中，有時發(fā)現(xiàn)個別數(shù)據(jù)離群嚴(yán)重，上述檢驗(yàn)原那么為異常值，但它與 其他測定值的差異在儀器的精度范圍內(nèi)，這種數(shù)據(jù)不應(yīng)舍去，應(yīng)予保存 . . 而對丁一些分析而言，需要估計(jì)總

11、體參數(shù)，異常數(shù)據(jù)一般都要舍去 .對丁不 同的之心度應(yīng)作相應(yīng)的處理，那么要據(jù)實(shí)際情況而定 . 4 4 結(jié)束語 由上述可知，用 DPSDPS 軟件進(jìn)行異常值檢驗(yàn)和剔除的過程簡單、 直觀、快捷, 適用丁群眾學(xué)生進(jìn)行各實(shí)驗(yàn)數(shù)據(jù)的處理和分析.將此軟件運(yùn)用丁實(shí)驗(yàn)教學(xué)，可以 使學(xué)生快速準(zhǔn)確判斷實(shí)驗(yàn)結(jié)果，也可以提高教學(xué)質(zhì)量 . 參考文獻(xiàn) 11 王鑫，吳先球.用 OriginOrigin 剔除線形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值J.J.山 西師范大學(xué)學(xué)報(bào)，2003, 17(1), 562003, 17(1), 56- -57.57. 22 嚴(yán)昌順.用計(jì)算機(jī)快速剔除含粗大誤差的“環(huán)值 J.J.計(jì)量技術(shù)， 內(nèi)江師范學(xué)院本科學(xué)年論文 6 1994 (5),