粗大誤差四種判別準則的比較之歐陽語創(chuàng)編

粗大誤差四種判別準則的比較時間：2021.03.01創(chuàng)作：歐陽語粗大誤差是指在測量過程中，偶爾產(chǎn)生的某些不應有的反常因素造成的測量數(shù)值超出正常測量誤差范圍的小概率誤差。含有粗大誤差的數(shù)據(jù)會干擾對實驗結(jié)果的分析，甚至歪曲實驗結(jié)果。若不按統(tǒng)計的原理剔除異常值，而把一些包含較大正常誤差但不屬于異常值的數(shù)據(jù)舍棄或保留一些包含較小粗大誤差的異常值，就會錯估了儀器的精確等級。因此，系統(tǒng)檢驗測量數(shù)據(jù)是否含有粗大誤差是保證原始數(shù)據(jù)的可靠及其有關(guān)計算的準確的前提。排除異常數(shù)據(jù)有四種較常用的準則，分別是拉伊達準則、格拉布斯準則、肖維勒準則和狄克遜準則。每種判別準則都有其處理方法，導致用不同準則對異常值判別的結(jié)果有時會不一致。目前異常值的剔除還沒有統(tǒng)一的準則，本文綜合判別粗大誤差四種方法的特點，系統(tǒng)歸納各種準則的應用似便更好地發(fā)現(xiàn)和判別含有粗大誤差的數(shù)據(jù)。1.四種判別粗大誤差準則的特點1.1拉伊達準則拉伊達準則［4］是以三倍測量列的標準偏差為極限取舍標準,其給定的置信概率為99.73%,該準則適用于測量次數(shù)n>10或預先經(jīng)大量重復測量已統(tǒng)計出其標準誤差。的情況。Xi為服從正態(tài)分布的等精度測量值，可先求得它們的算術(shù)平均值人殘差vi和標準偏差。。若|Xi-X|>3o,則可疑值Xi含有粗大誤差，應舍棄；若|Xi-X|<3o,則可疑值Xi為正常值，應保留。把可疑值舍棄后再重新算出除去這個值的其他測量值的平均值和標準偏差，然后繼續(xù)使用判別依據(jù)判斷，依此類推。1.2格拉布斯準則格拉布斯準則適用于測量次數(shù)較少的情況(n<100),通常取置信概率為95%,對樣本中僅混入一個異常值的情況判別效率最高。其判別方法如下：先將呈正態(tài)分布的等精度多次測量的樣本按從小到大排列，統(tǒng)計臨界系數(shù)G(a,n)的值為G0,然后分別計算出G1、Gn:G1=(X-X1)/o,Gn=(Xn-X)/o⑴若G1>Gn且G1>G0,則X1應予以剔除；若Gn>G1且Gn>G0,則Xn應予以剔除若G1<G0且Gn<G0,則不存在“壞值〃。然后用剩下的測量值重新計算平均值和標準偏差，還有G1、Gn和G0,重復上述步驟繼續(xù)進行判斷，依此類推。1.3肖維勒準則肖維勒準則是建立在頻率p=m/n趨近于概率P(|Xi-X|>Zc。｝的前提下的(其中m是絕對值大于Ec。的誤差出現(xiàn)次數(shù),P是置信概率)。設等精度且呈正態(tài)分布的測量值為Xi,若其殘差vizZc。則Xi可視為含有粗大誤差,此時把讀數(shù)Xi應舍棄。把可疑值舍棄后再重新計算和繼續(xù)使用判別依據(jù)判斷，依此類推。1.4狄克遜準則狄克遜準則是一種用極差比雙側(cè)檢驗來判別粗大誤差的準則。它從測量數(shù)據(jù)的最值入手，一般取顯著性水平a為0.01.此準則的特點是把測量數(shù)據(jù)劃分為四個組，每個組都有相應的極端異常值統(tǒng)計量R1、R2的計算方法,再根據(jù)測量次數(shù)n和所對應的統(tǒng)計臨界系數(shù)D(a,n)按照以下方法來判別：若R1>R2,R1>D(a,n),則判別X1為異常值應舍棄；若R2>R1,R2>D(a,n),則應舍棄Xn;若R1<D(a,n)且R2<D(a,n),則沒有異常值。2.四種判別粗大誤差準則的比較2.1四種判別粗大誤差準則的歸納實際上教學實驗中的測量樣本大多比較小，四種準則所要求的正態(tài)分布前提不容易滿足，標準偏差會由于偏離正態(tài)分布而不準確。若不考慮具體的臨界系數(shù)與置信水平，這四種準則的思維方法都可歸納為：首先計算某組測量值X1,X2,X3……Xn的平均值幺殘差vi和標準偏差。。對于第i次測量值，如果vi>k。(2)則可判別為含有粗大誤差,其中歐陽語創(chuàng)編k為統(tǒng)計臨界系數(shù)。狄克遜準則是用極差比來檢測異常值的,它的統(tǒng)計臨界系數(shù)與其他準則不具有可比性。圖1拉—準則、格拉布斯?準則和肖維勒淮則在E30時的統(tǒng)計臨界.系數(shù)值對比除狄克遜準則外,作拉伊達準則、格拉布斯準則和肖維勒準則在測量次數(shù)3<n<250的曲線關(guān)系，見圖1。2.2四種判別粗大誤差準則的比較討論拉伊達準則、格拉布斯準則和肖維勒準則的對比曲線可以看出:對應于相同的測量次數(shù)，各判別準則的統(tǒng)計臨界系數(shù)各不相同，以拉伊達準則的統(tǒng)計臨界系數(shù)3為線索，當n=25時格拉布斯準則(a=0.01)的統(tǒng)計臨界系數(shù)剛好到達3以上，而當n=185時,肖維勒準則的統(tǒng)計臨界系數(shù)剛好也到達3。因此可把總范圍分為以下三個小范圍。(1)在3<n<25這個范圍內(nèi)，建議用狄克遜準則或格拉布斯準則(a=0.01)來判別可疑數(shù)據(jù)。在少量樣品時，拉伊達準則的統(tǒng)計臨界系數(shù)相對比較大，不易及時發(fā)現(xiàn)異常數(shù)據(jù)，使用它會比較苛刻。而肖維勒準則的統(tǒng)計臨界系數(shù)太小，容易剔除僅含有較大正常誤差的測量值。因此用可一次性剔除多個異常值且無需求出樣本平均值乂、殘差vi和標準偏差。的狄克遜準則或格拉布斯準則(a=0.01)來判別可疑數(shù)據(jù)是合適的。⑵在25<n<185的范圍內(nèi)建議用格拉布斯準則(a=0.05域肖維勒準則來判別可疑數(shù)據(jù)。統(tǒng)計臨界系數(shù)最大的是格拉布斯準則(a=0.01),雖然肖維勒準則的統(tǒng)計臨界系數(shù)偏小，但在這一范圍內(nèi)肖維勒準則可以補充拉伊達準則的不足，因此判別數(shù)據(jù)時采用格拉布斯準則(a=0.05)或肖維勒準則比較合適。⑶在測量次數(shù)n>185時,建議采用拉伊達準則。因為此時肖維勒準則的統(tǒng)計臨界系數(shù)偏大，在剔除異常值時容易把含有較小粗大誤差的數(shù)據(jù)遺漏掉。因此，為了更好地對測量數(shù)據(jù)作出確切的判斷且盡量避免讓被剔除的數(shù)據(jù)丟失總體信息,可以采用以下方法：判別前最好先按照從小到大排列測量數(shù)據(jù)。首先懷疑最值，如果最值不是異常值則其他值也就不會含有粗大誤差了。對此四種準則的綜合判別方法，見表1。表1綜合判別方法結(jié)論綜上所述,測量次數(shù)范圍建議使用的準則由于3Wn<25狄克遜準則，格拉布斯準則(a=0.01)—四種25WnW185格拉布斯準則(a=0.05),肖維勒準則判別n>185拉伊達準則d準則在理論上剔除異常值是各自相對于某個精度而言的，它們的檢驗范圍和判別效果不同，在不同的情況下應用不同的準則的嚴格程度不同，但不加比較隨便使用某一種準則來判別測量值是否含有粗大誤差，這樣有時會得到相對不準確的結(jié)論，可能把僅包含正常誤差的可疑值剔除了，或者保留了含有粗大誤差的異常值。本文中的圖1直觀明了、使用方便，因此采用本文建議的綜合歸納方法可以使在數(shù)據(jù)處理中判別粗大誤差有據(jù)可依,