(高清版)GB∕T 6380-2019 數(shù)據(jù)的統(tǒng)計(jì)處理和解釋 Ⅰ型極值分布樣本離群值的判斷和處理

A41中華人民共和國國家標(biāo)準(zhǔn)代替GB/T6380—2008數(shù)據(jù)的統(tǒng)計(jì)處理和解釋2019-12-10發(fā)布2020-07-01實(shí)施國家市場(chǎng)監(jiān)督管理總局國家標(biāo)準(zhǔn)化管理委員會(huì)GB／T6380—2019前言 引言 2規(guī)范性引用文件 3術(shù)語、定義和符號(hào) 3.1術(shù)語和定義 4離群值判斷 4.1離群值的來源與判定 4.2檢出離群值個(gè)數(shù)的上限 4.3單個(gè)離群值情形 4.4多個(gè)離群值情形 5離群值處理 6單個(gè)離群值的判斷規(guī)則 6.1檢驗(yàn)方法的選擇 狄克遜(檢驗(yàn)法 檢驗(yàn)法 7多個(gè)離群值的判斷規(guī)則 7.2多個(gè)離群值檢驗(yàn)示例 附錄A（規(guī)范性附錄）狄克遜檢驗(yàn)的臨界值表 附錄B（規(guī)范性附錄）歐文檢驗(yàn)的臨界值表 參考文獻(xiàn) ⅠGB／T6380—2019本標(biāo)準(zhǔn)按照GB/T1.1—2009給出的規(guī)則起草。本標(biāo)準(zhǔn)代替GB/T6380—2008《數(shù)據(jù)的統(tǒng)計(jì)處理和解釋Ⅰ型極值分布樣本異常值的判斷和處理》，與GB/T6380—2008相比，主要技術(shù)內(nèi)容變化如下：—增加了次序統(tǒng)計(jì)量的定義及說明（見3.1.8);—修改了離群值的處理規(guī)則（見5.2,2008年版的5.2);—增加了威布爾分布(Ⅲ型極小值分布）取對(duì)數(shù)后轉(zhuǎn)化為Ⅰ型極小值分布的說明及離群值計(jì)算示—增加了參考文獻(xiàn)ISO16269-4:2010（見參考文獻(xiàn)）。本標(biāo)準(zhǔn)由全國統(tǒng)計(jì)方法應(yīng)用標(biāo)準(zhǔn)化技術(shù)委員會(huì)(SAC/TC21)提出并歸口。本標(biāo)準(zhǔn)起草單位：天津大學(xué)、北京理工大學(xué)珠海學(xué)院、寧波工程學(xué)院。本標(biāo)準(zhǔn)主要起草人：馬逢時(shí)、許其州、史道濟(jì)、荊廣珠。本標(biāo)準(zhǔn)所代替標(biāo)準(zhǔn)的歷次版本發(fā)布情況為：—GB/T6380—1986、GB/T6380—2008。ⅡGB／T6380—2019從事科學(xué)研究、工農(nóng)業(yè)制造以及管理工作都離不開數(shù)據(jù)，而對(duì)這些數(shù)據(jù)的整理、分析和解釋都離不開統(tǒng)計(jì)方法。統(tǒng)計(jì)學(xué)是研究數(shù)字資料的整理、分析和正確解釋的一門學(xué)科。人們各自從不同的來源取得各種數(shù)字資料，這些數(shù)字資料通常都是雜亂無章的，經(jīng)過整理和簡縮才能利用，使用完善的統(tǒng)計(jì)方法就可使數(shù)據(jù)整理、排列得有條有理，用圖形或少量的幾個(gè)重要參數(shù)，就可將大量數(shù)據(jù)的特征表達(dá)出來，這樣既可避免不正確的解釋，又可將獲得滿意數(shù)據(jù)的成本降到最低限度，提高了經(jīng)濟(jì)效益。根據(jù)收集到的樣本觀測(cè)值，可以大體上確認(rèn)樣本來自為某種分布。這時(shí)發(fā)現(xiàn)樣本中的一個(gè)或幾個(gè)觀測(cè)值，它們離開其他觀測(cè)值較遠(yuǎn)，暗示它們可能來自不同的總體。是否為實(shí)際的離群值，需要統(tǒng)計(jì)檢驗(yàn)。在離群值的檢驗(yàn)中特別要注意數(shù)據(jù)來自哪一種基本分布，假定來自Ⅰ型極值分布與假定來自正態(tài)分布在檢驗(yàn)時(shí)是非常不同的，對(duì)分布的錯(cuò)誤假定會(huì)導(dǎo)致觀測(cè)值被錯(cuò)誤地歸類為離群值。國家標(biāo)準(zhǔn)《數(shù)據(jù)的統(tǒng)計(jì)處理和解釋》包含以下各項(xiàng)：—統(tǒng)計(jì)容忍區(qū)間的確定(GB/T3359);—均值的估計(jì)和置信區(qū)間(GB/T3360);—在成對(duì)觀測(cè)值情形下兩個(gè)均值的比較(GB/T3361);—二項(xiàng)分布參數(shù)的估計(jì)與檢驗(yàn)(GB/T4088);—泊松分布參數(shù)的估計(jì)與檢驗(yàn)(GB/T4089);—正態(tài)性檢驗(yàn)(GB/T4882);—正態(tài)樣本離群值的判斷和處理(GB/T4883);—正態(tài)分布均值和方差的估計(jì)與檢驗(yàn)(GB/T4889);—正態(tài)分布均值和方差檢驗(yàn)的功效(GB/T4890);型極值分布樣本離群值的判斷和處理(GB/T6380);Γ分布（皮爾遜Ⅲ型分布）的參數(shù)估計(jì)(GB/T8055);—指數(shù)樣本離群值的判斷和處理(GB/T8056)。1GB／T6380—2019數(shù)據(jù)的統(tǒng)計(jì)處理和解釋Ⅰ型極值分布樣本離群值的判斷和處理本標(biāo)準(zhǔn)規(guī)定了判斷和處理Ⅰ型極值分布的樣本中的上側(cè)離群值和Ⅰ型極小值分布的樣本中的下側(cè)離群值的一般原則和實(shí)施方法。本標(biāo)準(zhǔn)適用于來自Ⅰ型極值分布或Ⅰ型極小值分布總體的樣本，以及樣本量為5~50的情形。注1：由于經(jīng)過變換Y＝－X后，Ⅰ型極小值分布的隨機(jī)變量將服從Ⅰ型極值分布，所以只對(duì)Ⅰ型極值分布給出檢出上側(cè)離群值的方法。注2：由于Ⅲ型極小值分布（威布爾分布）經(jīng)過對(duì)數(shù)變換Z=lnX后將服從Ⅰ型極小值分布，所以本標(biāo)準(zhǔn)實(shí)際上對(duì)Ⅲ型極小值分布（威布爾分布）給出檢出下側(cè)離群值的方法。注3:Ⅰ型極值分布在水文、氣象、地震、可靠性以及金融等很多領(lǐng)域有著廣泛的應(yīng)用。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T3358.1統(tǒng)計(jì)學(xué)詞匯及符號(hào)第1部分：一般統(tǒng)計(jì)術(shù)語與用于概率的術(shù)語GB/T3358.2統(tǒng)計(jì)學(xué)詞匯及符號(hào)第2部分：應(yīng)用統(tǒng)計(jì)3術(shù)語、定義和符號(hào)GB/T3358.1和GB/T3358.2界定的以及下列術(shù)語和定義適用于本文件。型極值分布具有下述分布函數(shù)的連續(xù)型分布其中b時(shí)，Ⅰ型極值分布的概率密度函數(shù)曲線圖見圖1。圖1概率密度函數(shù)曲線圖2GB／T6380—2019注2：Ⅰ型極值分布是指Ⅰ型極大值分布，也稱為Gumbel分布。型極小值分布具有下述分布函數(shù)的連續(xù)型分布其中b時(shí)，Ⅰ型極小值分布的概率密度函數(shù)曲線圖見圖2。圖2概率密度函數(shù)曲線圖注2：Ⅰ型極小值分布可轉(zhuǎn)化為Ⅰ型極值分布。離群值樣本中的一個(gè)或幾個(gè)觀測(cè)值，它們離開其他觀測(cè)值較遠(yuǎn)，暗示它們可能來自不同的總體。注1：是否為實(shí)際的離群值，需要統(tǒng)計(jì)檢驗(yàn)，統(tǒng)計(jì)檢驗(yàn)顯著的離群值按顯著性程度分為歧離值和統(tǒng)計(jì)離群值。歧離值在檢出水平下顯著，但在剔除水平下不顯著的離群值。統(tǒng)計(jì)離群值在剔除水平下統(tǒng)計(jì)檢驗(yàn)顯著的離群值。檢出水平為檢出離群值而指定的統(tǒng)計(jì)檢驗(yàn)的顯著性水平。注：除非根據(jù)本標(biāo)準(zhǔn)達(dá)成協(xié)議的各方另有約定，檢出水平應(yīng)為0.05。剔除水平為檢出統(tǒng)計(jì)離群值而指定的統(tǒng)計(jì)檢驗(yàn)的顯著性水平。注：剔除水平的值應(yīng)不超過檢出水平的值。除非根據(jù)本標(biāo)準(zhǔn)達(dá)成協(xié)議的各方另有約定，剔除水平應(yīng)為0.01。次序統(tǒng)計(jì)量按隨機(jī)變量非降次序排列的統(tǒng)計(jì)量。xn，這些樣本按非降次序排列為：k個(gè)次序統(tǒng)計(jì)量的觀測(cè)值。它的直觀含義如圖3所示。3GB／T6380—2019注2：改寫GB/T3358.1—2009,定義1.9。圖3次序統(tǒng)計(jì)量圖下列符號(hào)適用于本文件。Dn：狄克遜統(tǒng)計(jì)量。D1-α（n檢出水平為α?xí)r，用統(tǒng)計(jì)量Dn作檢驗(yàn)時(shí)的臨界值。In：歐文統(tǒng)計(jì)量。I1-α（n檢出水平為α?xí)r，用統(tǒng)計(jì)量In作檢驗(yàn)時(shí)的臨界值。n：樣本量。xi觀測(cè)值自小到大排序后的第i個(gè)值。α：檢出水平。4離群值判斷4.1離群值的來源與判定離群值按產(chǎn)生原因分為兩類：第一類離群值是總體固有變異性的極端表現(xiàn)，這類離群值與樣本中其余觀測(cè)值屬于同一總體；第二類離群值是由于試驗(yàn)條件和試驗(yàn)方法的偶然偏離所產(chǎn)生的結(jié)果，或產(chǎn)生于觀測(cè)、記錄、計(jì)算中的失誤，這類離群值與樣本中其余觀測(cè)值不屬于同一總體。對(duì)離群值的判定通?？筛鶕?jù)技術(shù)上或物理上的理由直接進(jìn)行，例如當(dāng)試驗(yàn)者已經(jīng)知道試驗(yàn)偏離規(guī)定的試驗(yàn)方法，或測(cè)試儀器發(fā)生問題等。當(dāng)上述理由不明確時(shí)，可用本標(biāo)準(zhǔn)規(guī)定的方法。4.2檢出離群值個(gè)數(shù)的上限應(yīng)規(guī)定在樣本中檢出離群值個(gè)數(shù)的上限（與樣本量相比應(yīng)較小當(dāng)檢出離群值個(gè)數(shù)達(dá)到了這個(gè)上限時(shí)，對(duì)此樣本應(yīng)作慎重的研究和處理。4.3單個(gè)離群值情形檢驗(yàn)規(guī)則如下：a)原假設(shè)為所有觀測(cè)值來自同一總體，備擇假設(shè)為觀測(cè)數(shù)據(jù)有上側(cè)離群值，根據(jù)統(tǒng)計(jì)學(xué)原理選用判斷離群值的統(tǒng)計(jì)量（見6.1);b)確定適當(dāng)?shù)娘@著性水平；c)根據(jù)顯著性水平及樣本量，確定檢驗(yàn)的臨界值；d)由觀測(cè)值計(jì)算相應(yīng)統(tǒng)計(jì)量的值，根據(jù)所得值與臨界值的比較結(jié)果作出判斷。GB／T6380—20194.4多個(gè)離群值情形在允許檢出離群值的個(gè)數(shù)大于1的情況下，重復(fù)使用4.3規(guī)定的檢驗(yàn)規(guī)則進(jìn)行檢驗(yàn)，并按下述規(guī)則決定檢驗(yàn)停止的時(shí)機(jī)：a)若沒有檢出離群值，則整個(gè)檢驗(yàn)停止；b)若檢出離群值，當(dāng)檢出的離群值總數(shù)達(dá)到上限(4.2)時(shí)，檢驗(yàn)停止，否則，采用相同的檢出水平和相同的規(guī)則，對(duì)除去已檢出的離群值后余下的觀測(cè)值繼續(xù)檢驗(yàn)。5離群值處理處理離群值的方式有：a)保留離群值并用于后續(xù)數(shù)據(jù)處理；b)在找到實(shí)際原因時(shí)修正離群值，否則予以保留；c)剔除離群值，不追加觀測(cè)值；d)剔除離群值，并追加新的觀測(cè)值或用適宜的插補(bǔ)值代替。5.2處理規(guī)則對(duì)檢出的離群值，應(yīng)盡可能尋找其技術(shù)上和物理上的原因，作為處理離群值的依據(jù)。應(yīng)根據(jù)實(shí)際問題的性質(zhì)，權(quán)衡尋找和判定產(chǎn)生離群值的原因所需代價(jià)、正確判定離群值的得益及錯(cuò)誤剔除正常觀測(cè)值的風(fēng)險(xiǎn)，以確定實(shí)施下述三個(gè)規(guī)則之一：a)若在技術(shù)上或物理上找到產(chǎn)生離群值的原因，則應(yīng)剔除或修正；否則，不得剔除或修正。b)若在技術(shù)上或物理上找到產(chǎn)生離群值的原因，則應(yīng)剔除或修正；否則，保留歧離值，剔除或修正統(tǒng)計(jì)離群值。在重復(fù)使用同一檢驗(yàn)規(guī)則檢驗(yàn)多個(gè)離群值的情形，每次檢出離群值后，都要再檢驗(yàn)它是否為統(tǒng)計(jì)離群值。若某次檢出的離群值為統(tǒng)計(jì)離群值，則此離群值及在它前面檢出的離群值都應(yīng)被剔除或修正。c)檢出的離群值（統(tǒng)計(jì)離群值和歧離值）都應(yīng)被剔除或修正。被剔除或修正的觀測(cè)值及其理由應(yīng)予記錄，以備查詢。6單個(gè)離群值的判斷規(guī)則6.1檢驗(yàn)方法的選擇當(dāng)樣本量5≤n≤30時(shí)，使用狄克遜(Dixon)檢驗(yàn)法；當(dāng)樣本量30＜n≤50時(shí)，使用歐文(Irwin)檢驗(yàn)法。檢驗(yàn)法當(dāng)樣本量5≤n≤30時(shí)實(shí)施步驟如下：x（n-2),統(tǒng)計(jì)量Dn的值按式(1)計(jì)算；4GB／T6380—2019b）確定檢出水平α，按照附錄A中表A.1查出臨界值D1-α（n檢驗(yàn)法示例1自動(dòng)剪床切斷鋼料，每日記錄最初剪下的100根鋼料的長度，作為一批數(shù)據(jù)，一周內(nèi)記錄了6批，得到每日最大值數(shù)據(jù)如下（單位：mm根據(jù)經(jīng)驗(yàn)，可以認(rèn)為總體為Ⅰ型極值分布。假如使用者關(guān)心的是數(shù)據(jù)中是否有上側(cè)離群值，可采用本節(jié)中的方法。確定檢出水平α按照表查出由于由于故判斷為統(tǒng)計(jì)離群值。6.2.3狄克遜檢驗(yàn)法示例2取20只新型電容器進(jìn)行加速壽命試驗(yàn)，其壽命數(shù)據(jù)（單位：h）按由小到大的次序排列后結(jié)果為：64容易看出，此壽命W服從威布爾分布，但圖形顯示，最小壽命遠(yuǎn)離其他數(shù)據(jù)，需檢驗(yàn)最小值1.2是否為離群值。將W取對(duì)數(shù)后，Y=ln（W）即為Ⅰ型極小值分布，因此，Ⅰ型極小值分布Y的次序統(tǒng)計(jì)量觀測(cè)值為：令XY則X為Ⅰ型極值分布，X的次序統(tǒng)計(jì)量觀測(cè)值為：本例中威布爾分布W最小值的離群值檢驗(yàn)，即化為Ⅰ型極值分布X的最大值離群值檢驗(yàn)。本例56GB／T6380—2019離群值。對(duì)于剔除水平α=0.01,按照表A.1查出D20臨界值0.654。由于計(jì)離群值。經(jīng)仔細(xì)檢查，發(fā)現(xiàn)此電容器是在加壓過程中絕緣層被擊穿，不是正常的老化失效，因此∞(1)=1.2是統(tǒng)計(jì)離群值，應(yīng)予以剔除。檢驗(yàn)法當(dāng)樣本量30＜n≤50時(shí)實(shí)施步驟如下：計(jì)量In：式中S按式(3)計(jì)算： 式中父按式(4)計(jì)算： 注：S及父是除去最小觀測(cè)值父(1)和最大觀測(cè)值父（n）后的所有樣本觀測(cè)值計(jì)算得來的。b)確定檢出水平α,按照附錄B中表B.1查出臨界值I1-α（nI檢驗(yàn)法示例某地某河流年最大徑流量的逐年觀測(cè)數(shù)據(jù)如下（單位：km3/s):經(jīng)驗(yàn)表明此年最大徑流量的逐年觀測(cè)數(shù)據(jù)近似地服從Ⅰ型極值分布，需要判斷最大值父(40)=4.31是否為離群值。觀測(cè)值為父(39)=3.09。對(duì)除去最小觀測(cè)值父(1值，再按式(2)計(jì)算統(tǒng)計(jì)量In的值：確定檢出水平α,按照表7GB／T6380—20197多個(gè)離群值的判斷規(guī)則當(dāng)樣本中可能有多個(gè)離群值需要檢驗(yàn)時(shí)，按照4.4的規(guī)則執(zhí)行。具體