(高清版)GB∕T 6380-2019 數(shù)據(jù)的統(tǒng)計處理和解釋 Ⅰ型極值分布樣本離群值的判斷和處理

A41中華人民共和國國家標準代替GB/T6380—2008數(shù)據(jù)的統(tǒng)計處理和解釋2019-12-10發(fā)布2020-07-01實施國家市場監(jiān)督管理總局國家標準化管理委員會GB／T6380—2019前言 引言 2規(guī)范性引用文件 3術語、定義和符號 3.1術語和定義 4離群值判斷 4.1離群值的來源與判定 4.2檢出離群值個數(shù)的上限 4.3單個離群值情形 4.4多個離群值情形 5離群值處理 6單個離群值的判斷規(guī)則 6.1檢驗方法的選擇 狄克遜(檢驗法 檢驗法 7多個離群值的判斷規(guī)則 7.2多個離群值檢驗示例 附錄A（規(guī)范性附錄）狄克遜檢驗的臨界值表 附錄B（規(guī)范性附錄）歐文檢驗的臨界值表 參考文獻 ⅠGB／T6380—2019本標準按照GB/T1.1—2009給出的規(guī)則起草。本標準代替GB/T6380—2008《數(shù)據(jù)的統(tǒng)計處理和解釋Ⅰ型極值分布樣本異常值的判斷和處理》，與GB/T6380—2008相比，主要技術內容變化如下：—增加了次序統(tǒng)計量的定義及說明（見3.1.8);—修改了離群值的處理規(guī)則（見5.2,2008年版的5.2);—增加了威布爾分布(Ⅲ型極小值分布）取對數(shù)后轉化為Ⅰ型極小值分布的說明及離群值計算示—增加了參考文獻ISO16269-4:2010（見參考文獻）。本標準由全國統(tǒng)計方法應用標準化技術委員會(SAC/TC21)提出并歸口。本標準起草單位：天津大學、北京理工大學珠海學院、寧波工程學院。本標準主要起草人：馬逢時、許其州、史道濟、荊廣珠。本標準所代替標準的歷次版本發(fā)布情況為：—GB/T6380—1986、GB/T6380—2008。ⅡGB／T6380—2019從事科學研究、工農業(yè)制造以及管理工作都離不開數(shù)據(jù)，而對這些數(shù)據(jù)的整理、分析和解釋都離不開統(tǒng)計方法。統(tǒng)計學是研究數(shù)字資料的整理、分析和正確解釋的一門學科。人們各自從不同的來源取得各種數(shù)字資料，這些數(shù)字資料通常都是雜亂無章的，經(jīng)過整理和簡縮才能利用，使用完善的統(tǒng)計方法就可使數(shù)據(jù)整理、排列得有條有理，用圖形或少量的幾個重要參數(shù)，就可將大量數(shù)據(jù)的特征表達出來，這樣既可避免不正確的解釋，又可將獲得滿意數(shù)據(jù)的成本降到最低限度，提高了經(jīng)濟效益。根據(jù)收集到的樣本觀測值，可以大體上確認樣本來自為某種分布。這時發(fā)現(xiàn)樣本中的一個或幾個觀測值，它們離開其他觀測值較遠，暗示它們可能來自不同的總體。是否為實際的離群值，需要統(tǒng)計檢驗。在離群值的檢驗中特別要注意數(shù)據(jù)來自哪一種基本分布，假定來自Ⅰ型極值分布與假定來自正態(tài)分布在檢驗時是非常不同的，對分布的錯誤假定會導致觀測值被錯誤地歸類為離群值。國家標準《數(shù)據(jù)的統(tǒng)計處理和解釋》包含以下各項：—統(tǒng)計容忍區(qū)間的確定(GB/T3359);—均值的估計和置信區(qū)間(GB/T3360);—在成對觀測值情形下兩個均值的比較(GB/T3361);—二項分布參數(shù)的估計與檢驗(GB/T4088);—泊松分布參數(shù)的估計與檢驗(GB/T4089);—正態(tài)性檢驗(GB/T4882);—正態(tài)樣本離群值的判斷和處理(GB/T4883);—正態(tài)分布均值和方差的估計與檢驗(GB/T4889);—正態(tài)分布均值和方差檢驗的功效(GB/T4890);型極值分布樣本離群值的判斷和處理(GB/T6380);Γ分布（皮爾遜Ⅲ型分布）的參數(shù)估計(GB/T8055);—指數(shù)樣本離群值的判斷和處理(GB/T8056)。1GB／T6380—2019數(shù)據(jù)的統(tǒng)計處理和解釋Ⅰ型極值分布樣本離群值的判斷和處理本標準規(guī)定了判斷和處理Ⅰ型極值分布的樣本中的上側離群值和Ⅰ型極小值分布的樣本中的下側離群值的一般原則和實施方法。本標準適用于來自Ⅰ型極值分布或Ⅰ型極小值分布總體的樣本，以及樣本量為5~50的情形。注1：由于經(jīng)過變換Y＝－X后，Ⅰ型極小值分布的隨機變量將服從Ⅰ型極值分布，所以只對Ⅰ型極值分布給出檢出上側離群值的方法。注2：由于Ⅲ型極小值分布（威布爾分布）經(jīng)過對數(shù)變換Z=lnX后將服從Ⅰ型極小值分布，所以本標準實際上對Ⅲ型極小值分布（威布爾分布）給出檢出下側離群值的方法。注3:Ⅰ型極值分布在水文、氣象、地震、可靠性以及金融等很多領域有著廣泛的應用。2規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T3358.1統(tǒng)計學詞匯及符號第1部分：一般統(tǒng)計術語與用于概率的術語GB/T3358.2統(tǒng)計學詞匯及符號第2部分：應用統(tǒng)計3術語、定義和符號GB/T3358.1和GB/T3358.2界定的以及下列術語和定義適用于本文件。型極值分布具有下述分布函數(shù)的連續(xù)型分布其中b時，Ⅰ型極值分布的概率密度函數(shù)曲線圖見圖1。圖1概率密度函數(shù)曲線圖2GB／T6380—2019注2：Ⅰ型極值分布是指Ⅰ型極大值分布，也稱為Gumbel分布。型極小值分布具有下述分布函數(shù)的連續(xù)型分布其中b時，Ⅰ型極小值分布的概率密度函數(shù)曲線圖見圖2。圖2概率密度函數(shù)曲線圖注2：Ⅰ型極小值分布可轉化為Ⅰ型極值分布。離群值樣本中的一個或幾個觀測值，它們離開其他觀測值較遠，暗示它們可能來自不同的總體。注1：是否為實際的離群值，需要統(tǒng)計檢驗，統(tǒng)計檢驗顯著的離群值按顯著性程度分為歧離值和統(tǒng)計離群值。歧離值在檢出水平下顯著，但在剔除水平下不顯著的離群值。統(tǒng)計離群值在剔除水平下統(tǒng)計檢驗顯著的離群值。檢出水平為檢出離群值而指定的統(tǒng)計檢驗的顯著性水平。注：除非根據(jù)本標準達成協(xié)議的各方另有約定，檢出水平應為0.05。剔除水平為檢出統(tǒng)計離群值而指定的統(tǒng)計檢驗的顯著性水平。注：剔除水平的值應不超過檢出水平的值。除非根據(jù)本標準達成協(xié)議的各方另有約定，剔除水平應為0.01。次序統(tǒng)計量按隨機變量非降次序排列的統(tǒng)計量。xn，這些樣本按非降次序排列為：k個次序統(tǒng)計量的觀測值。它的直觀含義如圖3所示。3GB／T6380—2019注2：改寫GB/T3358.1—2009,定義1.9。圖3次序統(tǒng)計量圖下列符號適用于本文件。Dn：狄克遜統(tǒng)計量。D1-α（n檢出水平為α時，用統(tǒng)計量Dn作檢驗時的臨界值。In：歐文統(tǒng)計量。I1-α（n檢出水平為α時，用統(tǒng)計量In作檢驗時的臨界值。n：樣本量。xi觀測值自小到大排序后的第i個值。α：檢出水平。4離群值判斷4.1離群值的來源與判定離群值按產(chǎn)生原因分為兩類：第一類離群值是總體固有變異性的極端表現(xiàn)，這類離群值與樣本中其余觀測值屬于同一總體；第二類離群值是由于試驗條件和試驗方法的偶然偏離所產(chǎn)生的結果，或產(chǎn)生于觀測、記錄、計算中的失誤，這類離群值與樣本中其余觀測值不屬于同一總體。對離群值的判定通?？筛鶕?jù)技術上或物理上的理由直接進行，例如當試驗者已經(jīng)知道試驗偏離規(guī)定的試驗方法，或測試儀器發(fā)生問題等。當上述理由不明確時，可用本標準規(guī)定的方法。4.2檢出離群值個數(shù)的上限應規(guī)定在樣本中檢出離群值個數(shù)的上限（與樣本量相比應較小當檢出離群值個數(shù)達到了這個上限時，對此樣本應作慎重的研究和處理。4.3單個離群值情形檢驗規(guī)則如下：a)原假設為所有觀測值來自同一總體，備擇假設為觀測數(shù)據(jù)有上側離群值，根據(jù)統(tǒng)計學原理選用判斷離群值的統(tǒng)計量（見6.1);b)確定適當?shù)娘@著性水平；c)根據(jù)顯著性水平及樣本量，確定檢驗的臨界值；d)由觀測值計算相應統(tǒng)計量的值，根據(jù)所得值與臨界值的比較結果作出判斷。GB／T6380—20194.4多個離群值情形在允許檢出離群值的個數(shù)大于1的情況下，重復使用4.3規(guī)定的檢驗規(guī)則進行檢驗，并按下述規(guī)則決定檢驗停止的時機：a)若沒有檢出離群值，則整個檢驗停止；b)若檢出離群值，當檢出的離群值總數(shù)達到上限(4.2)時，檢驗停止，否則，采用相同的檢出水平和相同的規(guī)則，對除去已檢出的離群值后余下的觀測值繼續(xù)檢驗。5離群值處理處理離群值的方式有：a)保留離群值并用于后續(xù)數(shù)據(jù)處理；b)在找到實際原因時修正離群值，否則予以保留；c)剔除離群值，不追加觀測值；d)剔除離群值，并追加新的觀測值或用適宜的插補值代替。5.2處理規(guī)則對檢出的離群值，應盡可能尋找其技術上和物理上的原因，作為處理離群值的依據(jù)。應根據(jù)實際問題的性質，權衡尋找和判定產(chǎn)生離群值的原因所需代價、正確判定離群值的得益及錯誤剔除正常觀測值的風險，以確定實施下述三個規(guī)則之一：a)若在技術上或物理上找到產(chǎn)生離群值的原因，則應剔除或修正；否則，不得剔除或修正。b)若在技術上或物理上找到產(chǎn)生離群值的原因，則應剔除或修正；否則，保留歧離值，剔除或修正統(tǒng)計離群值。在重復使用同一檢驗規(guī)則檢驗多個離群值的情形，每次檢出離群值后，都要再檢驗它是否為統(tǒng)計離群值。若某次檢出的離群值為統(tǒng)計離群值，則此離群值及在它前面檢出的離群值都應被剔除或修正。c)檢出的離群值（統(tǒng)計離群值和歧離值）都應被剔除或修正。被剔除或修正的觀測值及其理由應予記錄，以備查詢。6單個離群值的判斷規(guī)則6.1檢驗方法的選擇當樣本量5≤n≤30時，使用狄克遜(Dixon)檢驗法；當樣本量30＜n≤50時，使用歐文(Irwin)檢驗法。檢驗法當樣本量5≤n≤30時實施步驟如下：x（n-2),統(tǒng)計量Dn的值按式(1)計算；4GB／T6380—2019b）確定檢出水平α，按照附錄A中表A.1查出臨界值D1-α（n檢驗法示例1自動剪床切斷鋼料，每日記錄最初剪下的100根鋼料的長度，作為一批數(shù)據(jù)，一周內記錄了6批，得到每日最大值數(shù)據(jù)如下（單位：mm根據(jù)經(jīng)驗，可以認為總體為Ⅰ型極值分布。假如使用者關心的是數(shù)據(jù)中是否有上側離群值，可采用本節(jié)中的方法。確定檢出水平α按照表查出由于由于故判斷為統(tǒng)計離群值。6.2.3狄克遜檢驗法示例2取20只新型電容器進行加速壽命試驗，其壽命數(shù)據(jù)（單位：h）按由小到大的次序排列后結果為：64容易看出，此壽命W服從威布爾分布，但圖形顯示，最小壽命遠離其他數(shù)據(jù)，需檢驗最小值1.2是否為離群值。將W取對數(shù)后，Y=ln（W）即為Ⅰ型極小值分布，因此，Ⅰ型極小值分布Y的次序統(tǒng)計量觀測值為：令XY則X為Ⅰ型極值分布，X的次序統(tǒng)計量觀測值為：本例中威布爾分布W最小值的離群值檢驗，即化為Ⅰ型極值分布X的最大值離群值檢驗。本例56GB／T6380—2019離群值。對于剔除水平α=0.01,按照表A.1查出D20臨界值0.654。由于計離群值。經(jīng)仔細檢查，發(fā)現(xiàn)此電容器是在加壓過程中絕緣層被擊穿，不是正常的老化失效，因此∞(1)=1.2是統(tǒng)計離群值，應予以剔除。檢驗法當樣本量30＜n≤50時實施步驟如下：計量In：式中S按式(3)計算： 式中父按式(4)計算： 注：S及父是除去最小觀測值父(1)和最大觀測值父（n）后的所有樣本觀測值計算得來的。b)確定檢出水平α,按照附錄B中表B.1查出臨界值I1-α（nI檢驗法示例某地某河流年最大徑流量的逐年觀測數(shù)據(jù)如下（單位：km3/s):經(jīng)驗表明此年最大徑流量的逐年觀測數(shù)據(jù)近似地服從Ⅰ型極值分布，需要判斷最大值父(40)=4.31是否為離群值。觀測值為父(39)=3.09。對除去最小觀測值父(1值，再按式(2)計算統(tǒng)計量In的值：確定檢出水平α,按照表7GB／T6380—20197多個離群值的判斷規(guī)則當樣本中可能有多個離群值需要檢驗時，按照4.4的規(guī)則執(zhí)行。具體