假設檢驗-詳細解讀

假設檢驗-詳細解讀

假設檢驗假設檢驗（HypothesisTesting）目錄1什么是假設檢驗2假設檢驗的基本思想3假設檢驗的原理4假設檢驗的種類5假設檢驗的基本思想6假設檢驗規(guī)則與兩類錯誤7假設檢驗的一般步驟8假設檢驗應注意的問題9假設檢驗與置信區(qū)間的關系10幾種常見假設檢驗11假設檢驗的應用分析11.1案例一：假設檢驗設備判斷中的應用[1]11.2案例二：假設檢驗在卷煙質(zhì)量判斷中的應用[2]12相關條目13Reference什么是假設檢驗假設檢驗是用來判斷樣本與樣本，樣本與總體的差異是由抽樣誤差引起還是本質(zhì)差別造成的統(tǒng)計推斷方法。其基本原理是先對總體的特征作出某種假設，然后通過抽樣研究的統(tǒng)計推理，對此假設應該被拒絕還是接受作出推斷。生物現(xiàn)象的個體差異是客觀存在，以致抽樣誤差不可避免，所以我們不能僅憑個別樣本的值來下結論。當遇到兩個或幾個樣本均數(shù)（或率）、樣本均數(shù)（率）與已知總體均數(shù)（率）有大有小時，應當考慮到造成這種差別的原因有兩種可能：一是這兩個或幾個樣本均數(shù)（或率）來自同一總體，其差別僅僅由于抽樣誤差即偶然性所造成；二是這兩個或幾個樣本均數(shù)（或率）來自不同的總體，即其差別不僅由抽樣誤差造成，而主要是由實驗因素不同所引起的。假設檢驗的目的就在于排除抽樣誤差的影響，區(qū)分差別在統(tǒng)計上是否成立，并了解事件發(fā)生的概率。在質(zhì)量管理工作中經(jīng)常遇到兩者進行比較的情況，如采購原材料的驗證，我們抽樣所得到的數(shù)據(jù)在目標值兩邊波動，有時波動很大，這時你如何進行判定這些原料是否達到了我們規(guī)定的要求呢？再例如，你先后做了兩批實驗，得到兩組數(shù)據(jù)，你想知道在這兩試實驗中合格率有無顯著變化，那怎么做呢？這時你可以使用假設檢驗這種統(tǒng)計方法，來比較你的數(shù)據(jù)，它可以告訴你兩者是否相等，同時也可以告訴你，在你做出這樣的結論時，你所承擔的風險。假設檢驗的思想是，先假設兩者相等，即：μ＝μ0，然后用統(tǒng)計的方法來計算驗證你的假設是否正確。假設檢驗的基本思想1.小概率原理如果對總體的某種假設是真實的，那么不利于或不能支持這一假設的事件A（小概率事件）在一次試驗中幾乎不可能發(fā)生的；要是在一次試驗中A竟然發(fā)生了，就有理由懷疑該假設的真實性，拒絕這一假設。2.假設的形式H0——原假設，H1——備擇假設雙尾檢驗：H0:μ=μ0，單尾檢驗：，H1:μ<μ0，H1:μ>μ0假設檢驗就是根據(jù)樣本觀察結果對原假設（H0）進行檢驗，接受H0，就否定H1；拒絕H0，就接受H1。假設檢驗的原理一般地說，對總體某項或某幾項作出假設，然后根據(jù)樣本對假設作出接受或拒絕的判斷，這種方法稱為假設檢驗。假設檢驗使用了一種類似于“反證法”的推理方法，它的特點是：（1）先假設總體某項假設成立，計算其會導致什么結果產(chǎn)生。若導致不合理現(xiàn)象產(chǎn)生，則拒絕原先的假設。若并不導致不合理的現(xiàn)象產(chǎn)生，則不能拒絕原先假設，從而接受原先假設。（2）它又不同于一般的反證法。所謂不合理現(xiàn)象產(chǎn)生，并非指形式邏輯上的絕對矛盾，而是基于小概率原理：概率很小的事件在一次試驗中幾乎是不可能發(fā)生的，若發(fā)生了，就是不合理的。至于怎樣才算是“小概率”呢？通常可將概率不超過0.05的事件稱為“小概率事件”，也可視具體情形而取0.1或0.01等。在假設檢驗中常記這個概率為α，稱為顯著性水平。而把原先設定的假設成為原假設，記作H0。把與H0相反的假設稱為備擇假設，它是原假設被拒絕時而應接受的假設，記作H1。假設檢驗的種類假設檢驗可分為正態(tài)分布檢驗、正態(tài)總體均值分布檢驗、非參數(shù)檢驗三類。正態(tài)分布檢驗包括三類：JB檢驗、KS檢驗、Lilliefors檢驗，用于檢驗樣本是否來自于一個正態(tài)分布總體。正態(tài)總體均值檢驗檢驗分析方法和分析結果的準確度，考察系統(tǒng)誤差對測試結果的影響。從統(tǒng)計意義上來說，各樣本均值之差應在隨機誤差允許的范圍之內(nèi)。反之，如果不同樣本的均值之差超過了允許的范圍，這就說明除了隨機誤差之外，各均值之間還存在系統(tǒng)誤差，使得各均值之間出現(xiàn)了顯著性差異。正態(tài)總體均值檢驗分為兩種情況，t檢驗是用小樣本檢驗總體參數(shù)，特點是在均方差不知道的情況下，可以檢驗樣本平均數(shù)的顯著性，分為單側檢驗與雙側檢驗。當為雙樣本檢驗時，在兩樣本t檢驗中要用到F檢驗。從兩研究總體中隨機抽取樣本，要對這兩個樣本進行比較的時候，首先要判斷兩總體方差是否相同，即方差齊性。若兩總體方差相等，則直接用t檢驗，若不等，可采用t'檢驗或變量變換或秩和檢驗等方法。Z檢驗是一般用于大樣本(即樣本容量大于30)平均值差異性檢驗的方法。上面所述的檢驗都是基于樣本來自正態(tài)總體的假設，在實際工作中，有時并不明確知道樣本是否來自正態(tài)總體，這就為假設檢驗帶來難度。非參數(shù)檢驗方法，對樣本是否來自正態(tài)總體不做嚴格的限制，而且計算簡單。統(tǒng)計工具箱提供了符號檢驗和秩和檢驗兩種非參數(shù)檢驗方法。假設檢驗的基本思想假設檢驗的基本思想是小概率反證法思想。小概率思想是指小概率事件（P<0.01或P<0.05）在一次試驗中基本上不會發(fā)生。反證法思想是先提出假設(檢驗假設H0)，再用適當?shù)慕y(tǒng)計方法確定假設成立的可能性大小，如可能性小,則認為假設不成立，若可能性大，則還不能認為假設不成立。假設檢驗規(guī)則與兩類錯誤1.確定檢驗規(guī)則檢驗過程是比較樣本觀察結果與總體假設的差異。差異顯著，超過了臨界點，拒絕H0；反之，差異不顯著，接受H0。差異臨界點判斷c拒絕H0c接受H0怎樣確定c?2.兩類錯誤接受或拒絕H0，都可能犯錯誤I類錯誤——棄真錯誤，發(fā)生的概率為αII類錯誤——取偽錯誤，發(fā)生的概率為β檢驗決策H0為真H0非真拒絕H0犯I類錯誤（α）正確接受H0正確犯II類錯誤（β）α大β就小，α小β就大基本原則：力求在控制α前提下減少βα——顯著性水平，取值：0.1,0.05,0.001,等。如果犯I類錯誤損失更大，為減少損失，α值取??；如果犯II類錯誤損失更大，α值取大。確定α，就確定了臨界點c。①設有總體：X~N（μ，σ2），σ2已知。②隨機抽樣：樣本均值\bar{X}~N(\mu,\sigma^2/n)。③標準化：④確定α值，⑤查概率表，知臨界值⑥計算Z值，作出判斷。假設檢驗的一般步驟假設檢驗應注意的問題1、做假設檢驗之前，應注意資料本身是否有可比性。2、當差別有統(tǒng)計學意義時應注意這樣的差別在實際應用中有無意義。3、根據(jù)資料類型和特點選用正確的假設檢驗方法。4、根據(jù)專業(yè)及經(jīng)驗確定是選用單側檢驗還是雙側檢驗。5、當檢驗結果為拒絕無效假設時，應注意有發(fā)生I類錯誤的可能性，即錯誤地拒絕了本身成立的H0，發(fā)生這種錯誤的可能性預先是知道的，即檢驗水準那么大；當檢驗結果為不拒絕無效假設時，應注意有發(fā)生II類錯誤的可能性，即仍有可能錯誤地接受了本身就不成立的H0，發(fā)生這種錯誤的可能性預先是不知道的，但與樣本含量和I類錯誤的大小有關系。6、判斷結論時不能絕對化，應注意無論接受或拒絕檢驗假設，都有判斷錯誤的可能性。7、報告結論時是應注意說明所用的統(tǒng)計量，檢驗的單雙側及P值的確切范圍。假設檢驗與置信區(qū)間的關系假設檢驗與置信區(qū)間有密切的聯(lián)系，我們往往可以由某參數(shù)的顯著性水平為α的檢驗，得到該參數(shù)的置信度為1—α的置信區(qū)間，反之亦然。例如，顯著性水平α的均值μ的雙側檢驗問題：H0:μ=μ0，與置信度為1-α的置信區(qū)間之間有著這樣的關系；若檢驗在α水平下接受H0，則μ的1-α的置信區(qū)間必須包含μ0；反之，若檢驗在α水平下拒絕H0，則μ的1-α的置信區(qū)間必定不包含μ0。因此，我們可以用構造μ的1-α置信區(qū)間的方法來檢驗上述假設，如果構造出來的置信區(qū)間包含μ0，就接受H0；如果不包含μ0就拒絕H0。同樣給定顯著水平α，可以從構造檢驗規(guī)則的過程中，得到μ的1-α置信區(qū)間。如上例，μ的置信度為95%的置信區(qū)間為：即置信區(qū)間為(80.55,85.45)，因為μ0=80，不在這個區(qū)間內(nèi)，拒絕H0幾種常見假設檢驗考慮下面三種類型的假設檢驗：(4.12)（1）（雙邊檢驗）（2）（右側單邊檢驗）（3）（左側單邊檢驗）假設檢驗的應用分析案例一：假設檢驗設備判斷中的應用[1]例如：某公司想從國外引進一種自動加工裝置。這種裝置的工作溫度X服從正態(tài)分布(μ,52),廠方說它的平均工作溫度是80度。從該裝置試運轉中隨機測試16次，得到的平均工作溫度是83度。該公司考慮，樣本結果與廠方所說的是否有顯著差異？廠方的說法是否可以接受？類似這種根據(jù)樣本觀測值來判斷一個有關總體的假設是否成立的問題，就是假設檢驗的問題。我們把任一關于單體分布的假設，統(tǒng)稱為統(tǒng)計假設，簡稱假設。上例中，可以提出兩個假設：一個稱為原假設或零假設，記為H0：μ=80（度）；另一個稱為備擇假設或對立假設，記為H1：μ≠80（度）這樣，上述假設檢驗問題可以表示為：H0：μ=80H1：μ≠80原假設與備擇假設相互對立，兩者有且只有一個正確，備擇假設的含義是，一旦否定原假設H0，備擇假設H1備你選擇。所謂假設檢驗問題就是要判斷原假設H0是否正確，決定接受還是拒絕原假設，若拒絕原假設，就接受備擇假設。應該如何作出判斷呢？如果樣本測定的結果是100度甚至更高（或很低），我們從直觀上能感到原假設可疑而否定它，因為原假設是真實時，在一次試驗中出現(xiàn)了與80度相距甚遠的小概率事件幾乎是不可能的，而現(xiàn)在竟然出現(xiàn)了，當然要拒絕原假設H0。現(xiàn)在的問題是樣本平均工作溫度為83度，結果雖然與廠方說的80度有差異，但樣本具有隨機性，80度與83度之間的差異很可能是樣本的隨機性造成的。在這種情況下，要對原假設作出接受還是拒絕的抉擇，就必須根據(jù)研究的問題和決策條件，對樣本值與原假設的差異進行分析。若有充分理由認為這種差異并非是由偶然的隨機因素造成的，也即認為差異是顯著的，才能拒絕原假設，否則就不能拒絕原假設。假設檢驗實質(zhì)上是對原假設是否正確進行檢驗，因此，檢驗過程中要使原假設得到維護，使之不輕易被否定,否定原假設必須有充分的理由；同時，當原假設被接受時，也只能認為否定它的根據(jù)不充分，而不是認為它絕對正確。案例二：假設檢驗在卷煙質(zhì)量判斷中的應用[2]在卷煙生產(chǎn)企業(yè)經(jīng)常會遇到如下的問題：卷煙檢驗標準中要求煙支的某項缺陷的不合格品率P不能超過3%，現(xiàn)從一批產(chǎn)品中隨機抽取50支卷煙進行檢驗，發(fā)現(xiàn)有2支不合格品，問此批產(chǎn)品能否放行？按照一般的習慣性思維：50支中有2支不合格品，不合格品率就是4%，超過了原來設置的3%的不合格品率，因此不能放行。但如果根據(jù)假設檢驗的理論，在α＝0.05的顯著性水平下，該批產(chǎn)品應該可以放行。這是為什么呢？最關鍵的是由于我們是在一批產(chǎn)品中進行抽樣檢驗，用抽樣樣本的質(zhì)量水平來判別整批的質(zhì)量水平，這里就有一個抽樣風險的問題。舉例來說，我們的這批產(chǎn)品共有10000支卷煙，里面有4支不合格品，不合格品率是0.04%，遠低于3%的合格放行不合格品率。但我們的檢驗要求是隨機抽樣50支，用這50支的質(zhì)量水平來判別整批10000支的質(zhì)量水平。如果在50支中恰好抽到了2支甚至更多的不合格品，簡單地用抽到的不合格品數(shù)除以50來作為不合格品率來判斷，那我們就會對這批質(zhì)量水平合格的產(chǎn)品進行誤判。如何科學地進行判斷呢？這就要用到假設檢驗的理論。步驟1：建立假設要檢驗的假設是不合格品率P是否不超過3%，因此立假設H0：P≤0.03這是原假設，其意是：與檢驗標準一致。H1：P＞0.03步驟2：選擇檢驗統(tǒng)計量，給出拒絕域的形式若把比例P看作n=1的二項分別b（1，p）中成功的概率，則可在大樣本場合（一般n≥25）獲得參數(shù)p的近似μ的檢驗，可得樣本統(tǒng)計量：近似服從N(0,1)其中＝2/50＝0.04，p=0.03，n＝50步驟3：給出顯著性水平α，常取α＝0.05。步驟4：定出臨界值，寫出拒絕域W。根據(jù)α＝0.05及備擇假設知道拒絕域W為步驟5：由樣本觀測值，求得樣本統(tǒng)計量，并判斷。結論：在α＝0.05時，樣本觀測值未落在拒絕域，所以不能拒絕原假設，應允許這批產(chǎn)品出廠。假設檢驗中的兩類錯誤。進一步研究一下這個例子，在50個樣品中抽到多少個不合格品，就要拒絕入庫呢？我們?nèi)匀ˇ粒?.05，根據(jù)上述公式，得出，解得x>3.48，也就是在50個樣品中抽到4個不合格品才能判整批為不合格。而如果我們改變α的取值，也就是我們定義的小概率的取值，比如說取α＝0.01，認為概率不超過0.01的事件發(fā)生了就是不合理的了，那又會怎樣呢？還是用上面的公式計算，則得出，解得x>4.30，也就是在50個樣品中抽到5個不合格品才能判整批為不合格。檢驗要求是不合格品率P不能超過3%，而現(xiàn)在根據(jù)α＝0.01，算出來50個樣品中抽到5個不合格品才能判整批為不合格，會不會犯錯誤??！假設檢驗是根據(jù)樣本的情況作的統(tǒng)計推斷，是推斷就會犯錯誤，我們的任務是控制犯錯誤的概率。在假設檢驗中，錯誤有兩類：第一類錯誤（拒真錯誤）：原假設H0為真（批產(chǎn)品質(zhì)量是合格的），但由于抽樣的隨機性（抽到過多的不合格品），樣本落在拒絕域W內(nèi)，從而導致拒絕H0（根據(jù)樣本的情況把批質(zhì)量判斷為不合格）。其發(fā)生的概率記為α，也就是顯著性水平。α控制的其實是生產(chǎn)方的風險，控制的是生產(chǎn)方所承擔的批質(zhì)量合格而不被接受的風險。第二