假設(shè)檢驗基礎(chǔ)知識講義.ppt

1、2011年,本資料來源,數(shù)據(jù)分析(方法與案例),作者 賈俊平,統(tǒng)計學(xué)基礎(chǔ),Fundamental Statistics,第 5 章 假設(shè)檢驗,5.1 假設(shè)檢驗的基本原理 5.2 總體均值的檢驗 5.3 總體比例的檢驗,hypothesis test,2011年,學(xué)習(xí)目標(biāo),假設(shè)檢驗的基本思想和原理 總體均值的檢驗 總體比例的檢驗 P值的計算與應(yīng)用,2011年,正常人的平均體溫是37oC嗎？,當(dāng)問起健康的成年人體溫是多少時，多數(shù)人的回答是37oC，這似乎已經(jīng)成了一種共識。下面是一個研究人員測量的50個健康成年人的體溫數(shù)據(jù),2011年,正常人的平均體溫是37oC嗎？,根據(jù)樣本數(shù)據(jù)計算的平均值是36.

2、8oC ，標(biāo)準差為0.36oC 根據(jù)參數(shù)估計方法得到的健康成年人平均體溫的95%的置信區(qū)間為(36.7，36.9)。研究人員發(fā)現(xiàn)這個區(qū)間內(nèi)并沒有包括37oC 因此提出“不應(yīng)該再把37oC作為正常人體溫的一個有任何特定意義的概念” 我們應(yīng)該放棄“正常人的平均體溫是37oC”這個共識嗎？本章的內(nèi)容就將提供一套標(biāo)準統(tǒng)計程序來檢驗這樣的觀點,5.1 假設(shè)檢驗的基本原理 5.1.1 假設(shè)的陳述 5.1.2 兩類錯誤與顯著性水平 5.1.3 檢驗統(tǒng)計量與拒絕域 5.1.3 利用P值進行決策,第 5 章 假設(shè)檢驗,5.1.1 假設(shè)的陳述,5.1 假設(shè)檢驗的基本原理,2011年,什么是假設(shè)?(hypothes

3、is),在參數(shù)檢驗中，對總體參數(shù)的具體數(shù)值所作的陳述 就一個總體而言，總體參數(shù)包括總體均值、比例、方差等 分析之前必需陳述,我認為這種新藥的療效比原有的藥物更有效!,2011年,什么是假設(shè)檢驗? (hypothesis test),先對總體的參數(shù)(或分布形式)提出某種假設(shè)，然后利用樣本信息判斷假設(shè)是否成立的統(tǒng)計方法 有參數(shù)檢驗和非參數(shù)檢驗 邏輯上運用反證法，統(tǒng)計上依據(jù)小概率原理 小概率是在一次試驗中，一個幾乎不可能發(fā)生的事件發(fā)生的概率 在一次試驗中小概率事件一旦發(fā)生，我們就有理由拒絕原假設(shè),2011年,原假設(shè)(null hypothesis),又稱“0假設(shè)”，研究者想收集證據(jù)予以反對的假設(shè)，用

4、H0表示 所表達的含義總是指參數(shù)沒有變化或變量之間沒有關(guān)系 最初被假設(shè)是成立的，之后根據(jù)樣本數(shù)據(jù)確定是否有足夠的證據(jù)拒絕它 總是有符號 , 或 H0 ： = 某一數(shù)值 H0 ： 某一數(shù)值 H0 ： 某一數(shù)值 例如, H0 ： 10cm,null,2011年,也稱“研究假設(shè)”,研究者想收集證據(jù)予以支持的假設(shè)，用H1或Ha表示 所表達的含義是總體參數(shù)發(fā)生了變化或變量之間有某種關(guān)系 備擇假設(shè)通常用于表達研究者自己傾向于支持的看法，然后就是想辦法收集證據(jù)拒絕原假設(shè)，以支持備擇假設(shè) 總是有符號 , 或 H1 ： 某一數(shù)值 H1 ： 某一數(shù)值 H1 ： 某一數(shù)值,備擇假設(shè) (alternative hyp

5、othesis),2011年,【例6.1】一種零件的生產(chǎn)標(biāo)準是直徑應(yīng)為10cm，為對生產(chǎn)過程進行控制，質(zhì)量監(jiān)測人員定期對一臺加工機床檢查，確定這臺機床生產(chǎn)的零件是否符合標(biāo)準要求。如果零件的平均直徑大于或小于10cm，則表明生產(chǎn)過程不正常，必須進行調(diào)整。試陳述用來檢驗生產(chǎn)過程是否正常的原假設(shè)和被擇假設(shè),提出假設(shè) (例題分析),解：研究者想收集證據(jù)予以證明的假設(shè)應(yīng)該是“生產(chǎn)過程不正?！薄＝⒌脑僭O(shè)和備擇假設(shè)為 H0 ： 10cm H1 ： 10cm,2011年,【例6.2】某品牌洗滌劑在它的產(chǎn)品說明書中聲稱：平均凈含量不少于500克。從消費者的利益出發(fā)，有關(guān)研究人員要通過抽檢其中的一批產(chǎn)品來驗證

6、該產(chǎn)品制造商的說明是否屬實。試陳述用于檢驗的原假設(shè)與備擇假設(shè),提出假設(shè) (例題分析),解：研究者抽檢的意圖是傾向于證實這種洗滌劑的平均凈含量并不符合說明書中的陳述 。建立的原假設(shè)和備擇假設(shè)為 H0 ： 500 H1 ： 500,2011年,【例6.3】一家研究機構(gòu)估計，某城市中家庭擁有汽車的比例超過30%。為驗證這一估計是否正確，該研究機構(gòu)隨機抽取了一個樣本進行檢驗。試陳述用于檢驗的原假設(shè)與備擇假設(shè),提出假設(shè) (例題分析),解：研究者想收集證據(jù)予以支持的假設(shè)是“該城市中家庭擁有汽車的比例超過30%”。建立的原假設(shè)和備擇假設(shè)為 H0 ： 30% H1 ： 30%,2011年,原假設(shè)和備擇假設(shè)是一

7、個完備事件組，而且相互對立 在一項假設(shè)檢驗中，原假設(shè)和備擇假設(shè)必有一個成立，而且只有一個成立 先確定備擇假設(shè)，再確定原假設(shè) 等號“=”總是放在原假設(shè)上 因研究目的不同，對同一問題可能提出不同的假設(shè)(也可能得出不同的結(jié)論),提出假設(shè) (結(jié)論與建議),2011年,備擇假設(shè)沒有特定的方向性，并含有符號“”的假設(shè)檢驗，稱為雙側(cè)檢驗或雙尾檢驗(two-tailed test) 備擇假設(shè)具有特定的方向性，并含有符號“”或“”，稱為右側(cè)檢驗,雙側(cè)檢驗與單側(cè)檢驗,2011年,雙側(cè)檢驗與單側(cè)檢驗 (假設(shè)的形式),以總體均值的檢驗為例,5.1.2 兩類錯誤與顯著性水平,5.1 假設(shè)檢驗的基本原理,2011年,兩類

8、錯誤與顯著性水平,研究者總是希望能做出正確的決策，但由于決策是建立在樣本信息的基礎(chǔ)之上，而樣本又是隨機的，因而就有可能犯錯誤 原假設(shè)和備擇假設(shè)不能同時成立，決策的結(jié)果要么拒絕H0，要么不拒絕H0。決策時總是希望當(dāng)原假設(shè)正確時沒有拒絕它，當(dāng)原假設(shè)不正確時拒絕它，但實際上很難保證不犯錯誤 第類錯誤(錯誤) 原假設(shè)為正確時拒絕原假設(shè) 第類錯誤的概率記為，被稱為顯著性水平 2.第類錯誤(錯誤) 原假設(shè)為錯誤時未拒絕原假設(shè) 第類錯誤的概率記為(Beta),2011年, 錯誤和 錯誤的關(guān)系,你要同時減少兩類 錯誤的惟一辦法 是增加樣本量,和 的關(guān)系就像翹翹板，小 就大， 大 就小,2011年,兩類錯誤的控

9、制,一般來說，對于一個給定的樣本，如果犯第類錯誤的代價比犯第類錯誤的代價相對較高，則將犯第類錯誤的概率定得低些較為合理；反之，如果犯第類錯誤的代價比犯第類錯誤的代價相對較低，則將犯第類錯誤的概率定得高些 一般來說，發(fā)生哪一類錯誤的后果更為嚴重，就應(yīng)該首要控制哪類錯誤發(fā)生的概率。但由于犯第類錯誤的概率是可以由研究者控制的，因此在假設(shè)檢驗中，人們往往先控制第類錯誤的發(fā)生概率,2011年,顯著性水平 (significant level),事先確定的用于拒絕原假設(shè)H0時所必須的證據(jù) 能夠容忍的犯第類錯誤的最大概率(上限值) 2.原假設(shè)為真時，拒絕原假設(shè)的概率 抽樣分布的拒絕域 3.表示為 (alph

10、a) 常用的 值有0.01, 0.05, 0.10 4.由研究者事先確定,5.1.3 檢驗統(tǒng)計量與拒絕域,5.1 假設(shè)檢驗的基本原理,2011年,依據(jù)什么做出決策？,若假設(shè)為H0：=500，H1：500。樣本均值為495，拒絕H0嗎？樣本均值為502，拒絕H0嗎？ 做出拒絕或不拒絕原假設(shè)的依據(jù)是什么？ 傳統(tǒng)上，做出決策所依據(jù)的是樣本統(tǒng)計量，現(xiàn)代檢驗中人們直接使用由統(tǒng)計量算出的犯第類錯誤的概率，即所謂的P值,2011年,根據(jù)樣本觀測結(jié)果計算出對原假設(shè)和備擇假設(shè)做出決策某個樣本統(tǒng)計量 對樣本估計量的標(biāo)準化結(jié)果 原假設(shè)H0為真 點估計量的抽樣分布,檢驗統(tǒng)計量 (test statistic),標(biāo)準化

11、的檢驗統(tǒng)計量,2011年,用統(tǒng)計量決策(雙側(cè)檢驗 ),2011年,用統(tǒng)計量決策(左側(cè)檢驗 ),抽樣分布,H0,臨界值,a,拒絕H0,1 - ,置信水平,Region of Rejection,Region of Nonrejection,2011年,用統(tǒng)計量決策(右側(cè)檢驗 ),抽樣分布,H0,臨界值,拒絕H0,1 - ,置信水平,Region of Nonrejection,Region of Rejection,2011年,統(tǒng)計量決策規(guī)則,給定顯著性水平，查表得出相應(yīng)的臨界值z或z/2，t或t/2 將檢驗統(tǒng)計量的值與 水平的臨界值進行比較 作出決策 雙側(cè)檢驗：I統(tǒng)計量I 臨界值，拒絕H0 左

12、側(cè)檢驗：統(tǒng)計量 臨界值，拒絕H0,5.1.4 利用P值進行決策,5.1 假設(shè)檢驗的基本原理,2011年,用P 值決策 (P-value),如果原假設(shè)為真，所得到的樣本結(jié)果會像實際觀測結(jié)果那么極端或更極端的概率 P值告訴我們：如果原假設(shè)是正確的話，我們得到得到目前這個樣本數(shù)據(jù)的可能性有多大，如果這個可能性很小，就應(yīng)該拒絕原假設(shè) 被稱為觀察到的(或?qū)崪y的)顯著性水平 決策規(guī)則：若p值, 拒絕 H0,2011年,雙側(cè)檢驗的P 值,2011年,左側(cè)檢驗的P 值,Z,拒絕H0,0,臨界值,計算出的樣本統(tǒng)計量,1/2 P 值,2011年,右側(cè)檢驗的P 值,Z,拒絕H0,0,計算出的樣本統(tǒng)計量,臨界值,1/

13、2 P 值,2011年,P值是關(guān)于數(shù)據(jù)的概率,P值原假設(shè)的對或錯的概率無關(guān) 它反映的是在某個總體的許多樣本中某一類數(shù)據(jù)出現(xiàn)的經(jīng)常程度，它是當(dāng)原假設(shè)正確時，得到目前這個樣本數(shù)據(jù)的概率 比如，要檢驗全校學(xué)生的平均生活費支出是否等于500元，檢驗的假設(shè)為H0：=500；H0：500 。假定抽出一個樣本算出的樣本均值600元，得到的值為P=0.02，這個0.02是指如果平均生活費支出真的是500元的話，那么，從該總體中抽出一個均值為600的樣本的概率僅為0.02。如果你認為這個概率太小了，就可以拒絕原假設(shè)，因為如果原假設(shè)正確的話，幾乎不可能抓到這樣的一個樣本，既然抓到了，就表明這樣的樣本不在少數(shù)，所以

14、原假設(shè)是不對的 值越小，你拒絕原假設(shè)的理由就越充分,2011年, 要證明原假設(shè)不正確，P值要多小，才能令人信服呢？ 原假設(shè)的可信度又多高？如果H0所代表的假設(shè)是人們多年來一直相信的，就需要很強的證據(jù)(小的P值)才能說服他們 拒絕的結(jié)論是什么？如果拒絕H0而肯定H1 ，你就需要有很強的證據(jù)顯示要支持H1。比如，H1代表要花很多錢把產(chǎn)品包裝改換成另一種包裝，你就要有很強的證據(jù)顯示新包裝一定會增加銷售量(因為拒絕H0要花很高的成本),多大的P 值合適?,2011年,用P值進行檢驗比根據(jù)統(tǒng)計量檢驗提供更多的信息 統(tǒng)計量檢驗是我們事先給出的一個顯著性水平，以此為標(biāo)準進行決策，無法知道實際的顯著性水平究竟

15、是多少 比如，根據(jù)統(tǒng)計量進行檢驗時，只要統(tǒng)計量的值落在拒絕域，我們拒絕原假設(shè)得出的結(jié)論都是一樣的，即結(jié)果顯著。但實際上，統(tǒng)計量落在拒絕域不同的地方，實際的顯著性是不同的。比如，統(tǒng)計量落在臨界值附近與落在遠離臨界值的地方，實際的顯著性就有較大差異。而P值給出的是實際算出的顯著水平，它告訴我們實際的顯著性水平是多少,P 值決策與統(tǒng)計量的比較,2011年,拒絕H0,P 值決策與統(tǒng)計量的比較,拒絕H0的兩個統(tǒng)計量的不同顯著性,Z,拒絕H0,0,統(tǒng)計量1,P1 值,統(tǒng)計量2,P2 值,拒絕H0,臨界值,2011年,假設(shè)檢驗結(jié)論的表述(“顯著”與“不顯著”),當(dāng)拒絕原假設(shè)時，我們稱樣本結(jié)果是統(tǒng)計上顯著的

16、拒絕原假設(shè)時結(jié)論是清楚的 當(dāng)不拒絕原假設(shè)時，我們稱樣本結(jié)果是統(tǒng)計上不顯著的 不拒絕原假設(shè)時，并未給出明確的結(jié)論，不能說原假設(shè)是正確的，也不能說它不是正確的,2011年,假設(shè)檢驗結(jié)論的表述(“顯著”與“不顯著”),當(dāng)拒絕原假設(shè)時，我們稱樣本結(jié)果是統(tǒng)計上顯著的 拒絕原假設(shè)時結(jié)論是清楚的 當(dāng)不拒絕原假設(shè)時，我們稱樣本結(jié)果是統(tǒng)計上不顯著的 不拒絕原假設(shè)時，并未給出明確的結(jié)論，不能說原假設(shè)是正確的，也不能說它不是正確的,2011年,假設(shè)檢驗結(jié)論的表述( “不拒絕” 不等于“接受”),假設(shè)檢驗的目的在于試圖找到證據(jù)拒絕原假設(shè)，而不在于證明什么是正確的 當(dāng)沒有足夠證據(jù)拒絕原假設(shè)時，不采用“接受原假設(shè)”的表述

17、，而采用“不拒絕原假設(shè)”的表述?！安痪芙^”的表述實際上意為著并未給出明確的結(jié)論，我們沒有說原假設(shè)正確，也沒有說它不正確 “接受”的說法有時會產(chǎn)生誤導(dǎo)，因為這種說法似乎暗示著原假設(shè)已經(jīng)被證明是正確的了。但實事上，H0的真實值我們永遠也無法知道，H0只是對總體真實值的一個假定值，由樣本提供的信息也就自然無法證明它是否正確,2011年,假設(shè)檢驗步驟的總結(jié),陳述原假設(shè)和備擇假設(shè) 從所研究的總體中抽出一個隨機樣本 確定一個適當(dāng)?shù)臋z驗統(tǒng)計量，并利用樣本數(shù)據(jù)算出其具體數(shù)值 確定一個適當(dāng)?shù)娘@著性水平，并計算出其臨界值，指定拒絕域 將統(tǒng)計量的值與臨界值進行比較，作出決策 統(tǒng)計量的值落在拒絕域，拒絕H0，否則不拒

18、絕H0 也可以直接利用P值作出決策,5.2 總體均值的檢驗 5.2.1 大樣本的檢驗方法 5.2.2 小樣本的檢驗方法,第 5 章 假設(shè)檢驗,5.2.1 大樣本的檢驗方法,5.2 總體均值的檢驗,2011年,總體均值的檢驗 (大樣本),1.假定條件 大樣本(n30) 使用z檢驗統(tǒng)計量 2 已知： 2 未知：,2011年,總體均值的檢驗( 2 已知)(例題分析大樣本),【例6.4】一種罐裝飲料采用自動生產(chǎn)線生產(chǎn)，每罐的容量是255ml，標(biāo)準差為5ml。為檢驗每罐容量是否符合要求，質(zhì)檢人員在某天生產(chǎn)的飲料中隨機抽取了40罐進行檢驗，測得每罐平均容量為255.8ml。取顯著性水平=0.05 ，檢驗該

19、天生產(chǎn)的飲料容量是否符合標(biāo)準要求？,雙側(cè)檢驗,2011年,總體均值的檢驗( 2 已知)(例題分析大樣本),H0 ： = 255 H1 ： 255 = 0.05 n = 40 臨界值(c):,檢驗統(tǒng)計量:,決策:,結(jié)論:,用Excel中的【NORMSDIST】函數(shù)得到的雙尾檢驗P=0.312945不拒絕H0,沒有證據(jù)表明該天生產(chǎn)的飲料不符合標(biāo)準要求,2011年,總體均值的檢驗(z檢驗) (P 值的計算與應(yīng)用),第1步：進入Excel表格界面，直接點擊【fx】 第2步：在函數(shù)分類中點擊【統(tǒng)計】，并在函數(shù)名 菜單下選擇【NORMSDIST】，然后【確定】 第3步：將 z 的絕對值1.01錄入，得到的

20、函數(shù)值為 0.843752345 P值=2(1-0.843752345)=0.312495 P值遠遠大于，故不拒絕H0,2011年,總體均值的檢驗( 2 未知) (例題分析大樣本),【例6.5】一種機床加工的零件尺寸絕對平均誤差為1.35mm。生產(chǎn)廠家現(xiàn)采用一種新的機床進行加工以期進一步降低誤差。為檢驗新機床加工的零件平均誤差與舊機床相比是否有顯著降低，從某天生產(chǎn)的零件中隨機抽取50個進行檢驗。利用這些樣本數(shù)據(jù)，檢驗新機床加工的零件尺寸的平均誤差與舊機床相比是否有顯著降低？ (=0.01),左側(cè)檢驗,2011年,總體均值的檢驗(例題分析大樣本),H0 ： 1.35 H1 ： 1.35 = 0.

21、01 n = 50 臨界值(c):,檢驗統(tǒng)計量:,拒絕H0,新機床加工的零件尺寸的平均誤差與舊機床相比有顯著降低,決策:,結(jié)論:,2011年,總體均值的檢驗 (P 值的計算與應(yīng)用大樣本),第1步：進入Excel表格界面，直接點擊【fx】 第2步：在函數(shù)分類中點擊【統(tǒng)計】，并在函數(shù)名的菜單下選 擇【ZTEST】，然后【確定】 第3步：在所出現(xiàn)的對話框【Array】框中，輸入原始數(shù)據(jù)所 在區(qū)域 ；在【X】后輸入?yún)?shù)的某一假定值(這里為 1.35)；在【Sigma】后輸入已知的總體標(biāo)準差(若總 體標(biāo)準差未知則可忽略不填，系統(tǒng)將自動使用樣本 標(biāo)準差代替) 第4步：用1減去得到的函數(shù)值0.9954210

22、23 即為P值 P值=1-0.995421023=0.004579 P值=0.01，拒絕H0,計算P值,Excel,2011年,總體均值的檢驗 (P 值的圖示),計算出的樣本統(tǒng)計量=2.6061,P=0.004579,Z,拒絕H0,0,臨界值,P 值,2011年,總體均值的檢驗( 2 未知)(例題分析),【例6.6】某一小麥品種的平均產(chǎn)量為5200kg/hm2 。一家研究機構(gòu)對小麥品種進行了改良以期提高產(chǎn)量。為檢驗改良后的新品種產(chǎn)量是否有顯著提高，隨機抽取了36個地塊進行試種，得到的樣本平均產(chǎn)量為5275kg/hm2，標(biāo)準差為120/hm2 。試檢驗改良后的新品種產(chǎn)量是否有顯著提高？ (=0.

23、05),右側(cè)檢驗,2011年,總體均值的檢驗( 2 未知)(例題分析),H0 ： 5200 H1 ： 5200 = 0.05 n = 36 臨界值(c):,檢驗統(tǒng)計量:,拒絕H0 (P = 0.000088 = 0.05),改良后的新品種產(chǎn)量有顯著提高,決策:,結(jié)論:,2011年,總體均值的檢驗(z檢驗) (P 值的圖示),2011年,總體均值的檢驗 (大樣本檢驗方法的總結(jié)),5.2.2 小樣本的檢驗方法,5.2 總體均值的檢驗,2011年,總體均值的檢驗 (小樣本),1.假定條件 總體服從正態(tài)分布 小樣本(n 30) 檢驗統(tǒng)計量 2 已知： 2 未知：,2011年,總體均值的檢驗 (小樣本檢

24、驗方法的總結(jié)),注： 已知的拒絕域同大樣本,2011年,總體均值的檢驗 (例題分析小樣本),【例6.7】一種汽車配件的平均長度要求為12cm，高于或低于該標(biāo)準均被認為是不合格的。汽車生產(chǎn)企業(yè)在購進配件時，通常是經(jīng)過招標(biāo)，然后對中標(biāo)的配件提供商提供的樣品進行檢驗，以決定是否購進?，F(xiàn)對一個配件提供商提供的10個樣本進行了檢驗。假定該供貨商生產(chǎn)的配件長度服從正態(tài)分布，在0.05的顯著性水平下，檢驗該供貨商提供的配件是否符合要求？,2011年,總體均值的檢驗 (例題分析小樣本),H0 ： =12 H1 ： 12 = 0.05 df = 10 - 1= 9 臨界值(c):,檢驗統(tǒng)計量:,不拒絕H0,沒有證據(jù)表明該供貨商提供的零件不符合要求,決策：,結(jié)論：,2011年,總體均值的檢驗 (P 值的計算與應(yīng)用t 檢驗),第1步：