擬合優(yōu)度檢驗(yàn)

1、歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 檢驗(yàn) Chi-Squared TestGoodness-of-fit Test 擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)&Test of Row and Column Independenc 獨(dú)立性檢驗(yàn)獨(dú)立性檢驗(yàn)2 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校2分布 (圖示) 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校樣本方差的分布) 1() 1(222nsn22) 1(sn 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校由阿貝(Abbe) 于1863年首先給出，后來(lái)由海爾墨特(Hermert)和卡皮爾遜(KPearson) 分別于1875

2、年和1900年推導(dǎo)出來(lái)設(shè) ，則令 ，則 Y 服從自由度為1的2分布，即 當(dāng)總體 ，從中抽取容量為n的樣本，則2分布 (2 distribution),(2NX) 1 , 0( NXz2zY ) 1 (2Y),(2NX) 1()(2212nxxnii歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校分布的變量值始終為正 分布的形狀取決于其自由度n的大小，通常為不對(duì)稱的正偏分布，但隨著自由度的增大逐漸趨于對(duì)稱 期望為：E(2)=n，方差為：D(2)=2n(n為自由度) 可加性：若U和V為兩個(gè)獨(dú)立的2分布隨機(jī)變量，U2(n1)， V2(n2),則U+V這一隨機(jī)變量服從自由度為n1+n2的2分布 2分布

3、 (性質(zhì)和特點(diǎn))歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校2分布 (圖示) 選擇容量為選擇容量為n 的的簡(jiǎn)單隨機(jī)樣本簡(jiǎn)單隨機(jī)樣本計(jì)算樣本方差計(jì)算樣本方差s2計(jì)算卡方值計(jì)算卡方值 2 = (n-1)s2/2計(jì)算出所有的計(jì)算出所有的 2值值總體總體歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 前面討論了當(dāng)總體分布為正態(tài)時(shí)，關(guān)前面討論了當(dāng)總體分布為正態(tài)時(shí)，關(guān)于其中未知參數(shù)的假設(shè)檢驗(yàn)問(wèn)題于其中未知參數(shù)的假設(shè)檢驗(yàn)問(wèn)題 . 然而可能遇到這樣的情形，然而可能遇到這樣的情形，總體服從何總體服從何種理論分布并不知道種理論分布并不知道，要求我們直接對(duì)總體要求我們直接對(duì)總體分布提出一個(gè)假設(shè)分布提出一個(gè)假設(shè)

4、 .舉例：用 Excel 演示投擲硬幣的檢驗(yàn)歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 例如，從例如，從1500到到1931年的年的432年間，每年年間，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)可以看作一個(gè)隨機(jī)變量，椐統(tǒng)爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)可以看作一個(gè)隨機(jī)變量，椐統(tǒng)計(jì)，這計(jì)，這432年間共爆發(fā)了年間共爆發(fā)了299次戰(zhàn)爭(zhēng)，具體數(shù)據(jù)次戰(zhàn)爭(zhēng)，具體數(shù)據(jù)如下如下:戰(zhàn)爭(zhēng)次數(shù)戰(zhàn)爭(zhēng)次數(shù)X01234 22314248154 發(fā)生發(fā)生 X次戰(zhàn)爭(zhēng)的年數(shù)次戰(zhàn)爭(zhēng)的年數(shù)歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 在概率論中，大家對(duì)泊松分布產(chǎn)生的一在概率論中，大家對(duì)泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)般條件已有所了解，容

5、易想到，每年爆發(fā)戰(zhàn)爭(zhēng)的次數(shù)，可以用一個(gè)泊松隨機(jī)變量來(lái)近似爭(zhēng)的次數(shù)，可以用一個(gè)泊松隨機(jī)變量來(lái)近似描述描述 . 也就是說(shuō)，我們可以假設(shè)每年爆發(fā)戰(zhàn)也就是說(shuō)，我們可以假設(shè)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布爭(zhēng)次數(shù)分布X近似泊松分布近似泊松分布.上面的數(shù)據(jù)能否證實(shí)上面的數(shù)據(jù)能否證實(shí)X 具有具有泊松分布的假設(shè)是正確的？泊松分布的假設(shè)是正確的？現(xiàn)在的問(wèn)題是：現(xiàn)在的問(wèn)題是：歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校又如，某鐘表廠對(duì)生產(chǎn)的鐘進(jìn)行精確性檢又如，某鐘表廠對(duì)生產(chǎn)的鐘進(jìn)行精確性檢查，抽取查，抽取100個(gè)鐘作試驗(yàn)，撥準(zhǔn)后隔個(gè)鐘作試驗(yàn)，撥準(zhǔn)后隔24小時(shí)小時(shí)以后進(jìn)行檢查，將每個(gè)鐘的誤差（快或慢）以后進(jìn)行檢查，將每個(gè)鐘的

6、誤差（快或慢）按秒記錄下來(lái)按秒記錄下來(lái).問(wèn)該廠生產(chǎn)的鐘的誤差是否服從正態(tài)問(wèn)該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？分布？歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校再如，某工廠制造一批骰子，再如，某工廠制造一批骰子，聲稱它是均勻的聲稱它是均勻的.為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與1/6的差距的差距.也就是說(shuō)，在投擲中，出也就是說(shuō)，在投擲中，出現(xiàn)現(xiàn)1點(diǎn)，點(diǎn)，2點(diǎn)，點(diǎn)，6點(diǎn)的概點(diǎn)的概率都應(yīng)是率都應(yīng)是1/6.得到的數(shù)據(jù)能否說(shuō)明得到的數(shù)據(jù)能否說(shuō)明“骰子均勻骰子均勻”的假設(shè)是可信的？的假設(shè)是可信的？問(wèn)題是：?jiǎn)栴}

7、是：歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校K.皮爾遜皮爾遜這是一項(xiàng)很重要的工作，不少人這是一項(xiàng)很重要的工作，不少人把它視為近代統(tǒng)計(jì)學(xué)的開端把它視為近代統(tǒng)計(jì)學(xué)的開端. 解決這類問(wèn)題的工具是英國(guó)統(tǒng)計(jì)學(xué)家解決這類問(wèn)題的工具是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜在皮爾遜在1900年發(fā)表的一篇文章中引進(jìn)年發(fā)表的一篇文章中引進(jìn)的所謂的所謂 檢驗(yàn)法檢驗(yàn)法.2 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 檢驗(yàn)法檢驗(yàn)法是在總體是在總體X 的分布未知時(shí)，的分布未知時(shí)，根據(jù)來(lái)自總體的樣本，檢驗(yàn)關(guān)于總體分根據(jù)來(lái)自總體的樣本，檢驗(yàn)關(guān)于總體分布的假設(shè)的一種檢驗(yàn)方法布的假設(shè)的一種檢驗(yàn)方法. 2歐陽(yáng)順湘 2005.6.25

8、北京師范大學(xué)珠海分校 H0：總體：總體X的分布函數(shù)為的分布函數(shù)為F0(x) 然后根據(jù)樣本的經(jīng)驗(yàn)分布和所假設(shè)的理論分然后根據(jù)樣本的經(jīng)驗(yàn)分布和所假設(shè)的理論分布之間的吻合程度來(lái)決定是否接受原假設(shè)布之間的吻合程度來(lái)決定是否接受原假設(shè). 使用使用 對(duì)總體分布進(jìn)行檢驗(yàn)時(shí)，對(duì)總體分布進(jìn)行檢驗(yàn)時(shí)，我們先提出原假設(shè)我們先提出原假設(shè):2檢驗(yàn)法檢驗(yàn)法這種檢驗(yàn)通常稱作這種檢驗(yàn)通常稱作擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)，它是一，它是一種非參數(shù)檢驗(yàn)種非參數(shù)檢驗(yàn).歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 在用在用 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0時(shí)，若在時(shí)，若在H0下下分布類型已知，但其參數(shù)未知，這時(shí)需要先分布類型已知，但其參數(shù)未知，這

9、時(shí)需要先估計(jì)參數(shù)，然后作檢驗(yàn)估計(jì)參數(shù)，然后作檢驗(yàn). 2檢驗(yàn)法檢驗(yàn)法分布擬合的分布擬合的 的基本原理和步的基本原理和步驟如下驟如下:2檢驗(yàn)法檢驗(yàn)法歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校3.根據(jù)所假設(shè)的理論分布根據(jù)所假設(shè)的理論分布,可以算出總體可以算出總體X的的值落入每個(gè)值落入每個(gè)Ak的概率的概率pk,于是于是npk就是落入就是落入Ak的樣本值的的樣本值的理論頻數(shù)理論頻數(shù).1. 將總體將總體X的取值范圍分成的取值范圍分成 r 個(gè)互不重迭的個(gè)互不重迭的小區(qū)間小區(qū)間ai-1,ai, i=1,r, 記作記作A1, A2, , Ar .2.把落入第把落入第k個(gè)小區(qū)間個(gè)小區(qū)間Ak的樣本值的個(gè)數(shù)記的

10、樣本值的個(gè)數(shù)記作作 nk ， 稱為稱為實(shí)際頻數(shù)實(shí)際頻數(shù). 1001()()()()kkkkkkpPAP aaF aF a歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校221()rkkkknnpnpkknnp標(biāo)志著經(jīng)驗(yàn)分布與理論分布之間的差異的大小標(biāo)志著經(jīng)驗(yàn)分布與理論分布之間的差異的大小.皮爾遜引進(jìn)如下統(tǒng)計(jì)量表示經(jīng)驗(yàn)分布皮爾遜引進(jìn)如下統(tǒng)計(jì)量表示經(jīng)驗(yàn)分布與理論分布之間的差異與理論分布之間的差異:統(tǒng)計(jì)量統(tǒng)計(jì)量 的分布是什么的分布是什么?2 在理論分布在理論分布已知的條件下已知的條件下,npk是常量是常量實(shí)際頻數(shù)實(shí)際頻數(shù)理論頻數(shù)理論頻數(shù)歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校皮爾遜證明了如下

11、皮爾遜證明了如下定理定理:221()rkkkknnpnp 若原假設(shè)中的理論分布若原假設(shè)中的理論分布F0(x)已經(jīng)完全給已經(jīng)完全給定，那么當(dāng)定，那么當(dāng) 時(shí)，統(tǒng)計(jì)量時(shí)，統(tǒng)計(jì)量n的分布漸近的分布漸近(r-1)個(gè)自由度的個(gè)自由度的 分布分布.2 2 n2 如果理論分布如果理論分布F0(x)中有中有m個(gè)未知參數(shù)需個(gè)未知參數(shù)需用相應(yīng)的估計(jì)量來(lái)代替，那么當(dāng)用相應(yīng)的估計(jì)量來(lái)代替，那么當(dāng) 時(shí)，時(shí)，統(tǒng)計(jì)量統(tǒng)計(jì)量 的分布漸近的分布漸近 (r-m-1) 個(gè)自由度個(gè)自由度 的的 分布分布.歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 如果根據(jù)所給的樣本值如果根據(jù)所給的樣本值 X1,X2, ,Xn算得算得統(tǒng)計(jì)量統(tǒng)計(jì)量

12、 的實(shí)測(cè)值落入拒絕域，則拒絕原假的實(shí)測(cè)值落入拒絕域，則拒絕原假設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè)設(shè)，否則就認(rèn)為差異不顯著而接受原假設(shè).2 得拒絕域得拒絕域:22(1)r22(1)rm(不需估計(jì)參數(shù)不需估計(jì)參數(shù))(估計(jì)估計(jì) r 個(gè)參數(shù)個(gè)參數(shù)) )(22P查查 分布表可得臨界值分布表可得臨界值2 2 ，使得，使得 根據(jù)這個(gè)定理，對(duì)給定的顯著性水平根據(jù)這個(gè)定理，對(duì)給定的顯著性水平 ， 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 皮爾遜定理是在皮爾遜定理是在n無(wú)限增大時(shí)推導(dǎo)出來(lái)無(wú)限增大時(shí)推導(dǎo)出來(lái)的，因而在使用時(shí)要注意的，因而在使用時(shí)要注意n要足夠大要足夠大，以及，以及npi 不太小不太小這兩個(gè)

13、條件這兩個(gè)條件. 根據(jù)計(jì)算實(shí)踐，要求根據(jù)計(jì)算實(shí)踐，要求n不小于不小于50，以及，以及npi 都不小于都不小于 5. 否則應(yīng)適當(dāng)合并區(qū)間，使否則應(yīng)適當(dāng)合并區(qū)間，使npi滿足這個(gè)要求滿足這個(gè)要求 .歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 讓我們回到開始的一個(gè)例子，檢驗(yàn)每讓我們回到開始的一個(gè)例子，檢驗(yàn)每年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布是否服從泊松分布年爆發(fā)戰(zhàn)爭(zhēng)次數(shù)分布是否服從泊松分布.提出假設(shè)提出假設(shè)H0: X服從參數(shù)為服從參數(shù)為 的泊松分布的泊松分布 按參數(shù)按參數(shù)為為0.69的泊松分布，計(jì)算事件的泊松分布，計(jì)算事件X=i 的的概率概率pi ，=0.69X 將有關(guān)計(jì)算結(jié)果列表如下將有關(guān)計(jì)算結(jié)果列表如下:

14、pi的估計(jì)是的估計(jì)是，i=0,1,2,3,4!69. 069. 0iepii根據(jù)觀察結(jié)果，得參數(shù)根據(jù)觀察結(jié)果，得參數(shù) 的極大似然估計(jì)為的極大似然估計(jì)為 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 因因H0所假設(shè)的理論分布中有一個(gè)未知所假設(shè)的理論分布中有一個(gè)未知參數(shù)，故自由度為參數(shù)，故自由度為4-1-1=2.x 0 1 2 3 4fi 223 142 48 15 4 0.58 0.31 0.18 0.01 0.02n 216.7 149.5 51.6 12.0 2.16 iiinpnpf2)(0.1830.376 0.251 1.623戰(zhàn)爭(zhēng)次數(shù)戰(zhàn)爭(zhēng)次數(shù)實(shí)測(cè)頻數(shù)實(shí)測(cè)頻數(shù)ip ip 14.16

15、2.43將將n 5的組予以合并，即將發(fā)生的組予以合并，即將發(fā)生3次及次及4次次戰(zhàn)爭(zhēng)的組歸并為一組戰(zhàn)爭(zhēng)的組歸并為一組.ip 歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 故認(rèn)為每年發(fā)生戰(zhàn)爭(zhēng)的次數(shù)故認(rèn)為每年發(fā)生戰(zhàn)爭(zhēng)的次數(shù)X服從服從參數(shù)為參數(shù)為0.69的泊松分布的泊松分布.按按 =0.05，自由度為，自由度為4-1-1=2查查 分布表得分布表得2 =5.991)2(205. 0 2 =2.435.991，由于統(tǒng)計(jì)量由于統(tǒng)計(jì)量2 的實(shí)測(cè)值的實(shí)測(cè)值未落入否定域未落入否定域.歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 奧地利生物學(xué)家孟德爾進(jìn)行了長(zhǎng)奧地利生物學(xué)家孟德爾進(jìn)行了長(zhǎng)達(dá)八年之久的豌豆雜交試

16、驗(yàn)達(dá)八年之久的豌豆雜交試驗(yàn), 并根據(jù)并根據(jù)試驗(yàn)結(jié)果試驗(yàn)結(jié)果,運(yùn)用他的數(shù)理知識(shí)運(yùn)用他的數(shù)理知識(shí), 發(fā)現(xiàn)了發(fā)現(xiàn)了遺傳的基本規(guī)律遺傳的基本規(guī)律. 在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為例，說(shuō)明統(tǒng)計(jì)方法在研究自然界和人類社會(huì)的例，說(shuō)明統(tǒng)計(jì)方法在研究自然界和人類社會(huì)的規(guī)律性時(shí)，是起著積極的、主動(dòng)的作用規(guī)律性時(shí)，是起著積極的、主動(dòng)的作用.孟德爾孟德爾歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校子二代子二代子一代子一代黃色純系黃色純系綠色純系綠色純系他的一組觀察結(jié)果為：他的一組觀察結(jié)果為：黃黃70，綠，綠27近似為近似為2.59:1，與理論值相近，與理論值相近. 根據(jù)他

17、的理論，子二代中根據(jù)他的理論，子二代中, 黃、綠之比黃、綠之比 近似為近似為3:1，歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 由于隨機(jī)性，觀察結(jié)果與由于隨機(jī)性，觀察結(jié)果與3:1總有些差總有些差距，因此有必要去考察某一大小的差異是否距，因此有必要去考察某一大小的差異是否已構(gòu)成否定已構(gòu)成否定3:1理論的充分根據(jù)，這就是如理論的充分根據(jù)，這就是如下的檢驗(yàn)問(wèn)題下的檢驗(yàn)問(wèn)題.這里，這里，n=70+27=97, k=2,檢驗(yàn)孟德爾的檢驗(yàn)孟德爾的3:1理論理論:提出假設(shè)提出假設(shè)H0: p1=3/4, p2=1/4理論頻數(shù)為：理論頻數(shù)為： np1=72.75, np2=24.25實(shí)測(cè)頻數(shù)為實(shí)測(cè)頻數(shù)為7

18、0，27.歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校2 由于統(tǒng)計(jì)量由于統(tǒng)計(jì)量的實(shí)測(cè)值的實(shí)測(cè)值2122)(iiiinpnpf 統(tǒng)計(jì)量統(tǒng)計(jì)量) 1 (2 自由度為自由度為k-1=12 =0.41583.841，按按 =0.05，自由度為，自由度為1，查，查 分布表得分布表得2 =3.841) 1 (205. 0 未落入否定域未落入否定域.故認(rèn)為試驗(yàn)結(jié)果符合故認(rèn)為試驗(yàn)結(jié)果符合孟德爾的孟德爾的3:1理論理論.歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 這些試驗(yàn)及其它一些試驗(yàn)，都顯這些試驗(yàn)及其它一些試驗(yàn)，都顯 示孟德爾的示孟德爾的3: 1理論與實(shí)際是符合的理論與實(shí)際是符合的. 這本身就是這本身就是統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng)統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng) 重要應(yīng)用重要應(yīng)用.用于客觀地評(píng)價(jià)理論上的某個(gè)結(jié)論是用于客觀地評(píng)價(jià)理論上的某個(gè)結(jié)論是否與觀察結(jié)果相符，以作為該理論是否與觀察結(jié)果相符，以作為該理論是否站得住腳的印證否站得住腳的印證.歐陽(yáng)順湘 2005.6.25北京師范大學(xué)珠海分校 某地英語(yǔ)高考測(cè)驗(yàn)題共105道, 要求這些題目的難度分布為: 要求 實(shí)際值 00.3之間 0.15 9 0.30.7之間 0.70 81 0.7 1之間 0.15 15 問(wèn)實(shí)測(cè)結(jié)果與難度的理想分布