分類數(shù)據(jù)分析

1、第 9 章分類數(shù)據(jù)分析,概 述,第七、八章介紹的估計和檢驗方法僅主要針對數(shù)值型變量。而列聯(lián)分析是針對分類變量進行分析的方法。,第 9 章 分類數(shù)據(jù)分析,9.1 分類數(shù)據(jù)與c2統(tǒng)計量 9.2 擬合優(yōu)度 檢驗 9.3 列聯(lián)分析：獨立性檢驗 9.4 列聯(lián)表中的相關(guān)測量 9.5 列聯(lián)分析中應(yīng)注意的問題,學(xué)習(xí)目標(biāo),1. 解釋列聯(lián)表 進行 c2 檢驗 擬合優(yōu)度檢驗 獨立性檢驗 3. 測度列聯(lián)表中的相關(guān)性,9.1 分類數(shù)據(jù),9.1.1 分類數(shù)據(jù) 補充：列聯(lián)表的構(gòu)造 列聯(lián)表的分布 9.1.2 2統(tǒng)計量,分類數(shù)據(jù),分類變量的取值表現(xiàn)為類別 例如：性別 (男, 女) 各類別可用符號或數(shù)字代碼來測度 例如：性別 (

2、男用1表示, 女用0表示) 順序數(shù)據(jù)也可以看作分類數(shù)據(jù) 原料的質(zhì)量等級：一等品、二等品、三等品 數(shù)值型數(shù)據(jù)也可以轉(zhuǎn)化為分類數(shù)據(jù) 數(shù)學(xué)期末考試成績是一個數(shù)值型數(shù)據(jù)，可以根據(jù)分數(shù)段將成績?yōu)椤皟?yōu)秀”、“良好”、“及格”和“不及格”幾個類別 對分類數(shù)據(jù)的描述和分析通常使用列聯(lián)表,列聯(lián)表的構(gòu)造,列聯(lián)表 (contingency table),由兩個以上的變量交叉分類的頻數(shù)分布表 行變量的類別用 r 表示， ri 表示第 i 個類別 列變量的類別用 c 表示， cj 表示第 j 個類別 每種組合的觀察頻數(shù)用 fij 表示 表中列出了行變量和列變量的所有可能的組合，所以稱為列聯(lián)表 一個 R 行 C 列的列聯(lián)

3、表稱為 R C 列聯(lián)表,列聯(lián)表的結(jié)構(gòu) (2 2 列聯(lián)表),列(cj),行 (ri),列聯(lián)表的結(jié)構(gòu) (r c 列聯(lián)表的一般表示),列(cj),行(ri),fij 表示第 i 行第 j 列的觀察頻數(shù),列聯(lián)表 (例題分析),【例】一個集團公司在四個不同的地區(qū)設(shè)有分公司，現(xiàn)該集團公司欲進行一項改革，此項改革可能涉及到各分公司的利益，故采用抽樣調(diào)查方式，從四個分公司共抽取420個樣本單位(人)，了解職工對此項改革的看法，調(diào)查結(jié)果如下表,列聯(lián)表的分布,觀察值的分布,邊緣頻數(shù) 行邊緣分布（頻數(shù)） 行觀察值的合計數(shù)的分布 例如，贊成改革方案的共有279人，反對改革方案的141人 列邊緣分布（頻數(shù)） 列觀察值的

4、合計數(shù)的分布 例如，四個分公司接受調(diào)查的人數(shù)分別為100人，120人，90人，110人 條件分布與條件頻數(shù) 表中每個具體的觀察值都是變量 X 條件下變量 Y 的頻數(shù)，或在變量 Y 條件下變量 X 的頻數(shù)，稱為條件分布（頻數(shù)）,觀察值的分布 (圖示),行邊緣分布,列邊緣分布,條件頻數(shù),百分比分布 (概念要點),條件頻數(shù)反映了數(shù)據(jù)的分布，但不適合對比 如二分公司贊成人數(shù)比一分公司多，并不表明二分公司比一分公司更贊成該方案，因為兩公司調(diào)查人數(shù)不同。 為在相同的基數(shù)上進行比較，可以計算相應(yīng)的百分比，稱為百分比分布 行百分比：行的每一個觀察頻數(shù)除以相應(yīng)的行合計數(shù)(fij / ri) 列百分比：列的每一個

5、觀察頻數(shù)除以相應(yīng)的列合計數(shù)( fij / cj ) 總百分比：每一個觀察值除以觀察值的總個數(shù)( fij / n ),百分比分布 (圖示),總百分比,列百分比,行百分比,列聯(lián)分析是利用列聯(lián)表來研究： ( ) A. 兩個分類變量的關(guān)系 B . 兩個數(shù)值型變量的關(guān)系 C. 一個分類變量和一個數(shù)值型變量的關(guān)系 D. 兩個數(shù)值型變量的分布 以下列聯(lián)表中，最右邊一列稱為：( ) A. 列邊緣頻數(shù)； B. 行邊緣頻數(shù)； C. 條件頻數(shù)； D. 總頻數(shù),練 習(xí) （1）,A,B,(3) 對于學(xué)生宿舍上網(wǎng)收費的新措施，男女學(xué)生的抽樣調(diào)查結(jié)果如下列聯(lián)表所示，在男女生贊成的比例相同的前提下，男女生贊成該措施的期望頻數(shù)

6、分別為： ( ) A. 48和39 B . 102和81 C. 15和14 D. 25和19,A, 統(tǒng)計量,概 述,2檢驗(Chi-square test)是現(xiàn)代統(tǒng)計學(xué)的創(chuàng)始人之一，英國人K . Pearson（1857-1936）于1900年提出的一種具有廣泛用途的統(tǒng)計方法，因此又稱為Pearson 2檢驗?？捎糜趦蓚€或多個率或構(gòu)成比間的比較，定性資料的關(guān)聯(lián)度分析，擬合優(yōu)度檢驗等等。, 統(tǒng)計量,用于檢驗列聯(lián)表中變量間擬合優(yōu)度和獨立性 檢驗統(tǒng)計量為： 或 2統(tǒng)計量可以看作是檢驗真實值與期望值的接近程度。, 統(tǒng)計量,分布與自由度的關(guān)系,9.2 擬合優(yōu)度檢驗 (goodness of fit te

7、st), 統(tǒng)計量,擬合優(yōu)度檢驗： 用于檢驗一個分類變量中各類別的期望頻數(shù)和觀察頻數(shù)是否有顯著差異。 其實際為假設(shè)檢驗 在原假設(shè)為觀察頻數(shù)和實際頻數(shù)一致的前提下，有如下檢驗統(tǒng)計量：,擬合優(yōu)度檢驗的期望頻數(shù)的計算,若可求出第i行第j列元素的期望概率pij，則一個實際頻數(shù) fij 的期望頻數(shù)eij ，是總頻數(shù)的個數(shù) n 乘以該實際頻數(shù) fij 的期望概率pij,期望頻數(shù)的計算舉例,舉例：要檢驗各分公司對某項改革方案的看法是否相同？,期望頻數(shù)的分布 (例題分析),在全部420個樣本中，贊成改革方案的人數(shù)為279，占66.4%；反對的人數(shù)占33.6%。在各分公司對改革方案看法相同的前提下，各分公司贊成（

8、反對）這項改革不同態(tài)度的期望頻數(shù)為分公司總樣本數(shù)*66.4%（33.6%）。等價于檢驗各分公司贊成方案的實際頻數(shù)與期望頻數(shù)是否一致。,期望頻數(shù)的分布 (例題分析),在廣告宣傳戰(zhàn)之前，A公司、B公司和其它公司的市場占有率分別為45%、40%和15%。上表給出了廣告后對200個消費者購買意愿的調(diào)查的結(jié)果，檢驗廣告戰(zhàn)前后各公司的市場占有率是否發(fā)生了變化 ？ 等價于檢驗三個公司的期望購買人數(shù)和實際購買人數(shù)是否一致。,擬合優(yōu)度檢驗 (例題分析1-1),【例9.1】 1912年4月15日，豪華巨輪泰坦尼克號與冰山相撞沉沒。當(dāng)時船上共有共2208人，其中男性1738人，女性470人。海難發(fā)生后，幸存者為71

9、8人，其中男性374人，女性344人，以的顯著性水平( 0.05)檢驗存活狀況與性別是否有關(guān)。,擬合優(yōu)度檢驗 (例題分析1-2),分析：在這次海難中，幸存者共718人，即總存活比例為718/2208=0.325。若存活狀況與性別無關(guān)，則男性存活的期望人數(shù)為：0.3251738565人，女性存活的期望人數(shù)為： 0.325470153人，若男女性期望的存活人數(shù)和實際的存活人數(shù)非常接近，則可以認為存活率與性別無關(guān)，反之，則認為存狀況與性別相關(guān)。因此可以利用2統(tǒng)計量來檢驗。,擬合優(yōu)度檢驗 (例題分析1-3),H0:生存狀況與性別無關(guān)（觀察頻數(shù)與期望頻數(shù)一致） H1:生存狀況與性別相關(guān)（觀察頻數(shù)與期望頻

10、數(shù)不一致） = 0.05 df = (2-1)= 1 臨界值(s):,統(tǒng)計量:,在 = 0.05的水平上拒絕H0,有較充分的理由認為生存狀況與性別相關(guān),決策:,結(jié)論:,擬合優(yōu)度檢驗 (例題分析2-1),【例】 一項統(tǒng)計結(jié)果聲稱：某市老年人口（年齡在65歲以上）所占的比例為14.7%，該市老年人口研究會為了檢驗該項統(tǒng)計是否可靠，隨機抽選了400名居民，發(fā)現(xiàn)其中有57人年齡在65歲以上。調(diào)查結(jié)果是否支持該市老年人口比例為14.7%的說法？（=0.05）。,擬合優(yōu)度檢驗 (例題分析2-2),解：要回答觀察的老年人數(shù)與期望的老年人數(shù)是否一致，檢驗如下假設(shè)：,H0：老年人口比例為14.7%（觀察頻數(shù)與期

11、望頻數(shù)一致） H1：老年人口比例并非14.7%（觀察頻數(shù)與期望頻數(shù)不一致）,擬合優(yōu)度檢驗 (例題分析2-3), = 0.05 df = (2-1)= 1 臨界值(s): 注意：教材P223中作的雙側(cè)檢驗有誤。,統(tǒng)計量:,在 = 0.05的水平上接受H0,有較充分的理由認為老年人比比例為14.7%相關(guān),決策:,結(jié)論:,擬合優(yōu)度檢驗 (例題分析2-1),注意：第8章介紹的總體比例檢驗只能用于二項分布，而2統(tǒng)計量可用于多項分布的比例檢驗。,9.3 列聯(lián)分析：獨立性檢驗,9.3.1 列聯(lián)表（已講） 9.3.2 獨立性檢驗,兩個變量的獨立性檢驗,獨立變量檢驗 (goodness of fit test)

12、,檢驗兩個分類變量是否獨立 檢驗的步驟 提出假設(shè) H0：變量X和Y獨立j；H1： X和Y 不獨立 在原假設(shè)成立的前提下，可得到以下檢驗統(tǒng)計量,進行決策 根據(jù)顯著性水平和自由度(r-1)(c-1)查出臨界值2 若22，拒絕H0；若2 0.05(4)=9.488 故拒絕H0，接受H1 ，即地區(qū)和原料等級之間存在依賴關(guān)系，原料的質(zhì)量受地區(qū)的影響,獨立性檢驗 (例題分析2-1),【例】某集團公司 欲進行一項改革，從所屬的四個分公司中共隨機抽取了420名職工，了解它們對改革方案的態(tài)度（見下表），以=0.1的顯著性水平檢驗員工態(tài)度是否受所在分公司的影響。,獨立性檢驗 (例題分析2-1),解：若員工態(tài)度不受

13、影響，則所在分公司與對改革方案的態(tài)度是相互獨立的?？稍O(shè)定原假設(shè)和備擇假設(shè)分別為 (1) 確定假設(shè) H0: 員工所在分公司和對改革方案的態(tài)度是相互獨立的 H1:員工所在分公司和對改革方案的態(tài)度并非相互獨立,獨立性檢驗 (例題分析2-3),(2) 計算期望頻數(shù)及2統(tǒng)計量的值,獨立性檢驗 (例題分析2-4),(3) 作出判斷, 0.05(3)=7.8147. 故接受H0。即員工所在分公司與其態(tài)度是相互獨立的。,2檢驗的實質(zhì),獨立性檢驗等價于檢驗多個比例是否相等或由期望的比例算出的期望頻數(shù)與實際頻數(shù)是否相等。 檢驗的步驟 提出假設(shè) H0：1 =p1, 2 =p2, j=pj； H1 1 =p1, 2

14、=p2, j=pj至少有一個不成立 原假設(shè)意為在一個分類變量C的不同取值下，另一個分類變量R的某一類別的占該R比例是否等于某個期望比例,2檢驗的實質(zhì),在原假設(shè)成立的前提下，可得到以下檢驗統(tǒng)計量 若列聯(lián)表中其中一個分類變量只是考慮的一個類別的觀測值，則使用以下統(tǒng)計量（擬合優(yōu)度檢驗） 進行決策 根據(jù)顯著性水平和自由度(r-1)查出臨界值2 若22，拒絕H0；若22，拒絕H0；若22，接受H0,2檢驗舉例 (例題分析1-1),【例9.3】某集團公司 欲進行一項改革，從所屬的四個分公司中共隨機抽取了420名職工，了解它們對改革方案的態(tài)度（見下表），以=0.1的顯著性水平檢驗員工態(tài)度是否受所在分公司的影

15、響。,2檢驗舉例 (例題分析1-2),解：若員工對改革方案的態(tài)度不受所在子公司的影響，四個分公司對贊成改革方案的比例是一致的。 ，設(shè)i為第i個分公司贊成改革方案的百分比）?？稍O(shè)定原假設(shè)和備擇假設(shè)分別為： H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等,2檢驗舉例 (例題分析1-3),合計：3.0319,擬合優(yōu)度檢驗 (例題分析1-3),H0: 1= 2= 3= 4 H1: 1,2,3,4 不全相等 = 0.1 df = (4-1)= 3 臨界值(s):,統(tǒng)計量:,在 = 0.1的水平上不能拒絕H0,可以認為四個分公司對改革方案的贊成比例是一致的,決策:,結(jié)論:,2檢驗 (例題分

16、析2-1),【例】 1912年4月15日，豪華巨輪泰坦尼克號與冰山相撞沉沒。當(dāng)時船上共有共2208人，其中男性1738人，女性470人。海難發(fā)生后，幸存者為718人，其中男性374人，女性344人，以的顯著性水平( 0.05)檢驗存活狀況與性別是否有關(guān)。,2檢驗 (例題分析2-2),分析：設(shè)男女存活率分別為1和2 若男女存活率相同，則均為718/2208=0.325 本問題等價于檢驗如下假定： H0: 1=2 H1: 12,2檢驗 (例題分析2-3),H0: 1=2 H1: 12 = 0.05 df = (2-1)= 1 臨界值(s):,統(tǒng)計量:,在 = 0.05的水平上拒絕H0,有較充分的理

17、由認為生存狀況與性別相關(guān),決策:,結(jié)論:,思 考 1,問題1： 為什么2檢驗采用右單側(cè)檢驗而不采用雙邊檢驗？ 答：因為應(yīng)用2檢驗時，原假設(shè)H0實際上可以概括為: 觀測頻數(shù)期望頻數(shù)，備擇假設(shè)H1為：觀測頻數(shù)期望頻數(shù)，而2統(tǒng)計量的值越小，表明觀測頻率與期望頻率越接近，越因該接受原假設(shè)，因此，拒絕域應(yīng)該在2分布的右側(cè)，故采用右單側(cè)檢驗。,思 考 2,問題2： 如何解釋2統(tǒng)計量的自由度為(R-1)(C-1)？,品質(zhì)數(shù)據(jù)的假設(shè)檢驗,(1) 對于學(xué)生宿舍上網(wǎng)收費的新措施，男女學(xué)生的抽樣調(diào)查結(jié)果如下列聯(lián)表所示，如果要檢驗?zāi)信澇缮暇W(wǎng)的比例（ 1 和2 ）是否相同，則提出的原假設(shè)為： ( ) A. H0:

18、1=2= 0.678 B . H0: 1=2= 45 C. H0: 1=2= 0.322 D. H0: 1=2= 42 檢驗(1)所使用的2統(tǒng)計量的自由度為( ) 采用（ ）(左側(cè)，右側(cè)，雙邊)檢驗,練 習(xí) （2）,C,1,右側(cè),(3) 對于學(xué)生宿舍上網(wǎng)收費的新措施，男女學(xué)生的抽樣調(diào)查結(jié)果如下列聯(lián)表所示，如果要檢驗?zāi)信澇缮暇W(wǎng)的比例是否相同，即檢驗H0: 1=2= 0.322，若給定=0.05，得出的結(jié)論是： ( ) A. 拒絕原假設(shè) B . 不拒絕原假設(shè) C. 可以拒絕也可以不拒絕原假設(shè) D. 既不拒絕也不接收原假設(shè),B,9.4 列聯(lián)表中的相關(guān)測量,9.4.1 相關(guān)系數(shù) 9.4.2 列聯(lián)相

19、關(guān)系數(shù) 9.4.3 V 相關(guān)系數(shù),列聯(lián)表中的相關(guān)測量,品質(zhì)相關(guān) 對品質(zhì)數(shù)據(jù)(分類和順序數(shù)據(jù))之間相關(guān)程度的測度 列聯(lián)表變量的相關(guān)屬于品質(zhì)相關(guān) 列聯(lián)表相關(guān)測量的統(tǒng)計量主要有 相關(guān)系數(shù) 列聯(lián)相關(guān)系數(shù) V 相關(guān)系數(shù), 相關(guān)系數(shù) (correlation coefficient),測度22列聯(lián)表中數(shù)據(jù)相關(guān)程度 對于22 列聯(lián)表， 系數(shù)的值在01之間 相關(guān)系數(shù)計算公式為, 相關(guān)系數(shù) (原理分析),一個簡化的 22 列聯(lián)表, 相關(guān)系數(shù) (原理分析),列聯(lián)表中每個單元格的期望頻數(shù)分別為,將各期望頻數(shù)代入 的計算公式得, 相關(guān)系數(shù) (原理分析),將入 相關(guān)系數(shù)的計算公式得,ad 等于 bc ， = 0，表明變

20、量X 與 Y 之間獨立 若 b=0 ，c=0，或a=0 ，d=0，意味著各觀察頻數(shù)全部落在對角線上，此時| =1,表明變量X 與 Y 之間完全相關(guān)， | 越接近1，相關(guān)程度越大，,列聯(lián)表中變量的位置可以互換，的符號沒有實際意義，故取絕對值即可, 相關(guān)系數(shù)取值范圍 (原理分析),對22列聯(lián)表，-1 1 對非22列聯(lián)表，,故對非22列聯(lián)表，系數(shù)將隨著R或C的變大而增大，且值沒有上限，故不適合用系數(shù)測定兩個變量的相關(guān)程度。,列聯(lián)相關(guān)系數(shù)C (coefficient of contingency),列聯(lián)相關(guān)系數(shù)C用于測度大于22列聯(lián)表中數(shù)據(jù)的相關(guān)程度 計算公式為,C 的取值范圍是 ，其中m=min(R

21、, C) C = 0表明列聯(lián)表中的兩個變量獨立 C 的數(shù)值大小取決于列聯(lián)表的行數(shù)和列數(shù)，并隨行數(shù)和列數(shù)的增大而增大,列聯(lián)相關(guān)系數(shù) (優(yōu)缺點),優(yōu)點： 計算簡單，對總體分布沒有任何要求。 缺點： 根據(jù)不同行和列計算的列聯(lián)相關(guān)系數(shù)不便于比較。,V 相關(guān)系數(shù) (V correlation coefficient),由Gramer提出，計算公式為,V 的取值范圍是 0V1 V =0表明列聯(lián)表中的兩個變量獨立 V =1表明列聯(lián)表中的兩個變量完全相關(guān) 不同行和列的列聯(lián)表計算的列聯(lián)系數(shù)不便于比較 當(dāng)列聯(lián)表中有一維為2，min(r-1),(c-1)=1,此時V=,列聯(lián)表中的相關(guān)測量 (例題分析),【例9.2】

22、一種原料來自三個不同地區(qū)，原料質(zhì)量被分成三個不同等級。從這批原料中隨機抽取500件進行檢驗，結(jié)果如下表。分別計算系數(shù)、C系數(shù)和V系數(shù)，并分析相關(guān)程度（假設(shè)已檢驗得到地區(qū)和材料質(zhì)量相關(guān)）,列聯(lián)表中的相關(guān)測量 (例題分析),解：已知n=500，19.82，列聯(lián)表為33,結(jié)論：三個系數(shù)均不高，表明產(chǎn)地和原料等級之 間的相關(guān)程度不高,、C、V 的比較,同一個列聯(lián)表，、C、V 的結(jié)果會不同 在對不同列聯(lián)表變量之間的相關(guān)程度進行比較時，不同列聯(lián)表中的行與行、列與列的個數(shù)要相同，并且采用同一種系數(shù),(1) 對于學(xué)生宿舍上網(wǎng)收費的新措施，男女學(xué)生的抽樣調(diào)查結(jié)果如下列聯(lián)表所示，如果要檢驗?zāi)信澇缮暇W(wǎng)的比例是否

23、相同，若根據(jù)數(shù)據(jù)計算得到|=1，則： ( ) A. 男學(xué)生全部贊成，女學(xué)生全部反對 B . 男女學(xué)生全部都贊成 C. 男女學(xué)生全部都反對 D. 男學(xué)生全部贊成，女學(xué)生全部反對；或男學(xué)生全部反對，女學(xué)生全部贊成,練 習(xí) （3）,D,(2) 以下測度列聯(lián)表中數(shù)據(jù)的相關(guān)程度的參數(shù)，取值范圍有可能不在0,1范圍內(nèi)的是：( ) A. 相關(guān)系數(shù) B . C相關(guān)系數(shù) C. V相關(guān)系數(shù) D. A、B、C都有可能,A,9.4 列聯(lián)分析中應(yīng)注意的問題,9.4.1 條件百分表的方向 9.4.2 2分布的期望值準(zhǔn)則,條件百分表的方向（1）,列聯(lián)表中行列變量的置放位置 習(xí)慣做法：將自變量X放在列頭，因變量Y放在行頭，條件百分比按照自變量的方向計算 例如：調(diào)查不同職業(yè)的人的價值取向，職業(yè)看作自變量，價值取向為因變量， 如左表，從左表數(shù)據(jù)可以看出：從事服務(wù)業(yè)的人更注重人情關(guān)系。,條件百分表的方向（2）,列聯(lián)表中行列變量的置放位置 (2)