[經(jīng)濟(jì)學(xué)]《非參數(shù)假設(shè)檢驗》第四次課新.ppt

非參數(shù)假設(shè)檢驗 追求 非參數(shù)檢驗是相對于參數(shù)檢驗而言的 這兩種檢驗方法在實際中都有廣泛的應(yīng)用 但它們有著不同的數(shù)理統(tǒng)計原理和應(yīng)用場合 在統(tǒng)計學(xué)的發(fā)展過程中 最先出現(xiàn)的推斷統(tǒng)計方法都對樣本所屬總體的性質(zhì)作出若干假設(shè) 即對總體的分布形狀作某些限定 例如Z檢驗 t檢驗 假設(shè)樣本的總體分布加以某些限定 把所要推斷的總體數(shù)字特征看作未知的 參數(shù) 進(jìn)行推斷 稱之為參數(shù)統(tǒng)計方法 Parameterstatisticalmethods 或限定分布統(tǒng)計方法 distribution specifiedstatisticalmethods 基于此所做的假設(shè)檢驗就稱為參數(shù)檢驗 Parametrictest 常用的檢驗如t檢驗 Z檢驗 F檢驗等都是參數(shù)檢驗 參數(shù)檢驗只有在關(guān)于總體分布的假設(shè)成立時 所得出的結(jié)論才是正確的 所以它在很多場合不便應(yīng)用 于是統(tǒng)計學(xué)家發(fā)展了許多對總體不作太多或嚴(yán)格限定的統(tǒng)計推斷方法 這些方法一般不涉及總體參數(shù)的假設(shè) 與之相對應(yīng)的統(tǒng)計方法通常稱為非參數(shù)統(tǒng)計 Nonparametricstatistics 或自由分布統(tǒng)計方法 Distribution freestatiscalmethods 基于此所做的假設(shè)檢驗則稱為非參數(shù)檢驗 Nonparametrictest 或自由分布統(tǒng)計檢驗 Distribution freestatisticaltest 非參數(shù)檢驗的前提假設(shè)比參數(shù)檢驗方法少很多 也容易滿足 適用于已知信息相對較少的數(shù)據(jù)資料 而且它的計算方法也簡便易行 對于多數(shù)參數(shù)檢驗方法 都有一種或幾種相對應(yīng)的非參數(shù)檢驗方法 如下表所示 參數(shù)檢驗與非參數(shù)檢驗方法的對應(yīng)表 與參數(shù)檢驗方法對比 非參數(shù)檢驗方法具有以下優(yōu)點 檢驗條件寬松 適應(yīng)性強 參數(shù)檢驗假定總體分布為正態(tài) 近似正態(tài)或以正態(tài)分布為基礎(chǔ)而構(gòu)造的t分布或分布 非參數(shù)檢驗不受這些條件的限制 彌補了參數(shù)檢驗的不足 對于非正態(tài)的 方差不等的以及分布形狀未知的數(shù)據(jù)都適用 檢驗方法靈活 用途廣泛 非參數(shù)檢驗不但可以應(yīng)用與定距 定比等連續(xù)變量的檢驗 而且適用于定類 定序等分類變量的檢驗 對于那些不能直接進(jìn)行四則運算的定類數(shù)據(jù)和定序數(shù)據(jù) 運用符號檢驗 符號秩檢驗都能起到好的效果 非參數(shù)檢驗的計算相對簡單 易于理解 由于非參數(shù)檢驗更多地采用計數(shù)的方法 其過程及結(jié)果都可以被直觀地理解 為使用者所接受 非參數(shù)檢驗的優(yōu)點 非參數(shù)檢驗的缺點 非參數(shù)檢驗也有一些不可避免的缺點 非參數(shù)檢驗方法對總體分布的假定不多 適應(yīng)性強 但方法本身也就缺乏針對性 其功效不如參數(shù)檢驗 非參數(shù)檢驗使用的是等級或符號秩 而不是實際數(shù)值 方法雖簡單 但會失去許多信息 因而檢驗的有效性也就比較差 例如對于一批適用于t檢驗的配對資料 如果采用符號秩檢驗處理 其功效將低于t檢驗 如果用符號檢驗處理則效率更低 因為它對信息的利用更不充分 當(dāng)然 如果假定的分布不成立 那么非參數(shù)檢驗就是更值得信賴的 一個總體分布的非參數(shù)假設(shè)檢驗 2 兩個總體的分布未知 它們是否相同 非參數(shù)假設(shè)檢驗需要處理的問題 1 猜出總體的分布 假設(shè) 用另一組樣本檢驗 兩個總體分布的非參數(shù)假設(shè)檢驗 內(nèi)容 多個總體分布的非參數(shù)假設(shè)檢驗 配對樣本非參數(shù)檢驗 SPSS的非參數(shù)檢驗 一個總體 單樣本總體分布的檢驗 兩個總體 多個總體 獨立樣本非參數(shù)檢驗 配對樣本非參數(shù)檢驗 獨立樣本非參數(shù)檢驗 一個總體分布的檢驗 檢驗總體的卡方分布 檢驗總體的二項分布 單樣本變量值的隨機性檢驗 游程檢驗 單樣本的Kolmogorov Smirnov檢驗 檢驗總體的正態(tài)分布 P P正態(tài)概率分布圖 GraphsP P Q Q正態(tài)概率單位分布圖 GraphsQ Q 檢驗總體的正態(tài)分布的圖示法 是根據(jù)變量的累計比例對所指定的理論分布累計比例繪制的圖形 是根據(jù)變量分布的分位數(shù)對所指定的理論分布分位數(shù)繪制的圖形 半正態(tài)分布 Half normal 伽瑪分布 Gamma 指數(shù)分布 Exponential TestDistribution提供13種概率分布 貝塔分布 Beta 卡方分布 Chi square 拉普拉斯分布 Laplace 邏輯斯諦分布 Logistic 對數(shù)正態(tài)分布 Lognormal 正態(tài)分布 Normal 帕累托分布 Pareto T分布 StudentT 威布爾分布 Weibull 均勻分布 Uniform Blom s方法 使用公式 Tukey方法 使用公式 Rankit方法 使用公式 VanderWaerden方法 使用公式 n 個案的數(shù)目r 從1到n的秩次 式中 選擇比率估測的公式 每次只能選擇一項 若與某個概率分布的統(tǒng)計圖一致 即被檢驗的數(shù)據(jù)符合所指定的分布 則代表個案的點簇在一條直線上 總體分布的卡方檢驗的原理 如果從一個隨機變量X中隨機抽取若干個觀察樣本 這些觀察樣本落在X的K個互不相交的子集中的觀察頻數(shù)服從一個多項分布 該多項分布當(dāng)K趨于無窮時 就近似服從X的總體分布 因此 假設(shè)樣本來自的總體服從某個期望分布或理論分布 同時獲得樣本數(shù)據(jù)各子集的實際觀察頻數(shù) 則可依據(jù)下面統(tǒng)計量作出推斷 例題 檢驗總體的卡方分布 例題 某地一周內(nèi)每日患憂郁癥的人數(shù)如表所示 請檢驗一周內(nèi)每日人們憂郁的數(shù)是否滿足1 1 2 2 1 1 1 SPSS實現(xiàn)過程 1 定義變量 2 變量加權(quán) 3 進(jìn)入Analyze菜單 用于選擇計算非參數(shù)檢驗統(tǒng)計量對應(yīng)的P值的方法 SPSS提供了3種計算P值的方法 Asymptoticonly 漸進(jìn)性的顯著性檢驗 適合于樣本服從漸進(jìn)分布或較大樣本 MonteCarlo 不依賴漸進(jìn)性方法估測精確顯著性 這種方法在數(shù)據(jù)不滿足漸進(jìn)性分布 而且樣本數(shù)據(jù)過大以致不能計算精確顯著性時特別有效 Exact 精確計算法 即準(zhǔn)確計算觀測結(jié)果的統(tǒng)計概率 計算量較大 適用于小樣本 卡方檢驗要求樣本量是充分大的 使用時建議樣本容量應(yīng)該不小于30 同時每個單元中的期望頻數(shù)不能太小 如果有類別的頻數(shù)小于5 則建議將它與相鄰的類別合并 如果有20 的單元期望頻數(shù)都小于5 就不能再使用卡方檢驗了 練習(xí) 賽馬比賽時 任一馬的起點位置是起跑線上所指定的標(biāo)桿位置 現(xiàn)有8匹馬的比賽 位置1是內(nèi)側(cè)最靠近欄桿的跑道 位置8是外側(cè)離欄桿最遠(yuǎn)的跑道 下表是某賽馬在一個月內(nèi)某特定圓形跑道上的紀(jì)錄 并且按照起點的標(biāo)桿位置分類 試檢驗起點標(biāo)桿位置對賽馬結(jié)果的影響 馬在8個圓形跑道的起點標(biāo)桿位置上獲勝的紀(jì)錄 均勻分布檢驗 二項分布檢驗的基本思想 根據(jù)搜集到的樣本數(shù)據(jù) 推斷總體分布是否服從某個指定的二項分布 SPSS中的二項分布檢驗 在樣本小于等于30時 按照計算二項分布概率的公式進(jìn)行計算 樣本數(shù)大于30時 計算的是Z統(tǒng)計量 認(rèn)為在零假設(shè)下 Z統(tǒng)計量服從正態(tài)分布 其零假設(shè) 樣本來自的總體與所指定的某個二項分布不存在顯著的差異 K 觀察變量取值的樣本個數(shù) 當(dāng)K小于n 2時 取加號 p為檢驗概率 練習(xí) 檢驗總體的二項分布 練習(xí) 某地某一時期內(nèi)出生35名嬰兒 其中女孩兒19名 Sex 0 男孩兒16名 Sex 1 問 該地區(qū)出生嬰兒的性別比例與通常的男女性別比例 總體概率約為0 5 是否不同 數(shù)據(jù)如下表所示 續(xù) 35名嬰兒的性別 單樣本變量值的隨機性檢驗 游程檢驗 依時間或其他順序排列的有序數(shù)列中 具有相同的事件或符號的連續(xù)部分稱為一個游程 調(diào)用Runs過程可進(jìn)行游程檢驗 即用于檢驗序列中事件發(fā)生過程的隨機性分析 單樣本變量值的隨機性檢驗是對某變量的取值出現(xiàn)是否隨機進(jìn)行檢驗 也稱游程檢驗 例題 例題 某村發(fā)生一種地方病 其住戶沿一條河排列 調(diào)查時對發(fā)病的住戶標(biāo)記為 1 對非發(fā)病的住戶標(biāo)記為 0 共20戶 其取值如下表所示 續(xù) 35家住戶的發(fā)病情況 單樣本的Kolmogorov Smirnov檢驗 單樣本K S檢驗是一種擬合優(yōu)度的非參數(shù)檢驗 是利用樣本數(shù)據(jù)推斷總體是否服從某一理論分布的方法 適用于探索連續(xù)性隨機變量的分布形態(tài) 進(jìn)行Kolmogorov SmirnovZ檢驗 是將一個變量的實際頻數(shù)分布與正態(tài)分布 Normal 均勻分布 Uniform 泊松分布 Poisson 進(jìn)行比較 SPSS實現(xiàn)K S檢驗的過程如下 1 根據(jù)樣本數(shù)據(jù)和用戶的指定構(gòu)造出理論分布 查分布表得到相應(yīng)的理論累計概率分布函數(shù) 2 利用樣本數(shù)據(jù)計算各樣本數(shù)據(jù)點的累積概率 得到檢驗累計概率分布函數(shù) 3 計算和在相應(yīng)的變量值點X上的差 得到差值序列 單樣本K S檢驗主要對差值序列進(jìn)行研究 例題 例題 某地144個周歲兒童身的高數(shù)據(jù)如下表 問該地區(qū)周歲兒童身高頻數(shù)是否成正態(tài)分布 練習(xí) 某報刊亭為研究每天報刊的銷售量 為以后每天報刊進(jìn)量提供依據(jù) 統(tǒng)計其在140天的銷售中 某日報的日銷售量的頻數(shù)資料如下表 問該資料的頻數(shù)是否服從正態(tài)分布 兩個總體獨立樣本的非參數(shù)檢驗 檢驗兩個總體的分布是否相同 方差相同 分布函數(shù)形式相同 兩個總體的分布若相同 參數(shù)相同 均值相同 2 兩個總體的分布未知 它們是否相同 Wald wolfowitzRuns游程檢驗 Mann WhitneyU秩和檢驗 Kolmogorov Smirnov檢驗 MosesExtremeReactions極端反應(yīng)檢驗 兩個總體獨立樣本的非參數(shù)檢驗方法 兩個總體獨立樣本非參數(shù)檢驗方法的SPSS操作 零假設(shè) 樣本來自的兩獨立總體分布無顯著差異 K S檢驗實現(xiàn)的方法 將兩組樣本數(shù)據(jù)混合并升序排列 分別計算兩組樣本秩的累計頻率和每個點上的累積頻率 然后將兩個累計頻率相減 得到差值序列數(shù)據(jù) K S檢驗將關(guān)注差值序列 并計算K S的Z統(tǒng)計量 依據(jù)正態(tài)分布表給出相應(yīng)的相伴概率值 1 Kolmogorov Smirnov檢驗 兩組樣本是可以各自獨立顛倒順序的 2 Mann WhitneyU秩和檢驗法 檢驗這兩組樣本是否來自同一個總體 或兩組樣本的總體分布是否相同 問題 有兩個總體的樣本為 與 可能 Mann WhitneyU檢驗的統(tǒng)計量是 式中 對給定 查值表 得 若 則總體分布相同 兩樣本W(wǎng)ald wolfowitz游程檢驗中 計算游程的方法與觀察值的秩有關(guān) 首先 將兩組樣本混合并升序排列 在數(shù)據(jù)排序時 兩組樣本的每個觀察值對應(yīng)的樣本組標(biāo)志值序列也隨之重新排列 然后對標(biāo)志值序列求游程 如果計算出的游程數(shù)相對比較小 則說明樣本來自的兩總體分布形態(tài)存在較大差距 SPSS將自動計算游程數(shù)得到Z統(tǒng)計量 并依據(jù)正態(tài)分布表給出對應(yīng)的相伴概率值 3 Wald wolfowitz游程檢驗 如果跨度或截頭跨度很小 說明兩個樣本數(shù)據(jù)無法充分混合 認(rèn)為實驗樣本存在極端反應(yīng) 兩獨立樣本的極端反應(yīng)檢驗 將一個樣本作為控制樣本 另一個樣本作為實驗樣本 以控制樣本做對照 檢驗實驗樣本是否存在極端反應(yīng) 首先 將兩組樣本混合并升序排列 然后計算控制樣本最低秩和最高秩之間的觀察值個數(shù) 即 Span 跨度 為控制極端值對分析結(jié)果的影響 可先去掉樣本兩個最極端的觀察值后 再求跨度 這個跨度稱為截頭跨度 零假設(shè) 樣本來自的兩獨立總體分布沒有顯著差異 4 Moses極端反應(yīng)檢驗 兩組獨立樣本的總體分布是否相同的檢驗 例如 用兩種激勵方法對同樣工種的兩個班組進(jìn)行激勵 每個班組都有7個人 測得激勵后的業(yè)績增長率如下表所示 問 兩種激勵方法的激勵效果的分布有無顯著差異 兩種激勵方法分別用于兩個班組的效果 激勵法A16 1017 0016 8016 5017 5018 0017 20 激勵法B17 0016 4015 8016 4016 0017 1016 90 SPSS的實現(xiàn)過程 點擊進(jìn)入Analyze菜單的NonparametricTests子菜單 選擇2IndependentSample命令 MosesExtremeReactions 極端檢驗 檢驗兩個獨立樣本觀察值的散布范圍是否有差異存在 以檢驗兩個樣本是否來自具有同一分布的總體 Mann WhitneyU 檢驗兩個獨立樣本所屬的總體均值是否相同 Kolmogorov SmirnovZ K S 推測兩個樣本是否來自具有相同分布的總體 Wald Wolfowitzruns 游程檢驗 考察兩個獨立樣本是否來自具有相同分布的總體 練習(xí) 研究兩個不同廠家生產(chǎn)的燈泡使用壽命是否存在顯著性差異 隨機抽取兩個廠家生產(chǎn)的燈泡 試驗得到的使用壽命數(shù)據(jù)如下表 兩個總體配對樣本的非參數(shù)檢驗方法 McNemar檢驗 Sign符號檢驗法 正負(fù)號檢驗法 Wilcoxon秩和檢驗 1 Wilcoxon秩和檢驗法 設(shè)有兩個總體的樣本為 把兩組樣本放在一起 按樣本觀察值 較多地集中在左段 w太大 說明樣本較多地集中在右段 兩組樣本是可以各自獨立顛倒順序的 可能 與 w太小 說明樣本 秩 加總起來 記為w 如果兩個總體的分布相同 則樣本應(yīng)當(dāng)是均勻混合的 即w不能太小 也不能太大 的序號 為秩 把樣本個數(shù)少的這組樣本 那么每個觀察值就有一個序號 稱 的大小重新排序 不妨設(shè) 續(xù) 顯著性水平 則接受 由于 w應(yīng)在某兩個數(shù)字之間 可以由威爾可可遜表 依據(jù) 是由 所決定的 對于給定的 查出 若 或 則拒絕 反之 若 McNemar變化顯著性檢驗 以研究對象自身為對照 檢驗其兩組樣本 前后 變化是否顯著 該檢驗要求待檢驗的兩組樣本的觀察值是二值數(shù)據(jù) 即該法適用于相關(guān)的二分變量數(shù)據(jù) 零假設(shè) 樣本來自的兩配對總體分布無顯著差異 McNemar變化顯著性檢驗基本方法 二項分布檢驗 例題 2 McNemar檢驗 例題 分析學(xué)生接受某種方法進(jìn)行訓(xùn)練的效果 收集到10個學(xué)生在訓(xùn)練前 訓(xùn)練后的成績?nèi)缦卤硭?問訓(xùn)練前后學(xué)生的成績是否存在顯著性差異 不能各自獨立地顛倒順序 要求樣本 發(fā)生的概率為 3 符號檢驗法 正負(fù)號檢驗法 復(fù)習(xí)二項分布 或 在 次重復(fù)努力試驗中 事件 在 次試驗中出現(xiàn)的次數(shù)為 則如果隨機變量 的分布如下 則稱 服從參數(shù)為 的二項分布 記為 且二項分布的均值為 方差為 若隨機變量X 分布 則統(tǒng)計量 且 定理一 定理二 函數(shù)的均值 定理三 當(dāng)充分大時 近似地服從均值 的正態(tài)分布 即 標(biāo)準(zhǔn)差為 符號檢驗法的思路 若兩個總體的分布相同 即 則 令 則 設(shè) 式中 用容量相同的兩個配對樣本來檢驗 即 所以問題轉(zhuǎn)化為 求從小到大的累積概率 正負(fù)號個數(shù)檢驗法的處理 小樣本情況下 對 對 求從大到小的累積概率 即 若 則接受 是拒絕的最高界限 是拒絕的最低界限 小樣本情況下 大樣本情況下 S統(tǒng)計量 對于顯著性水平 假設(shè) 即 式中用 即 絕還是接受 所謂 大樣本 就是要 檢驗統(tǒng)計量為 代替 得出拒 是否大于 判斷 同時 大樣本情況下 正負(fù)號個數(shù)檢驗法的處理 例一個賣襯衣的郵購店從過去的經(jīng)驗中得知有15 的購買者說襯衣的大小不合身 要求退貨 現(xiàn)這家郵購店改進(jìn)了郵購定單的設(shè)計 結(jié)果在以后售出的500件襯衣中 有60件要求退貨 問 在5 的a水平上 改進(jìn)后的退貨比例 母體比例 與原來的退貨比例有無顯著差異 與可從 符號檢 在顯著性水平之下 依據(jù) S min 處理正負(fù)號個數(shù)檢驗法的S統(tǒng)計量方法 選統(tǒng)計量 記 若 則拒絕假設(shè) 認(rèn)為 則接受假設(shè) 若 認(rèn)為 這一檢驗法的重要的前提與前兩個方法相同 驗表 中查出 與就越接近 S越小 的差別就越大 與 即按照問題本來的屬性 天然地配對 不能各自獨立地顛倒順序 或 樣本 注意 S越大 多獨立樣本的K W檢驗 多獨立樣本的Median檢驗 多個總體獨立樣本的非參數(shù)檢驗 多獨立樣本的K T檢驗 SPSS實現(xiàn)的過程中 將多組樣本數(shù)據(jù)混合并升序排列 求出混合樣本數(shù)據(jù)的中位數(shù) 并假設(shè)是共同的中位數(shù) 如果多組獨立樣本的中位數(shù)無顯著差異 則說明多組獨立樣本有共同的中位數(shù) 如果每組中大于該中位數(shù)的中位數(shù)大致等于每組中小于該中位數(shù)的樣本數(shù) 則可以認(rèn)為該多個獨立總體的中位數(shù)沒有顯著差異 多獨立樣本的中位數(shù)檢驗 通過對多組數(shù)據(jù)的分析 推斷多個獨立總體分布是否存在顯著差異 零假設(shè) 樣本來自的多個獨立總體的中位數(shù)無顯著差異 多獨立樣本的K W檢驗 零假設(shè) 樣本來自的多個獨立總體的分布無顯著差異 SPSS的實現(xiàn) 將多組樣本數(shù)據(jù)混合并升序排列 求出求出每個觀察值的秩 然后對多組樣本的值分別求平均值 如果各組樣本的平均秩大致相等 則認(rèn)為多個獨立總體的分布無顯著差異 n第i組樣本的觀察值個數(shù) R平均秩 例題 例題 隨機抽取3個班級學(xué)生的21個成績樣本 問3個班級學(xué)生總體成績是否存在顯著差異 多個總體配對樣本的非參數(shù)檢驗 多配對樣本的Friendman檢驗 多配對樣本的Kendall檢驗 多配對樣本的CochranQ檢驗 多配對樣本的Friendman檢驗 要求 數(shù)據(jù)是定距的 實現(xiàn)原理 以樣本為單位 將各個樣本數(shù)據(jù)按照升序排列 求各個樣本數(shù)據(jù)在各自行中的秩 然后計算個樣本的秩總和及平均秩 如果多個配對樣本的分布存在顯著性差異 則數(shù)值普遍偏大組的秩和必然偏大 各組的秩之間就會存在顯著差異 如果個樣本的平均秩大致相當(dāng) 則可以認(rèn)為個組的總體分布沒有顯著差異 例題 例題 為了試驗?zāi)撤N減肥藥物的性能 測量11個人在服用該藥以前以及服用該藥1個月后 2個月后 3個月后的體重 問 在這4個時期 11個人的體重有無發(fā)生顯著的變化 多配對樣本的Kendall檢驗 主要用于分析評判者的判別標(biāo)準(zhǔn)是否一致公平