方差分析與協(xié)方差分析幻燈片

1、 方差分析概念 第一類因素：可以控制的控制因素 第二類因素：不能控制的隨機(jī)因素 受前兩類因素影響的事物為觀察變量 方差分析目的：分析控制變量的不同水平是否對(duì)觀察變量 產(chǎn)生了顯著影響，檢驗(yàn)各個(gè)水平下觀察變量的均值是否相 等 方差分析分類之一 單變量方差分析：一個(gè)觀察變量 單因方差分析中的控制變量只有一個(gè) 多因素方差分析中的控制變量有多個(gè) 多變量方差分析：多個(gè)觀察變量 方差分析分類之二 一般方差分析：因變量是定量變量，自變量是定類數(shù)據(jù) 協(xié)方差分析：將很難控制的因素作為協(xié)變量，在排除協(xié)變 量影響的條件下，分析控制變量對(duì)觀察變量的影響，從而 更加準(zhǔn)確地對(duì)控制變量進(jìn)行評(píng)價(jià)。協(xié)變量一定要是連續(xù)數(shù) 值型。

2、非定量方差分析：因變量為定序變量 統(tǒng)計(jì)技術(shù)分類圖 定量因變量 一個(gè)自變量多個(gè)自變量 二分變量多分變量 T檢驗(yàn)單因子方差分析 定類定類和定距定距 N因子方差分析協(xié)方差分析回歸分析 一個(gè)因變量多個(gè)因變量 多變量方差分析 因變量 非定量因變量 非定量方差分析 方差分析原理 目的：通過(guò)方差的比較來(lái)檢驗(yàn)各個(gè)水平下的觀察值的均值 是否相等 觀察值差異：觀察值存在差異，差異的產(chǎn)生來(lái)自兩個(gè)方面。 系統(tǒng)性差異：由控制變量的不同水平造成的，例如飲料的 不同顏色帶來(lái)不同的銷售量 隨機(jī)性差異：由于抽選樣本的隨機(jī)性而產(chǎn)生的差異，例如， 相同顏色的飲料在不同的商場(chǎng)銷售量也不相同。 9 方差分析的基本思想(單因素) 組間變

3、異 總變異 組內(nèi)變異 組內(nèi)只包含隨機(jī)誤差 組間既包括隨機(jī)誤差，也包括系統(tǒng)誤差 X 1 X 2 X 3 X 4 X 5 X 組間變異組內(nèi)變異 A B X 1 X 2 X 3 X 4 X 5 X 組間變異組內(nèi)變異 A B 單因素方差分析邏輯與步驟 (One-Way ANOVA) 前提假設(shè) 模型與假設(shè) 平方和的分解與F 檢驗(yàn) 多重比較(事后檢驗(yàn)) 關(guān)聯(lián)強(qiáng)度與效應(yīng)值 方差分析的前提條件 (1)每個(gè)水平下的因變量應(yīng)當(dāng)服從正態(tài)分布。方差分析對(duì)分布 假設(shè)有穩(wěn)健性(robust)，即正態(tài)性不滿足時(shí)，統(tǒng)計(jì)結(jié)果變化 不大，因此一般并不要求檢驗(yàn)總體的正態(tài)性。 (2)變異可加性。各因素對(duì)離差平方和的影響可以分割成幾個(gè)

4、 可以加在一起的部分。（多因素） (3)獨(dú)立性。觀察對(duì)象是來(lái)自所研究因素的各個(gè)水平之下的獨(dú) 立隨機(jī)抽樣 (4)方差齊性(homogeneity of variance)，也稱變異的同 質(zhì)性，各個(gè)水平下的總體具有相同的方差。這是方差分析 一個(gè)很重要的前提，因此在進(jìn)行方差分析之前，應(yīng)當(dāng)進(jìn)行 方差齊性檢驗(yàn)。 Bartlett檢驗(yàn)法 Levene F 檢驗(yàn) 最大方差與最小方差之比3，初步認(rèn)為方差齊同。 方差不齊 若方差齊性的假定不滿足，可考慮如下策略： a.檢查某些表現(xiàn)“特殊”的觀測(cè)值，看能否將其剔除， 用剩下的數(shù)據(jù)進(jìn)行方差分析。 b.使用無(wú)方差齊性假設(shè)的多重比較方法。 c.數(shù)據(jù)變換，用變換(平方根變

5、換、對(duì)數(shù)變換等)后的數(shù) 據(jù)進(jìn)行方差分析。正態(tài)性轉(zhuǎn)換。 d. 非參數(shù)檢驗(yàn) 模型與假設(shè) 模型表達(dá)式（單因素） Y=+a+e 建立假設(shè)，確定檢驗(yàn)水準(zhǔn) 012 : k H 0.05;0.01 k組總體均數(shù)不全相等。 1 :H 方差分析表 組間變異體現(xiàn)了因素A的效應(yīng)，組內(nèi)變異則被視作誤 差。 A SS1k A MS E A MS MS E SS (1)k n E MS T SS1nk 來(lái)源平方和 自由度均方F 值P 值 組間 組內(nèi) 總和 確定P 值，做出統(tǒng)計(jì)推斷 事后比較 (posteriori/post hoc comparison) F 檢驗(yàn)顯著說(shuō)明各組均值并不相同(至少兩組不同)，但不 能回答到底

6、哪幾組不同。 通過(guò)對(duì)各組均值之間的配對(duì)比較來(lái)進(jìn)一步檢驗(yàn)到底哪些均 值之間存在差異。 方法眾多，不下20種。 LSD法：最靈敏，會(huì)犯假陽(yáng)性錯(cuò)誤； Sidak法：比LSD法保守； Bonferroni法：比Sidak法更為保守一些；常用 Scheffe法：多用于進(jìn)行比較的兩組間樣本含量不等時(shí)； Dunnet法：常用于多個(gè)試驗(yàn)組與一個(gè)對(duì)照組的比較； S-N-K法：尋找同質(zhì)亞組的方法； Turkey法：最遲鈍，要求各組樣本含量相同； Duncan法：與Sidak法類似。 均數(shù)兩兩比較方法 關(guān)聯(lián)強(qiáng)度 (strength of association)與效應(yīng) 值 (effect size)的度量 實(shí)驗(yàn)處理

7、引致的效應(yīng)的大小或者數(shù)據(jù)的變異有多少部分是由 實(shí)驗(yàn)處理造成的。 Eta平方 凈(偏)Eta平方 Omega平方 Cohens f （具體內(nèi)容見(jiàn)附錄） 雙因素（無(wú)交互作用）試驗(yàn)的方差分析表 方差來(lái)源 因素A 總和 平方和 A SS B SS T SS 自由度 A df E df T df 均方和 A A A SS MS df E E E SS MS df F 值 A A E MS F MS F 值臨介值 (1 , 11 ) Fa ab 因素B 誤差 E SS B df B B B SS MS df B B E MS F MS (1 , 11 ) Fb ab , E TABETAB dfdfdff

8、SSSSSSSS 注意 各因素離差平方和的自由度為水平數(shù)減一，總平方和的自由度為試驗(yàn)總次數(shù)減一 。 雙因素（有重復(fù)）試驗(yàn)方差分析表 方差來(lái)源 因素A 總和 平方和 A SS B SS T SS 自由度 A df E df T df 均方和 A A A SS MS df E E E SS MS df F 值 A A E MS F MS F 值臨介值 (1 , 1 ) Fa ab n 因素B 誤差 E SS B df B B B SS MS df B B E MS F MS (1 , 1 ) Fb ab n A B A B SS A B df A B A BA B MS SSdf A B A B

9、E MS F MS (11 , 1 ) Fab ab n A BAB dfdfdf 這里 方差分析的應(yīng)用范圍： （一）單因素多個(gè)樣本均數(shù)的比較: 1. 完全隨機(jī)設(shè)計(jì)：只安排一種處理因素，不安排任 何配伍因素。 2. 隨機(jī)化區(qū)組設(shè)計(jì)：只安排一種處理因素，安排一 種配伍因素。 3. 拉丁方設(shè)計(jì)：只安排一種處理因素，安排兩種配 伍因素。 （二）多因素樣本均數(shù)間的比較： 1.析因設(shè)計(jì)：安排兩種或兩種以上處理因素， 分析處理因素間的交互作用 2.裂區(qū)設(shè)計(jì)：安排兩種或兩種以上處理因素， 分析處理因素間的交互作用 3.交叉設(shè)計(jì)：安排兩種或兩種以上處理因素， 分析處理因素間的交互作用 （三）多個(gè)樣本均數(shù)向量間

10、的比較 多元方差分析：結(jié)果變量有兩個(gè)以上，需要綜合評(píng)價(jià)。 （四）回歸方程的假設(shè)檢驗(yàn) 協(xié)方差分析 27 概念：將方差分析和回歸分析結(jié)合起來(lái)的一種統(tǒng)計(jì)分析方法 當(dāng)試驗(yàn)指標(biāo)（Y）的變異既受一個(gè)或幾個(gè)分類變量，也受一 個(gè)或幾個(gè)連續(xù)變量的影響，可采用協(xié)方差分析 方差分析：一個(gè)或幾個(gè)因子（分類變量）對(duì)變量Y（連續(xù)變 量）的影響 回歸分析：一個(gè)或幾個(gè)變量（連續(xù)變量）對(duì)變量Y （連續(xù)變 量）的影響 28 目的 消除連續(xù)變量對(duì)Y的影響，使方差分析的檢驗(yàn)功效更高，結(jié) 果更可靠 連續(xù)變量可能會(huì)增大 Y 的組間差異，導(dǎo)致錯(cuò)誤結(jié)論 連續(xù)變量可能會(huì)增大 Y 的組內(nèi)變異，降低檢驗(yàn)功效 消除分類變量的影響，使回歸分析的結(jié)果更

11、可靠 20名男性籃球運(yùn)動(dòng)員和20名大學(xué)生的肺活量（cm3）比較 籃球運(yùn)動(dòng)員 肺活量Y 大學(xué)生 肺活量Y 47003450 52004100 48004000 協(xié)方差分析基本思想 協(xié)方差分析基本思想 籃球運(yùn)動(dòng)員大學(xué)生 身高X肺活量Y身高X肺活量Y 18547001683450 17552001704100 17448001694000 20名男性籃球運(yùn)動(dòng)員和20名大學(xué)生的肺活量（cm3）比較 協(xié) 變 量 協(xié)方差分析基本思想 比較肺活量時(shí)，要消除身高的影響。 方法1：抽樣時(shí)，選身高相近的。 方法2：從統(tǒng)計(jì)分析技巧上平衡數(shù)據(jù)。 校正了身高的影響后（回歸分析），再比較兩組肺活 量的均數(shù)有無(wú)差異（方差分

12、析）。 協(xié)方差分析基本思想 在方差分析中，用來(lái)校正因變量的數(shù)值型變量稱為協(xié)變量 （covariable）。 含有協(xié)變量的方差分析稱為協(xié)方差分析。 協(xié)方差分析可提高方差分析的準(zhǔn)確度。 觀察指標(biāo)（Y）的總變異： SS總SS協(xié)變量SS處理SS誤差 33 協(xié)方差分析的基本思想 其實(shí)質(zhì)就是從Y的總離均差平方和中扣除協(xié)變量X對(duì)Y的 回歸平方和，對(duì)剩余（殘差）平方和作進(jìn)一步分解后再進(jìn)行 方差分析，以更好的評(píng)價(jià)處理的效應(yīng)。 SS總 總 SS回 回 SS殘 殘 SS總 總 SS協(xié)變量 協(xié)變量 SS處理 處理 SS誤差 誤差 SS修正 修正 SS組內(nèi)殘 組內(nèi)殘 差差 身高 肺活量 GROUP 2.00 1.00

13、1 X 2 XX 1 Y 2 Y Y1 大學(xué)生 籃球運(yùn)動(dòng)員 Y2 圖圖1 協(xié)方差分析示意圖協(xié)方差分析示意圖 調(diào)調(diào) 整整 均均 數(shù)數(shù) xba y 11 xba y 22 協(xié)方差分析步驟 完全隨機(jī)設(shè)計(jì)的協(xié)方差分析 應(yīng)用條件檢驗(yàn) 回歸分析 求調(diào)整均數(shù) 對(duì)調(diào)整均數(shù)作方差分析 協(xié)方差分析的假設(shè) 協(xié)方差分析的基本假設(shè)與方差分析相同，包括變量的正態(tài) 性、觀測(cè)值獨(dú)立、方差齊性等，此外還有三個(gè)重要的假設(shè)： 因變量與協(xié)方差之間線性關(guān)系； 所測(cè)量的協(xié)變量不應(yīng)有誤差，如果選用的是多項(xiàng)的量表， 應(yīng)有高的內(nèi)部一致性信度或重測(cè)信度，系數(shù)最好大于 0.80。這一假設(shè)若被違反會(huì)造成犯一類錯(cuò)誤的概率上升， 降低統(tǒng)計(jì)檢驗(yàn)力。 “組

14、內(nèi)回歸系數(shù)同質(zhì)性”（homogeneity of with in rgression），各實(shí)驗(yàn)處理組中一舉協(xié)變量（X）預(yù)測(cè)因變 量（Y）的回歸線的回歸系數(shù)要相等，即斜率相等，各條 回歸線平行。如果斜率不等則不宜直接進(jìn)行協(xié)方差分析。 37 協(xié)方差分析的模型和假定 回歸分析： * )( ijiijij XXY 協(xié)方差分析： ijiijiij eXXaY)( l模型 協(xié)變量協(xié)變量 Co-variable 方差分析： ijiij aY ijiiijij eaXXY)（ ijiijiij eXXaY)( Thanks! 問(wèn)題：為什么一個(gè)比較均數(shù)差異的 方法竟稱為方差分析？ 這種命名是因?yàn)樵跈z驗(yàn)均數(shù)間差異

15、是否具有統(tǒng)計(jì)學(xué)意義的 過(guò)程中，我們實(shí)際上是通過(guò)比較方差而得到的。 與t 檢驗(yàn)直接比較兩組的平均數(shù)的做法不同，方差分析把 “平均數(shù)之間差異是否顯著”的問(wèn)題轉(zhuǎn)化為“平均數(shù)組間 變異是否顯著”的問(wèn)題，通過(guò)“組間變異”與“組內(nèi)變異” 的對(duì)比，進(jìn)行F 檢驗(yàn)檢驗(yàn)，從整體上同時(shí)比較多組的平均數(shù)之同時(shí)比較多組的平均數(shù)之 間間是否存在顯著差異。 LSD (費(fèi)舍最小顯著差異法, Fishers least significant difference) 該方法是對(duì)檢驗(yàn)兩總體均值是否相等的t檢驗(yàn)方法 的總體方差估計(jì)加以修正(用MSE代替)而得到的。 () 11 () ij ij XX tt nk MSE nn 特點(diǎn)

16、 檢驗(yàn)敏感性高，即水平間的均值只要存在一定程度 的微小差異就可能被檢驗(yàn)出來(lái)。 但該方法沒(méi)有控制范第一類錯(cuò)誤的概率。 S-N-K(Student-Newman-Keuls, q檢驗(yàn)) 首先把各組均值排序，用每一比較的兩個(gè)均值在 排序序列種相差的等級(jí)數(shù)來(lái)確定不同的q 臨界值。 ( ,) 11 () 2 ijij e X ij XXXX qq r df SEMSE nn 兩均值的rank 之差 是一種有效劃分相似性子集的方法，該方法是一種有效劃分相似性子集的方法，該方法 適用于各水平下觀測(cè)值個(gè)數(shù)相等的情況。適用于各水平下觀測(cè)值個(gè)數(shù)相等的情況。 Tukey法(honesty significant d

17、ifferent, HSD) 與SNK法類似，不同之處在于不論各組均值的大 小次序，均使用同一臨界值。 ( ,) 11 () 2 ijij e X ij XXXX qq k df SEMSE nn 組數(shù) 它采用q統(tǒng)計(jì)量，適用于各水平下觀測(cè)值個(gè)數(shù)相等的情況。 與LSD方法比較，較好的控制了范第一類錯(cuò)誤的概率。 Bonferroni校正(以t 分布作為檢驗(yàn)分布,對(duì)檢驗(yàn)水準(zhǔn)進(jìn)行調(diào)整) 與LSD方法基本相同。不同的是它控制了范第一類錯(cuò)誤 的概率。在每次兩兩組的檢驗(yàn)中，它將顯著水平除以 兩兩檢驗(yàn)的總次數(shù)。 在比較的次數(shù)較多時(shí)，該方法就不太適合。 DunnettDunnett方法方法 是一種唯一用于多個(gè)處

18、理組和一個(gè)對(duì)照組是一種唯一用于多個(gè)處理組和一個(gè)對(duì)照組 比較的方法。比較的方法。 SPSSSPSS提供的常用多重比較檢驗(yàn)方法提供的常用多重比較檢驗(yàn)方法 1 1、TambaneTambanes T2:s T2: 基于基于t t檢驗(yàn)的保守的多重比較方法。檢驗(yàn)的保守的多重比較方法。 不滿足方差齊性不滿足方差齊性多重多重檢驗(yàn)方法檢驗(yàn)方法 2 2、DunnettDunnetts T3:s T3: 基于學(xué)生化極大模的多重比較方法。基于學(xué)生化極大模的多重比較方法。 3 3、Games-Howell:Games-Howell: 非參數(shù)多重比較方法。非參數(shù)多重比較方法。 4 4、 DunnettDunnetts

19、C:s C:基于學(xué)生化極差的多重比較方基于學(xué)生化極差的多重比較方 法，是一種可信區(qū)間的方法。法，是一種可信區(qū)間的方法。 Eta平方(Eta-Squared,2)，又稱關(guān)聯(lián)強(qiáng)度(correlation ratio)， 因變量的變異被自變量解釋的百分比。 凈Eta平方(partial Eta-Squared,p2)，多因素ANOVA中， 扣除了其他自變量后某自變量的效應(yīng)。 判斷標(biāo)準(zhǔn)：0.01，??；0.06，中；0.14，大 2 effect total SS SS 2 effect p effecterror SS SSSS Omega平方(Omega squared,2) 當(dāng)F顯著時(shí)，2將會(huì)是正

20、值，若為負(fù)，則要解釋為0。當(dāng) 樣本很大而使MSw變得很小，F(xiàn)很容易達(dá)到顯著，此時(shí) 若2很小，即使在統(tǒng)計(jì)上有意義，實(shí)際應(yīng)用上仍然沒(méi) 意義。 判斷標(biāo)準(zhǔn)：0.01，小；0.06，中；0.14，大 2 (1) effectberror terror w b tw SSdf MS SSMS SSkMS SSMS Cohens f f f 0.25，中；f 0.40，高 2 2 1 f 修正均數(shù)修正均數(shù) 的計(jì)算：的計(jì)算： j Y XX XY c l l b 組內(nèi) 組內(nèi) 公共回歸系數(shù)： XXbYY jcjj 修正均數(shù)間的多重比較：修正均數(shù)間的多重比較： 2 . 0 1 1 AB Y XXX XX YY q

21、Sl nal 組間 組內(nèi) S S2 2y.x y.x為組內(nèi)剩余方差 為組內(nèi)剩余方差 52 SS總 總 SS回 回 SS總殘 總殘 YY l 2 XY xy XX l SSbl l 回 SSSS 總回 SSSS組內(nèi)殘差 修正 2 XY YY XX l SSl l 組內(nèi) 組內(nèi)殘差組內(nèi) 組內(nèi) （） （） （） 2 22 ij () ) ij j iji i X lSSX n i組內(nèi)組內(nèi) (X -X 2N總殘差 1修正k 1Nk 組內(nèi)殘差總殘差修正 SSSSSS 總殘組內(nèi)殘差修正 常用試驗(yàn)設(shè)計(jì) 1.完全隨機(jī)設(shè)計(jì)(Completely random design) 單因素設(shè)計(jì). 優(yōu)點(diǎn):簡(jiǎn)單易行,缺點(diǎn):只能分析一個(gè)因素 2.配伍設(shè)計(jì)(Randomized block design) 隨機(jī)區(qū)組或雙因素 無(wú)重復(fù)試驗(yàn)設(shè)計(jì). 交互作用和方差齊性無(wú)法考察 (1) 同一 受試對(duì)象在同一處理不同水平間的比較復(fù) (2) 將幾個(gè)受試 對(duì)象按一定條件劃分成配伍組,再將每一配伍組的各受試 者隨機(jī)分配 到各處理組中,每個(gè)配伍組的例數(shù)等于處理組 個(gè)數(shù). 3.交叉設(shè)計(jì)(