應(yīng)用統(tǒng)計學(xué)：方差分析

第三章方差分析概述單因素方差分析（one-wayANOVA）單響應(yīng)變量方差分析（ANOVA）協(xié)方差分析（ANCOVA）多響應(yīng)變量方差分析（MANOVA）一、概述方差分析:英國統(tǒng)計兼遺傳學(xué)家費(fèi)舍爾在設(shè)計多種農(nóng)業(yè)試驗，特別是田間試驗，并對試驗進(jìn)行評估中發(fā)展起來的。主要用于研究某種因素（如廣告）對所感興趣的因變量（如銷售額）是否有顯著影響抽樣得到的實(shí)驗數(shù)據(jù)顯示出實(shí)驗結(jié)果的差異性，其原因可能有三類：觀測條件不同（影響因素）引起試驗結(jié)果有所不同此結(jié)果差異是系統(tǒng)性的其他影響因素不同引起試驗結(jié)果有所不同此結(jié)果差異是系統(tǒng)性的——干擾：其他條件不變由于各種隨機(jī)因素的干擾，試驗結(jié)果也會有所不同此差異是偶然性的協(xié)方差分析方差分析的目的將觀測條件不同而引起的系統(tǒng)差異與隨機(jī)因素引起的偶然差異用數(shù)量形式區(qū)別開來，以確定在實(shí)驗中有沒有系統(tǒng)性因素在起作用。例1某公司希望對新進(jìn)銷售人員進(jìn)行銷售培訓(xùn)以保證銷售業(yè)績。如何培訓(xùn)才能達(dá)到好的效果成為公司關(guān)注的問題。為此設(shè)置了兩組培訓(xùn)課程。為了比較它們的有效性，進(jìn)行了一項實(shí)驗：隨機(jī)選擇三組新進(jìn)銷售人員，每組五人。一組接受A課程銷售訓(xùn)練一組接受銷售B課程銷售訓(xùn)練另一組C沒有參與任何訓(xùn)練（對照組）當(dāng)前兩組的訓(xùn)練課程結(jié)束后，三組人員都開始實(shí)踐。兩個星期后統(tǒng)計了各組銷售人員的銷售記錄如下：銷售培訓(xùn)會提高銷售人員的業(yè)績嗎？注意不僅不同組中銷售員的業(yè)績有區(qū)別，同一組中接受相同培訓(xùn)的銷售員的業(yè)績也有區(qū)別銷售業(yè)績：組內(nèi)差異：隨機(jī)因素造成組間差異：培訓(xùn)和隨機(jī)因素造成如果三組銷售人員的平均業(yè)績沒有顯著差別（組間差異不明顯），則說明銷售訓(xùn)練失敗如果接受銷售訓(xùn)練的銷售人員的業(yè)績顯著突出，則說明銷售訓(xùn)練成功影響業(yè)績的因素：培訓(xùn)課程隨機(jī)因素：如個人特質(zhì)、運(yùn)氣從上表可以看出，各組樣本數(shù)據(jù)差異較大，尤其是3組與1、2組的均值具有一定的差異。這是否說明銷售訓(xùn)練會提高銷售業(yè)績呢？當(dāng)然這種差異也許是由于隨機(jī)因素所造成，所以需要進(jìn)行統(tǒng)計檢驗。影響業(yè)績的因素：培訓(xùn)課程隨機(jī)因素：如個人特質(zhì)、運(yùn)氣方差分析的假設(shè)為：如果原假設(shè)成立，說明培訓(xùn)對銷售業(yè)績沒有顯著影響，組間差異與各組內(nèi)差異都是隨機(jī)因素造成的。如果備擇假設(shè)成立，說明培訓(xùn)對銷售業(yè)績有顯著影響，各組內(nèi)的差異由隨機(jī)因素造成，而組間差異則由隨機(jī)因素和銷售訓(xùn)練所導(dǎo)致的系統(tǒng)性差異造成。檢驗方法：組間變異是否遠(yuǎn)大于組內(nèi)變異方差分析的術(shù)語因素：一個獨(dú)立的變量，是方差分析研究的對象。在例1中，“培訓(xùn)”就是一個待研究的因素。水平：因素的不同狀態(tài)就稱為“水平”。分組是按因素的不同水平劃分的。例1中，因素“培訓(xùn)”分為三個水平（A課程、B課程、無訓(xùn)練）。響應(yīng)變量(性能指標(biāo)）：在分組試驗中，對試驗對象所觀測記錄的變量稱為“響應(yīng)變量”，它是受“因素”影響的變量，如例1中“銷售業(yè)績”。方差分析的類型單因素方差分析（一維方差分析）：檢驗由單一因素影響的一個或幾個獨(dú)立的響應(yīng)變量的組間均值差異是否顯著。如上例，一個影響因素（培訓(xùn)）的不同水平對一個響應(yīng)變量（銷售業(yè)績）的影響分析。（one-wayANOVA過程）單響應(yīng)變量多因素方差分析：對一個響應(yīng)變量是否受一個或多個因素影響進(jìn)行分析，包括協(xié)方差分析。常用的是雙因素方差分析。（Univariate過程）多響應(yīng)變量多因素方差分析：研究一個或多個因素變量與多個響應(yīng)變量集之間的關(guān)系。（Multivariate過程）重復(fù)測量方差分析：因素對響應(yīng)變量影響的試驗如果是重復(fù)測量的，就需要用重復(fù)測量方差分析。（RepeatedMeasures過程）問題的表述和假設(shè)按實(shí)驗因素水平形成分組數(shù)據(jù)同一組中的數(shù)據(jù)看成是來自同一總體，它們有一個理論上的均值，不同組的數(shù)據(jù)來自不同總體，一般認(rèn)為這些總體具有相同方差（其他條件保持不變），而它們的均值可能相同，也可能不同。方差分析的目的：通過假設(shè)檢驗，判斷實(shí)驗因素對響應(yīng)變量是否有顯著影響，即各組均值是相同，還是不同一般地，有r個水平的因素，H0:1=2=…=r=對上例，r=3二、單因素方差分析方差分析的

檢驗方法:基本思路：判斷樣本均值的變異是由于因素的不同水平造成的，還是純粹由于隨機(jī)因素造成的。研究數(shù)據(jù)間的“變異”（也稱為平方和），即離差平方和：變異來源分解，組內(nèi)變異（樣本與組均值的離差平方和）：隨機(jī)因素造成，記作S組內(nèi)。組間變異（組均值與總均值的離差平方和）：可能單純由于隨機(jī)因素造成，也可能是因素的不同水平造成，記作S組間。S組內(nèi)+S組間=S總（總變異：樣本與總均值的離差平方和）S組間和S組內(nèi)的比值反映了兩種差異大小的對比，比值越大說明因素各個水平引起的差異越顯著服從F分布通過F值與其臨界值的比較，推斷各組均值是否相同。結(jié)論：在0.05水平上培訓(xùn)對銷售業(yè)績的影響不顯著。平方和/自由度=均方和檢驗統(tǒng)計量：因素水平試驗次數(shù)123…j…r123……ix11x12x13x1jx1rx21x22x2jx2rx31x32x3jx3rxi1xi2xijxir…………設(shè)：因素有r個水平，各水平的實(shí)驗次數(shù)為nj，得到樣本數(shù)據(jù)如表單因素方差分析的一般模型方差分析步驟F檢驗計算各水平均值和總均值計算檢驗統(tǒng)計量F計算離差平方和：S計算均方和：S/自由度⒈計算水平均值和總均值因素水平試驗次數(shù)123…j…r12……ix11x12x13x1jx1rx21x22x2jx2rxi1xi2xijxir…………水平均值2、計算離差平方和誤差項離差平方和：組內(nèi)變異S組內(nèi)總離差平方和（總變異S總）水平項離差平方和：組間變異S組間三個離差平方和的關(guān)系為：三個離差平方和的關(guān)系為：證明：SSTSSESSA3、計算均方和離差平方和自由度均方和MSSSASSESSTr-1r(nj-1)=n-rn-1MSA=SSA/(r-1)MSE=SSE/(n-r)自由度：觀測值的個數(shù)約束條件數(shù)4、計算檢驗統(tǒng)計量和假設(shè)檢驗～F(r-1,n-r)建立假設(shè)本例r=3。培訓(xùn)例水平均值⒈計算水平均值和總均值培訓(xùn)例-續(xù)拒絕域接受域F=3.17<3.89，接受原假設(shè)，培訓(xùn)沒有顯著效果單因素方差分析過程

one-wayANOVA分析→比較均值→單因素ANVOA響應(yīng)變量因素“對比”對話框：均值多項式比較例如：4mean1-mean3“兩兩比較…”對話框：選擇均值多重比較方法方差相等時可選擇的比較方法方差不等時可選擇的比較方法與對照組的配對比較用t檢驗完成各組均值的配對比較“選項”對話框：輸出統(tǒng)計量描述統(tǒng)計量固定因素和隨機(jī)效應(yīng)的統(tǒng)計量等方差檢驗顯示均值圖培訓(xùn)-銷售業(yè)績SPSS輸出結(jié)果多重比較檢驗方法LSD(Least-significantdifference)最小顯著性差異法：用t檢驗完成個組均值間的配對比較。Duncan多重極差檢驗：將進(jìn)行比較的各組均值分成幾個有顯著差異的子集。一個子集中均值之間的差異不顯著。Dunnett法：指定一個組作對照組(last)，其他各組分別與對照組進(jìn)行配對均值比較。例有五種治療麻疹的藥，要比較它們的療效。假定將30個病人分成五組，每組6人使用同一種藥，記錄病人從使用藥物開始到痊愈所需時間（天）如表。試進(jìn)行方差分析。輸入數(shù)據(jù)：痊愈時間和組別調(diào)用“One-WayANOVA”過程，選擇如下選項：方差齊性檢驗多重比較方法：LSD,Duncan，輸出描述統(tǒng)計量。Duncan多重極差檢驗結(jié)果說明：所有5個待比較組分為兩個子集（3，2，4，5）和（1，5），屬同一子集的藥物可認(rèn)為無明顯差異。對于第一個子集，“2、3、4、5藥物治愈所需天數(shù)均值相等”的假設(shè)接受的概率僅為0.067，略大于0.05。單因素方差分析例一DVD廠商希望了解不同年齡段（agegroup)的消費(fèi)者對其生產(chǎn)的一種新型DVD的評價(dvdscore)做單因素方差分析，畫出均值圖多重均值比較第四組評價最高第三組評價次高比較第三組均值與第四組均值是否有顯著差異一、二組評價較低五、六組評價最低比較32歲以下和46歲以上人群是否有顯著差異用單因素ANOVA中的contrast選項：1）mean3-mean42)0.5mean1+0.5mean2-0.5mean5-0.5mean632歲到45歲的評價無顯著差異32歲以下和46歲以上消費(fèi)者的評價無顯著差異例：某企業(yè)準(zhǔn)備上市一種新型香水，需要進(jìn)行市場調(diào)研。經(jīng)驗表明除香水氣味外，香水包裝對需求也有很大影響?，F(xiàn)對三種不同的包裝、三種不同香型的香水進(jìn)行測試，每種組合采用一個不同的市場調(diào)查，調(diào)查結(jié)果見下表。1.923.152.54包裝311.53.29包裝21.582.042.8包裝1流行激情高雅AB三、單響應(yīng)變量方差分析——以雙因素方差分析為例雙因素不重復(fù)試驗B1B2…BmA1A2…An

x11x12…x1mx21x22x2mxn1xn2xnm…兩因素分別為A（包裝）和B（香型），A有n種水平（n=3），B有m種水平(m=3)，每種因素組合只有一個樣本值，這樣的實(shí)驗稱為不重復(fù)試驗。實(shí)驗數(shù)據(jù)建立下表不重復(fù)試驗不能識別因素間的交互作用列均值行均值雙因素不重復(fù)試驗方差分析方法與單因素方差分析類似，總變異可分成兩個因素的離差平方和及誤差平方和：方差分析表：因素的主效應(yīng)檢驗離差平方和自由度均方和MSSASBSESTn-1m-1(n-1)(m-1)nm-1MSA=SA/(n-1)MSB=SB/(m-1)MSE=SE/(n-1)(m-1)檢驗統(tǒng)計量FA=MSA/MSEFB=MSB/MSE行效應(yīng)（A因素）顯著性檢驗列效應(yīng)（B因素）顯著性檢驗B香型A包裝包裝1包裝2包裝31高雅2激情3流行2.83.292.542.041.53.151.5811.92Bj2.882.231.5Ai2.141.932.542.20離差平方和自由度均方和MSSA=0.57SB=2.85SE=1.57ST=4.992248MSA=0.285MSB=1.425MSE=0.392檢驗統(tǒng)計量FA=0.73FB=3.64F=6.94結(jié)論：包裝與香型的影響都不顯著雙因素重復(fù)試驗兩因素分別為A和B，A有n種水平，B有m種水平，兩種因素不同水平共有mn中組合，在每種因素組合（i,j）下作d次重復(fù)試驗，以減輕誤差的干擾，實(shí)驗數(shù)據(jù)建立下表A1…j…m1x111,x112,…x11d

x1j1,x1j2,…x1jd

x1m1,x1m2,…x1md…

ixi11,xi12,…xi1d

xij1,xij2,…xijd

xim1,xim2,…ximd…

nxn11,xn12,…xn1d

xnj1,xnj2,…xnjd

xnm1,xnm2,…xnmdB雙因素方差分析符號說明

雙因素分析模型在雙因素模型中可以進(jìn)行多種檢驗：因素A的主效應(yīng)檢驗因素B的主效應(yīng)檢驗因素A和因素B的交互作用檢驗雙因素方差分析表

sumofsquaresdfmeansquareF-RatioacrossSSAnm-1MSA=SSA/(nm-1)MSA/MSWfactorASS(a)n-1MS(a)=SS(a)/(n-1)MS(a)/MSWfactorBSS(b)m-1MS(b)=SS(b)/(m-1)MS(b)/MSWinteractSS(ab)(n-1)(m-1)MS(ab)=SS(ab)/(n-1)(m-1)MS(ab)/MSWwithinSSWN-nmMSW=SSW/(N-nm)

totalSSTN-1

香水例“單變量”過程數(shù)據(jù)格式響應(yīng)變量因素協(xié)變量隨機(jī)因素“模型”對話框：模型設(shè)定自定義模型指定模型類型建立全模型指定主效應(yīng)指定所有三維交互效應(yīng)指定所有四維交互效應(yīng)選擇分解平方和的方法：指定交互效應(yīng)指定所有兩維交互效應(yīng)本例只有主效應(yīng)“對比”對話框：效應(yīng)比較默認(rèn)：無效應(yīng)比較改變效應(yīng)比較設(shè)置比較因素每個水平的效應(yīng)因素變量每一水平都與參考水平比較：選擇last或first為參考水平因素每一水平都與其前面?zhèn)€水平比較因素每一水平都與后續(xù)水平比較“圖”對話框：因變量均數(shù)分布圖選擇橫坐標(biāo)選擇縱坐標(biāo)散點(diǎn)圖框“兩兩比較”對話框：多重比較與one-wayANOVA相同Save對話框：保存“選項”對話框比較主效應(yīng)均值指定輸出統(tǒng)計量效應(yīng)量估計顯示觀測功效參數(shù)估計：因變量與自變量的回歸系數(shù)等等方差檢驗觀測量均值對方差的圖擬合度不足的檢驗香型與包裝方差分析結(jié)果新食品定價和廣告策略研究為了確定新食品的定價和廣告策略，某企業(yè)做了一次市場研究：選出24家商場分別以高、中、低三種價格，和高、低兩種廣告策略推銷產(chǎn)品，經(jīng)過一段時間之后統(tǒng)計各家商場的銷售量，并對此作方差分析。新食品銷售的均值圖價格低高低廣告高廣告1.銷售量的價格效應(yīng)較明顯2.廣告效應(yīng)較不明顯3.交互作用：低價格高廣告的銷量較大方差分析表四、協(xié)方差分析基本思想：在方差分析中引入其它獨(dú)立變量，以矯正由于非試驗因素對響應(yīng)變量的影響干擾方差分析的準(zhǔn)確性。方差分析應(yīng)在“其它條件不變”下實(shí)施。但是，這一點(diǎn)有時難以做到。前例：在研究價格和廣告對新食品銷售的影響時，如果所選擇的商場規(guī)模不同，也會對銷售量產(chǎn)生影響。我們收集了各個參加試驗商場的規(guī)模，做銷售量對商場規(guī)模的散點(diǎn)圖銷售量對商場規(guī)模散點(diǎn)圖：綠色點(diǎn)-高廣告，紅色點(diǎn)-低廣告很明顯：做高廣告的商場規(guī)模偏小，低廣告的商場規(guī)模較大。一般來說，規(guī)模大的商場銷量較大，規(guī)模小的商場銷量較小。因此，商場規(guī)模的差異可能會干擾對廣告效應(yīng)的評估。將Storesiz作為協(xié)變量引入后的方差分析結(jié)果協(xié)變量調(diào)整后的均值圖協(xié)變量調(diào)整前的均值圖廣告效應(yīng)變得明顯了協(xié)變量調(diào)整前協(xié)變量調(diào)整后協(xié)變量的作用機(jī)理：單因素例：芬蘭曾有一條法規(guī)：只有城市可以從事商業(yè)性賣酒。當(dāng)這條法規(guī)取消時，人們開始擔(dān)心農(nóng)村的交通事故會因此增多。一些研究者在12個鄉(xiāng)村鎮(zhèn)進(jìn)行了試驗：其中4個村鎮(zhèn)只允許商店賣酒、4個村鎮(zhèn)商店和飯店都可以賣酒，最后4個村鎮(zhèn)作為對照組，不許賣酒。一年后統(tǒng)計的交通事故數(shù)如表。對此數(shù)據(jù)進(jìn)行方差分析，發(fā)現(xiàn)賣酒模式對交通事故影響不顯著。組間變異不比組內(nèi)變異顯著地大結(jié)論是否可信？影響交通事故的其他因素：由于道路狀況、天氣狀況等的差別，有些鄉(xiāng)鎮(zhèn)比另一些鄉(xiāng)鎮(zhèn)更容易發(fā)生交通事故，選取解禁前各鄉(xiāng)鎮(zhèn)年交通事故數(shù)numpre為參考變量，從數(shù)據(jù)表中可以看出，第二組各城鎮(zhèn)在未解禁前事故率就相當(dāng)高，解禁后的事故率相對來說并不很高。不同城鎮(zhèn)的交通事故數(shù)差異很大（甚至同一試驗組的城鎮(zhèn)之間），原因何在？accidnum解禁后事故數(shù)vs解禁前事故數(shù)組間相關(guān)組內(nèi)亦相關(guān)且相關(guān)度更高剔除協(xié)變量影響后的組間變異與組內(nèi)變異協(xié)變量調(diào)整后，組間變異增大，組內(nèi)變異減小協(xié)變量調(diào)整后模型:Intercept+numpre+group協(xié)變量調(diào)整前模型:Intercept+group均值圖比較未考慮協(xié)變量協(xié)變量調(diào)整后協(xié)變量調(diào)整后調(diào)整前協(xié)變量調(diào)整后，賣酒模式對交通事故數(shù)影響顯著調(diào)整前調(diào)整后的成對比較飯店里賣酒對交通事故影響最大bT為X對Z回歸的系數(shù)X與Z的協(xié)方差為0時SST(Xa