試驗設(shè)計數(shù)據(jù)的方差分析

1、1試驗設(shè)計數(shù)據(jù)試驗設(shè)計數(shù)據(jù)的的方差分析方差分析 和和一般線性模型一般線性模型吳喜之吳喜之2試驗設(shè)計試驗設(shè)計在幾乎所有領(lǐng)域都有各種試驗。比如在幾乎所有領(lǐng)域都有各種試驗。比如如何對不同的土壤、氣候等各種條件找出最合適的如何對不同的土壤、氣候等各種條件找出最合適的作物，使得收益最大作物，使得收益最大如何使得工業(yè)產(chǎn)品優(yōu)質(zhì)、價廉如何使得工業(yè)產(chǎn)品優(yōu)質(zhì)、價廉什么環(huán)境下，兒童才能在心理上健康成長什么環(huán)境下，兒童才能在心理上健康成長企業(yè)采取的什么主動措施能夠增加收益企業(yè)采取的什么主動措施能夠增加收益3試驗設(shè)計模型就是回歸模型試驗設(shè)計模型就是回歸模型 在水產(chǎn)養(yǎng)殖業(yè)中，比如養(yǎng)蟹，因變量是產(chǎn)量，自變量是在水產(chǎn)養(yǎng)殖業(yè)中

2、，比如養(yǎng)蟹，因變量是產(chǎn)量，自變量是水溫，飼料，疾病等。水溫，飼料，疾病等。 描述試驗設(shè)計的模型就是回歸模型的一種描述試驗設(shè)計的模型就是回歸模型的一種 但試驗設(shè)計問題本身有很大一部分是如何設(shè)計試驗，使但試驗設(shè)計問題本身有很大一部分是如何設(shè)計試驗，使得人們有可能用最少的資源得到最好的結(jié)果。得人們有可能用最少的資源得到最好的結(jié)果。 當然，我們不打算詳細討論如何設(shè)計試驗，而把主要精當然，我們不打算詳細討論如何設(shè)計試驗，而把主要精力放在試驗設(shè)計數(shù)據(jù)的方差分析上。力放在試驗設(shè)計數(shù)據(jù)的方差分析上。 4方差分析方差分析 方差分析（方差分析（analysis of variance，ANOVA）是分析）是分析各

3、個自變量對因變量影響的一種方法。各個自變量對因變量影響的一種方法。 這里的自變量就是這里的自變量就是定性變量的因子定性變量的因子及可能出現(xiàn)的稱及可能出現(xiàn)的稱為為協(xié)變量協(xié)變量（covariate）的）的定量變量定量變量。 分析結(jié)果是由一個分析結(jié)果是由一個方差分析表方差分析表給出的。給出的。5方差分析方差分析分解因素貢獻分解因素貢獻的機理的機理 原理為：因變量的值隨著自變量的不同取值而變化。我原理為：因變量的值隨著自變量的不同取值而變化。我們把總變化們把總變化(差差的平的平方方和和)按照自變量按照自變量(因素因素)進行分解，進行分解，顯示每一個自變量的貢獻；最后剩下無法用已知的因素顯示每一個自變量

4、的貢獻；最后剩下無法用已知的因素解釋的則看成解釋的則看成隨機誤差隨機誤差的貢獻。的貢獻。 然后用各自變量的貢獻和隨機誤差的貢獻進行比較（然后用各自變量的貢獻和隨機誤差的貢獻進行比較（F檢驗），以判斷該自變量的不同水平是否對因變量的變檢驗），以判斷該自變量的不同水平是否對因變量的變化有顯著貢獻。輸出就是化有顯著貢獻。輸出就是F-值和檢驗的一些值和檢驗的一些p-值。值。 下面看一個例子。下面看一個例子。 6單因素方差分析回顧單因素方差分析回顧(data12.01)(data12.01) 飼料比較數(shù)據(jù)飼料比較數(shù)據(jù), n=19, n=19頭豬頭豬, , 用用p=4p=4種飼料喂養(yǎng)一種飼料喂養(yǎng)一段時間后

5、的重量增加段時間后的重量增加問題問題: : 四種飼料是否不同四種飼料是否不同? ? 飼料飼料ABCD133.8151.2193.4225.8125.3149.0185.3224.6143.1162.7182.8220.4128.9143.8188.5212.3135.7153.5198.67飼料例子飼料例子(繼續(xù)繼續(xù)):飼料飼料(fodder)為自變量為自變量(單因子單因子),重量增加重量增加(weight) 為因變量為因變量(一個數(shù)量變量一個數(shù)量變量) (SPSS計算機數(shù)據(jù)形式計算機數(shù)據(jù)形式有所不同有所不同)飼料飼料ABCD133.8151.2193.4225.8125.3149.0185.

6、3224.6143.1162.7182.8220.4128.9143.8188.5212.3135.7153.5198.6均值均值A(chǔ)= 133.36 均值均值B= 152.04 均值均值C=189.72 均值均值D= 220.7884555N =fodderDCBAWEIGHT2402202001801601401201008四種飼料的箱圖四種飼料的箱圖 四種飼料的均值圖四種飼料的均值圖 fodderDCBAMean of WEIGHT2402202001801601401209假設(shè)假設(shè): :檢驗檢驗: H0: m m1=m mp212,.,(,),1,.,iiiiniyyyNipm服 從 分

7、 布線性模型線性模型: :,1,.,1,.,ijiijiyipjnm10公式公式: :總平方和總平方和= =組間平方和組間平方和+ +組內(nèi)平方和組內(nèi)平方和 22111()()inppiijiiiijSSTSSBSSEn yyyy其中其中, SST 有自由度有自由度 n-1, SSB有自由度有自由度 p-1, SSE 有自由有自由度度 n-p,在正態(tài)分布的假設(shè)下在正態(tài)分布的假設(shè)下, 如果各組增重均值相等如果各組增重均值相等(零零假設(shè)假設(shè)), 則則 有自由度為有自由度為 p-1 和和n-p 的的F 分布分布. /(1)/()MSBSSBpFMSESSEnp11(比較一元總體的比較一元總體的) AN

8、OVAWEIGHT(重量重量) 由由SPSS可以得到方差分析表可以得到方差分析表: : Sum of Squares(平平方和方和)Df自由度Mean Square(均均方方)FSig.Between Groups(處處理理)SSBP-1MSB=SSB/(p-1)F=MSB/MSEP(FFa a)Within Groups(誤差誤差)SSEn-pMSE=SSE/(n-p)Total(總和總和)SSTn-1這里這里n n 為觀測值數(shù)目為觀測值數(shù)目p p 為水平數(shù)為水平數(shù), ,F Fa a滿足滿足P(FFP(FFa a)=)=a a. .這是自由度為這是自由度為p-1p-1和和n-pn-p的的F

9、F- -分布的概率分布的概率 12F0.05(3,15)面積面積=0.05F (3,15)分布密度圖分布密度圖13ANOVAWEIGHT 由由SPSS可以得到方差分析表可以得到方差分析表: : Sum of SquaresDfMean SquareFSig.Between Groups20538.69836846.233157.467.000Within Groups652.1591543.477Total21190.85818該表說明各飼料之間有顯著不同該表說明各飼料之間有顯著不同. . 14Test of Homogeneity of Variances (A robust test)這是

10、這是SPSS輸出之一輸出之一, ,明白即可明白即可, ,不用記住不用記住Levene Statisticdf1df2Sig.024315.99515銷售數(shù)據(jù)銷售數(shù)據(jù)( (sales.sav) ) 研究這個數(shù)目的主要目的是看銷售額（因變量）是否受到促銷研究這個數(shù)目的主要目的是看銷售額（因變量）是否受到促銷方式、售后服務(wù)和獎金這三個自變量的影響（頭兩個是定性變方式、售后服務(wù)和獎金這三個自變量的影響（頭兩個是定性變量，亦稱為因子，分別有量，亦稱為因子，分別有3個和個和2個水平；而定量變量獎金是協(xié)個水平；而定量變量獎金是協(xié)變量）以及怎樣的影響。變量）以及怎樣的影響。16Excel 數(shù)據(jù)數(shù)據(jù)1718多因

11、素方差分析多因素方差分析( (只考慮主效應只考慮主效應, ,不考慮交互效應及協(xié)變量不考慮交互效應及協(xié)變量) ) 首先假定自變量受到的首先假定自變量受到的僅僅有不同因素的主效應僅僅有不同因素的主效應（main effect）而沒有交互效應而沒有交互效應(interaction)和協(xié)變和協(xié)變量量(covariate)的影響的影響。 主效應主效應就是每個自變量對因變量的單獨影響，而就是每個自變量對因變量的單獨影響，而交交互效應互效應是當兩個或更多的自變量的某些水平同時出是當兩個或更多的自變量的某些水平同時出現(xiàn)時除了主效應之外的附加影響現(xiàn)時除了主效應之外的附加影響(“正面正面”或者或者“負負面面”的影

12、響的影響)。19多因素方差分析多因素方差分析( (只考慮主效應只考慮主效應, ,不考慮交互效應及協(xié)變量不考慮交互效應及協(xié)變量) ) 拿我們例拿我們例子子來說，當單獨考慮時，假定主動促銷比被動來說，當單獨考慮時，假定主動促銷比被動促銷可以多產(chǎn)生促銷可以多產(chǎn)生8萬元效益，而有售后服務(wù)比沒有售后服萬元效益，而有售后服務(wù)比沒有售后服務(wù)多產(chǎn)生務(wù)多產(chǎn)生9萬元效益。那么在沒有交互作用時，同時采取萬元效益。那么在沒有交互作用時，同時采取主動促銷和售后服務(wù)會產(chǎn)生主動促銷和售后服務(wù)會產(chǎn)生8917萬元的效益（稱為萬元的效益（稱為可加的可加的）。）。 如存在交互效應，那么同時采取主動促銷和售后服務(wù)會如存在交互效應，那

13、么同時采取主動促銷和售后服務(wù)會產(chǎn)生一個附加的效應即交互效應產(chǎn)生一個附加的效應即交互效應( (可正可負可正可負) )，這時的總，這時的總效應就不是效應就不是17萬元了。萬元了。 20方差分析方差分析( (只考慮主效應只考慮主效應, ,不考慮交互效應及協(xié)變量不考慮交互效應及協(xié)變量) ) 如要分析的只是因變量銷售額和自變量促銷和售后服務(wù)如要分析的只是因變量銷售額和自變量促銷和售后服務(wù)的的主效應主效應。用用y表示銷售額，表示銷售額，a ai表示促銷（下標表示不同表示促銷（下標表示不同水平），水平），b bj表示售后服務(wù)表示售后服務(wù)；則相應的只有主效應的線性；則相應的只有主效應的線性模型為：模型為： ,

14、1, 2,3,1, 2,1, 2,3, 4:)ijkijijkijkijijkyijkyabmab(或 有 常 數(shù) 項 時 為 這里的下標這里的下標i i代表促銷的水平代表促銷的水平，下標下標j j代表是否有售后服代表是否有售后服務(wù)務(wù)，下標下標k k代表每種代表每種ijij組合中的第幾個觀測值組合中的第幾個觀測值。這里的最。這里的最后一項后一項 ijkijk為隨機誤差項。為隨機誤差項。21公式公式: :總平方和總平方和= =組間平方和組間平方和+ +組內(nèi)平方和組內(nèi)平方和 222.1111()()()pqpqijijijijijS S TS S AS S BS S Eqyypyyyyyy 其中其

15、中, SSA 有自由度有自由度 p-1, SSB有自由度有自由度 q-1, SSE 有自由度有自由度 (p-1)(q-1),在正態(tài)分布的假設(shè)下在正態(tài)分布的假設(shè)下, 如果各組增重均值相等如果各組增重均值相等(零零假設(shè)假設(shè)), 則則 分別有自由度為分別有自由度為 p-1 和和(p-1)(q-1) 及自由度為及自由度為q-1 和和(p-1)(q-1)的的F 分布分布. /(1)/(1);/(1)(1)/(1)(1)ABM S AS S ApM S BS S BqFFM S ES S EpqM S ES S Epq22Tests of Between-Subjects EffectsDependent

16、 Variable: XXX SPSS: GLM-General Factorial-Model, custom (main effect) Note: SS.c=SSA+SSB SourceType III Sum of SquaresdfMean SquareFSig.Corrected ModelSS.cP+q-2MSS.cMSS.c/MSEIntercept1Effect ASSAp-1MSAMSA/MSEEffect BSSBq-1MSBMSB/MSEErrorSSE(p-1)(q-1)MSE Totalpq Corrected TotalSST=SSA+SSB+SSEPq-1 23

17、T Te es st ts s o of f B Be et tw we ee en n- -S Su ub bj je ec ct ts s E Ef ff fe ec ct ts sDependent Variable: SALES21469.667a45367.417257.224.000579.2502289.62513.880.000532.0421532.04225.497.000417.3332020.86721887.00024SourceModelPROMOTSERVICEErrorTotalType III Sumof SquaresdfMean SquareFSig.R

18、Squared = .981 (Adjusted R Squared = .977)a. 對于這個模型，對于這個模型，SPSSSPSS輸出為輸出為 促銷促銷(promotpromot)的的F F檢驗統(tǒng)計量檢驗統(tǒng)計量(其自由度來自其自由度來自promotpromot和和errorerror的自由度的自由度:2 2,2020)取值為取值為13.88013.880,p p- -值為值為0.0000.000(更精確更精確些是些是0.00016580.0001658).而售后服務(wù)的而售后服務(wù)的F F檢驗統(tǒng)計量為檢驗統(tǒng)計量為25.49725.497，p p- -值為值為0.0000.000(更精確些是更精

19、確些是0.000061350.00006135). R2為為0.981.24 這里的估計只有相對意義。一定要放在模型中，或者考慮同一這里的估計只有相對意義。一定要放在模型中，或者考慮同一因子水平之間的差，因子水平之間的差，比如比如a a1-a a3、a a2-a a3、b b1-b b2等等。等等。上面的模型上面的模型還可以有截距有截距時的還可以有截距有截距時的SPSS默認約束是固定默認約束是固定a a3=b b2=0；而目；而目前的沒有截距的前的沒有截距的a a1，a a2，a a3的估計實際上等于截距的估計加上的估計實際上等于截距的估計加上有截距時的有截距時的a a1，a a2，a a3的

20、估計。的估計。 由于約束條件不一樣，所以各種軟件的各種選項的估計不盡相由于約束條件不一樣，所以各種軟件的各種選項的估計不盡相同，但相對大小是不會變的。同，但相對大小是不會變的。P Pa ar ra am me et te er r E Es st ti im ma at te es sDependent Variable: SALES28.4581.86515.260.00024.56832.34832.7081.86517.539.00028.81836.59840.3331.86521.628.00036.44344.223-9.4171.865-5.049.000-13.307-5.52

21、70a.ParameterPROMOT=.00PROMOT=1.00PROMOT=2.00SERVICE=.00SERVICE=1.00BStd. ErrortSig.Lower BoundUpper Bound95% Confidence IntervalThis parameter is set to zero because it is redundant.a. 對于這個模型，參數(shù)估計為對于這個模型，參數(shù)估計為2528.4589.417, Prom ote=0;Service=032.7089.417, Prom ote=1;Service=040.3339.417, Prom ote=

22、2;Service=028.4580, Prom ote=0;Service=132.7080, Prom ote=1;Service=140yyyyyy.3330, Prom ote=2;Service=1:)ijkijijkymab(或 有 常 數(shù) 項 時 模 型 為根據(jù)上面估計，我們的模型為根據(jù)上面估計，我們的模型為（各個參數(shù)僅有相對意義，（各個參數(shù)僅有相對意義，常數(shù)項混合在其中）常數(shù)項混合在其中）26 沒有交互作用的模型可以從下面點圖中直觀看出。圖沒有交互作用的模型可以從下面點圖中直觀看出。圖10.1中下面一條折線中下面一條折線連接了沒有售后服務(wù)時三種促銷狀況的銷售均值，而上面一條連接

23、了有售連接了沒有售后服務(wù)時三種促銷狀況的銷售均值，而上面一條連接了有售后服務(wù)時三種促銷狀況的銷售均值。由于模型選擇為無交互作用，所以這后服務(wù)時三種促銷狀況的銷售均值。由于模型選擇為無交互作用，所以這兩條線是平行的。從該圖可以看出，兩個因子效應綜合效應是簡單的加法。兩條線是平行的。從該圖可以看出，兩個因子效應綜合效應是簡單的加法。 Estimated Marginal Means of SALESPROMOT2.001.00.00Estimated Marginal Means5040302010SERVICE .00 1.0027SPSSSPSS實現(xiàn)實現(xiàn)( (只有因子主效應的方差分析只有因子主

24、效應的方差分析) ) 拿拿sales.sav為例，在為例，在SPSS中選中選AnalyzeGeneral Linear ModelUnivariate進入主對話框；進入主對話框； 然后把然后把sales選入選入Dependent Variable，把，把promot和和service選選入入Fixed Factors； 然后點擊然后點擊Model，選擇，選擇Custom，在，在Build Terms中選擇中選擇Main effects,再把再把promot(F)和和service(F)選入選入Model； 選擇或不選擇選擇或不選擇Include intercept in model則確定是否在

25、模型則確定是否在模型中包含常數(shù)項；回到主對話框（中包含常數(shù)項；回到主對話框（Continue），這時點），這時點OK即即可；可； 如果要輸出參數(shù)估計可以在如果要輸出參數(shù)估計可以在Options選諸如選諸如Parameter Estimates等。等。 28方差分析方差分析 如再加上作為如再加上作為協(xié)變量協(xié)變量的的定量變量獎金定量變量獎金，看它對銷售有沒有影響；模型就，看它對銷售有沒有影響；模型就又多了一個代表自變量獎金又多了一個代表自變量獎金x的一項（加上系數(shù)的一項（加上系數(shù)g g）g g x： 而計算機的方差分析表的輸出而計算機的方差分析表的輸出(主要部分主要部分)為：為： ,1, 2, 3

26、,1, 2,1, 2, 3, 4ijkijijkijyxijkababgT Te es st ts s o of f B Be et tw we ee en n- -S Su ub bj je ec ct ts s E Ef ff fe ec ct ts sDependent Variable: SALES21799.925a73114.275608.012.000704.6332352.31768.784.000550.8621550.862107.547.000165.256282.62816.132.000186.1751186.17536.348.00087.075175.122218

27、87.00024SourceModelPROMOTSERVICEPROMOT * SERVICEBONUSErrorTotalType III Sumof SquaresdfMean SquareFSig.R Squared = .996 (Adjusted R Squared = .994)a. 29 該模型的交互作用可以用下面的來描述：該模型的交互作用可以用下面的來描述： Estimated Marginal Means of SALESPROMOT2.001.00.00Estimated Marginal Means50403020SERVICE .00 1.0030還要說明的是，如果每一種