第八章方差分析與回歸分析

第八章方差剖析與回歸剖析§1單要素試驗(yàn)的方差剖析試驗(yàn)指標(biāo)：研究對(duì)象的某種特點(diǎn)。例各人的收入。要素：與試驗(yàn)指標(biāo)有關(guān)的條件。例各人的學(xué)歷，專業(yè)，工作經(jīng)歷等與薪資有關(guān)的特點(diǎn)。要素水平：要素所在的狀態(tài)例學(xué)歷是要素，而高中，大學(xué)，研究生等，就是學(xué)歷要素水平；數(shù)學(xué)，物理等就是專業(yè)的水平。問(wèn)題：各要素水平對(duì)試驗(yàn)指標(biāo)有無(wú)明顯的差別單要素試驗(yàn)方差剖析模型假定1）影響試驗(yàn)指標(biāo)的要素只有一個(gè)，為

A，其水平有

r個(gè)：

A1,L,Ar；2）每個(gè)水平Ai下，試驗(yàn)指標(biāo)是一個(gè)整體Xi。各個(gè)整體的抽樣過(guò)程是獨(dú)立的。3）Xi~N(i,i2)，且i22j。問(wèn)題：剖析水平對(duì)指標(biāo)的影響能否相同1）對(duì)每個(gè)整體抽樣獲得樣本

{Xij,1

j

ni}

，由其查驗(yàn)假定：原假定

H0

:

i

j，

i,j；備選假定：

H1:

i

j，

i,j；2）假如拒絕原假定，則對(duì)未知參數(shù)

1,L,

r,

2進(jìn)行參數(shù)預(yù)計(jì)。注1）接受假定即以為：各個(gè)水平之間沒(méi)有明顯差別，反之則有明顯差別。2）在水平只有兩個(gè)時(shí)，問(wèn)題就是雙正態(tài)整體的均值假定查驗(yàn)問(wèn)題和參數(shù)預(yù)計(jì)問(wèn)題。查驗(yàn)方法數(shù)據(jù)結(jié)構(gòu)式：Xijiijiij，偏差ij~N(0,2)是互相獨(dú)立的，1rr。nii。不難考證，i0ni1k1各種樣本均值水平Ai的樣本均值：X1ni；Xijignij1水平總樣本均值：X

1n

rniXij1ni1j1

rrniXi，nni；i1i1偏差平方和與效應(yīng)組間偏差平方和：rrSAni(XigX)2niXi2gnX2；（權(quán)衡由不一樣水平產(chǎn)生的差別）i1i1組內(nèi)偏差平方和：rnirniSE(XijXig)2(Xij2niXi2g)；（權(quán)衡由隨機(jī)要素在同一水平上產(chǎn)生的i1j1i1j1差別）總偏差平方和：rnirST(XijX)2niXij2nX2；（綜合權(quán)衡要素，水平之間，隨機(jī)要素的差i1j1i1異）定理1（總偏差平方和分解定理）STSASE。rnirnirni即(XijX)2(XijXig)2(XigX)2，或直接證明。i1j1i1j1i1j1rni注：利用(XijXi)(XiX)0即可證明。i1j1定理2（統(tǒng)計(jì)特征）(nr)2，ESArrESE(r1)2nii2，EST(n1)2nii2。i1i1rnirni證ESE(EXij2niEXi2g)((2i2)2nii2)i1j1i1j1r22i1(ni1)(nr)rrESAniE(XigX)2niEXi2gnEX2i1i1rni(2i2)n(22)i1nin1)2r2(ri1nii定理31）SE/2~2(nr)，且SE與SA獨(dú)立；2）假如假定H0建立，那么，ST/2~2(n1)；且假如假定nim，1ir，則還有，SA/2~2(r1)。證1）因?yàn)椴灰粯铀降臉颖鹃g的獨(dú)立性，SE較易辦理。對(duì)固定的i，Xij~N(i,i2)，j1,L,ni，且獨(dú)立，所以由第五章定理2的結(jié)論，ni22XijXigniXiji(Xigi)2(ni~1)，j1j1r利用2可加性，即得SE/2~2(nir)2(nr)，且Xig與SE獨(dú)立。i1注意到X1rniniXig，所以X也與SE獨(dú)立，進(jìn)而SA也與SE獨(dú)立。1注這里只需方差假定相同，不需要假定均值相同。）Xiji~N(0,1)，且獨(dú)立，相同利用第五章定理2，2Xiji1Xiji)2~2(n1)。(i,jni,j但在假定建即刻，Xiji1Xiji)21(Xij2，即得結(jié)論。且(ni,j2X)i,ji,jX與ST獨(dú)立。r(Xig)(X)2同時(shí)，SA/2~2(r1)。i1注此處結(jié)論證明利用了ni都相等，即利用：1rXkg1Xij。但上述結(jié)論在rk1ni,j組樣本容量不一樣時(shí)，直接利用正交變換仍可近似證明。從統(tǒng)計(jì)角度看，假如假定H0建立，那么1ESE21ESA，而在假定nrr1不建即刻，111r1SA/(r1)ESAESEnii2ESE，即統(tǒng)計(jì)量Fr1nrr1i1nrSE/(nr)將有偏大的趨向。那么，大到何值能夠采信為顛覆假定的反例，就回到前面的假定查驗(yàn)問(wèn)題了。定理置信度為時(shí)，假定H0的查驗(yàn)問(wèn)題的拒絕域?yàn)閃{FF(r1,nr)}。參數(shù)預(yù)計(jì)問(wèn)題假如各要素有明顯差別，即對(duì)某些水平ij，那么就需要預(yù)計(jì)這些參數(shù)的值和2。1．最大似然預(yù)計(jì)2)，密度函數(shù)為1(xi)2整體Xi~N(i,e22，所以最大似然函數(shù)為21(xiji)2L(1,L,r,2)e22，i,j22一般，我們把i分紅兩部分：ii，此中1i。ri所以i即表示了各水平的差別，有nii0。i由此最大似然函數(shù)可表示為，1(xiji)2L(,1,L,r,2)e22。i,j22對(duì)數(shù)最大似然函數(shù)：lnL(,1,L,r,2)n2)(xiji)2ln(222，2i,j拘束條件：nii0。i求其最大值點(diǎn)得：lnL(,1,L,r,2)2(xiji)0，i,j22即：xijnnii0；或，nxn0。i,jir(xiji)[lnL(,1,L,r,2)knii]222kni0，ii11jni（k是拉格朗日乘子）即nixigniniik2ni0；或，xigik20；2lnL(,1,L,r,2)2n2214(xiji)20，i,j即21(xiji)2，或，21{xij22nx2niixin2nii2}，ni,jni,jii整理結(jié)果得：?x，?ixig?k?2。由此利用ni?i0，解得k?2x?。所以ixigx。i所以?21{xij2nx22ni?ixigni?i2}，ni,jii同時(shí)，ni?i22ni?ixigni?i(xigx)2ni?ixigiiiini?ixigni(xigx)xignixi2gnx2，iii所以?21{22}SE。nxijnixigni,ji2．區(qū)間預(yù)計(jì)第i個(gè)水平的均值：Xi~N(i,2/ni)，即Xii~N(0,1)；且SE/2~2(nr)/ni與其獨(dú)立，所以(Xii)/niSE/(nr)2~t(nr)。即可獲得置信區(qū)間：(Xit/2(nr)SE,Xit/2(nr)SE)。ni(nr)ni(nr)但，一定注意，對(duì)整個(gè)問(wèn)題而言，置信水平不再是1。記事件Ei{i(Xit/2(nr)SE,Xit/2(nr)SE)}。ni(nr)ni(nr)則P(Ei)1。但P(IEi)1P(UEi)1r。ii§2一元線性回歸設(shè)有兩個(gè)整體(X,Y)，它們之間不是獨(dú)立的，而是擁有某種依靠關(guān)系，即對(duì)它們抽樣，獲得的是一對(duì)樣本和觀察值：(X1,Y1),L,(Xn,Yn)，(x1,y1),L,(xn,yn)。例父子的身高；某種動(dòng)物體重和體積，等等。此刻關(guān)懷的問(wèn)題是：從觀察的結(jié)果，可否找出它們之間的聯(lián)系即f(X)(X)，此中是隨機(jī)變量。從實(shí)質(zhì)問(wèn)題出發(fā)，也可以為X是非隨機(jī)確實(shí)定自變量，原來(lái)二者之間應(yīng)當(dāng)有確立的函數(shù)關(guān)系，但因?yàn)槟撤N擾亂，這類關(guān)系產(chǎn)生了某種不確立性。怎樣合理地確立其關(guān)系f(x)一元線性回歸模型假定1）Y01x；2）~N(0,2)。每次抽樣，Yi01xii，此中i~N(0,2)，且互相間是獨(dú)立。等價(jià)的看法：Yi~N(01xi,2)。問(wèn)題由樣本觀察數(shù)據(jù)(x1,y1),L,(xn,yn)，怎樣合理預(yù)計(jì)參數(shù)0,1方法1）確立性看法：最小二乘法n1xi)2，min(yi00,1i1使觀察獲得的的樣本平方和偏差最小。解記1nyi，x1nnx)(yiy)nyxi，lxy(xixiyinxy，ni1ni1i1i1nnnnlxx(xix)2xi2nx2，lyy(yiy)2yi2ny2。i1i1i1i1n(yi01xi)0求偏導(dǎo)得i1，解方程組得，n(yi01xi)xi0i1nyn0n1x0，nnxi2xiyinx010i1i1nn2nx2)即xiyinxy1(xi0，所以解為：i1i1?lxyx0ylxx。?lxy1lxx2）隨機(jī)看法：最大似然預(yù)計(jì)nn(yi01xi)2最大似然函數(shù)L(y1,K,yn;x1,K,xn;0,1)1ei12。2所以，由lnLlnL，即得近似結(jié)論。001注把x是確立值，則L,L,Y都是對(duì)于Y,K,Y的統(tǒng)計(jì)量。所以，在不代入觀iyyxy1n測(cè)值時(shí)，?YLxyx,?Lxy也都是隨機(jī)變量。0Lxx1Lxx有結(jié)論，定理（1）?0YLxyx~N(0,(1x2)2)，?1Lxy~N(1,2)；LxxnlxxLxxlxx（2）cov(?0,?1)x2；lxx（3）???1(x0x)221x0~N(01x0,(nlxx))。y00n證：?1(xix)(YiY)n(xx)i1iYi，明顯聽(tīng)從正態(tài)散布，Lxxi1LxxE?n(xix)EYn(xix)(01x)n(xix)x11(nx2nx2)11i1Lxyii1Lxxii1LxxiLxxi1iD?1n(xix)2DYin(xix)222。i1L2xxi1L2xxLxx近似，?0Yn(xix)xYin[1(xix)x]Yi也聽(tīng)從正態(tài)散布，且i1Lxxi1nLxxE?n[1(xix)x]EYn[1(xix)x](01x)0i1nLxxii1nLxxi，n(xix)x]x1[1n(xix)xi]0[10i1Lxxi1LxxD?0n[1(xix)x]2DYi2[12n1(xix)xn(xix)2x2]2[1x2]i1nLxxni1nLxxi1L2xxnLxxcov(?0,?1)nn1(xix)x](xjx)cov(Yi,Yj)[LxxLxxi1j1nn1(xix)x(xix)2n(xix)2x2x2。[Lxx]LxxL2xxLxxi1ni1最后，???是正態(tài)散布明顯建立，01x0y0?01x0，Ey0Dy?0D?0x02D?12x0cov(?0,?1)2[1x2]2xx022x02[1(x0x)2]2nLxxLxxLxxnLxx該定理表示，上述參數(shù)預(yù)計(jì)都是無(wú)偏的，但要提升有效性，即減小其方差，就要n和Lxx足夠大?；貧w方程的明顯性查驗(yàn)假如回歸方程中10，那么即說(shuō)明Y和X不擁有線性關(guān)系，就稱回歸方程不顯著；不然，就稱其是明顯的。明顯性查驗(yàn)H0：10；H1：10（我們是準(zhǔn)備接受結(jié)論H1的，以進(jìn)行后邊的工作；可是，假如直接把其作為原假定，所謂接受該假定，意思是說(shuō)，H1建即刻，沒(méi)有出現(xiàn)小概率事件，就是說(shuō)對(duì)該次抽樣，不可否認(rèn)H1。所以，對(duì)自已的主張一般不作為原假定。我們把其對(duì)峙面H0作為原假定，意思是說(shuō)，假如小概率事件出現(xiàn)，就有原因以為該假定不合理，該次抽樣是一個(gè)反例。所以，接受其對(duì)峙面H1）???。抽樣后，獲得樣本Yi，及其回歸值Yi01xi各種偏差平方和先把記號(hào)定義整理一下：xi或Xi不擁有隨機(jī)性的量。Yi是樣本，知足Yi01xii，而yi是其觀察值。0,1是參數(shù)，?0,?1是其無(wú)偏預(yù)計(jì)量，而???是其函數(shù)。Lyy,Lxy,Y都是統(tǒng)計(jì)量。Yi01xin總偏差平方和ST(YiY)2Lyy，i1回歸偏差平方和n?2SRY)(Yii1nn2n2LxyLxy2LxyLxy?2??Y)2(Y(xxi)2Lxx(01xixxiY)LxxLxxLxx1i1i1LxxLxxi1（由隨機(jī)要素惹起的偏差）能夠直接計(jì)算獲得：ESRLxxE12Lxx[D1(E1)2]2Lxx12；殘差平方和n?2SE(Yi)Yii1nLxyxLxyxi)2nLxy(xxi)]2，(YiY[YiYi1LxxLxxi1LxxLxy2LxyLxyLyyLxx2Lyy?1LxyLxxLxx（回歸值和察看值的偏差：由隨機(jī)偏差，可能存在的非線性關(guān)系，都會(huì)惹起該偏差）直接計(jì)算獲得：ESE(n2)2。對(duì)于這些偏差有以下結(jié)果。定理（1）STSRSE；n?n??n?n（利用(Yi0，(Yi)xi(Yi01xi)xi0）Yi)(Yi01xi)Yii1i1i1i1（2）SE/2~2(n2)；由此，ESE(n2)2。22(1)；?1Lxy2（3）在假定H0建即刻（即10時(shí)），SR/~~N(0,)；LxxLxx（4）SR（或?）與S,Y獨(dú)立。1E證（2）對(duì)SEn2nY21nY)]2Yi[(xix)(Yi，做正交變換i1Lxxi1x1xx2xLxnxLxxLxxLxx1Z11L1Y2Y，1與2是單位正交的向量，其他向nnnMLLLLnan1an2Lann量擁有必定的隨意性，只需使其成為正交陣。這時(shí)，nnaij0，（與2正交）；aijxj0，（與1正交）。j1j11Lxx這時(shí)，EZn(01x)，cov(z,z)2I。同時(shí)，0MnnSE/2Zi2/2Z22/2Z12/2Zi2/2，是n2個(gè)獨(dú)立標(biāo)準(zhǔn)正態(tài)散布的i1i3隨機(jī)變量的和，所以SE2~2(n2)。0（3）假如假定H