數(shù)理統(tǒng)計(jì)與隨機(jī)過程ch9

1、數(shù)理統(tǒng)計(jì)與隨機(jī)過程第九章1第九章 方差分析及回歸分析9.1 單因素試驗(yàn)的方差分析 在科學(xué)試驗(yàn)和生產(chǎn)實(shí)踐中，影響事物的因素往往很多。例如：在化工生產(chǎn)中，原料成分、原料劑量、催化劑、反應(yīng)溫度、壓力、溶液濃度、反應(yīng)時(shí)間、機(jī)器設(shè)備及操作員水平等因素，每個(gè)因素的改變都有可能影響產(chǎn)品的數(shù)量和質(zhì)量。有些因素影響大些，有些較小。為使生產(chǎn)過程得以穩(wěn)定，確保優(yōu)質(zhì)、高產(chǎn)，就必要找出對(duì)產(chǎn)品質(zhì)量有顯著影響的那些因素。為此，需要進(jìn)行試驗(yàn)及設(shè)計(jì)。方差分析就是根據(jù)試驗(yàn)的結(jié)果進(jìn)行分析，鑒別各試驗(yàn)因素對(duì)試驗(yàn)結(jié)果影響大小的統(tǒng)計(jì)方法。29.1.1 單因素試驗(yàn)的方差分析I. 基本概念 1. 試驗(yàn)指標(biāo) 在試驗(yàn)中，需要考察的指標(biāo)。 2.

2、因素 影響試驗(yàn)指標(biāo)的條件。因素又分成可控因素和不可控因素兩類。例如，反應(yīng)溫度、原料劑量、溶液濃度、反應(yīng)時(shí)間等都是可控因素；而測(cè)量誤差、氣候條件等都是不可控因素。 3. 水平 因素所處的狀態(tài)。3 如試驗(yàn)中僅有一個(gè)因素發(fā)生改變，而其他因素(有的話)不發(fā)生改變,稱這樣的試驗(yàn)為單因素試驗(yàn)；如試驗(yàn)中有多個(gè)因素發(fā)生改變，就稱試驗(yàn)為多因素試驗(yàn)。 特別地，稱只有兩個(gè)因素發(fā)生改變，而其他因素(有的話)不發(fā)生改變的試驗(yàn)為兩因素試驗(yàn)或雙因素試驗(yàn)。4II. 舉例例1：用三臺(tái)機(jī)器生產(chǎn)規(guī)格相同的鋁合金薄板。測(cè)量薄板的厚度 (精確到千分之一厘米) 如下表所示。在這里, 試驗(yàn)指標(biāo)是薄板厚度；機(jī)器為因素；三臺(tái)機(jī)器就是因素的三個(gè)

3、水平。如果假定除機(jī)器因素外，其他因素都相同，則試驗(yàn)為單因素試驗(yàn)。 試驗(yàn)?zāi)康氖菫榱丝疾旄髋_(tái)機(jī)器生產(chǎn)的鋁合金薄板的厚度是否有顯著差異，即因素的不同水平是否對(duì)試驗(yàn)?zāi)繕?biāo)有顯著不同的影響。5例2：隨機(jī)選取的、用于計(jì)算器的四種類型的電路的響應(yīng)時(shí)間如下表所示 (單位是毫秒)。試驗(yàn)指標(biāo)是電路的響應(yīng)時(shí)間；考慮的因素是電路類型；四種電路就是四個(gè)水平。試驗(yàn)?zāi)康模嚎疾祀娐奉愋蛯?duì)響應(yīng)時(shí)間有無顯著影響。6例3：一火箭使用四種燃料，三種推進(jìn)器做射程試驗(yàn)。每種燃料與每種推進(jìn)器的組合下發(fā)射火箭兩次，射程試驗(yàn)數(shù)據(jù)由下表給出。試驗(yàn)指標(biāo)：射程；因素：推進(jìn)器 (三個(gè)水平)、 燃料 (四個(gè)水平)；目的：考察推進(jìn)器和燃料這兩個(gè)因素對(duì)射程是

4、否有顯著影響。7III. 問題討論 本節(jié)僅討論單因素試驗(yàn)問題。例1中，在因素的每個(gè)水平下進(jìn)行獨(dú)立試驗(yàn)，其結(jié)果是一個(gè)隨機(jī)變量。表中的數(shù)據(jù)看成是來自三個(gè)不同總體 (每個(gè)水平對(duì)應(yīng)于一個(gè)總體) 的樣本值。 將各個(gè)總體的均值依次記為1,2與3。按題意需檢驗(yàn)假設(shè) H0: 1=2=3 ， H1: 1,2與3不全相等。若假設(shè)每個(gè)總體均為正態(tài)變量，且方差相等，但參數(shù)未知。那么，這是一個(gè)檢驗(yàn)具有相同方差的多個(gè)正態(tài)總體均值是否相等的問題。方差分析法就是解決這類問題的一種統(tǒng)計(jì)方法。8單因素試驗(yàn)的方差分析 設(shè)因素A 有s 個(gè)水平：A1, A2, , As，在水平Aj ( j =1, 2, , s)下，進(jìn)行 nj ( n

5、j 2) 次獨(dú)立試驗(yàn)，得到如下標(biāo)的結(jié)果。9 假定水平Aj ( j=1, 2, , s )下的樣本 來自具有方差2，均值為j 的正態(tài)總體, j和2未知，且不同水平Aj下的樣本相互獨(dú)立。10方差分析的任務(wù) 檢驗(yàn) s 個(gè)總體 的均值 是否相等，即檢驗(yàn)假設(shè) 作出未知參數(shù) 的估計(jì)。 若記 的加權(quán)平均為11引入 表示總體平均值與總平均的差異，稱為水平Aj 的效應(yīng)。此時(shí)，模型 (1.1)可改寫成假設(shè)(1.2)等價(jià)于假設(shè)129.1.2 平方和的分解引入總偏差平方和是數(shù)據(jù)的總平均。ST 反應(yīng)了全部數(shù)據(jù)之間的差異。因此，又稱其為總變差。其中記水平 Aj下的樣本均值為13上式的第三項(xiàng)為則有14SE 稱為誤差平方和，

6、SA稱為效應(yīng)平方和。(1.8)式稱作總變差平方和分解式，簡(jiǎn)稱平方和分解式。于是，有 ST=SE+SA ， (1.8)其中159.1.3 SE與SA的統(tǒng)計(jì)特性 為導(dǎo)出檢驗(yàn)問題(1.2) 的檢驗(yàn)統(tǒng)計(jì)量，首先來討論SE與SA的特性。先將SE寫成由于不同總體的樣本相互獨(dú)立，又知(1.11)式中各加項(xiàng)也相互獨(dú)立，根據(jù)2分布的可加性，得16 進(jìn)一步，可以證明：特別地，H0為真時(shí)，有179.1.4 假設(shè)檢驗(yàn)問題的拒絕域 由(1.14)式，知：當(dāng)H0為真時(shí)，SA /(s-1)是2的無偏估計(jì)，而當(dāng)H1為真時(shí)， 此時(shí)所以，當(dāng)H0不真時(shí)， (1.16)式的分子SA /(s-1)的取值較2有偏大的趨勢(shì)。故，檢驗(yàn)問題的

7、拒絕域應(yīng)有的形式。 18根據(jù)(1.16)式，可得到檢驗(yàn)問題(1, 2)的拒絕域?yàn)槠渲袨榻o定的顯著性水平，F(xiàn)s-1,n-s()是參數(shù)為(s-1, n-s)的F分布的上分位點(diǎn)。單因素方差分析表如下: 19 在實(shí)際中，可按以下簡(jiǎn)便公式計(jì)算ST, SA和SE。則有20例4: 在例1中就是檢驗(yàn)假設(shè) (=0.05)解：在這里， s=3, n1=n2=n3=5, n=15, 按(1.20)式計(jì)算，得到 ST =0.00124533, SA=0.00105333, SE = 0.000192 及如下方差分析表：判斷：因 F2, 12 ()=3.8932.92, 故在水平0.05下拒絕H0，即認(rèn)為各臺(tái)機(jī)器生產(chǎn)的

8、薄板厚度有顯著差異。219.1.5 未知參數(shù)的估計(jì) 由(1.13)式，知： 是2的無偏估計(jì)；再由(1.1), (1.6)及(1.7)式，知：故 分別為和j 的無偏估計(jì)。 若拒絕H0 ，就意味著，效應(yīng)1,2,s不全為零。由于j=j-, j=1, 2, , s, 知：是j 的無偏估計(jì)。22由于23例5：求例4中未知參數(shù)2 ,j 與j 的點(diǎn)估計(jì)及均值差的置信水平為0.95的置信區(qū)間。解：經(jīng)計(jì)算24由tn-s (/2)=t12(0.025)=2.1788及(1.21)式，得 1 2 , 1 3 與2 3 的置信水平為0.95的置信區(qū)間分別為：25例6: 在例2中，四類電路的響應(yīng)時(shí)間的總體均為正態(tài)分布，

9、且各總體的方差相同，但參數(shù)未知。設(shè)各樣本相互獨(dú)立。取檢驗(yàn)水平=0.05,檢驗(yàn)各類電路的響應(yīng)時(shí)間是否有顯著差異。解: 分別以1, 2, 3, 4 記類型i, , , 四種電路的響應(yīng)時(shí)間總體均值。我們需要檢驗(yàn)： H0 : 1 =2 =3 =4， H1 : 1, 2, 3, 4不全相等.現(xiàn)在，n=18, s=4, n1 = n2 = n3 =5, n4 =3，26 因?yàn)镕 3,14(0.05)=3.343.76，故在水平0.05下拒絕H0，即認(rèn)為各類型電路的響應(yīng)時(shí)間有顯著差異。將上述數(shù)據(jù)填入下表：279.2.1 雙因素等重復(fù)試驗(yàn)的方差分析 設(shè)兩個(gè)因素A 和 B 作用于試驗(yàn)指標(biāo)。A有r 個(gè)水平A1,

10、A2, , Ar，B有s個(gè)水平B1, B2, , Bs。 現(xiàn)對(duì)A , B的各水平組合(Ai, Bj )，i=1, 2, , r ，j=1, 2, , s 都作t (t2)次試驗(yàn)(稱等重復(fù)試驗(yàn))， 得如下試驗(yàn)結(jié)果：9.2 雙因素試驗(yàn)的方差分析28并假設(shè): ijk(ij , 2), i =1,2,r, j =1,2,s, k=1,2,t，各ijk獨(dú)立。 這里，ij 與 2 為參數(shù)，未知。29于是，模型可寫成：引入記號(hào)：30易見，稱 為總平均，i 為水平Ai 的效應(yīng)，j為水平Bj 的效應(yīng)。這樣可將ij 表示成31記此時(shí) 稱 ij 為水平Ai 和水平Bj 的交互效應(yīng)，這是由Ai 和Bj 搭配起來聯(lián)合起

11、作用而引起的。易見32這樣，(2.1) 式可寫成33與單因素情況類似，對(duì)這些問題的檢驗(yàn)方法也是建立在平方和的分解上。先引入以下記號(hào)：再引入總偏差平方和(稱為總變差)34可將 ST 寫成：即得平方和的分解式：35其中 稱SE為誤差平方和，SA與SB分別為因素、因素的效應(yīng)平方和，SAB為與交互效應(yīng)平方和。36可以證明：ST，SE，SA，SB，SAB 的自由度依次為 rst -1, rs(t -1), r -1, s -1,(r -1)(s-1)，且有37上述結(jié)果可匯總成下列的方差分析表：38記39例1: 在上節(jié)例3中，假設(shè)符合雙因素方差分析模型所需的條件。試在水平0.05下，檢驗(yàn)不同燃料(因素A)

12、、不同推進(jìn)器(因素B)下射程是否有顯著差異？交互作用是否顯著？解: 現(xiàn)在 r =4，s=3，t =2。需檢驗(yàn)假設(shè)H01, H02, H03, (見(2.6) (2.8) )。首先計(jì)算T, Tij ., Ti., T.j .，表中括號(hào)內(nèi)的數(shù)是Tij. 。然后按(2.22)式計(jì)算下列各式：4041得方差分析表如下： 由于 F3,12 (0.05)=3.49FA, F2,12 (0.05)=3.89FB，所以，在水平 = 0.05下，拒絕原假設(shè)H01與H02，即認(rèn)為不同燃料或不同推進(jìn)器下的射程有顯著差異。也就是說，燃料和推進(jìn)器這兩個(gè)因素對(duì)射程的影響都是顯著的。42又,F6,12(0.05)=3.00

13、 FAB 。故拒絕H03。值得注意的是, F6,12 (0.001)=8.38 也遠(yuǎn)遠(yuǎn)小于 FAB =14.9，故交互作用的效應(yīng)是高度顯著的。從表9.10可看出，A4與B1或A3與B2的搭配都使火箭射程較之其他水平的搭配要遠(yuǎn)得多。實(shí)際中, 我們選最優(yōu)的搭配方式來實(shí)施。 43例2：在某種金屬材料生產(chǎn)過程中，對(duì)熱處理溫度(因素B)與時(shí)間(因素A)各取兩個(gè)水平，產(chǎn)品強(qiáng)度的測(cè)定結(jié)果(相對(duì)值)如表9.12所示。在同一條件下每個(gè)實(shí)驗(yàn)重復(fù)兩次。設(shè)各水平搭配下強(qiáng)度的總體服從正態(tài)分布且方差相同。各樣本獨(dú)立。問熱處理溫度、時(shí)間以及這兩者的交互作用對(duì)產(chǎn)品強(qiáng)度是否有顯著的影響(取 =0.05)?44解：按題意需檢驗(yàn)假

14、設(shè)(2.6) (2.8)，作計(jì)算如下.45得方差分析表如表9.13. 由于F1,4(0.05)=7.71，所以認(rèn)為時(shí)間對(duì)強(qiáng)度的影響不顯著, 而溫度的影響顯著, 交互作用的影響也顯著。469.2.2 雙因素?zé)o重復(fù)試驗(yàn)的方差分析 在以上討論中，我們考慮了雙因素試驗(yàn)中兩個(gè)因素間的交互作用。為檢驗(yàn)交互作用的效應(yīng)是否顯著。對(duì)兩因素的每一組合(Ai, Bj)至少要做2次試驗(yàn)。 這是因?yàn)樵谀Ｐ?2.5)中，若k=1， ij+ij 總以結(jié)合在一起的形式出現(xiàn)，這樣就不能將交互作用與誤差分離出來。如果在處理實(shí)際問題時(shí)，我們知道不存在交互作用，或已知交互作用對(duì)試驗(yàn)的指標(biāo)影響很小,就可以不考慮交互作用。此時(shí)，即使 k

15、 =1，也能對(duì)因素A、B的效應(yīng)進(jìn)行分析。 現(xiàn)設(shè)對(duì)兩個(gè)因素的每一組合(Ai, Bj)只做一次試驗(yàn)，所得結(jié)果如下。47或?qū)懗?8 沿用 9.2.1中的記號(hào)，注意到現(xiàn)在假設(shè)“不存在 交互作用”。此時(shí)，ij=0，i=1, 2, , r，j =1, 2,s。故，由(2.4)式知 , (2.23)式可寫成這就是現(xiàn)在要研究的方差分析模型。49對(duì)這個(gè)模型，所要檢驗(yàn)的假設(shè)有如下兩個(gè)：與在9.2.1中的討論相同，得方差分析表。50表9.15中的平方和可按下述式子來計(jì)算：其中51例3: 下面給出了在某5個(gè)不同地點(diǎn)、不同時(shí)間空氣中的顆粒狀物(以mg/m3計(jì))的含量的數(shù)據(jù)：設(shè)本題符合模型(2.24)式中的條件。試在水平

16、 =0.05下檢驗(yàn)： 1).在不同時(shí)間下顆粒狀物含量的均值有無顯著差異； 2).在不同地點(diǎn)下顆粒狀物含量的均值有無顯著差異。52解: 按題意需檢驗(yàn)假設(shè)(2.25), (2.26)。 ， 的值已算出載于上表。現(xiàn)在 r=4，s=5。由(2.27)得到：53方差分析表如下： 由于F3,12(0.05)=3.4910.72,，F(xiàn)4,12(0.05)=3.261)有關(guān)。對(duì)于自變量 x1, x2, , xp的一組確定值, Y 都有確定的分布。若Y 的數(shù)學(xué)期望存在, 則它是x1, x2, , xp的函數(shù)，記為 (x1, x2, , xp), 它是Y 關(guān)于x的回歸函數(shù)。在這里, 僅討論 (x1, x2, xp

17、)是 x1, x2, xp 的線性函數(shù)的情況, 即多元線性回歸模型：92設(shè)93化簡(jiǎn)(4.4)式，得(4.5)式稱為正則方程組。為求解方便，將(4.5)式寫成矩陣方程的形式。為此，引入矩陣：94于是，(4.5)式可寫成這就是正規(guī)方程組的矩陣形式。在(4.5)兩邊左乘 (設(shè) 存在)，得到(4.5) 的解95這就是我們要求的 ( )的最大似然估計(jì)。例1：下面給出了某種產(chǎn)品每件平均單價(jià)Y(元)與批量x(件)之間的關(guān)系的一組數(shù)據(jù)96散點(diǎn)圖如下：來擬合Y 與 x 的關(guān)系?，F(xiàn)在來求回歸方程。我們選取模型97這是一個(gè)二元線性回歸模型，98經(jīng)計(jì)算99 像一元線性回歸一樣，模型(4.1)往往也是一種假定。為考察這一假定是否符合實(shí)際觀察結(jié)果，還需進(jìn)行以下的假設(shè)檢驗(yàn)： 另外，與一元線性回歸一樣，多元線性回歸方程的一個(gè)重要應(yīng)用是確定給定點(diǎn)(x01, x02, , x0p)處對(duì)應(yīng)的Y的觀察值的預(yù)測(cè)區(qū)間。100 實(shí)際問題中，與 Y 有關(guān)的因素往往很多，如果將它們都取作自變量必然會(huì)導(dǎo)致所得到的回歸方程很龐大。實(shí)際上，有些自變量對(duì)Y