數(shù)理統(tǒng)計(jì)方法

1、2.1 2.1 數(shù)理統(tǒng)計(jì)的基本概念數(shù)理統(tǒng)計(jì)的基本概念 2.2 2.2 參數(shù)估計(jì)參數(shù)估計(jì) 2.3 2.3 假設(shè)檢驗(yàn)假設(shè)檢驗(yàn) 2.4 2.4 方差分析方差分析 2.5 2.5 回歸分析回歸分析 2.6 2.6 判別分析判別分析 2.7 2.7 建模實(shí)例建模實(shí)例 數(shù)理統(tǒng)計(jì)的任務(wù)是以數(shù)理統(tǒng)計(jì)的任務(wù)是以概率論為基礎(chǔ)概率論為基礎(chǔ), , 根據(jù)試驗(yàn)根據(jù)試驗(yàn)的數(shù)據(jù)的數(shù)據(jù), , 對(duì)研究對(duì)象的客對(duì)研究對(duì)象的客觀規(guī)律性作出合理的估計(jì)觀規(guī)律性作出合理的估計(jì)與推斷與推斷. . 近幾年來的全國(guó)大學(xué)近幾年來的全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽中，幾乎生數(shù)學(xué)建模競(jìng)賽中，幾乎每次都有一道題要用到此每次都有一道題要用到此方法方法. . 我們把

2、研究對(duì)象的全體稱為我們把研究對(duì)象的全體稱為總體總體, , 而把而把組成總體的每個(gè)基本單元稱為組成總體的每個(gè)基本單元稱為個(gè)體個(gè)體. . 從總體從總體X中隨機(jī)抽取中隨機(jī)抽取n個(gè)個(gè)體個(gè)個(gè)體(X1 , X2 , , Xn )稱為總稱為總體體X中一個(gè)中一個(gè)樣本樣本, n 稱為稱為樣本容量樣本容量. 由于樣本是隨機(jī)抽樣的由于樣本是隨機(jī)抽樣的, 可以認(rèn)為來自可以認(rèn)為來自總體總體X中一個(gè)樣本中一個(gè)樣本(X1 , X2 , , Xn)是一組相是一組相互獨(dú)立且與總體互獨(dú)立且與總體X同分布的隨機(jī)變量同分布的隨機(jī)變量. 樣本的觀測(cè)值記為樣本的觀測(cè)值記為(x1 , x2 , , xn), 樣本樣本(X1 , X2 ,

3、, Xn)的不含任何未知參數(shù)的函數(shù)的不含任何未知參數(shù)的函數(shù) f (X1 , X2 , , Xn) 稱為稱為統(tǒng)計(jì)量統(tǒng)計(jì)量. 常用統(tǒng)計(jì)量常用統(tǒng)計(jì)量樣本均值樣本均值樣本方差樣本方差樣本標(biāo)準(zhǔn)差樣本標(biāo)準(zhǔn)差nkkXnX11nkkXXnS122)(11nkkXXnS12)(11 根據(jù)樣本的觀測(cè)值根據(jù)樣本的觀測(cè)值 ( x1 , x2 , , xn ), 可以繪出樣本頻率直方圖和累積頻率直方可以繪出樣本頻率直方圖和累積頻率直方圖圖( (具體方法見具體方法見P10-11). P10-11). 根據(jù)樣本頻率直方圖和累積頻率直方根據(jù)樣本頻率直方圖和累積頻率直方圖可以近似描繪出總體的分布密度函數(shù)曲圖可以近似描繪出總體的

4、分布密度函數(shù)曲線和分布函數(shù)曲線線和分布函數(shù)曲線. .記?。鹤罱K還是要找出總體的分布規(guī)律！記?。鹤罱K還是要找出總體的分布規(guī)律！ 根據(jù)實(shí)際數(shù)據(jù)找出其規(guī)律根據(jù)實(shí)際數(shù)據(jù)找出其規(guī)律, , 它一般是含它一般是含有未知參數(shù)的數(shù)學(xué)關(guān)系式有未知參數(shù)的數(shù)學(xué)關(guān)系式. . 參數(shù)估計(jì)就是要根據(jù)實(shí)際數(shù)據(jù)給出數(shù)學(xué)參數(shù)估計(jì)就是要根據(jù)實(shí)際數(shù)據(jù)給出數(shù)學(xué)關(guān)系式中未知參數(shù)的估計(jì)值關(guān)系式中未知參數(shù)的估計(jì)值. . 參數(shù)估計(jì)的方法比較多參數(shù)估計(jì)的方法比較多. .一般情況下一般情況下, ,參參數(shù)估計(jì)問題可歸結(jié)為求一個(gè)函數(shù)的極值點(diǎn)問數(shù)估計(jì)問題可歸結(jié)為求一個(gè)函數(shù)的極值點(diǎn)問題題. . 下面主要介紹最小二乘法和極大似然法下面主要介紹最小二乘法和極大

5、似然法. .最小二乘法最小二乘法 設(shè)設(shè) y = f (x ; ), ,其中其中x是自變量是自變量( (或向量或向量),), 是未知參數(shù)是未知參數(shù)( (或未知向量或未知向量),), y 是是 x的函數(shù)的函數(shù). . x 和和 y 都是可觀測(cè)的都是可觀測(cè)的. . (x1, y1), (x2, y2), , (xn, yn)是是n組觀測(cè)值組觀測(cè)值. . 最小二乘法的基本思想就是求最小二乘法的基本思想就是求 的一個(gè)的一個(gè)估計(jì)值估計(jì)值, ,使函數(shù)取使函數(shù)取niiixfyQ12);()(最小值最小值. . 例如，例如，2003年年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)?cè)珖?guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽賽A題：題：SARS的傳播的傳播 (

6、http:/) 假如你已經(jīng)得到已確診假如你已經(jīng)得到已確診SARS病例累計(jì)病例累計(jì)數(shù)數(shù)x(t)與時(shí)間與時(shí)間t的關(guān)系符合的關(guān)系符合Logistic傳播規(guī)律：傳播規(guī)律： rtxKxKxtxe )()(000 應(yīng)用最小二乘法，可求出其中的未知應(yīng)用最小二乘法，可求出其中的未知參數(shù)參數(shù)K、x0 0、r ( (可利用可利用MATLAB軟件中的軟件中的fmins函數(shù)函數(shù)).).極大似然法極大似然法 設(shè)總體設(shè)總體 的概率分布為的概率分布為 p(x; )，其中，其中 是是未知參數(shù)未知參數(shù). .x1 , x2, , xn是總體的樣本觀測(cè)值是總體的樣本觀測(cè)值. . niixpL1);()(稱稱L( )為似然函數(shù)為似然

7、函數(shù). .令令 極大似然法的基本思想是：在極大似然法的基本思想是：在 的取值的取值范圍內(nèi)范圍內(nèi), , 挑選使似然函數(shù)挑選使似然函數(shù)L( )取得最大值的取得最大值的 估計(jì)值估計(jì)值. .一般只需求一般只需求ln L( )的最大值點(diǎn)即可：的最大值點(diǎn)即可：max ln L( ) . 例如，例如，1999年年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)?cè)珖?guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽賽A題：自動(dòng)化車床管理題：自動(dòng)化車床管理 (P49). 100次刀具故障記錄次刀具故障記錄( (完成的零件數(shù)完成的零件數(shù)) )服服從正態(tài)分布從正態(tài)分布( (在假設(shè)檢驗(yàn)中，我們將會(huì)驗(yàn)證在假設(shè)檢驗(yàn)中，我們將會(huì)驗(yàn)證這一點(diǎn)這一點(diǎn)) )：222)(e21)(xxp似然

8、函數(shù)為似然函數(shù)為1001222)(21ln),(lniixnL可以驗(yàn)證未知參數(shù)可以驗(yàn)證未知參數(shù) 、 分別是樣本均值與標(biāo)準(zhǔn)差分別是樣本均值與標(biāo)準(zhǔn)差 假設(shè)總體期望值為假設(shè)總體期望值為 0, , 假設(shè)總體方差假設(shè)總體方差不大于不大于 02，假設(shè)總體服從某種分布，假設(shè)總體服從某種分布, ,上述上述種種假設(shè)是否成立呢？種種假設(shè)是否成立呢？ 還有某種品種是否比其它品種更優(yōu)？還有某種品種是否比其它品種更優(yōu)？某種藥品是否比其它藥品更有效？等等這某種藥品是否比其它藥品更有效？等等這些問題需通過概率計(jì)算些問題需通過概率計(jì)算, , 采用假設(shè)檢驗(yàn)的采用假設(shè)檢驗(yàn)的方法方法, , 才能做出正確的推斷才能做出正確的推斷.

9、. 假設(shè)檢驗(yàn)的主要內(nèi)容有：一個(gè)正態(tài)總假設(shè)檢驗(yàn)的主要內(nèi)容有：一個(gè)正態(tài)總體的假設(shè)檢驗(yàn)、兩個(gè)正態(tài)總體的假設(shè)檢驗(yàn)體的假設(shè)檢驗(yàn)、兩個(gè)正態(tài)總體的假設(shè)檢驗(yàn)以及分布律的假設(shè)檢驗(yàn)以及分布律的假設(shè)檢驗(yàn). .假設(shè)檢驗(yàn)的基本方法假設(shè)檢驗(yàn)的基本方法 提出待檢驗(yàn)的假設(shè)提出待檢驗(yàn)的假設(shè)H0 它可能有以下幾個(gè)來源：它可能有以下幾個(gè)來源： 依據(jù)以往的經(jīng)依據(jù)以往的經(jīng)驗(yàn)或某些實(shí)驗(yàn)的結(jié)果；驗(yàn)或某些實(shí)驗(yàn)的結(jié)果； 依據(jù)某種理論或某種依據(jù)某種理論或某種模型；模型； 根據(jù)事先所做的某種規(guī)定根據(jù)事先所做的某種規(guī)定. . 選擇檢驗(yàn)假設(shè)選擇檢驗(yàn)假設(shè)H0 的統(tǒng)計(jì)量，并確定其分的統(tǒng)計(jì)量，并確定其分布，再根據(jù)樣本觀測(cè)值計(jì)算出該統(tǒng)計(jì)量的值布，再根據(jù)樣本觀

10、測(cè)值計(jì)算出該統(tǒng)計(jì)量的值. . 確定拒絕域并作出判斷確定拒絕域并作出判斷 在給定的檢驗(yàn)水平在給定的檢驗(yàn)水平( (或顯著性水平或顯著性水平) ) (0(0 1)1)下，查所選統(tǒng)計(jì)量服從的分布表，求出臨界下，查所選統(tǒng)計(jì)量服從的分布表，求出臨界值，然后根據(jù)小概率事件在一次觀測(cè)中不可能發(fā)值，然后根據(jù)小概率事件在一次觀測(cè)中不可能發(fā)生的原理確定檢驗(yàn)假設(shè)生的原理確定檢驗(yàn)假設(shè)H0的拒絕域并做出判斷的拒絕域并做出判斷. . 一個(gè)正態(tài)總體的假設(shè)檢驗(yàn)有以下兩種：一個(gè)正態(tài)總體的假設(shè)檢驗(yàn)有以下兩種： 未知未知方差方差 2, 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0： = 0 ( 0為為已知，步驟已知，步驟見見P15-16)P15-16) 提

11、出待檢假設(shè)提出待檢假設(shè)H0： = 0 . 選取樣本選取樣本 ( X1, X2, , Xn ) 的統(tǒng)計(jì)量：的統(tǒng)計(jì)量：) 1(0ntnSxT再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量T 的值的值. 查表得臨界值：查表得臨界值：t = t (n - - 1). . 然后根據(jù)然后根據(jù)P|T| |t = 下結(jié)論：若下結(jié)論：若| |T| |t , , 則否定則否定H0；否則；否則, ,一般情況下接受一般情況下接受H0. . 未知未知期望期望 , 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0： 2 02 ( 02已知，步驟已知，步驟見見P16)P16) 提出待檢假設(shè)提出待檢假設(shè)H0： 2 02. 選取樣本選取樣本 (

12、 X1, X2, , Xn ) 的統(tǒng)計(jì)量：的統(tǒng)計(jì)量：),1() 1(2222nSn再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量 2 的值的值. 查表得臨界值：查表得臨界值： 2 = 2 (n - - 1). . 然后根據(jù)然后根據(jù)P| 2| 2 = 下結(jié)論：下結(jié)論： 若若| | 2| 2, , 則否定則否定H0；否則；否則, ,一般情況下一般情況下接受接受H0. . 例如，假設(shè)你要例如，假設(shè)你要檢查食鹽檢查食鹽包裝機(jī)工作是包裝機(jī)工作是否正常？否正常？( (見見P16)P16) 首先首先, ,你要建立你要建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H0： = 0 ( ( 0 =500) )，檢驗(yàn)檢驗(yàn)包裝機(jī)有沒

13、有產(chǎn)生系統(tǒng)誤差；包裝機(jī)有沒有產(chǎn)生系統(tǒng)誤差； 再建立再建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H1： 2 02( ( 02=102) )，檢驗(yàn)檢驗(yàn)包裝機(jī)工作是否穩(wěn)定包裝機(jī)工作是否穩(wěn)定. .兩個(gè)正態(tài)總體的假設(shè)檢驗(yàn)有以下三種：兩個(gè)正態(tài)總體的假設(shè)檢驗(yàn)有以下三種： 未知期望未知期望 1 , 2, 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0： 12= 22. . 建立待檢假設(shè)建立待檢假設(shè)H0： 12= 22. ( (步驟見步驟見P17)P17) 選取樣本選取樣本(X1, X2, , Xm ),( Y1, Y2, , Yn )的統(tǒng)計(jì)量的統(tǒng)計(jì)量( (不妨設(shè)不妨設(shè)S12S22 ) )：),1, 1(2221nmFSSF再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量再根據(jù)

14、樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量F 的值的值. 查表得臨界值：查表得臨界值：F /2 = F /2(m - -1, n - - 1). . 然后根據(jù)然后根據(jù)P FF /2 = /2 下結(jié)論：若下結(jié)論：若FF /2 , , 則否定則否定H0；否則；否則, ,一般情況下接受一般情況下接受H0. . 未知未知期望期望 1 , 2, 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)H0： 12 22 建立待檢假設(shè)建立待檢假設(shè)H0： 12 22. ( (步驟見步驟見P17)P17) 選取樣本選取樣本(X1, X2, , Xm ),( Y1, Y2, , Yn )的統(tǒng)計(jì)量：的統(tǒng)計(jì)量：),1, 1(2221nmFSSF再根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量再

15、根據(jù)樣本觀測(cè)值計(jì)算出統(tǒng)計(jì)量F 的值的值. 查表得臨界值：查表得臨界值：F = F (m - -1, n - - 1). . 然后根據(jù)然后根據(jù)P FF = 下結(jié)論：若下結(jié)論：若FF , , 則否定則否定H0；否則；否則, ,一般情況下接受一般情況下接受H0. . 未知未知方差方差 12, 22, 但但 12= 22，檢驗(yàn)假設(shè)，檢驗(yàn)假設(shè)H0： 1 = 2 ( (步驟見步驟見P17)P17) 建立建立待檢假設(shè)待檢假設(shè)H0： 1 = 2 . 選取統(tǒng)計(jì)量：選取統(tǒng)計(jì)量：),2(nmtWyxT其中其中 ,112) 1() 1(2221nmnmSnSmW特別地特別地, 當(dāng)當(dāng)m = n時(shí)時(shí),./ )(2221n

16、SSW 查表得臨界值：查表得臨界值：t = t (m + n 2 ). . 然后根據(jù)然后根據(jù)P|T| |t = 下結(jié)論：若下結(jié)論：若| |T| |t , , 則否定則否定H0；否則；否則, ,一般情況下接受一般情況下接受H0. . 例如，要例如，要檢查某種新藥檢查某種新藥是否有效？是否有效？ 首先首先, ,將病人分為兩類將病人分為兩類, ,一類用該藥一類用該藥, ,另一類另一類不用不用. . 然后建立然后建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H0： 12= 22, ,檢驗(yàn)檢驗(yàn)兩類兩類病人指標(biāo)方差是否相等？病人指標(biāo)方差是否相等？ 當(dāng)方差相等時(shí)當(dāng)方差相等時(shí), ,再建立再建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H1： 1= 2 , ,檢

17、驗(yàn)檢驗(yàn)兩類病人指標(biāo)均值是否相等？?jī)深惒∪酥笜?biāo)均值是否相等？ 又如，你要又如，你要檢查兩臺(tái)食鹽檢查兩臺(tái)食鹽包裝機(jī)中哪一臺(tái)包包裝機(jī)中哪一臺(tái)包裝機(jī)更好？裝機(jī)更好？ 首先首先, , 你要分別建立你要分別建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H1： 1= 0與與H2： 1= 0 ( ( 0 =500),),檢驗(yàn)每臺(tái)檢驗(yàn)每臺(tái)包裝機(jī)有沒有產(chǎn)包裝機(jī)有沒有產(chǎn)生系統(tǒng)誤差？生系統(tǒng)誤差？ 再建立再建立假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)H3： 12 22, ,檢驗(yàn)檢驗(yàn)?zāi)囊慌_(tái)包哪一臺(tái)包裝機(jī)更好？裝機(jī)更好？ 分布律的假設(shè)檢驗(yàn)按分布律的假設(shè)檢驗(yàn)按皮爾遜皮爾遜(K.Pearson)平方和準(zhǔn)則平方和準(zhǔn)則( (步驟見步驟見P18-19)P18-19) 例如，例如，1

18、999年年全國(guó)大學(xué)生數(shù)學(xué)建模競(jìng)?cè)珖?guó)大學(xué)生數(shù)學(xué)建模競(jìng)賽賽A題：自動(dòng)化車床管理題：自動(dòng)化車床管理 (P49). 檢驗(yàn)檢驗(yàn)100次次刀具故障記錄刀具故障記錄( (完成的零件數(shù)完成的零件數(shù)) )是否服從正是否服從正態(tài)分布態(tài)分布N(600, 38663.02=196.632). 100100-200 200-300 300-400 400-500 500-600頻數(shù)頻數(shù)mi12461522概率概率pi0.00440.01550.04260.09100.15090.1945 600-700 700-800 800-900900-10001000-11001100頻數(shù)頻數(shù)mi22148411概率概率pi0.

19、19450.15100.09100.04260.01550.0044首先做首先做假設(shè)假設(shè)H0：F(x)=F0(x)，其中，其中 xxxxFde63.19621)(2263.1962)600(0其次選取統(tǒng)計(jì)量：其次選取統(tǒng)計(jì)量：)75. 3(100)100(12122iiiippm查表得臨界值查表得臨界值205.0( 12 - - 1 - - 2 ) = 3.33. 因?yàn)橐驗(yàn)?.333.75, 故否定故否定H0, 所以在顯著所以在顯著性水平性水平0.05下認(rèn)為？下認(rèn)為？ 因?yàn)橐驗(yàn)?( 12 - - 1 - - 2 ) = 3.333.75, 故故否定否定H0. 205.0 所以在顯著性水平所以在顯

20、著性水平0.05下認(rèn)為下認(rèn)為 100次刀次刀具故障記錄具故障記錄( (完成的零件數(shù)完成的零件數(shù)) )不服從正態(tài)分不服從正態(tài)分布布N(600, 196.632).但是但是21 .0( 12 - - 1 - - 2 ) = 4.17.因?yàn)橐驗(yàn)?.754.17, 故接受故接受H0. 所以在顯著性所以在顯著性水平水平0.1下認(rèn)為下認(rèn)為 100次刀具故障次刀具故障記錄服從正態(tài)分布記錄服從正態(tài)分布N(600, 196.632). . 即有即有90%90%的可能性認(rèn)為的可能性認(rèn)為 100次刀具故障記錄服次刀具故障記錄服從正態(tài)分布從正態(tài)分布N(600, 196.632). . 用不同的生產(chǎn)方法生產(chǎn)同一種產(chǎn)品用

21、不同的生產(chǎn)方法生產(chǎn)同一種產(chǎn)品, , 比較各種生產(chǎn)方法對(duì)產(chǎn)品的影響是人們經(jīng)比較各種生產(chǎn)方法對(duì)產(chǎn)品的影響是人們經(jīng)常遇到的問題常遇到的問題. . 為此為此, , 需要找出對(duì)產(chǎn)品有顯著影響的需要找出對(duì)產(chǎn)品有顯著影響的因素因素. . 方差分析就是鑒別各因素效應(yīng)的一種方差分析就是鑒別各因素效應(yīng)的一種有效的統(tǒng)計(jì)方法有效的統(tǒng)計(jì)方法. . 方差分析包括單因素方差分析和雙因方差分析包括單因素方差分析和雙因素方差分析素方差分析. .單因素方差分析單因素方差分析 如果在試驗(yàn)中只有一個(gè)因素在變化如果在試驗(yàn)中只有一個(gè)因素在變化, , 其其它可控制的條件不變它可控制的條件不變, , 稱它為稱它為單因素試驗(yàn)單因素試驗(yàn)；若試驗(yàn)

22、中變化的因素多于一個(gè)若試驗(yàn)中變化的因素多于一個(gè), , 則稱為則稱為雙因雙因素以及多因素試驗(yàn)素以及多因素試驗(yàn). . 單因素試驗(yàn)中單因素試驗(yàn)中, , 若只有兩個(gè)水平若只有兩個(gè)水平, , 就是就是以前講過的兩個(gè)總體的比較問題以前講過的兩個(gè)總體的比較問題. . 超過兩個(gè)超過兩個(gè)水平的時(shí)候水平的時(shí)候, , 也就是需要好多個(gè)總體進(jìn)行比也就是需要好多個(gè)總體進(jìn)行比較較, , 這時(shí)這時(shí), , 方差分析是一種有效的方法方差分析是一種有效的方法. . 單因素方差分析的假設(shè)前提、解題方法單因素方差分析的假設(shè)前提、解題方法與步驟見與步驟見P20-21 例例 為了考察為了考察6種不同的農(nóng)藥的殺蟲率有無顯種不同的農(nóng)藥的殺蟲

23、率有無顯著差異著差異, 做了做了18次試驗(yàn)次試驗(yàn), 得數(shù)據(jù)如下：得數(shù)據(jù)如下： 農(nóng)藥農(nóng)藥 殺殺 蟲蟲 率率(%) (%) 行平均值行平均值 1 87.4 85.0 80.2 84.201 87.4 85.0 80.2 84.20 2 90.5 88.5 87.3 94.7 90.26 2 90.5 88.5 87.3 94.7 90.26 3 56.2 62.4 59.30 3 56.2 62.4 59.30 4 55.0 48.2 51.60 4 55.0 48.2 51.60 5 92.0 99.2 95.3 91.5 94.50 5 92.0 99.2 95.3 91.5 94.50 6

24、76.2 72.3 81.3 76.27 6 76.2 72.3 81.3 76.27 要考察這要考察這6 6種不同的農(nóng)藥的殺蟲率有無顯著差異，需種不同的農(nóng)藥的殺蟲率有無顯著差異，需要建立假設(shè)檢驗(yàn)：要建立假設(shè)檢驗(yàn)：H0： 1= 2 = = 6 = . 進(jìn)一步進(jìn)一步, ,自然希望找出最優(yōu)的農(nóng)藥自然希望找出最優(yōu)的農(nóng)藥, ,以便提高殺蟲率以便提高殺蟲率. . 因此要檢驗(yàn)假設(shè)：因此要檢驗(yàn)假設(shè)： H1： 2 = 5 .雙因素方差分析雙因素方差分析 進(jìn)行雙因素方差分析的目的進(jìn)行雙因素方差分析的目的, ,是要檢驗(yàn)是要檢驗(yàn)兩個(gè)因素對(duì)試驗(yàn)結(jié)果有無影響兩個(gè)因素對(duì)試驗(yàn)結(jié)果有無影響. . 在試驗(yàn)中在試驗(yàn)中, ,對(duì)每一

25、因素的每一水平都可對(duì)每一因素的每一水平都可取一個(gè)容量為取一個(gè)容量為nij的樣本的樣本. . 按按nij = 1( (無重復(fù)試驗(yàn)無重復(fù)試驗(yàn), ,不考慮兩因素間不考慮兩因素間的交互作用的交互作用) )和和nij2( (不等重復(fù)試驗(yàn)不等重復(fù)試驗(yàn), , 考慮考慮兩因素間的交互作用兩因素間的交互作用) )分為兩種情形：無重分為兩種情形：無重復(fù)試驗(yàn)的雙因素方差分析和重復(fù)試驗(yàn)的雙因復(fù)試驗(yàn)的雙因素方差分析和重復(fù)試驗(yàn)的雙因素方差分析素方差分析. . 在重復(fù)試驗(yàn)的雙因素方差分析中，在重復(fù)試驗(yàn)的雙因素方差分析中，就是要考察兩個(gè)因素就是要考察兩個(gè)因素 A, ,B之間是否存在之間是否存在交互作用的影響交互作用的影響,

26、, 需要對(duì)兩個(gè)因素各種需要對(duì)兩個(gè)因素各種水平的組合水平的組合( (Ai , ,Bj ) )進(jìn)行重復(fù)試驗(yàn)進(jìn)行重復(fù)試驗(yàn), , 假假設(shè)每一個(gè)組合都重復(fù)試驗(yàn)設(shè)每一個(gè)組合都重復(fù)試驗(yàn) m( ( m1 ) )次次( (若是不等重復(fù)試驗(yàn)若是不等重復(fù)試驗(yàn), ,殘缺數(shù)據(jù)可按均值殘缺數(shù)據(jù)可按均值補(bǔ)齊以便于計(jì)算補(bǔ)齊以便于計(jì)算).). 無重復(fù)試驗(yàn)的雙因素方差分析和重?zé)o重復(fù)試驗(yàn)的雙因素方差分析和重復(fù)試驗(yàn)的雙因素方差分析解題方法與步復(fù)試驗(yàn)的雙因素方差分析解題方法與步驟見驟見P22-24 P22-24 例例 設(shè)設(shè)4 4個(gè)工人操作個(gè)工人操作3 3臺(tái)機(jī)器各一天臺(tái)機(jī)器各一天, ,日產(chǎn)日產(chǎn)量數(shù)據(jù)如下：量數(shù)據(jù)如下： 工人工人機(jī)器機(jī)器B

27、1 B2B3B4行平均值行平均值 25A25354575855.5A35242414845.75列平均值列平均值 51.6747.6748.335350.17問是否真正存在機(jī)器或工人之間的差別？問是否真正存在機(jī)器或工人之間的差別？ 回歸分析是考察兩個(gè)變量之間統(tǒng)計(jì)聯(lián)系回歸分析是考察兩個(gè)變量之間統(tǒng)計(jì)聯(lián)系的一種重要方法的一種重要方法, , 它在許多領(lǐng)域中都有極其它在許多領(lǐng)域中都有極其廣泛的應(yīng)用廣泛的應(yīng)用. . 變量之間的關(guān)系大致可分為兩類變量之間的關(guān)系大致可分為兩類, , 一類一類是確定性的關(guān)系是確定性的關(guān)系, , 如我們熟知的函數(shù)關(guān)系；如我們熟知的函數(shù)關(guān)系；另一類是非確定

28、性的關(guān)系另一類是非確定性的關(guān)系. . 本節(jié)主要考察非確定性的關(guān)系中一個(gè)隨本節(jié)主要考察非確定性的關(guān)系中一個(gè)隨機(jī)變量與另一個(gè)或多個(gè)非隨機(jī)變量之間的關(guān)機(jī)變量與另一個(gè)或多個(gè)非隨機(jī)變量之間的關(guān)系系. .回歸函數(shù)回歸函數(shù) 對(duì)于某些非確定性的關(guān)系對(duì)于某些非確定性的關(guān)系, 如隨機(jī)變量如隨機(jī)變量Y與變量與變量x(它可能是多維向量它可能是多維向量)之間的關(guān)系之間的關(guān)系,當(dāng)自變量當(dāng)自變量x確定之后確定之后, 因變量因變量Y 的值并不跟著的值并不跟著確定確定, 而是按一定的統(tǒng)計(jì)規(guī)律而是按一定的統(tǒng)計(jì)規(guī)律(即隨機(jī)變量即隨機(jī)變量Y的分布的分布)取值取值. 這時(shí)我們將它們之間的關(guān)系表示為這時(shí)我們將它們之間的關(guān)系表示為Y =

29、f (x) + ,其中其中f (x)是一個(gè)確定的函數(shù)是一個(gè)確定的函數(shù), 稱之為稱之為回歸函回歸函數(shù)數(shù). 為隨機(jī)項(xiàng)為隨機(jī)項(xiàng), 且且 N(0, 2 ).回歸分析的任務(wù)之一是確定回歸函數(shù)回歸分析的任務(wù)之一是確定回歸函數(shù) f (x). . 當(dāng)當(dāng) f (x)是一元線性函數(shù)時(shí)是一元線性函數(shù)時(shí), ,稱之為稱之為一元線性一元線性回歸回歸； 當(dāng)當(dāng) f (x)是多元線性函數(shù)時(shí)是多元線性函數(shù)時(shí), ,稱之為稱之為多元線性多元線性回歸回歸； 當(dāng)當(dāng) f (x)是非線性函數(shù)時(shí)是非線性函數(shù)時(shí), ,稱之為稱之為非線性回歸非線性回歸. . 如何確定回歸函數(shù)如何確定回歸函數(shù) f (x)呢？一是根據(jù)經(jīng)驗(yàn)公呢？一是根據(jù)經(jīng)驗(yàn)公式式, ,

30、 二是根據(jù)散點(diǎn)圖二是根據(jù)散點(diǎn)圖. . 不管是那種類型的回歸不管是那種類型的回歸, , f (x)總含有未知參總含有未知參數(shù)數(shù), ,需要用到參數(shù)估計(jì)方法需要用到參數(shù)估計(jì)方法. . 一般情況下一般情況下, , 還需要檢驗(yàn)回歸函數(shù)還需要檢驗(yàn)回歸函數(shù) f (x)是否是否合理合理. . 回歸分析的目的是用回歸分析的目的是用 f (x)來做預(yù)測(cè)和決策來做預(yù)測(cè)和決策. . 一元線性回歸、一元線性回歸、預(yù)測(cè)和控制預(yù)測(cè)和控制 一元線性回歸是根據(jù)一元線性回歸是根據(jù)數(shù)據(jù)數(shù)據(jù)(xi, yi ) ( i =1, 2, , n )確定線性關(guān)系確定線性關(guān)系y = 0 + 1 x，利用最小二乘法確定回歸直線方程利用最小二乘法

31、確定回歸直線方程中的未中的未知參數(shù)知參數(shù) 0和和 1 ：xySSxxxy101,其中其中niiixyniixxyyxxSxxS112).)(,)(,1,111niiniiynyxnx 判斷變量判斷變量y與與x之間是否存在線性關(guān)系之間是否存在線性關(guān)系, 需要檢驗(yàn)假設(shè)需要檢驗(yàn)假設(shè)H0： 1 = 0.選取統(tǒng)計(jì)量選取統(tǒng)計(jì)量).2, 1 ()2/(nFnQUFniiyyyyS12)(niiixyQ1210)(U + Q = Syy回歸和總和殘差平方和根據(jù)根據(jù)PFF (1, n - - 2 )= 下結(jié)論：下結(jié)論： 如果如果FF 拒絕拒絕H0, 即變量即變量y與與x之間存之間存在線性關(guān)系；在線性關(guān)系； 否則

32、接受否則接受H0, 即變量即變量y與與x之間不存在線之間不存在線性關(guān)系性關(guān)系, 考慮用其它回歸模型考慮用其它回歸模型. .利用回歸函數(shù)進(jìn)行利用回歸函數(shù)進(jìn)行預(yù)測(cè)和控制預(yù)測(cè)和控制 如何根據(jù)樣本提供的信息來預(yù)測(cè)當(dāng)變量如何根據(jù)樣本提供的信息來預(yù)測(cè)當(dāng)變量 x = x0 時(shí)隨機(jī)變量時(shí)隨機(jī)變量Y0的值？的值？ 一個(gè)自然的想法是用預(yù)測(cè)量一個(gè)自然的想法是用預(yù)測(cè)量 y0 = 0 + 1 x0 來來代替代替, 但是它與真值但是它與真值Y0 的差值是多少呢？的差值是多少呢？ 預(yù)測(cè)量預(yù)測(cè)量y0 的優(yōu)劣取決于的優(yōu)劣取決于| y0 - - Y0 |的大小的大小. 2nQ記記 當(dāng)當(dāng)n較大時(shí)較大時(shí), , 估測(cè)區(qū)間的上下限近似取

33、作估測(cè)區(qū)間的上下限近似取作96. 10y( (可信程度為可信程度為95%)95%);或或58. 20y( (可信程度為可信程度為99%).99%). 控制是預(yù)測(cè)的反問題控制是預(yù)測(cè)的反問題, , 即要使隨機(jī)變量即要使隨機(jī)變量 Y 落落在指定的區(qū)間在指定的區(qū)間( yL, yU )內(nèi)內(nèi), ,變量變量x應(yīng)控制在什么區(qū)間應(yīng)控制在什么區(qū)間內(nèi)？?jī)?nèi)？從方程從方程96. 1, 96. 11010UULLxyxy中解出中解出xL和和xU . . 則當(dāng)則當(dāng) 10 0時(shí)時(shí), ,控制區(qū)間為控制區(qū)間為(xL, xU )；當(dāng)；當(dāng) 10 0時(shí)時(shí), , 控制區(qū)間為控制區(qū)間為(xU, xL ). . 例例 下面給出了懸掛不同重量

34、下面給出了懸掛不同重量x (單位：?jiǎn)挝唬篻)的物的物體時(shí)彈簧的長(zhǎng)度體時(shí)彈簧的長(zhǎng)度y (單位：?jiǎn)挝唬篶m)：xi 5 10 15 20 25 5 10 15 20 25 30 30yi 7.25 8.12 8.95 9.90 10.90 11.80 7.25 8.12 8.95 9.90 10.90 11.80 (1) (1)變量變量y與與x之間的線性關(guān)系如何？之間的線性關(guān)系如何？ (2)(2)當(dāng)懸掛當(dāng)懸掛16g重物時(shí)彈簧的長(zhǎng)度大約是多少？重物時(shí)彈簧的長(zhǎng)度大約是多少？ (3)(3)要使彈簧的長(zhǎng)度控制在要使彈簧的長(zhǎng)度控制在1011cm之間之間, 問問懸掛物體的重量應(yīng)控制在什么范圍內(nèi)？懸掛物體的重量

35、應(yīng)控制在什么范圍內(nèi)？ 可線性化回歸可線性化回歸 根據(jù)經(jīng)驗(yàn)公式或散點(diǎn)圖根據(jù)經(jīng)驗(yàn)公式或散點(diǎn)圖, ,選擇適當(dāng)?shù)那€回歸選擇適當(dāng)?shù)那€回歸方程方程. . 為了確定其中的未知參數(shù)為了確定其中的未知參數(shù), ,往往可以通過變往往可以通過變量代換量代換, ,把非線性回歸化為線性回歸把非線性回歸化為線性回歸, , 然后用線性然后用線性回歸的方法確定這些參數(shù)的值回歸的方法確定這些參數(shù)的值. . 下表列出了常用的可線性化回歸下表列出了常用的可線性化回歸( (a0). 0). 曲線方程曲線方程變換公式變換公式變換后的線性方程變換后的線性方程1/y = a + b/xu = 1/x, v = 1/yv = a + bu

36、y = axbu = lnx, v = lnyv = c + bu ( c = lna )y = a + blnxu = lnx, v = yv = a + buy = aebxu = x, v = lnyv = c + bu ( c = lna )y = 1/ ( a + be- -x ) u = e- -x, v = 1/yv = a + bu多元線性回歸和預(yù)測(cè)多元線性回歸和預(yù)測(cè) 設(shè)隨機(jī)變量設(shè)隨機(jī)變量Y與與m個(gè)變量個(gè)變量x1 , x2 , , xm有線性有線性關(guān)系關(guān)系Y = 0 + 1 x1 + 2 x2 + + m xm + ,其中其中 為隨機(jī)項(xiàng)為隨機(jī)項(xiàng), 且且 N(0, 2 ). .

37、nyyy21y) 1(1221111111mnnmnmmxxxxxxXn21m10記記其中其中yi為隨機(jī)變量為隨機(jī)變量Y的觀測(cè)值的觀測(cè)值, X為已知的常數(shù)矩為已知的常數(shù)矩陣陣, 且殘差且殘差 i N(0, 2 ). 則問題歸結(jié)為根據(jù)則問題歸結(jié)為根據(jù)y和和X求求 使殘差平方和使殘差平方和達(dá)到達(dá)到最小值最小值. .Q = T = ( y - - X )T ( y - - X )0.10mQQQ令令得得 = ( X T X )- -1 X T y.即得到所求的回歸方程為即得到所求的回歸方程為 y = 0 + 1 x1 + 2 x2 + + m xm .相關(guān)性檢驗(yàn)相關(guān)性檢驗(yàn) H0： 1 = 2 = =

38、 m = 0.選取統(tǒng)計(jì)量選取統(tǒng)計(jì)量).1, 1() 1/(/mnmFmnQmUFU + Q = SyyniiyyyyS12)(根據(jù)根據(jù)PFF (m - -1, n - - m - - 1)= 下結(jié)論：下結(jié)論： 如果如果FF 拒絕拒絕H0, 即變量即變量 y與與x1 , x2 , , xm 之間存在線性關(guān)系；之間存在線性關(guān)系； 否則接受否則接受H0, 即變量即變量y與與x1 , x2 , , xm之間不之間不存在線性關(guān)系存在線性關(guān)系.偏偏F檢驗(yàn)法檢驗(yàn)法 在多元線性回歸模型中在多元線性回歸模型中, 拒絕假設(shè)拒絕假設(shè)H0, 即回即回歸方程顯著歸方程顯著. 然而變量然而變量x1 , x2 , , xm

39、對(duì)對(duì)Y的影響并的影響并不都是十分重要的不都是十分重要的, 人們還關(guān)心人們還關(guān)心Y對(duì)對(duì)x1 , x2 , , xm的回歸中哪些因素更重要些的回歸中哪些因素更重要些, 哪些不重要哪些不重要. 要剔除不重要的要剔除不重要的, 需要采用需要采用偏偏F檢驗(yàn)法檢驗(yàn)法, 即檢即檢驗(yàn)假設(shè)驗(yàn)假設(shè)Hk： k = 0, k = 1, 2, , m .通常選取統(tǒng)計(jì)量通常選取統(tǒng)計(jì)量).1, 1 () 1/(/2mnFmnQaFkkkkakk是是(X T X )- -1的主對(duì)角線上的主對(duì)角線上第第k + 1個(gè)元素個(gè)元素.偏偏F檢驗(yàn)法檢驗(yàn)法檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)Hk： k = 0, k = 1, 2, , m .通常選取統(tǒng)計(jì)量通

40、常選取統(tǒng)計(jì)量).1, 1 () 1/(/2mnFmnQaFkkkk其中其中 akk是是(X T X )- -1的主對(duì)角線上第的主對(duì)角線上第k + 1個(gè)元素個(gè)元素. 根據(jù)根據(jù)PFkF (1, n m 1)= 下結(jié)論：下結(jié)論： 如果如果FkF 拒絕拒絕H0, 即即xk對(duì)對(duì)Y的影響顯著；否的影響顯著；否則接受則接受Hk, 即即xk對(duì)對(duì)Y的影響不顯著的影響不顯著. 多元線性回歸模型的預(yù)測(cè)問題較為多元線性回歸模型的預(yù)測(cè)問題較為復(fù)雜，這里從略復(fù)雜，這里從略( (見見P32).P32).多項(xiàng)式回歸多項(xiàng)式回歸 非線性回歸比較復(fù)雜，通常采用適當(dāng)?shù)姆蔷€性回歸比較復(fù)雜，通常采用適當(dāng)?shù)淖兞看鷵Q，把非線性回歸轉(zhuǎn)化為線性

41、回歸變量代換，把非線性回歸轉(zhuǎn)化為線性回歸，然后用線性回歸的方法確定其中的未知參數(shù)然后用線性回歸的方法確定其中的未知參數(shù)以及檢驗(yàn)其合理性以及檢驗(yàn)其合理性. . 由于任意一個(gè)函數(shù)都可以用一個(gè)適當(dāng)?shù)挠捎谌我庖粋€(gè)函數(shù)都可以用一個(gè)適當(dāng)?shù)亩囗?xiàng)式來較好地近似，這就是多項(xiàng)式回歸的多項(xiàng)式來較好地近似，這就是多項(xiàng)式回歸的意義所在意義所在. . 因此下面我們主要介紹一元多項(xiàng)式回歸因此下面我們主要介紹一元多項(xiàng)式回歸方法，對(duì)于多元多項(xiàng)式回歸，處理方法是類方法，對(duì)于多元多項(xiàng)式回歸，處理方法是類似的似的. .一元多項(xiàng)式回歸一元多項(xiàng)式回歸 假設(shè)回歸函數(shù)假設(shè)回歸函數(shù) y = f (x) 是一個(gè)是一個(gè)一元一元多項(xiàng)式：多項(xiàng)式：y

42、= 0 + 1 x + 2 x2 + + m xm,其中其中m2. . 對(duì)自變量對(duì)自變量x作變換：作變換：xj = x j, j = 1, 2, , m. 由由此得到此得到 y = 0 + 1 x1 + 2 x2 + + m xm. 再將原來的再將原來的一元一元多項(xiàng)式回歸問題中的多項(xiàng)式回歸問題中的n對(duì)數(shù)對(duì)數(shù)據(jù)據(jù)( xi , yi ) 相應(yīng)地變換成：相應(yīng)地變換成：( yi ; xi1, xi2, , xim ), i = 1,2, , n,其中其中xij = ( xi ) j, i = 1,2, , n, j = 1, 2, , m . 這樣我們便能用上一節(jié)多元線性回歸分析的這樣我們便能用上一節(jié)

43、多元線性回歸分析的方法來處理了方法來處理了. 例例 某種合金的主要成分是金屬甲與金屬乙某種合金的主要成分是金屬甲與金屬乙. . 經(jīng)試驗(yàn)與分析經(jīng)試驗(yàn)與分析, , 發(fā)現(xiàn)這兩種金屬成分所占的百分發(fā)現(xiàn)這兩種金屬成分所占的百分比之和比之和x與合金的膨脹系數(shù)與合金的膨脹系數(shù)y之間有一定的相關(guān)關(guān)之間有一定的相關(guān)關(guān)系系. . 先測(cè)試了先測(cè)試了1313次次, , 得數(shù)據(jù)如下：得數(shù)據(jù)如下：xi 37.0 37.5 43.0 yi 3.40 3.00 2.90 試建立試建立x與與y之間的經(jīng)驗(yàn)公式之間的經(jīng)驗(yàn)公式. . 畫出散點(diǎn)圖畫出散點(diǎn)圖, , 從散點(diǎn)圖從散點(diǎn)圖上看出上看出, , 這這1313個(gè)已知的數(shù)據(jù)個(gè)已知的數(shù)據(jù)

44、點(diǎn)大致在一條拋物線的周圍點(diǎn)大致在一條拋物線的周圍. .假定回歸函數(shù)為假定回歸函數(shù)為y = 0 + 1 x + 2 x2, 作變換作變換x1 = x, x2 = x2, 用多元線性回歸用多元線性回歸分析方法得到分析方法得到y(tǒng) = (3.40, 3.00, , 2.90)T,31300.18490 .43125.14065 .37100.13690 .371X =( 0 , 1 , 2 )T, = (X TX )- -1X T y = (300.93, - -14.85 , 0.1843)T,殘差平方和殘差平方和Q = ( y - - X )T ( y - - X ) = 0.2944,總和總和

45、Syy = 4.2212, 回歸和回歸和 U = Syy - - Q = 3.9268.檢驗(yàn)假設(shè)檢驗(yàn)假設(shè) H0： 1 = 2 = 0.).1, 1()1/(/mnmFmnQmUF F =66.69F0.01 (2 - - 1, 13 - - 2- -1)= 10.04, 所以所以拒絕拒絕H0, 即即Y與與2個(gè)變量個(gè)變量 x1, x2 之間存在特別顯著之間存在特別顯著的線性相關(guān)關(guān)系的線性相關(guān)關(guān)系.故故x與與y之間的經(jīng)驗(yàn)公式為之間的經(jīng)驗(yàn)公式為y = 300.93- -14.85x + 0.1843x2 . 判別分析方法最初應(yīng)用于考古學(xué)判別分析方法最初應(yīng)用于考古學(xué), , 例如要根例如要根據(jù)挖掘出來的

46、人頭蓋骨的各種指標(biāo)來判別其性別據(jù)挖掘出來的人頭蓋骨的各種指標(biāo)來判別其性別年齡等年齡等. . 近年來近年來, , 在生物學(xué)分類在生物學(xué)分類, , 醫(yī)療診斷醫(yī)療診斷, , 地地質(zhì)找礦質(zhì)找礦, , 石油鉆探石油鉆探, , 天氣預(yù)報(bào)等許多領(lǐng)域天氣預(yù)報(bào)等許多領(lǐng)域, , 判別判別分析方法已經(jīng)成為一種有效的統(tǒng)計(jì)推斷方法分析方法已經(jīng)成為一種有效的統(tǒng)計(jì)推斷方法. . 假定需要作出判別分析的對(duì)象分成假定需要作出判別分析的對(duì)象分成 r 類類, 記記作作A1, A2, , Ar , 每一類由每一類由m個(gè)指標(biāo)的若干個(gè)標(biāo)本個(gè)指標(biāo)的若干個(gè)標(biāo)本確定確定, 即即A1, A2, Ar為已知的分類為已知的分類. 現(xiàn)在問待判斷的對(duì)象

47、現(xiàn)在問待判斷的對(duì)象x = (x1, x2, xm)T是屬是屬于于A1, A2, Ar中的哪一類？這就構(gòu)成了判別分析中的哪一類？這就構(gòu)成了判別分析問題的基本內(nèi)容問題的基本內(nèi)容. 判別分析的原理判別分析的原理 為了能識(shí)別待判斷的對(duì)象為了能識(shí)別待判斷的對(duì)象x = (x1, x2, xm)T是是屬于已知類屬于已知類A1, A2, Ar中的哪一類？中的哪一類？ 事先必須要有一個(gè)一般規(guī)則事先必須要有一個(gè)一般規(guī)則, 一旦知道了一旦知道了x的的值值, 便能根據(jù)這個(gè)規(guī)則立即作出判斷便能根據(jù)這個(gè)規(guī)則立即作出判斷, 稱這樣的一稱這樣的一個(gè)規(guī)則為個(gè)規(guī)則為判別規(guī)則判別規(guī)則. 判別規(guī)則往往通過的某個(gè)函數(shù)來表達(dá)判別規(guī)則往往通過的某個(gè)函數(shù)來表達(dá), , 我們我們把它稱為把它稱為判別函數(shù)判別函數(shù), 記作記作W(i; x). 一旦知道了一旦知道了判別函數(shù)并確定了判別函數(shù)并確定了判別規(guī)則，最判別規(guī)則，最好將已知類別的對(duì)象代入檢驗(yàn)，這一過程稱為好將已知類別的對(duì)象代入檢驗(yàn)，這一過程稱為回回代檢驗(yàn)代檢驗(yàn)，以便檢驗(yàn)?zāi)愕?，以便檢驗(yàn)