第六章化學試驗設計法中的回歸分析2

1、164 多元線性回歸多元線性回歸 一元線性和非線性回歸方法對單因素試驗很管用，但是一元線性和非線性回歸方法對單因素試驗很管用，但是我們在試驗中經(jīng)常碰到的是多因素情況。我們在試驗中經(jīng)常碰到的是多因素情況。譬如分析化學中常見的多組分分析問題，如何做？譬如分析化學中常見的多組分分析問題，如何做？傳統(tǒng)的方法是采用傳統(tǒng)的方法是采用化學掩蔽化學掩蔽或或分離等方法分離等方法，將其轉(zhuǎn)化為，將其轉(zhuǎn)化為單因素進行研究。單因素進行研究。但這樣經(jīng)常費時費力，還得到的不一定是最好的條件。但這樣經(jīng)常費時費力，還得到的不一定是最好的條件。還有如前面提到的均勻設計法的數(shù)據(jù)分析，要求出多個還有如前面提到的均勻設計法的數(shù)據(jù)分析，

2、要求出多個因素的最優(yōu)水平，如何做？因素的最優(yōu)水平，如何做？在這時就必須采用在這時就必須采用多元回歸多元回歸。2多元回歸有多種，除了多元線性、非線性回歸外，其多元回歸有多種，除了多元線性、非線性回歸外，其他如化學計量學中的主成分分析、偏最小二乘法、聚他如化學計量學中的主成分分析、偏最小二乘法、聚類分析等也是比較常用的回歸分析方法。類分析等也是比較常用的回歸分析方法。多元線性回歸多元線性回歸是一種使用非常廣泛的校正方法，在是一種使用非常廣泛的校正方法，在均均勻設計勻設計中就要用到。中就要用到。3對于一個多因素（對于一個多因素（x1、x2、xn）的試驗，試驗響應）的試驗，試驗響應指標為指標為y，如果

3、，如果y與各因素之間為線性關系，則有：與各因素之間為線性關系，則有： （11） nnxbxbxbby .22110這里，這里，b b0 0為常數(shù)項，為常數(shù)項，b b1 1、b bn n稱為多元線性回歸的偏稱為多元線性回歸的偏回歸系數(shù)。回歸系數(shù)。和一元線性回歸方法類似，用最小二乘法來確定建立和一元線性回歸方法類似，用最小二乘法來確定建立模型的系數(shù)，從而可以建立起模型的系數(shù)，從而可以建立起y對對xi的線性回歸方程。的線性回歸方程。 4當當xi取不同水平（如取不同水平（如m個水平）時，經(jīng)過試驗可以得個水平）時，經(jīng)過試驗可以得到不同的響應指標值到不同的響應指標值yi： nnxbxbxbby112211

4、101. nnxbxbxbby222221102. mnnmmmxbxbxbby .22110（12） 注意這里注意這里mn1，想一想為什么？，想一想為什么？ 方程組（方程組（12）可以用最小二乘法來確定）可以用最小二乘法來確定b0bn的值。的值。5即：即： min.1222110 miinniiixbxbxbbyq（13） 同樣的，為了得到極小值，對（同樣的，為了得到極小值，對（13）式求導：）式求導： miinniiixbxbxbbybq12211000.2 miimnniiixxbxbxbbybq112211010.2 miininniiinxxbxbxbbybq1221100.2（14

5、） 6方程組（方程組（1414）可變形為：）可變形為： inniiixbxbxbmby.22110 ininiiiiiixxbxxbxbxbyx1212211101. 222110.inniniiniiniinxbxxbxxbxbyx(14)(14) (14)稱為正規(guī)方程組，其方程數(shù)目與未知數(shù)數(shù)目相稱為正規(guī)方程組，其方程數(shù)目與未知數(shù)數(shù)目相等。等。 7方程組方程組(14)(14)右邊的系數(shù)矩陣為：右邊的系數(shù)矩陣為： x xt tx xm m 1ix 2ix inx 1ix 21ix21iixx inixx 1 inxinixx 1inixx 2 2inx而左邊為：而左邊為： iyx xt ty

6、yiiyx 1iinyx 8因此因此(14)式的矩陣形式就是：式的矩陣形式就是： xtyxtxb （15） 如果如果xtx的逆矩陣的逆矩陣(xtx)-1存在，則系數(shù)矩陣為：存在，則系數(shù)矩陣為： b(xtx)-1 xty (16) 如果將（如果將（16）式代入（）式代入（12）式，則有：）式，則有： yxbx(xtx)-1xty (17) (17)式表示了實驗值式表示了實驗值yi與擬和值與擬和值yi的關系，可能很的關系，可能很接近，也可能不相符，甚至相差很大。因而也需要接近，也可能不相符，甚至相差很大。因而也需要對擬和結(jié)果進行檢驗。對擬和結(jié)果進行檢驗。9對于多元回歸分析，通常采用對于多元回歸分析

7、，通常采用復相關系數(shù)復相關系數(shù)r來評價擬來評價擬和值和值yi和實驗值和實驗值yi之間的關系。之間的關系。 根據(jù)方差分析的思想，將根據(jù)方差分析的思想，將y的總差方和的總差方和sst（total）分）分解為兩部分，一部分是由自變量的變化引起的解為兩部分，一部分是由自變量的變化引起的y的波的波動，即回歸差方和動，即回歸差方和ssreg（regression）；另一部分是）；另一部分是隨機誤差或其他未知因素引起的波動，即殘余差平方隨機誤差或其他未知因素引起的波動，即殘余差平方和和ssres（residual）。）。 10 sgmiiimiimiitssssyyyyyyssrere121212 （18）

8、 sst、ssreg、ssres的自由度分別是的自由度分別是m-1, n, 和和m-n-1。 tstgssssssssrrere1 （19） r越接近越接近1，說明，說明y與自變量的相關性越好。與自變量的相關性越好。 r在回歸分析中是非常重要的指標。在回歸分析中是非常重要的指標。 但是應注意：但是應注意：r不僅是回歸方程中自變量個數(shù)不僅是回歸方程中自變量個數(shù)n的函數(shù)，還與的函數(shù)，還與觀測水平數(shù)觀測水平數(shù)m有關。當有關。當 m相對于相對于n不很大時，常有較大的不很大時，常有較大的r，特，特別是當別是當mn+1時，即使時，即使n個自變量與個自變量與y不相關，也恒有不相關，也恒有r=1 (q= 0)

9、。因而在實際計算中，要注意。因而在實際計算中，要注意m和和n的比例問題。的比例問題。 一般認為，一般認為，m至少為至少為n的的5倍。倍。1165 多元非線性回歸多元非線性回歸 多元非線性回歸是另一個很常用的回歸方法，其回多元非線性回歸是另一個很常用的回歸方法，其回歸原理也和一元非線性回歸相似。歸原理也和一元非線性回歸相似。 一般有兩種方法：一般有兩種方法： （1 1） 變量代換法。變量代換法。 （2 2）非線性最小二乘法，它就是采用最小二乘法）非線性最小二乘法，它就是采用最小二乘法估計非線性模型中的參數(shù)，從而建立非線性回歸模型估計非線性模型中的參數(shù)，從而建立非線性回歸模型。 一般的，當我們不知

10、道回歸模型時，則多元非線性一般的，當我們不知道回歸模型時，則多元非線性回歸可轉(zhuǎn)化成回歸可轉(zhuǎn)化成多元多次多項式多元多次多項式進行擬合，這是基于進行擬合，這是基于泰勒展開的基礎。通過這樣的轉(zhuǎn)換即可對其進行多泰勒展開的基礎。通過這樣的轉(zhuǎn)換即可對其進行多元非線性擬合元非線性擬合 。1266 逐步回歸分析法介紹（逐步回歸分析法介紹（stepwise regression） 在上一節(jié)中討論了多元回歸分析。當我們不知道指在上一節(jié)中討論了多元回歸分析。當我們不知道指標（因變量）和多個因素（自變量）之間的關系模型時，標（因變量）和多個因素（自變量）之間的關系模型時，如何進行回歸分析？如何進行回歸分析？ 還有，還

11、有， 在某些實際問題中可能有這樣的情況：參加在某些實際問題中可能有這樣的情況：參加回歸的回歸的n個變量個變量x1、x2、 xn 中，單獨觀察，有些因中，單獨觀察，有些因素與因變量素與因變量y的相關程度很密切，但當綜合觀察的相關程度很密切，但當綜合觀察n個因個因素與素與y的相關性時，這些因素可能顯得不太重要。的相關性時，這些因素可能顯得不太重要。13若把這些變量保留，不僅增加計算工作量，而且會增加若把這些變量保留，不僅增加計算工作量，而且會增加回歸方程的不穩(wěn)定性，因此希望從回歸方程的不穩(wěn)定性，因此希望從n個變量中選出與個變量中選出與y最密切、最具代表性的變量來描述最密切、最具代表性的變量來描述y

12、變化的情況。即希變化的情況。即希望所得回歸方程包含一切對望所得回歸方程包含一切對y作用顯著的因素，不包含作用顯著的因素，不包含對對y不顯著的變量。不顯著的變量。原因：原因：這些因素與這些因素與n個變量中的其他變量之間本來就個變量中的其他變量之間本來就有相關關系，當做回歸時，它們對有相關關系，當做回歸時，它們對y的作用被其他因的作用被其他因子替代了。子替代了。這時候就要用到這時候就要用到逐步回歸分析法逐步回歸分析法。逐步回歸分析是在。逐步回歸分析是在多元回歸基礎上派生出來的一種算法技巧。多元回歸基礎上派生出來的一種算法技巧。14逐步回歸方法的基本思想：逐步回歸方法的基本思想：對全部的自變量對全部

13、的自變量x1,x2,.,xn,按它們對按它們對y貢獻的大小進貢獻的大小進行比較，并通過行比較，并通過f檢驗法，選擇偏回歸平方和顯著的檢驗法，選擇偏回歸平方和顯著的變量進入回歸方程，每一步只引入一個變量，同時建變量進入回歸方程，每一步只引入一個變量，同時建立一個偏回歸方程。立一個偏回歸方程。當一個變量被引入后，對原已引入回歸方程的變量，當一個變量被引入后，對原已引入回歸方程的變量，逐個檢驗他們的偏回歸平方和。如果由于引入新的變逐個檢驗他們的偏回歸平方和。如果由于引入新的變量而使得已進入方程的變量變?yōu)椴伙@著時，則及時從量而使得已進入方程的變量變?yōu)椴伙@著時，則及時從偏回歸方程中剔除。偏回歸方程中剔除

14、。上面介紹的是上面介紹的是“逐步引入逐步引入”的方法。的方法。另外還有另外還有“逐步剔除逐步剔除”、“有進有出有進有出”等方法。等方法。15自變量自變量x的顯著性如何檢驗？的顯著性如何檢驗？假定在假定在n個自變量中已經(jīng)建立了個自變量中已經(jīng)建立了x1、x2、xl對對y的回歸方程，對各變量的貢獻進行比較，找出最小的回歸方程，對各變量的貢獻進行比較，找出最小貢獻貢獻xj，要檢驗，要檢驗xj的顯著性，則可由的顯著性，則可由xj對對y的方差貢的方差貢獻獻qj來衡量。來衡量。通常用通常用qj與與x1、x2、xl的整體方差的整體方差q之比之比qj/q來量度。來量度。采用采用f檢驗：檢驗：)ln(qqfj1

15、ffa a，說明，說明xj貢獻較大，保留；貢獻較大，保留；ffa a，則剔除，則剔除xj。16在引入了兩個自變量以后，便開始考慮是否有需要剔在引入了兩個自變量以后，便開始考慮是否有需要剔除的變量。只有當回歸方程中的所有自變量對除的變量。只有當回歸方程中的所有自變量對y都有都有顯著影響而不需要剔除時，再考慮從未選入方程的自顯著影響而不需要剔除時，再考慮從未選入方程的自變量中，挑選對變量中，挑選對y有顯著影響的新的變量進入方程。有顯著影響的新的變量進入方程。不論引入還是剔除一個變量都稱為一步。不論引入還是剔除一個變量都稱為一步。這一過程不斷被重復，直至無法剔除已引入的變量，這一過程不斷被重復，直至

16、無法剔除已引入的變量，也無法再引入新的自變量時，逐步回歸過程結(jié)束。也無法再引入新的自變量時，逐步回歸過程結(jié)束。一般逐步回歸分析都需要借助專用軟件完成。一般逐步回歸分析都需要借助專用軟件完成。 17逐步回歸分析邏輯結(jié)構圖逐步回歸分析邏輯結(jié)構圖輸入基本參數(shù)、讀入原始數(shù)據(jù)輸入基本參數(shù)、讀入原始數(shù)據(jù)計算各變量均值、離差矩陣、相關矩陣計算各變量均值、離差矩陣、相關矩陣開始逐步計算開始逐步計算是否為前三步？是否為前三步？是是否否引入處理引入處理剔除處理剔除處理是否剔除？是否剔除？是是否否是否引入？是否引入？否否結(jié)束處理，打印計算結(jié)果結(jié)束處理，打印計算結(jié)果對相關陣進行變換對相關陣進行變換是否有待預報樣品？是

17、否有待預報樣品？否否結(jié)束結(jié)束預報計算預報計算是是18多元線性回歸舉例。多元線性回歸舉例。例例14. 已知水泥在凝固過程中放出的熱量已知水泥在凝固過程中放出的熱量y(j/g)與以與以下四種成分的含量有關：下四種成分的含量有關：x1: 3caosio2; x2: 2caosio2; x3: 3caoal2o3; x4: 4caoal2o3fe2o3;原始數(shù)據(jù)如下表：原始數(shù)據(jù)如下表：具體處理見具體處理見excel表。表。19試驗號試驗號mx1x2x3x4y(j/g)172666078.52129155274.331156820104.34113184787.6575263395.9611559221

18、05.27371176102.78131224472.59254182293.1102147426115.911140233483.8121160912113.3131068812109.42067 回歸分析法常用軟件介紹回歸分析法常用軟件介紹 1. excel2. origin3. spss5. matlab4. dabhttp:/ package for the social science)社會科學應用軟件包是世界上著名的統(tǒng)計分析軟件社會科學應用軟件包是世界上著名的統(tǒng)計分析軟件之一。它和之一。它和sas（statistical analysis system，統(tǒng)，統(tǒng)計分析系統(tǒng)）、計分析系統(tǒng)）、bmdp（biomedical programs，生物醫(yī)學程序）并稱為國際上最有影響的三大統(tǒng)計生