偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用

1、偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用唐啟義,唐潔:偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用45文章編號:1002-1566(2005)05004506偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用鼯意鼯潷(浙江大學農(nóng)業(yè)與生物技術(shù)學院植物保護系,杭州,310029)摘要:本文分析了目前應用一般的最小二乘法建立均勻試驗數(shù)據(jù)的二次多項式回歸模型時存在的局限性,提出了應用偏最小二乘法(Partialleastsquare,PLS)建立二次多項式回歸模型的技術(shù),并且進一步介紹了偏最小二乘回歸(PLS回歸)在均勻設(shè)計中的應用.作者認為,PLS回歸分析建模技術(shù)將為均勻設(shè)計的更廣泛應用提

2、供有力的技術(shù)支持.關(guān)鍵詞:偏最小二乘法;均勻設(shè)計;回歸分析;模型優(yōu)化中圖分類號:O212C8文獻標識碼:AApplicationofPartialLeast?-SquaresRegressiveonModelingAnalysisofUniformDesignExperimentTANGQiyi,TANGJie(DepartmentofPlantProtection,CollegeofAgricultureandBiotechnology,ZhangUniversity,HangzhouChina,310029)Abstract:Thispaperanalyzedthelimitationof

3、applyingtheleastsquaremethodtoestablishtheSeconddegreePolynomialModelsofUniformdesigndata,andpresentedthetechnologyofapplyingPartialleastsquaresmethodtoestablishtheSeconddegreePolynomialModels.FurthertheapplicationofPartialleastsquaresregressionmethod(PLSregression)intheUniformDesignwasintroduced.Th

4、eauthorthinkthetechnolgywillprovidetechnologicalsupportforthemoreextensiveapplicationofUniformDesign.Keywords:PartialLeastSquares,UniformDesign,RegressiveAnalysis,model0引言回歸分析是均勻設(shè)計數(shù)據(jù)分析的主要手段.由于均勻設(shè)計的出發(fā)點是建立多因素尋優(yōu)模型,這樣,如考慮多因素互作,模型最優(yōu)化的實際需要,最基本的要求是根據(jù)均勻設(shè)計試驗結(jié)果建立二次多項式回歸模型.若試驗設(shè)計有m個因素”,當觀察指標為Y時,其二次多項式回歸模型為:Y:盧0

5、+盧+盧+盧xj+占其中,盧,盧和為回歸系數(shù),占為隨機誤差.從上述回歸模型可以看到,除了常數(shù)項以外,方程有m(m+3)/2項,若使回歸系數(shù)的估計有可能,必要條件為試驗次數(shù)n>1+m收稿日期:2003年3月27日46數(shù)理統(tǒng)計與管理第25卷第5期2005年9月(m+3)/2.當m較大時,通常不能滿足這個必要條件.目前一般的做法是采用逐步回歸分析技術(shù),從二次多項式方程中選擇方差貢獻顯著的因素或因素組合,刪除不顯著(重要)的因素或因素組合,建立含部分變量的回歸方程模型.但是,從實際操作,應用來看,有幾個問題:一是分析時,多數(shù)自變量是組合變量,它們之間存在有嚴重的多重共線性,這會使得分析結(jié)

6、果很不穩(wěn)定,以致有時,某個因素是否選人對回歸方程產(chǎn)生很大的影響,使建模者左右為難;二是選中的自變量,有時與我們所希望的有較大的出入,從專業(yè)知識方面認為是重要的變量往往落選,特別是有時單相關(guān)非常顯著的變量落選,使我們很難信服地接受這樣的”最優(yōu)”回歸模型;三是所建立的回歸方程模型,有的因素的回歸系數(shù)符號反常,這與專業(yè)背景不符合;四是在配方均勻設(shè)計試驗,并考查外界影響因素時,配方成分是不能隨意去掉的.從上述4個問題可以看出,傳統(tǒng)的基于最小二乘的多元線性回歸,逐步回歸分析方法不能完全適應均勻設(shè)計數(shù)據(jù)建模的需要.偏最小二乘(Partialleastsquares)回歸分析方法,這一從應用領(lǐng)域提出的一種新

7、的多元數(shù)據(jù)分析技術(shù)在近1O多年以來得到了迅速地發(fā)展.偏最小二乘法可以有效地克服目前回歸建模的許多實際問題,如上面提到的樣本容量小于變量個數(shù)時進行回歸建模,以及多個因變量對多個自變量的同時回歸分析等一般最小二乘回歸分析方法無法解決的問題.1基本理論與算法簡介偏最小二乘回歸分析,最初是研究多解釋變量和多個反應變量的定量關(guān)系,即在解釋變量空間和反應變量空間分別尋找某些線性組合(潛變量),并使得兩個變量空間的協(xié)方差最大.如用表示解釋變量,用yn表示反應變量,這里n是樣本個數(shù),m是解釋變量(自變量)的個數(shù),k是反應變量(因變量)的個數(shù).PLS的目的是將數(shù)據(jù)集投影到一系列的潛變量ti和u(.j=1,2,A

8、),這里是潛變量的個數(shù).然后在ti和i之間建立回歸方程=bjtj+ej這里的ej是誤差向量,是未知參數(shù).且bj可通過公式6f=()進行估計.其中tj和u滿足:最大可能地包含數(shù)據(jù)表和y的信息;相關(guān)程度最大.潛變量可通過公式tj=和=Yjqj計算得到.這里變量Pj和qi是使得潛變量0和的協(xié)方差最大,亦即使?jié)撟兞縯j和u,相關(guān)程度達最大時的權(quán)重系數(shù);=f一7P=X,pf=xit/(tj)+=一,=y,qj=Xft/(tj)設(shè)=6是u的預報值,這時矩陣和y可以分解成如下外積形式:AA=+E,y:+F這里E和F是提取對潛變量后矩陣和y的殘差.在偏最小二乘回歸分析過程中,每對潛變量tj和u(=1,2,)在

9、迭代過程中依次被提取,然后計算提取后的殘差,并對每一步的殘差再繼續(xù)進行分析,直至根據(jù)某種準則確定提取潛變量的對數(shù)().確定要提取的潛變量對數(shù)一般是應用預測殘差平方和PRESS(PredictedResidualSumofSquares),即在每一步分別計算去掉1個樣本點后反應變量預測估計值和實際觀測值的殘差平方和:唐啟義,唐潔:偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用47PRESS(加(Y一Y)(-)式中PRESS為第步的預測殘差平方和,)表示第i步的反應變量預測估計值,y.表示第i步的反應變量實際觀測值.如果PRESSf)一PRESS”J)小于預定精度,那么迭代過程結(jié)束,否則繼續(xù)提取

10、潛變量,進行迭代計算.但在實際工作中,可以根據(jù)PRESS的變化,并結(jié)合擬合殘差平方和的變化趨勢進行判斷,人為指定提取潛變量的個數(shù).作者認為,應用偏最小二乘法建立二次多項式回歸模型,提取潛變量個數(shù)最多不要超過試驗處理的因子個數(shù).上述偏最小二乘回歸分析技術(shù),作者已用Pascal程序語言實現(xiàn),并輔助以圖形方式的工作界面,讓使用者決定提取潛變量的個數(shù).在建立模型后,系統(tǒng)立即對模型進行優(yōu)化(求最大值或最小值).這些功能作為一個統(tǒng)計分析模塊收錄在作者開發(fā)的通用統(tǒng)計分析軟件包”DPS數(shù)據(jù)處理系統(tǒng)”之中,其演示版本可從網(wǎng)站下載試用.2應用實例張承恩(在研究VD合成過程中,對其中的一步光化學反應,采用均勻設(shè)計技

11、術(shù)設(shè)計了一套試驗4個處理因素,7個處理水平的試驗方案,做了7批試驗,考察了2個指標和一個復合指標,其試驗處理及結(jié)果如表1.表1均勻設(shè)計試驗數(shù)據(jù)在該試驗中,有4個處理因素,如果建立完整的二次多項式回歸方程,需要15個處理組合,但這里只有7個處理組合,因此只能應用逐步回歸分析法,選出較”重要”的因素或變量組合建立回歸方程.對這3個產(chǎn)出指標,也只能分別建立3個回歸方程.如果應用逐步回歸分析方法進行建模,就有可能因引人/剔除變量的F臨界值不同,不同的建模人員建立的方程會有很大的差異,并給模型的整體優(yōu)化,尋求最好的工藝條件等實際應用帶來困難.根據(jù)該試驗結(jié)果,作者應用偏最d-乘回歸分析方法,借助于作者編制

12、的偏最小二乘回歸分析程序進行分析.分析時參考PRESS統(tǒng)計量和誤差統(tǒng)計量的下降趨勢(圖1).圖右下方k值表示用來建立二次多項式回歸模型所選取的潛變量的個數(shù).48數(shù)理統(tǒng)計與管理第25卷第5期2005年9月圖1偏最小二乘回歸誤差統(tǒng)計量F降趨勢圖選擇潛變量個數(shù),一般認為是根據(jù)偏最小二乘分析程序的提示(圖1)進行,從圖1可以看出,當潛變量個數(shù)為3時,各因變量的擬合誤差的下降趨勢趨于平緩.不過,根據(jù)DPS軟件用戶應用PLS回歸建模所反饋的信息,認為應同時考慮各個效應的標準回歸系數(shù),即要與實際的專業(yè)背景相吻合.在選擇潛變量個數(shù)后,我們再確定模型優(yōu)化的一些條件(圖2):如點擊上部各個自變量下面的檢查框可決定

13、哪些自變量是否受配方條件的限制,即哪些自變量在回歸方程中的取值之和必須為1;點擊下部各因變量下面的檢查框可決定哪些因變量因變量的優(yōu)化方向(是求極大l,0,值還是極小值).對有z個因變量的系統(tǒng)優(yōu)化,其目標函數(shù)的定義為dfI.,i/100,當某目標函數(shù)是求極大值時,di:1,否則,d:一1,而為各個因變量在優(yōu)化過程中所占的權(quán)重.式中,y和sD分別是第i個因變量的理論值,均值和標準差.選擇有關(guān)參數(shù)并確認后,我們即可得到模型效應及因變量權(quán)數(shù),模型效應負荷量,各個自變量對各個因變量作用的標準回歸系數(shù)等結(jié)果.例如表2列出了各個自變量主效應的標準回歸系數(shù)(其它結(jié)果在此略去).從表2可以看出,各個自變量對3個

14、因變量的主效應是相同的,但自變量和對因變量的主效應為負,而和對因變量的主效應為正.表2各個自變量對各個因變量主效應的標準回歸系數(shù)圖2偏最d”-乘回歸模型優(yōu)化最后.我們根據(jù)偏最小二乘回歸分析,同時考慮3個因變量的優(yōu)化,得到如下二次多項式回歸模型:),l:一220.73512.0870l一0.15792+54.42133+15.18914+0.007466l+0.000508x2一3.1747x3一0.1055x4+0.002536xl2+0.01375xl30.003724xlX4一唐啟義,唐潔:偏最小二乘回歸分析在均勻設(shè)計試驗建模分析中的應用490.03386x230.009298x240.5

15、714x34Y2=一629.46430.4055x+2.6433x,一33.2815x+6.8048x+0.004211.一0.00305lx2+2.01072x3一0.05955x4+0.000400x120.09135x130.005254x14+0.048726x230.003350x24+0.2267x34Y3=一593.01451.1637xl+1.9208x22.8398x3+11.3205x4+0.006231xl一0.002085x2+0.2154x3一0.08792x4+0.001344xl20.06298xl30.005448xl4+0.02289x230.006306x2

16、40.06272x34這3個二次多項式回歸模型的擬合效果,可從誤差平方和看出(表3).表3中顯示出提取不同潛變量個數(shù)時數(shù)據(jù)標準化后模型誤差平方和和PRESS統(tǒng)計量下降情況,并可得到相應組分時的模型擬合的決定系數(shù).從決定系數(shù)可以看出,提取3個組分(潛變量)時,各個回歸模型的擬合程度都較好.表3數(shù)據(jù)標準化后模型誤差平方和及決定系數(shù)潛變量誤差平方和決定系數(shù)RPress統(tǒng)計量個數(shù)YlY2Y3YlY2y3Yl22Y3根據(jù)圖2設(shè)定的優(yōu)化條件對各個模型優(yōu)化后,得到各個自變量的優(yōu)化值分別為:等于30.0000,2等于418.2546,3等于3.5000,等于47.2173,綜合指標的最優(yōu)目標函數(shù)為144.97

17、.這時,各個因變量的最優(yōu)目標函數(shù)值Y=80.17,Y=61.30,Y=48.69.此優(yōu)化結(jié)果作者已反饋給張承恩先生,經(jīng)張先生確認,其優(yōu)化方向與原回歸分析基本一致,具有合理性,可用.3討論偏最/J-乘回歸(Partialleastsquaresregression)是一種新型的多元統(tǒng)計數(shù)據(jù)分析方法,它于1983年由伍德(S.Wold)和阿巴諾(C.Albano)等人首次提出.近十幾年來,它在理論及應用方面都得到了迅速發(fā)展.偏最小二乘回歸由于集多元線性回歸分析,典型相關(guān)分析和主成分分析的基本功能為”一體”.由于偏最小二乘回歸在建模的同時實現(xiàn)了數(shù)據(jù)結(jié)構(gòu)的簡化,因此,可以在二維平面上對多維數(shù)據(jù)的特性進

18、行觀察,這使得在偏最小二乘回歸分析中對各個因素的影響進行分析.在一次偏最jJ-乘回歸分析計算后,不但可以得到多因變量對多自變量的回歸模型,而且可以在兩維平面上直接觀察兩組變量之間的相關(guān)關(guān)系,以及觀察樣本點間的相似結(jié)構(gòu).這種高維數(shù)據(jù)多個層面的可視見性,可以使數(shù)據(jù)系統(tǒng)的分析內(nèi)容更加豐富,同時又可以對所建立的回歸模型給予許多更詳細深入的實際解釋.此外,偏最小二乘方法適應多因變量對多自變量的回歸建模分析,比對逐個因變量做多元回歸更加有效,其結(jié)論更加可靠,整體性更強.偏最小二乘回歸分析的這些將非模型方式的數(shù)據(jù)認識性分析方法和優(yōu)化模型方法集中起來的特點及多因變量建模功能正適合均勻設(shè)計試驗結(jié)果數(shù)據(jù)分析和優(yōu)化模型的建立.因此,PLS回歸分析建模技術(shù)將均勻設(shè)計的更廣泛應用提供有力的技術(shù)支持.(下轉(zhuǎn)第67頁)孫尚拱,何平平:經(jīng)典的用回歸模型進行統(tǒng)計控制中的問題67參考文獻1BernardRosner.FundamentalsofB