第十一章偏最小二乘法

1、第十一章第十一章 偏最小二乘法偏最小二乘法 偏最小二乘回歸是一種新型的多元統(tǒng)計數(shù)據(jù)分析方法，它與1983年由伍德和阿巴諾等人首次提出。近十年來，它在理論、方法和應用方面都得到了迅速的發(fā)展。密西根大學的弗耐爾教授稱偏最小二乘回歸為第二代回歸分析方法。 偏最小二乘回歸方法在統(tǒng)計應用中的重要性主要的有以下幾個方面： （1）偏最小二乘回歸是一種多因變量對多自變量的回歸建模方法。 （2）偏最小二乘回歸可以較好地解決許多以往用普通多元回歸無法解決的問題。 在普通多元線形回歸的應用中，我們常受到許多限制。最典型的問題就是自變量之間的多重共線性。如果采用普通的最小二乘方法，這種變量多重相關性就會嚴重危害參數(shù)估

2、計，擴大模型誤差，并破壞模型的穩(wěn)定性。變量多重相關問題十分復雜，長期以來在理論和方法上都未給出滿意的答案，這一直困擾著從事實際系統(tǒng)分析的工作人員。偏最小二乘回歸中開辟了一種有效的技術途徑，它利用對系統(tǒng)中的數(shù)據(jù)信息進行分解和篩選的方式，提取對因變量的解釋性最強的綜合變量，辨識系統(tǒng)中的信息與噪聲，從而更好地克服變量多重相關性在系統(tǒng)建模中的不良作用。 （3）偏最小二乘回歸之所以被稱為第二代回歸方法，還由于它可以實現(xiàn)多種數(shù)據(jù)分析方法的綜合應用。偏最小二乘回歸偏最小二乘回歸=多元線性回歸分析多元線性回歸分析+典型相關分析典型相關分析+主成分分析主成分分析 由于偏最小二乘回歸在建模的同時實現(xiàn)了數(shù)據(jù)結(jié)構(gòu)的簡

3、化，因此，可以在二維平面圖上對多維數(shù)據(jù)的特性進行觀察，這使得偏最小二乘回歸分析的圖形功能十分強大。在一次偏最小二乘回歸分析計算后，不但可以得到多因變量對多自變量的回歸模型，而且可以在平面圖上直接觀察兩組變量之間的相關關系，以及觀察樣本點間的相似性結(jié)構(gòu)。這種高維數(shù)據(jù)多個層面的可視見性，可以使數(shù)據(jù)系統(tǒng)的分析內(nèi)容更加豐富，同時又可以對所建立的回歸模型給予許多更詳細深入的實際解釋。一、一、 偏最小二乘回歸的建模原理和方法偏最小二乘回歸的建模原理和方法 （一）建模原理建模原理 設有 q個因變量 y1, y2, yq和p個自變量 x1, x2, xp。為了討論兩組變量之間的關系，觀測了n個樣本點。偏最小二

4、乘回歸開始與典型相關分析相同，分別在X與Y中提取出主成分。設 t1, t2, tr為 x1, x2, xp的主成分， u1, u2, ur為 y1, y2, yq，其中r=min（p，q）。 (1) t1和u1應盡可能大地攜帶他們各自數(shù)據(jù)表中的變異信息; (2) t1和u1的相關程度能夠達到最大。 這兩個要求表明， t1和 u1應盡可能好的代表數(shù)據(jù)表X和Y,同時自變量的成分t1對因變量的成分u1又有最強的解釋能力。 在第一個成分t1和u1被提取后，偏最小二乘回歸分別實施X對t1的回歸以及 Y對t1的回歸。如果回歸方程已經(jīng)達到滿意的精度，則算法終止；否則,將利用 X被t1解釋后的殘余信息以及Y

5、被t1 解釋后的殘余信息進行第二輪的成分提取。如此往復，直到能達到一個較滿意的精度為止。若最終對 X共提取了 m個成分 t1, t2, tr，偏最小二乘將通過實施Y1，Y2， ，Yq對 t1, t2, tr的回歸，然后再表達成YK關于原變量X1，X2， ，Xp 的回歸方程，其中k=1，2，q 。（二）計算方法推導（二）計算方法推導 首先將數(shù)據(jù)做標準化處理。設X組變量標準化的觀測值矩陣為 1112121222012ppnnnpxxxxxxxxxX設Y組變量標準化的觀測值矩陣為 1112121222012ppnnnpyyyyyyyyyY 求X組變量的第一主成分t1，w1為第一主成分的系數(shù)向量， w

6、1是一個單位向量。 t1=X0w1 求Y組變量的第一主成分t1，c1為第一主成分的系數(shù)向量， c1是一個單位向量。 u1=Y0c1 有Var(t1)=max Var(u1)=max (t1, u1)=max 因此綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達到最大，既 11010 1,111 1max,11w cX w Y cw wc c （1）求）求w1和和c111100 111121 1(,)(1)(1)Qw cw X Ycw wc c 對Q分別求關于c1，w2，1，2和的偏導并令之為零，有00 111120QX Y cww0012 1120QY X wcc11110Q w w1 12

7、10Q c c采用拉格朗日乘數(shù)法，討論有約束條件的極值問題?？梢酝瞥?00 111120 w X Y cw w10012 1 120 c F X wc c則100 11222 w X Y c112100 122 w X Y c記00 1110X Y cw0011 10Y X wc20111000X Y Y X ww可得可得21110000Y X X Ycc 可見,w1是矩陣的 特征向量,對應的特征值為 。所以w1是對應于矩陣 最大特征值 的單位特征向量。而另一方面, c1是對應于 矩陣最大特征值 的單位特征向量c1。 0000X Y Y X0000Y X X Y212121101tX w10

8、1uY c0000X Y Y X 注意這里t1和u1分別為n維向量，是n個個案在兩組變量的主成分的取值。 分別求X0和Y0對t1 和u1的兩個回歸方程0111Xt E0111Yt F 根據(jù)最小二乘估計的原理，則10 111 1101 1X tt tt Xt t10 111 1101 1Y tt tt Yt t 稱 1為模型效應載荷量。2.建立回歸方程3.用殘差代替X0和Y0的進行以上的工作 在第二步工作中，由于第一對主成分并未將相關的信息提取完，所以需要再重復第一步工作，在殘差矩陣E0和F0中再提取第二對主成分。中再提取第二對主成分。212t E w21 2u Fc11121 2,2222ma

9、x,11w cE w Fcw wc c 分別求E1和F1對t2和u2的兩個回歸方程，即1222Et E1222Ft F 根據(jù)最小二乘估計的原理，則11 222 2212 2E tt tt Et t1222 2212 2F tt tt Ft t 進而有011222011222Xt t EYt t F 4.設np數(shù)據(jù)觀測矩陣的秩為r=min（ n ，p），則存在r個成分t1，t2， tr。使得 0112201122.(1).(2)rrXt t EYt t F1122.,1,2,.,(3)kkkkpptw Xw Xw Xkr 將（3）式代入（2）式，并合并同類項1122.jjjppa Xa Xa X

10、Y 非標準化的偏最小二乘回歸方程為01122.jjjjppaa Xa Xa XY5.抽取主成分個數(shù)l的確定 至于抽取幾個主成份進行偏最小二乘模型，需要進行進一步的檢驗。當然一定小于r。我們首先定義殘差平方和 其中i為第i個樣本點，j為第j個指標，k為主成分的個數(shù)。通常情況下，選擇使殘差平方和最小的個數(shù)l。有四種方法。21( )( )njijijiPRESS kyyk（1）舍一交叉驗證法 依次舍去第i（i=1，2，n）個樣本點，用余下的n-1個樣本點做偏最小二乘回歸模型，并預測相應的 ，k為主成分的個數(shù) 。 ( )ijyk21( )( )njijijiPRESS kyyk211( )( )pnijijjiPRESS kyy k 選擇使PRESS(k)最小的主成分的個數(shù)。（2）分批交叉驗證法 分批交叉驗證法是每次留下q個觀測作為檢驗數(shù)據(jù)，q=1是為“舍一交叉驗證方法”。類似按預測殘差平方和達