偏最小二乘回歸方法2021完整版課件

偏最小二乘回歸方法偏最小二乘回歸方法1簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、2此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點(diǎn)個(gè)數(shù)少于自變量個(gè)數(shù)的條件下進(jìn)行回歸建模；此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條3此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識(shí)系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包4此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡(jiǎn)單、預(yù)測(cè)精度高，易于定性解釋的優(yōu)點(diǎn)。此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模5多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理6多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個(gè)成分，，是的第一個(gè)軸，它是一個(gè)單位向量,即有。記是的第一個(gè)成分，是的第一個(gè)軸，它是一個(gè)單位向量，即。

多因變量偏最小二乘算法推導(dǎo)第一步：記是7多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。多因變量偏最小二乘算法推導(dǎo)如果要使，8多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對(duì)有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建9多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏10多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求11多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求12多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式13多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記，所以正是優(yōu)化問題的目標(biāo)函數(shù)值。多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記14多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入15多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對(duì)應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。多因變量偏最小二乘算法推導(dǎo)同理，可得易知，16多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對(duì)與的三個(gè)回歸方程多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩17多因變量偏最小二乘算法推導(dǎo)其中多因變量偏最小二乘算法推導(dǎo)其中18多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方程的殘差矩陣。多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方19多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個(gè)軸和以及第二個(gè)成分，，有多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣20多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣的最大特征值的特征向量；是對(duì)應(yīng)于矩陣的最大特征值的特征向量。多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣21多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）式多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）22多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的秩是，則會(huì)有由于均可以表示成的線性組合。多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的23多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以24偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣25偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中……偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣26偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分，是矩陣最大特征值所對(duì)應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個(gè)主成分可以得到一個(gè)滿意的預(yù)測(cè)模型。偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分27偏最小二乘回歸的簡(jiǎn)化算法則求在上的普通最小二乘回歸方程為

其中偏最小二乘回歸的簡(jiǎn)化算法則求在28交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點(diǎn)并取h個(gè)成分回歸建模后，第個(gè)樣本點(diǎn)的擬合值，是在建模時(shí)刪除樣本點(diǎn)，

交叉有效性具體的步驟：記為原始數(shù)據(jù)，29交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)算的的擬合值，記交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)30交叉有效性具體的步驟：當(dāng)即時(shí)，引進(jìn)新的成分會(huì)對(duì)模型的預(yù)測(cè)能力有明顯的改善作用。交叉有效性具體的步驟：當(dāng)31典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對(duì)某自變量的解釋能力為典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過32典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為對(duì)的解釋能力為典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為33

對(duì)的解釋能力為

對(duì)的解釋能力為對(duì)的解釋能力為對(duì)的34典型相關(guān)分析中的精度分析

對(duì)的解釋能力為對(duì)的解釋能力為典型相關(guān)分析中的精度分析對(duì)的解釋能力為3520、人之所以能，是相信能。13.太陽也不是神，光和熱的聚合體罷了。越接近太陽的人只會(huì)點(diǎn)燃自己。4.最重要的就是不要去看遠(yuǎn)方模糊的，而要做手邊清楚的事。1.微笑，是春天里的一絲新綠，是驕陽下的餓一抹濃蔭，是初秋的一縷清風(fēng)，是嚴(yán)冬的一堆篝火。微笑著去面對(duì)吧，你會(huì)感到人生是那樣溫馨。7.沒有哪種教育能及得上逆境。15.恐懼自己受苦的人，已經(jīng)因?yàn)樽约旱目謶衷谑芸唷?5.孤獨(dú)是空氣，你呼吸著它而感覺到自己存在。20.時(shí)間是不可占有的公共財(cái)產(chǎn)，隨著時(shí)間的推移，真理愈益顯露。19.目標(biāo)的堅(jiān)定是性格中最必要的力量源泉之一，也是成功的利器之一。沒有它，天才也會(huì)在矛盾無定的迷徑中徒勞無功。11.雖然現(xiàn)實(shí)生活中，不是所有的夢(mèng)想都能開花結(jié)果，也不是所有的人都能夢(mèng)想成真。但每一個(gè)夢(mèng)想都是絢爛多姿，每一個(gè)人都因追逐夢(mèng)想而生活得更加精彩。11.你什么時(shí)候放下，什么時(shí)候就沒有煩惱。11.感謝那些曾讓我傷心難過的日子，我知道快樂已經(jīng)離我不遠(yuǎn)了。6.只要路是對(duì)的，就不怕路遠(yuǎn)。真心的對(duì)別人產(chǎn)生點(diǎn)興趣，是推銷員最重要的品格。2.對(duì)于最有能力的領(lǐng)航人風(fēng)浪總是格外的洶涌。13、熱愛可以創(chuàng)造奇跡。如果我們熱愛登山，我們可以不顧旅途的危險(xiǎn)與勞頓，勇往直前;如果我們熱愛文學(xué)，我們可以廢寢忘食，夜燈長(zhǎng)明;如果我們熱愛高考呢?那么，一切都將變得簡(jiǎn)單而和諧!3.知識(shí)給人重量，成就給人光彩，大多數(shù)人只是看到了光彩，而不去稱量重量。4、人生偉業(yè)的建立，不在能知，乃在能行。12.仔細(xì)思量一下就會(huì)明白：對(duì)對(duì)方的不信任，實(shí)際上就是對(duì)自我的不信任。推測(cè)對(duì)方的內(nèi)心時(shí)，人就像把自己的生命反映到鏡子中一樣凝視著，再將其投影于對(duì)方，從而決定信任或不信任對(duì)方。14.勝利者往往是從堅(jiān)持最后五分鐘的時(shí)間中得來成功。---牛頓(英國)(閃點(diǎn))16.我從來不認(rèn)為半小時(shí)是我微不足道的很小的一段時(shí)間。8.勞動(dòng)是知識(shí)的源泉;知識(shí)是生活的指南。11.只向最頂端的人學(xué)習(xí)，只和最棒的人交往，只做最棒的人做的事。12.書本也是好老師，活用才能成功。6.人的痛苦只能在生活和勞動(dòng)中慢慢消磨掉，但朋友，沒有什么靈丹妙藥比得上勞動(dòng)更能醫(yī)治人的精神創(chuàng)傷。14.真正的堅(jiān)強(qiáng)是當(dāng)所有的人都希望你崩潰的時(shí)候，你還可以振作。20、人之所以能，是相信能。36偏最小二乘回歸方法偏最小二乘回歸方法37簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、典型相關(guān)分析和主成分分析的基本功能為一體的新型多元統(tǒng)計(jì)分析方法。簡(jiǎn)言之偏最小二乘回歸是一種集多元線性回歸分析、38此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條件下進(jìn)行回歸建模；（2）允許在樣本點(diǎn)個(gè)數(shù)少于自變量個(gè)數(shù)的條件下進(jìn)行回歸建模；此方法的優(yōu)點(diǎn)：（1）能在自變量存在嚴(yán)重多重相關(guān)性的條39此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包含原有的所有自變量，易于辨識(shí)系統(tǒng)信息與噪聲，而且其自變量的回歸系數(shù)也將更容易解釋。此方法的優(yōu)點(diǎn)：（3）偏最小二乘回歸在最終模型中將包40此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模方法相比，具有計(jì)算簡(jiǎn)單、預(yù)測(cè)精度高，易于定性解釋的優(yōu)點(diǎn)。此方法的優(yōu)點(diǎn)：（4）偏最小二乘回歸方法與其他的建模41多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。原自變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記為原因變量數(shù)據(jù)表經(jīng)標(biāo)準(zhǔn)化后的數(shù)據(jù)矩陣記多因變量偏最小二乘算法推導(dǎo)首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理42多因變量偏最小二乘算法推導(dǎo)第一步：記是的第一個(gè)成分，，是的第一個(gè)軸，它是一個(gè)單位向量,即有。記是的第一個(gè)成分，是的第一個(gè)軸，它是一個(gè)單位向量，即。

多因變量偏最小二乘算法推導(dǎo)第一步：記是43多因變量偏最小二乘算法推導(dǎo)如果要使，能很好的代表與中的數(shù)據(jù)變異信息，根據(jù)主成分分析原理，應(yīng)該有，。多因變量偏最小二乘算法推導(dǎo)如果要使，44多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建模的需要，又要求對(duì)有最大的解釋能力，由典型相關(guān)分析的思路，與的相關(guān)度應(yīng)達(dá)到最大值，即多因變量偏最小二乘算法推導(dǎo)另一方面，由于回歸建45多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，即多因變量偏最小二乘算法推導(dǎo)因此，綜合起來，在偏46多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求解下列優(yōu)化問題，即多因變量偏最小二乘算法推導(dǎo)正規(guī)的數(shù)學(xué)表述應(yīng)該是求47多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求關(guān)于，，和的偏導(dǎo)數(shù)，并令之為零，有多因變量偏最小二乘算法推導(dǎo)采用拉格朗日算法，記對(duì)分別求48多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式多因變量偏最小二乘算法推導(dǎo)（1）式（2）式（3）式（4）式49多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記，所以正是優(yōu)化問題的目標(biāo)函數(shù)值。多因變量偏最小二乘算法推導(dǎo)由上述四個(gè)式子可以推出記50多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入（5），有（5）式（6）式（7）式多因變量偏最小二乘算法推導(dǎo)把（1）和（2）式寫成將（6）代入51多因變量偏最小二乘算法推導(dǎo)同理，可得易知，是矩陣的特征向量，對(duì)應(yīng)的特征值為。是目標(biāo)函數(shù)，它要求取最大值。所以，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。多因變量偏最小二乘算法推導(dǎo)同理，可得易知，52多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩陣的最大特征值的單位特征向量。

求得軸和后，即可得到成分，。然后，分別求和對(duì)與的三個(gè)回歸方程多因變量偏最小二乘算法推導(dǎo)易知，是對(duì)應(yīng)于矩53多因變量偏最小二乘算法推導(dǎo)其中多因變量偏最小二乘算法推導(dǎo)其中54多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方程的殘差矩陣。多因變量偏最小二乘算法推導(dǎo)而，，分別是三個(gè)回歸方55多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣和取代和。然后，求第二個(gè)軸和以及第二個(gè)成分，，有多因變量偏最小二乘算法推導(dǎo)第二步：用殘差矩陣56多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣的最大特征值的特征向量；是對(duì)應(yīng)于矩陣的最大特征值的特征向量。多因變量偏最小二乘算法推導(dǎo)是對(duì)應(yīng)于矩陣57多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）式多因變量偏最小二乘算法推導(dǎo)計(jì)算回歸系數(shù)因此，有回歸方程（8）58多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的秩是，則會(huì)有由于均可以表示成的線性組合。多因變量偏最小二乘算法推導(dǎo)如此計(jì)算下去，如果的59多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以還原成關(guān)于的回歸方程形式，即是殘差矩陣的第列。多因變量偏最小二乘算法推導(dǎo)因此，（8）式還可以60偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中偏最小二乘回歸的簡(jiǎn)化算法（1）求矩陣61偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣最大特征值所對(duì)應(yīng)的單位特征向量，求成分，得其中……偏最小二乘回歸的簡(jiǎn)化算法（2）求矩陣62偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分，是矩陣最大特征值所對(duì)應(yīng)的特征向量。如果根據(jù)交叉有效性，確定共抽取h個(gè)主成分可以得到一個(gè)滿意的預(yù)測(cè)模型。偏最小二乘回歸的簡(jiǎn)化算法至第h步，求成分63偏最小二乘回歸的簡(jiǎn)化算法則求在上的普通最小二乘回歸方程為

其中偏最小二乘回歸的簡(jiǎn)化算法則求在64交叉有效性具體的步驟：記為原始數(shù)據(jù)，是在偏最小二乘回歸過程中提取的成分，是使用全部樣本點(diǎn)并取h個(gè)成分回歸建模后，第個(gè)樣本點(diǎn)的擬合值，是在建模時(shí)刪除樣本點(diǎn)，

交叉有效性具體的步驟：記為原始數(shù)據(jù)，65交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)算的的擬合值，記交叉有效性具體的步驟：取h個(gè)成分回歸建模后，再用此模型計(jì)66交叉有效性具體的步驟：當(dāng)即時(shí)，引進(jìn)新的成分會(huì)對(duì)模型的預(yù)測(cè)能力有明顯的改善作用。交叉有效性具體的步驟：當(dāng)67典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過程中，所提取的自變量成分，盡可能多地代表中的變異信息。對(duì)某自變量的解釋能力為典型相關(guān)分析中的精度分析在偏最小二乘回歸計(jì)算過68典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為對(duì)的解釋能力為典型相關(guān)分析中的精度分析對(duì)某因變量的解釋能力為69

對(duì)的解釋能力為

對(duì)的解釋能力為對(duì)的解釋能力為對(duì)的70典型相關(guān)分析中的精度分析

對(duì)的解釋能力為對(duì)的解釋能力為典型相關(guān)分析中的精度分析對(duì)的解釋能力為7120、人之所以能，是相信能。13.太陽也不是神，光和熱的聚合體罷了。越接近太陽