多元回歸擬合算法課件

電化學(xué)甲醛檢測(cè)儀濃度預(yù)測(cè)算法：

多元回歸擬合算法

匯報(bào)人：孫皓

電化學(xué)甲醛檢測(cè)儀濃度預(yù)測(cè)算法：

多元回歸擬合算法

匯目錄123多元回歸分析簡(jiǎn)介多元回歸分析步驟逐步回歸用于甲醛濃度預(yù)測(cè)目錄123多元回歸分析簡(jiǎn)介多元回歸分析步驟逐步回歸用于甲醛濃多元回歸分析

回歸分析：是一種通過(guò)一組自變量來(lái)預(yù)測(cè)一個(gè)或多個(gè)因變量的統(tǒng)計(jì)方法。

多元線性回歸

●多元：有多個(gè)自變量；

●線性：通過(guò)自變量的線性組合對(duì)因變量進(jìn)行預(yù)測(cè)或估計(jì)；基本概念：多元回歸分析基本概念：多元線性回歸模型：◆：常數(shù)項(xiàng),又稱為截距◆

，…:偏回歸系數(shù)，簡(jiǎn)稱回歸系數(shù)。表示相應(yīng)的自變量對(duì)因變量的影響程度?！?/p>

:去除m個(gè)自變量對(duì)Y的影響后的隨機(jī)誤差，不可觀測(cè)。且通常假定多元線性回歸模型：◆：常數(shù)項(xiàng),又稱為截距若進(jìn)行n次獨(dú)立觀測(cè)，得到n組樣本數(shù)據(jù),

每一組樣本數(shù)據(jù)分別滿足多元線性回歸模型，即有：寫成矩陣形式：若進(jìn)行n次獨(dú)立觀測(cè)，得到n組樣本數(shù)據(jù)多元線性回歸基本步驟█步驟一：回歸系數(shù)β的求解方法：最小二乘法我們尋求回歸系數(shù)的適宜數(shù)值應(yīng)該使得實(shí)際觀察值和回歸方程估計(jì)值之間殘差平方和最小，即有：

根據(jù)最小二乘法理論，將上式分別對(duì)求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為零,可獲得P＋1個(gè)正規(guī)方程，求解正規(guī)方程可得待估參數(shù)值。多元線性回歸基本步驟█步驟一：回歸系數(shù)β的求解方法：最小二是要求解的的最小二乘估計(jì)值。是要求解的█步驟二：對(duì)得到的回歸方程進(jìn)行檢驗(yàn)n組觀測(cè)值的均值記為：總離差平方和：

回歸平方和：

殘差平方和：

則有：█步驟二：對(duì)得到的回歸方程進(jìn)行檢驗(yàn)n組觀測(cè)值的均值記為：總xyxy

★常用的檢驗(yàn)方法：可決系數(shù)F檢驗(yàn)T檢驗(yàn)多重共線性檢驗(yàn)對(duì)回歸方程的檢驗(yàn)：

●擬合度檢驗(yàn)（針對(duì)全部自變量的選擇）●回歸方程的顯著性檢驗(yàn)（針對(duì)回歸模型）●回歸系數(shù)的顯著性檢驗(yàn)（針對(duì)回歸系數(shù)）

●多重共線性檢驗(yàn)（針對(duì)自變量與自變量之間的線性關(guān)系）★常用的檢驗(yàn)方法：可決系數(shù)F檢驗(yàn)T可決系數(shù)：（判定系數(shù)，決定系數(shù)）

回歸平方和占總離差平方和的比例?；蛘哒f(shuō)，因變量取值的變差中，能被多元回歸方程所解釋的比例。由R2的意義看來(lái)，其值越接近于1，意味著模型的擬合優(yōu)度越高。

可決系數(shù)：（判定系數(shù)，決定系數(shù)）回歸平方和占總離差平方

從理論上來(lái)講，隨著自變量個(gè)數(shù)的不斷增加，會(huì)使得R2不斷增加。為避免增加自變量而高估R2，引入了調(diào)整的R2式中，n為樣本量，p為自變量個(gè)數(shù)調(diào)整的R2的引入，目的是懲罰過(guò)多的使用不重要的自變量，也可以用于比較多個(gè)模型。從理論上來(lái)講，隨著自變量個(gè)數(shù)的不斷增加，會(huì)使得R2F檢驗(yàn)：該類檢驗(yàn)主要針對(duì)回歸方程的顯著性檢驗(yàn)◎回歸方程的顯著性檢驗(yàn)主要是檢驗(yàn)被解釋變量與所有的解釋變量之間的線性關(guān)系是否顯著。對(duì)于多元線性回歸方程來(lái)說(shuō)，F(xiàn)檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量：式中，n為樣本量，p為自變量個(gè)數(shù)。其中p,n-p-1又被稱為自由度。F檢驗(yàn)：該類檢驗(yàn)主要針對(duì)回歸方程的顯著性檢驗(yàn)對(duì)于多元F檢驗(yàn)的主要流程：1.提出假設(shè)H0：

1

2

k=0線性關(guān)系不顯著；（不存在線性關(guān)系）H1：

1，

2，

k至少有一個(gè)不等于0。2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F3.由F值得到檢驗(yàn)P值作出決策

確定顯著性水平和P比較，P<拒絕H0.F檢驗(yàn)的主要流程：1.提出假設(shè)2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F3.由F值T檢驗(yàn)：

前面兩種檢驗(yàn)，討論了回歸方程中全部自變量的總體回歸效果,但總體回歸效果顯著并不說(shuō)明每個(gè)自變量對(duì)因變量都是重要的,即可能有某個(gè)自變量對(duì)y并不起作用或者能被其它的自變量的作用所代替,因此對(duì)這種自變量我們希望從回歸方程中剔除,這樣可以建立更簡(jiǎn)單的回歸方程。T檢驗(yàn)主要針對(duì)的是回歸系數(shù)的顯著性檢驗(yàn)◎回歸系數(shù)的顯著性檢驗(yàn)主要是檢驗(yàn)回歸方程中被解釋變量與每一個(gè)解釋變量之間的線性關(guān)系是否顯著。T檢驗(yàn)：前面兩種檢驗(yàn)，討論了回歸方程中全部自變量的總對(duì)于多元線性回歸方程來(lái)說(shuō)，T檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量為：式中，n為樣本量，p為自變量個(gè)數(shù)，n-p-1為自由度，為回歸系數(shù)的標(biāo)準(zhǔn)差；為對(duì)應(yīng)的回歸系數(shù)；對(duì)于多元線性回歸方程來(lái)說(shuō)，T檢驗(yàn)的檢驗(yàn)統(tǒng)計(jì)量為：式中，n為T檢驗(yàn)的主要步驟：1.提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒(méi)有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)3.由T值得到檢驗(yàn)P值作出決策

確定顯著性水平和P比較，<P拒絕H0.2.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量tT檢驗(yàn)的主要步驟：1.提出假設(shè)3.由T值得到檢驗(yàn)P值作出決策多重共線性檢驗(yàn)：多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。多重共線性的后果（1）偏回歸系數(shù)估計(jì)困難甚至難以得到估計(jì)值；（2）偏回歸系數(shù)的估計(jì)值得方差增大，使得估計(jì)值不合理；（3）偏回歸系數(shù)估計(jì)值不穩(wěn)定（隨著樣本含量的增減各偏回歸系數(shù)發(fā)生較大變化或當(dāng)一個(gè)自變量被引入或剔除時(shí)其余變量偏回歸系數(shù)有很大變化）；（4）偏回歸系數(shù)假設(shè)檢驗(yàn)的結(jié)果不顯著，容易產(chǎn)生錯(cuò)誤的判定

多重共線性檢驗(yàn)：多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的多重共線性的衡量：（1）容忍度①是第i個(gè)解釋變量與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)的平方，表示解釋變量之間的線性相關(guān)程度。②容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強(qiáng)，越接近1表示多重共線性越弱。（2）方差膨脹因子VIF①方差膨脹因子是容忍度的倒數(shù)。②VIF越大多重共線性越強(qiáng)，當(dāng)VIF大于等于10時(shí)，說(shuō)明存在嚴(yán)重的多重共線性。多重共線性的衡量：（1）容忍度①是第i個(gè)（3）多元決定系數(shù)診斷假定多元回歸模型p個(gè)自變量,其多元決定系數(shù)為。分別構(gòu)成不含其中某個(gè)自變量(Xi,i=1,2,…,p)的p個(gè)回歸模型,并應(yīng)用最小二乘法準(zhǔn)則分別擬合回歸方程,求出它們各自的決定系數(shù)(i=1,2,…,p)。如果其中的某一個(gè)與很接近,假設(shè)不含的回歸模型，其決定系數(shù)與很接近，說(shuō)明將從模型中去掉，對(duì)回歸模型的決定系數(shù)影響不大。

因此，可認(rèn)為該變量對(duì)Y總變異的解釋能力可由其他自變量代替。它很有可能是其他自變量的線性組合。該自變量進(jìn)入模型后就有可能引起多重共線性問(wèn)題。（3）多元決定系數(shù)診斷假定多元回歸模型p個(gè)自變量,其逐步回歸主要思想：

在考慮的全部自變量中按其對(duì)因變量的貢獻(xiàn)（偏回歸平方和）的大小,由大到小地逐個(gè)引入回歸方程,。另外,己被引入回歸方程的變量在引入新變量后也可能失去重要性,而需要從回歸方程中剔除出去。引入一個(gè)變量或者從回歸方程中剔除一個(gè)變量都稱為逐步回歸的一步,每一步都要進(jìn)行相關(guān)的檢驗(yàn)。回歸步驟：①全部待引入回歸方程的變量分別計(jì)算其偏回歸平方和,并選其中偏回歸平方和最大的一個(gè)變量，進(jìn)行F檢驗(yàn)，顯著則引入，不顯著則停止引入。②對(duì)已引入回歸方程的變量計(jì)算其偏回歸平方和,然后選一個(gè)偏回歸平方和最小的變量,進(jìn)行F檢驗(yàn),如果顯著則不踢出轉(zhuǎn)到①。如不顯著則需踢出，然后按偏回歸平方和由小到大地依次對(duì)方程中其它變量進(jìn)行F檢驗(yàn)。逐步回歸主要思想：回歸步驟：①全部待引入回歸方程的變量分別計(jì)偏回歸平方和：

偏回歸平方和：

多元回歸擬合在甲醛濃度預(yù)測(cè)中的應(yīng)用

在回歸模型中，自變量的次數(shù)超過(guò)三次的模型很不穩(wěn)定，故實(shí)際中盡量采用3次以下的模型來(lái)進(jìn)行擬合。

模型中可能存在的項(xiàng)有：v2t2、v2t、vt2、vt、v2、v、t2、t、ln(v2t2

)、ln(v2t)、ln(vt2)、ln(vt)、ln(v2)、ln(v)、ln(t2)、ln(t)、EXP(v2)、EXP(v)。計(jì)算每個(gè)變量的偏回歸平方和V的貢獻(xiàn)最大，將V加入模型運(yùn)用SPSS進(jìn)行逐步回歸，得到回歸方程含有的項(xiàng)為v2t和v。配成：

多元回歸擬合在甲醛濃度預(yù)測(cè)中的應(yīng)用在回歸模型中，自變?cè)贛ALAB中使用Regress函數(shù)可求出系數(shù)，進(jìn)而完成相關(guān)的數(shù)據(jù)處理工作。序號(hào)：預(yù)測(cè)值（ppm）：真實(shí)值（ppm）：相對(duì)誤差：10.09190.1019.01