《多元回歸分析》 (2)ppt課件

1、第十一章第十一章多元回歸多元回歸本章引見多元回歸的最根本知識，運用多元回歸進展多項式回歸分析的普通步驟，回歸方程的顯著性檢驗矩陣的復(fù)習(xí)：矩陣的復(fù)習(xí)： 什么叫矩陣什么叫矩陣 方陣方陣 對稱陣對稱陣 單位陣單位陣 行列式行列式 矩陣的運算矩陣的運算 矩陣的求逆矩陣的求逆在許多情況下，影響一個變量的要素往往有許多個，在許多情況下，影響一個變量的要素往往有許多個，因此，僅用簡單回歸進展預(yù)測其結(jié)果不夠理想，因此，僅用簡單回歸進展預(yù)測其結(jié)果不夠理想，因此該當(dāng)研討一個依變量和多個自變量的關(guān)系因此該當(dāng)研討一個依變量和多個自變量的關(guān)系這種研討多個自變量和一個依變量的關(guān)系就是多元這種研討多個自變量和一個依變量的關(guān)

2、系就是多元回歸分析，簡單回歸分析僅研討一個自變量和依回歸分析，簡單回歸分析僅研討一個自變量和依變量的關(guān)系，因此可以將簡單回歸看作是多元回變量的關(guān)系，因此可以將簡單回歸看作是多元回歸的一種特例，是多元回歸的根底歸的一種特例，是多元回歸的根底這里所研討的多元回歸也是線性回歸，稱為多元線這里所研討的多元回歸也是線性回歸，稱為多元線性回歸性回歸有兩個自變量有兩個自變量x1、x2時，稱二元線性回歸時，稱二元線性回歸有三個自變量有三個自變量x1、x2、x3時，稱三元線性回歸時，稱三元線性回歸有有m元自變量元自變量xi時，稱時，稱m元線性回歸元線性回歸以此類推以此類推例如：影響水生生物發(fā)病的要素有很多種，如

3、致病例如：影響水生生物發(fā)病的要素有很多種，如致病菌、營養(yǎng)、環(huán)境、消毒、污染、抗病力、藥物等菌、營養(yǎng)、環(huán)境、消毒、污染、抗病力、藥物等又如：影響動植物生化目的的要素也很多，既有外又如：影響動植物生化目的的要素也很多，既有外部要素，也有內(nèi)部要素部要素，也有內(nèi)部要素又如：影響漁場運營效益的要素有規(guī)模、養(yǎng)殖的魚又如：影響漁場運營效益的要素有規(guī)模、養(yǎng)殖的魚類、飼料、豢養(yǎng)密度、管理程度、藥物的運用、類、飼料、豢養(yǎng)密度、管理程度、藥物的運用、保健本錢、防疫等保健本錢、防疫等其中，有些影響要素是數(shù)量性質(zhì)的，而有些雖是質(zhì)其中，有些影響要素是數(shù)量性質(zhì)的，而有些雖是質(zhì)量性質(zhì)的，但可以進展量化量性質(zhì)的，但可以進展量化

4、將這些影響要素自變量與被影響的要素依變將這些影響要素自變量與被影響的要素依變量組合成一個線性函數(shù)，即建立一個多元線性量組合成一個線性函數(shù)，即建立一個多元線性回歸方程來定量地闡明這種回歸關(guān)系，其效果往回歸方程來定量地闡明這種回歸關(guān)系，其效果往往好于普通的分析往好于普通的分析第一節(jié)第一節(jié) 偏回歸與偏相關(guān)偏回歸與偏相關(guān)一、偏回歸一、偏回歸設(shè)影響依變量設(shè)影響依變量y的自變量的自變量xi有有m個個i=1,2,m我們可以建立一個多元線性回歸方程：我們可以建立一個多元線性回歸方程：01 122.mmybb xb xb x其中，其中，b0是常數(shù)項：是常數(shù)項：而而b1、b2、bi、.、bm分別為分別為x1、x2

5、、xi、xm對對y的偏回歸系數(shù)的偏回歸系數(shù)bi的含義是當(dāng)?shù)暮x是當(dāng)x1、x2、xi-1、xi+1、xm固定固定不變時，不變時，xi每變化一個單位，每變化一個單位，y發(fā)生變化的平均量發(fā)生變化的平均量二、多元回歸方程的普通配置方法二、多元回歸方程的普通配置方法多元回歸方程中多元回歸方程中bi的求解是經(jīng)過最小二乘法來確定的的求解是經(jīng)過最小二乘法來確定的即所選取的即所選取的bi必需使得離回歸平方和必需使得離回歸平方和Q最小，即：最小，即： 為最小為最小為了使方程的求解容易一些，先消去為了使方程的求解容易一些，先消去b001 122.mmbyb xb xb x2201 122.mmQyyybb xb x

6、b x消去消去b0： 代入代入Q式：式：令令那么那么分別求分別求Q對對bi的偏微分，并令之為的偏微分，并令之為0：01 122.mmbyb xb xb x221 1221 1222111222.mmmmmmmQyyyyb xb xb xb xb xb xyybxxbxxbxx111222,.,mmmYyy Xxx XxxXxx21122.mmQYb Xb Xb X11221111222211222.02.0.2.0mmmmmmmmQYb Xb Xb XXbQYb Xb Xb XXbQYb Xb Xb XXb整理之，得正規(guī)方程組：整理之，得正規(guī)方程組：其中：其中：2121211121122222

7、21122.mmmmmmmmmbXbX XbX XX YbX XbXbX XX YbX XbX XbXX Y22222222iijiiiiiixijijiijjijx xiiiiix yyxXxxxSSnxxX Xxxxxx xSPnxyX Yxxyyx ySPnyYyyySSn用矩陣方式表示之：用矩陣方式表示之：得：得：這一方式可以簡寫為：這一方式可以簡寫為：由于系數(shù)矩陣是一個對稱的方陣，且普通滿秩，因由于系數(shù)矩陣是一個對稱的方陣，且普通滿秩，因此可求逆，有解，且是獨一解此可求逆，有解，且是獨一解21111212221222212.mmmmmmmbX YXX XX XbX YX XXX Xb

8、X YX XX XX121111212221222212.mmmmmmmbX YXX XX XbX YX XXX XbX YX XX XX1bA Y當(dāng)方程僅為二元或三元時，可用行列式或消元法求當(dāng)方程僅為二元或三元時，可用行列式或消元法求解，但方程多元時，手工計算很費事，且不太能解，但方程多元時，手工計算很費事，且不太能夠，因此必需借助統(tǒng)計軟件在電腦上完成方程組夠，因此必需借助統(tǒng)計軟件在電腦上完成方程組的求解的求解下面我們舉一個既典型又不典型的例子下面我們舉一個既典型又不典型的例子從一批資料中獲得如下數(shù)據(jù)：不同種類的池養(yǎng)親魚從一批資料中獲得如下數(shù)據(jù)：不同種類的池養(yǎng)親魚的繁衍體重和懷卵量如下表，試

9、作回歸分析的繁衍體重和懷卵量如下表，試作回歸分析種類種類 平均體重平均體重 平均卵巢重平均卵巢重 平均絕對懷卵量平均絕對懷卵量 kg x1 kg x2 百萬粒百萬粒 y鯪魚鯪魚 0.85 0.14 0.205鰱魚鰱魚 4.46 0.90 0.630 草魚草魚 6.31 1.08 0.755鳙魚鳙魚 8.64 1.54 1.08青魚青魚 21.95 3.45 2.41我們先求一級數(shù)據(jù)：我們先求一級數(shù)據(jù)：接著求二級數(shù)據(jù)：接著求二級數(shù)據(jù)：建立二元回歸方程：建立二元回歸方程：解方程組解方程組1242.217.115.08xxy21222616.882316.27017.98345xxy121299.9

10、80969.978811.3888x xx yx y128.4421.4221.016xxy21222260.54510.1102.822XXY121239.9582827.093444.16504X XX YX Y1212260.54539.9582827.0934439.9582810.1104.165040bbbb有三種方法解此方程組，第一種為消元法；第二種有三種方法解此方程組，第一種為消元法；第二種為行列式法；第三種為矩陣法為行列式法；第三種為矩陣法行列式法：行列式法：260.54539.958281037.445839.9582810.110 NoImage127.0934439.9

11、58284.1650410.110107.486840.1036b 2260.54527.0934439.958284.165042.573090.00248b 01 1220.1379byb xb x得二元回歸方程：得二元回歸方程：矩陣法求解：矩陣法求解：求系數(shù)矩陣的逆矩陣：求系數(shù)矩陣的逆矩陣：得解得解120.13790.10360.00248yxx12260.54539.9582827.0934439.9582810.1104.16504bb1AbYbA Y10.009750.038520.038520.25114A120.009750.0385227.093440.10370.03852

12、0.251144.165040.0024bb這一二元線性方程組的生物學(xué)意義是：這一二元線性方程組的生物學(xué)意義是：當(dāng)卵巢重不變時，懷卵量隨不同種類魚的體重變化當(dāng)卵巢重不變時，懷卵量隨不同種類魚的體重變化而變化；當(dāng)種類體重不變時，懷卵量隨卵巢重的而變化；當(dāng)種類體重不變時，懷卵量隨卵巢重的變化而變化變化而變化與簡單回歸方程一樣，多元線性回歸方程也有一定與簡單回歸方程一樣，多元線性回歸方程也有一定的預(yù)測范圍的預(yù)測范圍三、多元回歸方程的估計規(guī)范誤三、多元回歸方程的估計規(guī)范誤求解多元回歸方程我們用的是最小二乘原理：求解多元回歸方程我們用的是最小二乘原理：由于每一個由于每一個y不能夠與不能夠與 一樣，因此一

13、樣，因此Q稱為多元離回歸平方和稱為多元離回歸平方和Q越大，表示越大，表示y與與 的差距越大，方程的預(yù)測效果就的差距越大，方程的預(yù)測效果就越差，因此可以用越差，因此可以用Q來表示多元回歸方程的預(yù)測來表示多元回歸方程的預(yù)測效果，即多元回歸方程的估計規(guī)范誤為：效果，即多元回歸方程的估計規(guī)范誤為：其中，其中，n為樣本量，為樣本量，m為自變量個數(shù)為自變量個數(shù)2minQyy y y0Q 12.1ymQSnm由于由于 因此，因此，四、偏回歸系數(shù)規(guī)范誤四、偏回歸系數(shù)規(guī)范誤多元回歸方程求出后，應(yīng)對偏回歸系數(shù)進展顯著性多元回歸方程求出后，應(yīng)對偏回歸系數(shù)進展顯著性檢驗：檢驗： 為為b的規(guī)范誤的規(guī)范誤其中，其中， 為

14、高斯乘數(shù)，即系數(shù)矩陣的逆為高斯乘數(shù)，即系數(shù)矩陣的逆 中主對角中主對角線上與每個自變量相應(yīng)的元素線上與每個自變量相應(yīng)的元素12.1yymSSUSnm2yQYUSSUiibbtsibs1Aiic12.ibymiissc將一切的自變量全納入多元回歸方程，這樣的多元將一切的自變量全納入多元回歸方程，這樣的多元回歸方程稱為全回歸方程，對每一個回歸方程稱為全回歸方程，對每一個bi進展檢驗，進展檢驗，將不顯著的自變量剔出方程，方程內(nèi)保管全部顯將不顯著的自變量剔出方程，方程內(nèi)保管全部顯著的自變量，而方程外不再有顯著的自變量，這著的自變量，而方程外不再有顯著的自變量，這樣的多元回歸方程稱為樣的多元回歸方程稱為“

15、最優(yōu)回歸方程最優(yōu)回歸方程剔出不顯著的自變量后，方程應(yīng)作相應(yīng)的變化剔出不顯著的自變量后，方程應(yīng)作相應(yīng)的變化統(tǒng)計軟件中，計算統(tǒng)計軟件中，計算“最優(yōu)回歸方程的常用方法為逐最優(yōu)回歸方程的常用方法為逐漸回歸法漸回歸法由于在普通情況下，我們都是借助于統(tǒng)計軟件進展由于在普通情況下，我們都是借助于統(tǒng)計軟件進展回歸分析的，因此剔出不顯著的自變量后方程如回歸分析的，因此剔出不顯著的自變量后方程如何變化這里不再作引見何變化這里不再作引見五、復(fù)相關(guān)指數(shù)五、復(fù)相關(guān)指數(shù)多元回歸方程建立以后，用這一方程來預(yù)測多元回歸方程建立以后，用這一方程來預(yù)測y其準(zhǔn)其準(zhǔn)確度如何，這種準(zhǔn)確度的度量，就是多元相關(guān)分確度如何，這種準(zhǔn)確度的度量

16、，就是多元相關(guān)分析析用來進展多元相關(guān)分析的目的就是復(fù)相關(guān)指數(shù)用來進展多元相關(guān)分析的目的就是復(fù)相關(guān)指數(shù)R2 R稱為復(fù)相關(guān)系數(shù)，它表示稱為復(fù)相關(guān)系數(shù)，它表示y與回歸方程中自變量線與回歸方程中自變量線性組合關(guān)系的親密程度性組合關(guān)系的親密程度而而R2那么是用多元回歸方程進展預(yù)測的準(zhǔn)確程度那么是用多元回歸方程進展預(yù)測的準(zhǔn)確程度R2的分布范圍為的分布范圍為0，1R2的顯著性檢驗為：的顯著性檢驗為：22URY2RR22111RRmU mFFQnmRnm回也可在求得也可在求得R以后，將其與以后，將其與r附表中相應(yīng)的附表中相應(yīng)的r值相比值相比較較假設(shè)假設(shè)R r0.05，表示，表示R顯著顯著假設(shè)假設(shè)R r0.01

17、，表示，表示R極顯著極顯著這種比較與前頁的這種比較與前頁的F-test的結(jié)果是一樣的的結(jié)果是一樣的需求留意的是，在查需求留意的是，在查r附表時，一定要留意變量的個附表時，一定要留意變量的個數(shù)，附表中是一切變量的個數(shù)，而不僅是自變量數(shù)，附表中是一切變量的個數(shù)，而不僅是自變量的個數(shù)的個數(shù)求該例的回歸方程估計規(guī)范誤、偏回歸系數(shù)規(guī)范誤、求該例的回歸方程估計規(guī)范誤、偏回歸系數(shù)規(guī)范誤、復(fù)相關(guān)指數(shù)復(fù)相關(guān)指數(shù)12.1122212.12.12.212.12.12.12.22.2.817210.0050.05(1)(1)2.8170.99822.822ymmmymymyymymymymymUbX Y bX YbX

18、 YQYUSSUQYUsnmnmURY22112221212212222212120.009750.25114XcXXX XXcXXX X1212.1112.220.05 0.009750.0049360.05 0.251140.025057bymbymsscssc對這一多元回歸方程進展顯著性檢驗：對這一多元回歸方程進展顯著性檢驗：上面兩個上面兩個F值該當(dāng)是相等的值該當(dāng)是相等的12.12.222.81722563.440.005210.99822554.550.0018121ymymUmFQnmRmFRnm回相關(guān)第三節(jié)第三節(jié) 多項式回歸多項式回歸在曲線回歸分析中，有些曲線可以經(jīng)直線化在曲線回歸

19、分析中，有些曲線可以經(jīng)直線化轉(zhuǎn)換成直線方程來配置，有些那么不能經(jīng)轉(zhuǎn)換成直線方程來配置，有些那么不能經(jīng)直線轉(zhuǎn)換，如多項式回歸直線轉(zhuǎn)換，如多項式回歸將多項式回歸方程中的每一項將多項式回歸方程中的每一項xi看作是一個看作是一個自變量自變量xi那么多項式回歸可以轉(zhuǎn)換成多元回歸方程進那么多項式回歸可以轉(zhuǎn)換成多元回歸方程進展求解展求解多變量的多項式同樣可以經(jīng)多元回歸進展轉(zhuǎn)多變量的多項式同樣可以經(jīng)多元回歸進展轉(zhuǎn)換換任何一個函數(shù)在一個不大的范圍內(nèi)都可以用任何一個函數(shù)在一個不大的范圍內(nèi)都可以用一個多項式作恣意的逼近一個多項式作恣意的逼近即取適當(dāng)?shù)捻棓?shù)所得到的多項式與恣意函數(shù)即取適當(dāng)?shù)捻棓?shù)所得到的多項式與恣意函數(shù)

20、方程兩者的曲線可以有理想的擬合效果方程兩者的曲線可以有理想的擬合效果因此，在很多情況下，我們可以不思索自變因此，在很多情況下，我們可以不思索自變量與依變量確實切函數(shù)關(guān)系，而用適宜的量與依變量確實切函數(shù)關(guān)系，而用適宜的多項式來進展分析多項式來進展分析例：太陽光對水層的穿透力隨水層的添加而減弱，例：太陽光對水層的穿透力隨水層的添加而減弱，因此光協(xié)作用也隨之減弱。一定深度的浮游植物因此光協(xié)作用也隨之減弱。一定深度的浮游植物在光協(xié)作用下所釋放出的氧氣假設(shè)剛好等于該深在光協(xié)作用下所釋放出的氧氣假設(shè)剛好等于該深度浮游生物的耗氧量，那么這一水層深度稱為補度浮游生物的耗氧量，那么這一水層深度稱為補償深度。今測

21、得某地償深度。今測得某地56月份晴天一日內(nèi)不同時月份晴天一日內(nèi)不同時間的補償深度如下，試作回歸分析間的補償深度如下，試作回歸分析時時 間間t 6 8 10 12 14 16 18 紫外線強度紫外線強度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48畫散點圖，可以看出，補償深度與一日內(nèi)的時間大畫散點圖，可以看出，補償深度與一日內(nèi)的時間大致呈拋物線關(guān)系，因此可以配置拋物線方程致呈拋物線關(guān)系，因此可以配置拋物線方程今簡化數(shù)據(jù)，令今簡化數(shù)據(jù)，令2126,72txxx xxyI n 06:00 08:00 10:00 12:00 14:00 16:00 18:000.40.60.81

22、.01.2X1 0 1 2 3 4 5 6X2 0 1 4 9 16 25 36Y 0.60 1.00 1.07 1.17 1.09 0.89 0.48 那么一級數(shù)據(jù)為：那么一級數(shù)據(jù)為：計算二級數(shù)據(jù)：計算二級數(shù)據(jù)：212222421223121221221,91,6.391,2275,6.0844441,18.3472.78,3,13,0.9xxxxyxxxxyx xx xxx yxyx yx yxxy221222211212121212219128,1092,0.4144721 9144116870.56,9.12xXxXYnxxX Xx xnX YX Y 組建正規(guī)方程組：組建正規(guī)方程組：解

23、之，得：解之，得：將將 代入，得：代入，得：計算各時間段的估測值，得下表計算各時間段的估測值，得下表1212281680.5616810929.12bbbb 1201 1222120.39140.06860.90.3914 30.0686130.61760.61760.39140.06860.61760.39140.0686bbbyb xb xyxxxx 62tx22660.61760.39140.0686221.1740.40150.0172ttIItt 時時 間間t 6 8 10 12 14 16 18 補償深度補償深度 I 0.6 1.0 1.07 1.17 1.09 0.89 0.48

24、預(yù)預(yù) 測測 值值 0.62 0.94 1.12 1.17 1.09 0.85 0.48 -0.02 0.06 -0.05 0.0 0.01 0.04 0.0對該多項式方程作顯著性檢驗：對該多項式方程作顯著性檢驗：復(fù)相關(guān)指數(shù)復(fù)相關(guān)指數(shù) III20.0082II1122220.01,2,40.39140.560.06869.120.40640.41440.40640.00800.4062 2101.618.000.0082730.01UbX YbX YQYUIIFFp 220.40640.98070.4144URY0.9903R 該多項式回歸方程的估計規(guī)范誤為：該多項式回歸方程的估計規(guī)范誤為：兩偏回歸系數(shù)的高斯乘數(shù)分別為：兩偏回歸系數(shù)的高斯乘數(shù)分別為：因此因此b1的規(guī)范誤的規(guī)范誤 b2的規(guī)范誤的規(guī)范誤22112222121221222222121210920.464328 1092168780.011928 1092168XcXXX XXcXXX X12.1211.12220.0447 0.46430.03050.0447 0.0