12第十二章多元回歸分析[1].ppt

1、第十一章,多元回歸,本章介紹多元回歸的最基本知識，運(yùn)用多元回歸進(jìn)行多項(xiàng)式回歸分析的一般步驟，回歸方程的顯著性檢驗(yàn),矩陣的復(fù)習(xí)： 什么叫矩陣 方陣 對稱陣 單位陣 行列式 矩陣的運(yùn)算 矩陣的求逆,在許多情況下，影響一個變量的因素往往有許多個，因此，僅用簡單回歸進(jìn)行預(yù)測其結(jié)果不夠理想，因此應(yīng)當(dāng)研究一個依變量和多個自變量的關(guān)系 這種研究多個自變量和一個依變量的關(guān)系就是多元回歸分析，簡單回歸分析僅研究一個自變量和依變量的關(guān)系，因此可以將簡單回歸看作是多元回歸的一種特例，是多元回歸的基礎(chǔ) 這里所研究的多元回歸也是線性回歸，稱為多元線性回歸,有兩個自變量（x1、x2）時，稱二元線性回歸 有三個自變量（x1

2、、x2、x3）時，稱三元線性回歸 有m 元自變量（xi）時，稱 m 元線性回歸 以此類推,例如：影響家畜發(fā)病的因素有很多種，如致病菌、營養(yǎng)、環(huán)境、消毒、污染、抗病力、藥物等 又如：影響動植物生化指標(biāo)的因素也很多，既有外部因素，也有內(nèi)部因素 又如：影響牧場經(jīng)營效益的因素有規(guī)模、品種、飼料、飼養(yǎng)密度、管理水平、藥物的使用、保健成本、防疫等 其中，有些影響因素是數(shù)量性質(zhì)的，而有些雖是質(zhì)量性質(zhì)的，但可以進(jìn)行量化,將這些影響因素（自變量）與被影響的因素（依變量）組合成一個線性函數(shù)，即建立一個多元線性回歸方程來定量地說明這種回歸關(guān)系，其效果往往好于一般的分析,第一節(jié) 偏回歸與復(fù)回歸,一、偏回歸 設(shè)影響依變

3、量 y 的自變量 xi 有 m 個 （ i = 1 , 2 , , m） 我們可以建立一個多元線性回歸方程： 其中，b0 是常數(shù)項(xiàng)： 而 b1、b2、bi、.、bm 分別為 x1、x2、xi、xm 對 y 的偏回歸系數(shù),Bi 的含義是當(dāng) x1、x2、xi-1、xi+1、xm 固定不變時，xi 每變化一個單位，y 發(fā)生變化的平均量 二、多元回歸方程的一般配置方法 多元回歸方程中 bi 的求解是通過最小二乘法來確定的 即所選取的 bi 必須使得離回歸平方和 Q 最小，即： 為最小 為了使方程的求解容易一些，先消去 b0,消去 b0： 代入Q式： 令 則,分別求 Q 對 bi 的偏微分，并令之為 0

4、：,整理之，得正規(guī)方程組： 其中：,用矩陣形式表示之： 得： 這一形式可以簡寫為： 由于系數(shù)矩陣是一個對稱的方陣，且一般滿秩，因此可求逆，有解，且是唯一解,當(dāng)方程僅為二元或三元時，可用行列式或消元法求解，但方程多元時，手工計(jì)算很麻煩，且不太可能，因此必須借助統(tǒng)計(jì)軟件進(jìn)行求解 例題請參閱獸醫(yī)統(tǒng)計(jì)學(xué)P149150 豬的瘦肉量是豬育種工作中一個非常重要的指標(biāo)，一般認(rèn)為，豬的瘦肉量與豬的眼肌面積、胴體長、背膘厚有關(guān) 今根據(jù)三江白豬育種組對 54 頭雜種豬的資料，得到如下一級數(shù)據(jù)，試作多元回歸分析,x1：眼肌面積（cm2） x2：胴體長（cm） x3：背膘厚（cm） y：瘦肉量（kg）,其正規(guī)方程組的矩

5、陣形式是： 對系數(shù)矩陣進(jìn)行求逆，然后將逆左乘方程兩邊，即得解，進(jìn)一步求解 b0，即可寫出一個多元回歸方程,由于 因此，,三、多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤 求解多元回歸方程我們用的是最小二乘原理： 由于每一個 y 不可能與 相同，因此 Q 稱為多元離回歸平方和 Q 越大，表示 y 與 的差距越大，方程的預(yù)測效果就越差，因此可以用 Q 來表示多元回歸方程的預(yù)測效果，即多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤為： 其中，n 為樣本量，m 為自變量個數(shù),由于 因此， 本例中，,四、偏回歸系數(shù)標(biāo)準(zhǔn)誤 多元回歸方程求出后，應(yīng)對偏回歸系數(shù)進(jìn)行顯著性檢驗(yàn)： 為 b 的標(biāo)準(zhǔn)誤 其中， 為高斯乘數(shù)，即系數(shù)矩陣的逆 中主對角線上與每個

6、自變量相應(yīng)的元素,三個偏回歸系數(shù)的標(biāo)準(zhǔn)誤分別為： 對三個偏回歸系數(shù)進(jìn)行顯著性檢驗(yàn)：,將所有的自變量全納入多元回歸方程，這樣的多元回歸方程稱為全回歸方程 對每一個 bi 進(jìn)行檢驗(yàn)，將不顯著的自變量剔出方程，方程內(nèi)保留全部顯著的自變量，而方程外不再有顯著的自變量，這樣的多元回歸方程稱為“最優(yōu)”回歸方程 剔出不顯著的自變量后，方程應(yīng)作相應(yīng)的變化 統(tǒng)計(jì)軟件中，計(jì)算“最優(yōu)”回歸方程的常用方法為逐步回歸法,由于在一般情況下，我們都是借助于統(tǒng)計(jì)軟件進(jìn)行回歸分析，因此剔出不顯著的自變量后方程如何變化這里不再作介紹（參看書 PP151153） 本例中，由于第二個變量的偏回歸系數(shù)最不顯著，因此可將其首先剔除，對第

7、一、三個變量的偏回歸系數(shù)作相應(yīng)的變動，獲得一個包括第一、第三變量在內(nèi)的二元回歸方程： 有興趣的同學(xué)可以了解一下逐步回歸法的思路和解題步驟,第三節(jié) 相關(guān)分析,多元回歸方程建立以后，用這一方程來預(yù)測 y ，其準(zhǔn)確度如何，這種準(zhǔn)確度的度量，就是多元相關(guān)分析 用來進(jìn)行多元相關(guān)分析的指標(biāo)就是復(fù)相關(guān)指數(shù) R2 R 稱為復(fù)相關(guān)系數(shù)，它表示 y 與回歸方程中自變量線性組合關(guān)系的密切程度 而 R2 則是用多元回歸方程進(jìn)行預(yù)測的準(zhǔn)確程度,上例中，復(fù)相關(guān)指數(shù)為： R2 的分布范圍為 0，1 R2 的顯著性檢驗(yàn)為： 也可在求得 R 以后，將其與 r 附表中相應(yīng)的 r 值相比較，但要注意變量的個數(shù),如果 R r0.05

8、 ，表示 R 顯著 如果 R r0.01 ，表示 R 極顯著 這種比較與前頁的 F-test 的結(jié)果是相同的 本例的 R 為極顯著 FR = 9.493 我們也發(fā)現(xiàn)本例中的復(fù)相關(guān)指數(shù)雖然是極顯著的，但不足 50%，這說明，還有一些與豬的瘦肉量有關(guān)的因素還沒有被找到，因此還需要繼續(xù)尋找（研究），直到復(fù)相關(guān)指數(shù)超過 85%,第三節(jié) 多項(xiàng)式回歸,在曲線回歸分析中，有些曲線可以經(jīng)直線化轉(zhuǎn)換成直線方程來配置，有些則不能經(jīng)直線轉(zhuǎn)換，如多項(xiàng)式回歸 將多項(xiàng)式回歸方程中的每一項(xiàng) xi 看作是一個自變量xi 則多項(xiàng)式回歸可以轉(zhuǎn)換成多元回歸方程進(jìn)行求解 多變量的多項(xiàng)式同樣可以經(jīng)多元回歸進(jìn)行轉(zhuǎn)換 任何一個函數(shù)在一個不

9、大的范圍內(nèi)都可以用一個多項(xiàng)式作任意的逼近 即取適當(dāng)?shù)捻?xiàng)數(shù)所得到的多項(xiàng)式與任意函數(shù)方程兩者的曲線可以有理想的擬合效果,因此，在很多情況下，我們可以不考慮自變量與依變量的確切函數(shù)關(guān)系，而用合適的多項(xiàng)式來進(jìn)行分析 例：太陽光的紫外線強(qiáng)度隨時間的改變而改變，今測得某地 56 月份晴天一日內(nèi)不同時間的紫外線強(qiáng)度如下，試作回歸分析 時 間t 6 8 10 12 14 16 18 紫外線強(qiáng)度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48 畫散點(diǎn)圖，可以看出，紫外線強(qiáng)度與一日內(nèi)的時間大致呈拋物線關(guān)系，因而可以配置拋物線方程 今簡化數(shù)據(jù)，令,1.2 1.0 0.8 0.6 0.4 06 0

10、8 10 12 14 16 18,則一級數(shù)據(jù)為： 計(jì)算二級數(shù)據(jù)：,組建正規(guī)方程組： 解之，得： 將 代入，得： 計(jì)算各時間段的估測值，得下表,時 間t 6 8 10 12 14 16 18 紫外線強(qiáng)度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48 預(yù) 測 值 0.62 0.94 1.12 1.17 1.09 0.85 0.48 -0.02 0.06 -0.05 0.0 0.01 0.04 0.0 對該多項(xiàng)式方程作顯著性檢驗(yàn)：,復(fù)相關(guān)指數(shù) 該多項(xiàng)式回歸方程的估計(jì)標(biāo)準(zhǔn)誤為：,兩偏回歸系數(shù)的高斯乘數(shù)分別為： 因此 b1 和 b2 的標(biāo)準(zhǔn)誤分別為：,兩回歸系數(shù)的顯著性檢驗(yàn)： 即兩偏回歸系數(shù)均達(dá)到極顯著水平 如果拋物線方程的擬合效果還不理想，可用高次方中的任幾項(xiàng)進(jìn)行擬合，使復(fù)相關(guān)指數(shù)達(dá)到一個較理想的值 下面看一個實(shí)例：,研究飼料的含磷量與飼料系數(shù)的關(guān)系，得如下數(shù)據(jù)，試進(jìn)行回歸分析 含磷量x% 0.35 0.77 1.04 1.36 1.70 飼料系數(shù)y 2.65 2.01 1.77 2.25 4.27 配置拋物線方程，得方程 1： 增加高次方項(xiàng)，并進(jìn)行篩選，得方程 2： 顯然，方程 1 要好于方程 2，兩者的預(yù)測值也表明方程 2 要更接近于實(shí)測值：,含磷量x% 0.35 0.77 1.04 1.36 1.70 飼料系數(shù)y 2.65 2.01 1.77 2.25