多重線性回歸與相關完整PPT

多重線性回歸與相關content第一節(jié)

多重線性回歸的概念與統(tǒng)計推斷第二節(jié)假設檢驗及其評價第三節(jié)復相關系數(shù)與偏相關系數(shù)第四節(jié)

自變量篩選第五節(jié)多元線性回歸的應用與注意事項目的：作出以多個自變量估計應變量的多元線性回歸方程。資料：應變量為定量指標；自變量全部或大部分為定量指標，若有少量定性或等級指標需作轉換。用途：解釋和預報。更精確意義：由于事物間的聯(lián)系常常是多方面的，一個應變量的變化可能受到其它多個自變量的影響，如糖尿病人的血糖變化可能受胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂等多種生化指標的影響。第一節(jié)

多重線性回歸的概念與統(tǒng)計推斷變量：應變量1個，自變量k個，共k+1個。樣本含量：n數(shù)據(jù)格式見表13-1回歸模型一般形式：一、數(shù)據(jù)與多元線性回歸模型多元回歸分析數(shù)據(jù)格式

條件車流(X1)氣溫(X2)氣濕(X3)風速(X4)一氧化氮(Y)車流(X1)氣溫(X2)氣濕(X3)風速(X4)一氧化氮(Y)130020.0800.450.06694822.5692.000.005144423.0570.500.076144021.5792.400.01178626.5641.500.001108428.5593.000.003165223.0840.400.170184426.0731.000.140175629.5720.900.156111635.0922.800.039175430.0760.800.120165620.0831.450.059120022.5691.800.040153623.0571.500.087150021.8770.600.12096024.8671.500.039120027.0581.700.100178423.3830.900.222147627.0650.650.129149627.0650.650.145182022.0830.400.135106026.0581.830.029143628.0682.000.099143628.0682.000.099一般步驟建立回歸方程(樣本)(2)檢驗并評價回歸方程及各自變量的作用大小二、多元線性回歸方程的建立樣本估計而得的多重線性回歸方程bj為自變量Xj

的偏回歸系數(shù)（partialregressioncoefficient），是βj的估計值，表示當方程中其他自變量保持常量時，自變量Xj變化一個計量單位,反應變量Y的平均值變化的單位數(shù)。

求偏導數(shù)（一階）原理最小二乘法統(tǒng)計軟件包第二節(jié)假設檢驗及其評價

1.方差分析法：（一）對回歸方程

多元線性回歸方差分析表變異來源自由度SSMSFP回歸模型40.063960.0159917.59<.0001殘差190.017270.00090903總變異230.08123表13-2顯示，P<0.0001,拒絕H0。說明從整體上而言，用這四個自變量構成的回歸方程解釋空氣中NO濃度的變化是有統(tǒng)計學意義的。偏回歸系數(shù)的t檢驗偏回歸系數(shù)的t檢驗是在回歸方程具有統(tǒng)計學意義的情況下，檢驗某個總體偏回歸系數(shù)等于零的假設,以判斷是否相應的那個自變量對回歸確有貢獻

自變量篩選的標準與原則（3）t檢驗不準確，誤將應保留在模型中的重要變量舍棄。（4）估計值的正負符號與客觀實際不一致。偏回歸系數(shù)的t檢驗是在回歸方程具有統(tǒng)計學意義的情況下，檢驗某個總體偏回歸系數(shù)等于零的假設,以判斷是否相應的那個自變量對回歸確有貢獻目的：作出以多個自變量估計應變量的多元線性回歸方程。理論上最好，建議使用采用此法。第四節(jié)

自變量篩選自變量篩選的標準與原則1、非同質資料的合并問題（3）t檢驗不準確，誤將應保留在模型中的重要變量舍棄。對例13-1，由方差分析表可得：SSR=0.偏回歸系數(shù)的t檢驗是在回歸方程具有統(tǒng)計學意義的情況下，檢驗某個總體偏回歸系數(shù)等于零的假設,以判斷是否相應的那個自變量對回歸確有貢獻復相關系數(shù)：確定系數(shù)的算術平方根利用SAS對例13-1的四個偏回歸系數(shù)進行t檢驗與標準化偏回歸系數(shù)的結果如表13-3所示。標準化回歸系數(shù)

變量標準化是將原始數(shù)據(jù)減去相應變量的均數(shù)，然后再除以該變量的標準差。不同質：此時應按不同性別分別擬合回歸模型。多元線性回歸應用的注意事項利用SAS對例13-1的四個偏回歸系數(shù)進行t檢驗與標準化偏回歸系數(shù)的結果如表13-3所示。變量自由度回歸系數(shù)標準誤t值P值標準化偏回歸系數(shù)截距1-0.141660.06916-2.050.05460X110.000116190.000027484.230.00050.59249X210.004490.001902.360.02890.27274X31-0.000006550.00069083-0.010.9925-0.00110X41-0.034680.01081-3.210.0046-0.44770第三節(jié)復相關系數(shù)與偏相關系數(shù)

確定系數(shù)、復相關系數(shù)與調整確定系數(shù)復相關系數(shù)的平方稱為確定系數(shù)（coefficientofdetermination）,或決定系數(shù)，記為R2，用以反映線性回歸模型能在多大程度上解釋反應變量Y的變異性。其定義為

復相關系數(shù)：確定系數(shù)的算術平方根

對例13-1，由方差分析表可得：SSR=0.06396SSE=0.01727SST=0.08123表示變量Y與k個自變量（X1,X2,…Xk）的線性相關的密切程度。說明，用包含氣車流量、氣溫、氣濕與風速這四個自變量的回歸方程可解釋交通點空氣NO濃度變異性的78.74%。表示交通點空氣NO濃度與氣車流量、氣溫、氣濕與風速等四個變量的復相關系數(shù)為0.8703

調整的R2(AdjustedR-Square)當回歸方程中包含有很多自變量，即使其中有一些自變量（如本例中的X3

）對解釋反應變量變異的貢獻極小，隨著回歸方程的自變量的增加，R2

值表現(xiàn)為只增不減，這是復相關系數(shù)R2的缺點。調整的R2定義為偏相關系數(shù)冷飲銷售量（元）X1游泳人數(shù)（人）X2氣溫（oC）X3267722293978143045192431528106632618125333655136934690159335740176136780193137889223138996274939偏相關系數(shù)（partialcorrelationcoefficient）:一般地，扣除其他變量的影響后，變量Y與X的相關.表13-5空氣中NO濃度與各自變量的相關系數(shù)和偏相關系數(shù)自變量相關系數(shù)偏相關系數(shù)偏相關系數(shù)P值車流X10.808000.696200.0005氣溫X20.017240.476700.0289氣濕X30.27854-0.002180.9925風速X4-0.67957-0.592750.0046（二）對各自變量

指明方程中的每一個自變量對Y的影響（即方差分析和決定系數(shù)檢驗整體）。1.偏回歸平方和

各自變量的偏回歸平方和可以通過擬合包含不同自變量的回歸方程計算得到結果06396SSE=0.理論上最好，建議使用采用此法。表13-2顯示，P<0.目的：使得預報和（或）解釋效果好表13-2顯示，P<0.（1）參數(shù)估計值的標準誤變得很大，從而t值變得很小。利用SAS對例13-1的四個偏回歸系數(shù)進行t檢驗與標準化偏回歸系數(shù)的結果如表13-3所示。消除多重共線性：剔除某個造成共線性的自變量，重建回歸方程；第四節(jié)

自變量篩選第四節(jié)

自變量篩選第五節(jié)多元線性回歸的應用與注意事項標準化回歸系數(shù)

變量標準化是將原始數(shù)據(jù)減去相應變量的均數(shù)，然后再除以該變量的標準差。2.t檢驗法是一種與偏回歸平方和檢驗完全等價的一種方法。計算公式為結論標準化回歸系數(shù)

變量標準化是將原始數(shù)據(jù)減去相應變量的均數(shù)，然后再除以該變量的標準差。計算得到的回歸方程稱作標準化回歸方程，相應的回歸系數(shù)即為標準化回歸系數(shù)。

注意：

一般回歸系數(shù)有單位，用來解釋各自變量對應變量的影響，表示在其它自變量保持不變時，增加或減少一個單位時Y的平均變化量。不能用各來比較各對的影響大小。

標準化回歸系數(shù)無單位，用來比較各自變量對應變量的影響大小，越大，對的影響越大。第四節(jié)

自變量篩選

目的：使得預報和（或）解釋效果好自變量篩選的標準與原則

1.殘差平方和（SSE）縮小與確定系數(shù)（R2）增大2.殘差均方（SSE

）縮小與調整確定系數(shù)增大3.CP統(tǒng)計量選擇既具有較小CP值，在圖中又接近于CP=q直線的模型作為“最優(yōu)”的準則全局擇優(yōu)法目的：預報效果好意義：對自變量各種不同的組合所建立的回歸方程進行比較擇優(yōu)。選擇方法：逐步選擇法1.

1.前進法，回歸方程中的自變量從無到有、從少到多逐個引入回歸方程。這種選擇自變量的方法基于殘差均方縮小的準則，不一定能保證“最優(yōu)”.此法已基本淘汰。

2.

后退法，先將全部自變量選入方程，然后逐步剔除無統(tǒng)計學意義的自變量。剔除自變量的方法是在方程中選一個偏回歸平方和最小的變量，作F檢驗決定它是否剔除，若無統(tǒng)計學意義則將其剔除，然后對剩余的自變量建立新的回歸方程。重復這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。

3.逐步回歸法，逐步回歸法是在前述兩種方法的基礎上，進行雙向篩選的一種方法。該方法本質上是前進法。

第五節(jié)多元線性回歸的應用與注意事項多元線性回歸的應用多元線性回歸應用的注意事項1、非同質資料的合并問題

斜率相同（同質）：可以利用男、女合并的資料擬合共同的回歸模型；不同質：此時應按不同性別分別擬合回歸模型。2、指標的數(shù)量化

3、樣本含量:n=(5～10)m。

4、關于逐步回歸:對逐步回歸得到的結果不要盲目的信任，所謂的“最優(yōu)”回歸方程并不一定是最好的，沒有選入方程的變量也未必沒有統(tǒng)計學意義。例如，例15-3中若將選入標準和剔除標準定為和，選入的變量是，而不是，結果發(fā)生了改變。不同回歸方程適應于不同用途，依專業(yè)知識定。5、多重共線性

即指