第七章多元回歸分析詳解演示文稿

第七章多元回歸分析詳解演示文稿當前第1頁\共有45頁\編于星期三\8點優(yōu)選第七章多元回歸分析當前第2頁\共有45頁\編于星期三\8點第一節(jié)多元線性回歸第二節(jié)可化為多元線性回歸的問題第三節(jié)自變量的選擇與逐步回歸當前第3頁\共有45頁\編于星期三\8點第一節(jié)多元線性回歸多元線性回歸模型一般形式

其中，，，…，是p+1個未知參數(shù)，為回歸常數(shù)，，…，為回歸系數(shù)。y稱為被解釋變量,，…,是p個可以精確測量并可以控制的一般變量，稱為解釋變量當前第4頁\共有45頁\編于星期三\8點對一實際問題，若得到n組觀測數(shù)據(jù)（,,…,;）,i=1,2,…,n,則線性模型可表示為：當前第5頁\共有45頁\編于星期三\8點寫成矩陣形式y(tǒng)11x11x21…x1pY=y2x=1x12x22…x2pyn1x1nx2n…xnp

ξ

1

ξ

2e=…

ξ

n則Y=Xβ+e當前第6頁\共有45頁\編于星期三\8點一、多元線性回歸模型的基本假定解釋變量x1,x2,…,xp是確定性變量，不是隨機變量，而且rk(X)=P+1<n,表明矩陣X中的自變量列間無多重共線性隨機誤差項具有零均值和同方差E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2隨機誤差項在不同樣本點之間是相互獨立的，不存在序列相關(guān)cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

i)E(ξ

j)=0

當前第7頁\共有45頁\編于星期三\8點隨機誤差項與解釋變量之間不相關(guān)cov(xi,ξ

i)=0隨機誤差項的正態(tài)分布假定條件為

當前第8頁\共有45頁\編于星期三\8點二、回歸參數(shù)的估計設(shè)令即當前第9頁\共有45頁\編于星期三\8點當前第10頁\共有45頁\編于星期三\8點以上是通過使用最小二乘法（OLSE）對回歸參數(shù)進行的估計，得到的回歸參數(shù)的最小二乘估計為在正態(tài)假定下，回歸參數(shù)的最大似然估計（MLE）與最小二乘法（OLSE）是完全相同的當前第11頁\共有45頁\編于星期三\8點三、回歸方程的效果的檢驗方程顯著性檢驗回歸系數(shù)顯著性檢驗擬合優(yōu)度鏈接當前第12頁\共有45頁\編于星期三\8點1.方程顯著性檢驗(F檢驗)F檢驗是以方差分析為基礎(chǔ),對回歸總體線性關(guān)系是否顯著的一種假設(shè)檢驗,是解釋模型中被解釋變量與所有解釋變量之間的線性關(guān)系在總體上是否顯著的方法利用F統(tǒng)計量進行總體線性顯著性檢驗的步驟如下:(1)提出關(guān)于P個總體參數(shù)的假設(shè)H0:b1=b2=…=bp=0(2)構(gòu)造統(tǒng)計量(3)檢驗給定顯著性水平α,查F分布表若F>Fα,拒絕H0,表明回歸總體有顯著性關(guān)系.若F<Fα,接受原假設(shè),表明不存在線性關(guān)系當前第13頁\共有45頁\編于星期三\8點2.回歸系數(shù)顯著性檢驗回歸系數(shù)顯著性檢驗,是對每個解釋變量進行檢驗.如果解釋變量對被解釋變量的影響不顯著,應(yīng)從模型中刪除,如果解釋變量對被解釋變量的影響顯著,應(yīng)保留在模型中.利用t統(tǒng)計量進行參數(shù)顯著性檢驗的步驟如下:(1)對總體參數(shù)提出假設(shè):H0:bi=0(2)構(gòu)造統(tǒng)計量:（回歸標準差）(3)檢驗對給定α,若︱t︱>tα/2,說明拒絕原假設(shè)若︱t︱<tα/2,則接受原假設(shè).當前第14頁\共有45頁\編于星期三\8點當有多個自變量對因變量y無顯著影響時,可以剔除多余變量，但由于自變量間的交互作用，不能一次剔除所有不顯著變量。一般是將t值（絕對值）最小的變量刪除掉,每次只剔除1個變量,再對求得的新的回歸方程進行檢驗，直到保留的變量都對y有顯著影響為止。返回當前第15頁\共有45頁\編于星期三\8點3.擬合優(yōu)度擬合優(yōu)度用于檢驗回歸方程對樣本觀測值的擬合程度。樣本決定系數(shù)的取值在（0，1）區(qū)間內(nèi)，越接近1，回歸擬合的效果越好；越接近0，回歸擬合的效果越差。當前第16頁\共有45頁\編于星期三\8點四、復相關(guān)系數(shù)和偏相關(guān)系數(shù)復相關(guān)系數(shù)R是由SSR和SST構(gòu)造的統(tǒng)計量，用來表示回歸方程對原有數(shù)據(jù)擬合程度的好壞，衡量作為一個整體的x1,x2,…,xp與y的線性關(guān)系的大小。當前第17頁\共有45頁\編于星期三\8點復相關(guān)系數(shù)表示的是因變量與全體自變量之間的線性關(guān)系，它的符號不能由某一自變量的回歸系數(shù)的符號來確定，因而復相關(guān)系數(shù)都取正號。當前第18頁\共有45頁\編于星期三\8點其它變量被固定后，計算任意兩個變量之間的相關(guān)系數(shù)，這種相關(guān)系數(shù)稱為偏相關(guān)系數(shù)。當前第19頁\共有45頁\編于星期三\8點簡單相關(guān)系數(shù)只是一種數(shù)量表面上的相關(guān)系數(shù)，而并非本質(zhì)的東西。在多元回歸分析中，偏相關(guān)系數(shù)才真正反映因變量y與自變量以及自變量與的相關(guān)性的數(shù)量。返回當前第20頁\共有45頁\編于星期三\8點五、預測所謂預測就是給定解釋變量一組值通過建立的多元回歸模型，估計出對應(yīng)的1、y0的點預測：2、y0以概率（1-α）落在某區(qū)間的區(qū)間預測：其中為隨機誤差項的標準差當前第21頁\共有45頁\編于星期三\8點第二節(jié)可化為多元線性回歸的問題在自然科學中，y關(guān)于x的數(shù)量關(guān)系多數(shù)都不是簡單的線性關(guān)系，而是各種各樣的非線性關(guān)系，于是我們常會遇到非線性回歸模型，在非線性回歸模型中，一種類型是可以通過變量變換化為線性模型，然后按線性模型加以解決；另一種類型的非線性模型是用任何變量變換辦法都不能或不方便直接化為線性模型求得參數(shù)的估計值。當前第22頁\共有45頁\編于星期三\8點多項式函數(shù)Y=β0+β

1x+β

2x2+…+β

pxp設(shè)τi=xi則多項式化為:Y=β

0+β

1τ

1+β

2τ

2

+…+β

pτ

p多元冪函數(shù)y=αx1β1x2β2…xpβplny=lnα+β1lnx1+…+β

plnxp令z=lny,β

0=lnα,τi=lnxiz=β

0+β

1τ

1+β

2τ

2+…+β

pτ

p當前第23頁\共有45頁\編于星期三\8點指數(shù)函數(shù)y=a∏eβixi㏑y=㏑a+β

1x1+β

2x2+…+β

pxp

z=㏑y,β

0=㏑a,則z=β

0+β

1x1+β

2x2+…+β

pxp多元對數(shù)函數(shù)y=a+β

1㏑x1+β

2㏑x2+…+β

p㏑xp設(shè)τi=㏑xi,則y=a+β

1τ

1+β

2τ

2+…+β

pτ

p當前第24頁\共有45頁\編于星期三\8點指數(shù)函數(shù)與冪函數(shù)的積y=aexp{∑β

ixi}∏xibi㏑y=㏑a+β

1x1+β

2x2+…+β

pxp

+b1㏑x1+b2㏑x2+…+bp㏑xp令z=㏑y,β

0=㏑a,τi=㏑xi

z=β

0+β

1x1+β

2x2+…+β

pxp+b1τ

1+b2τ

2+…+bpτ

p當前第25頁\共有45頁\編于星期三\8點如果自變量相鄰數(shù)值之間大小間隔相等,而且相鄰樣本點對應(yīng)的因變量y的二次差分大致相同,則該總體可配合二次多項式函數(shù)如果是三次差分大致相同,則可配合三次多項式函數(shù)當前第26頁\共有45頁\編于星期三\8點第三節(jié)自變量選擇與逐步回歸在建立一個實際問題的回歸模型，我們應(yīng)該如何確定回歸自變量。如果遺漏了某些重要的變量，回歸方程的效果肯定不好。如果考慮過多的變量，在這些變量中有些自變量對問題研究可能不重要，有些變量可能與其它變量有很大程度的重疊。如果模型把這些變量也引入的話，不僅計算量增大，而且得到的回歸方程的穩(wěn)定性也很差，直接影響了回歸方程的應(yīng)用。當前第27頁\共有45頁\編于星期三\8點在實際應(yīng)用中，希望擬合這樣一個模型，它既能較好的反映問題的本質(zhì)，又包含盡可能少的自變量。這兩個方面的一個適當折中就是回歸方程的選取問題，其基本思想是在一定的準則下選取對因變量影響較為顯著的自變量，建立一個既合理又簡單實用的回歸模型。當前第28頁\共有45頁\編于星期三\8點在前面，我們認為殘差平方和最小和復相關(guān)系數(shù)來衡量回歸擬合的好壞。因為當引入的自變量的個數(shù)增大時，殘差平方和隨之減少，而復相關(guān)系數(shù)也隨之增大。因此如果按上述原則來選擇自變量，不論什么變量多取就行。但是由于變量之間的多重共顯性，給自變量的估計值帶來了不穩(wěn)定性，加上變量的抽樣誤差積累將是y值得估計值誤差增大。當前第29頁\共有45頁\編于星期三\8點一窮舉法所謂窮舉法就是從所有可能的回歸方程中按一定的準則選取最優(yōu)的一個或幾個。設(shè)在一個實際問題的回歸模型中，如果有m個可供選擇的變量，由于每個變量都有入選和不入選兩種情況，這樣y關(guān)于這些自變量的所有可能的回歸方程就有個，這其中包括只包含常數(shù)項的這種情況。下面給出幾種選取準則：當前第30頁\共有45頁\編于星期三\8點1從擬合的角度考慮的準則[準則1]自由度調(diào)整復決定系數(shù)達到最大。當給模型增加自變量時，復相關(guān)系數(shù)的增大是以殘差自由度的減少為代價的。隨著自由度的減少，模型估計和預測的可靠性也在降低。調(diào)整復決定系數(shù)其中，為樣本容量，為自變量的個數(shù)。當前第31頁\共有45頁\編于星期三\8點顯然有，隨著自變量的增加并不一定增大。因為隨著變量的增加而減少，但由于其前面的系數(shù)起折扣作用，使得隨著自變量的增加并不一定增加。當所增加的自變量對y不產(chǎn)生影響時，反而可能減少。在一個實際問題的回歸建模中，自由度調(diào)整復決定系數(shù)越大，所對應(yīng)的回歸方程越好。當前第32頁\共有45頁\編于星期三\8點[準則2]平均殘差平方和達到最小。平均殘差平方和是指對應(yīng)于模型中的估計，其中為自變量的個數(shù)。在此無偏估計式中加入了懲罰因子，它體現(xiàn)了對自變量個數(shù)的增加所施加的懲罰。當前第33頁\共有45頁\編于星期三\8點一開始自變量個數(shù)開始增加時，雖然因子增大了，但此時減少很多，故總起來說還是減少的。當自變量增加到一定程度，重要的自變量基本上都已選上了，這時再增加自變量，減少不多，以至于抵消不了的增加，最終導致了的增加。隨著自變量個數(shù)的增加，平均殘差平方和是先減小后增大的趨勢。當前第34頁\共有45頁\編于星期三\8點用平均殘差平方和來衡量回歸方程的擬合優(yōu)度，應(yīng)該用最小者所對應(yīng)的回歸子集為最優(yōu)方程。在自由度調(diào)整的復相關(guān)系數(shù)中，由于。由于分母并不隨p的變化而變化，因而使達到最小的準則和使調(diào)整的復相關(guān)系數(shù)達到最大是等價的。當前第35頁\共有45頁\編于星期三\8點2從極大似然估計方法考慮的準則[準則3]赤池信息量AIC達到最小。AIC既可以用于時間序列分析中的自回歸模型的定階上，也可以用來作回歸方程自變量的選擇。AIC=，其中是與自變量個數(shù)無關(guān)的常數(shù)。當前第36頁\共有45頁\編于星期三\8點在回歸分析的建模過程中，對每一個回歸子集計算AIC，其中最小者所對應(yīng)的模型是“最優(yōu)”回歸模型。由于在正態(tài)假定下，參數(shù)的OLSE與MLE是一致的，因此，AIC準則在OLSE的情況下也是適用的。當前第37頁\共有45頁\編于星期三\8點3從預測的角度考慮的準則[準則4]統(tǒng)計量達到最小。馬勒斯從預測的角度提出的。統(tǒng)計量為，其中，為考慮到所有因素的全模型中的無偏估計。選擇最小最小的自變量子集，這個子集對應(yīng)的回歸方程就是最優(yōu)回歸方程。當前第38頁\共有45頁\編于星期三\8點理論上，從所有可能的回歸方程中選擇應(yīng)該是最好的方法。但是，窮舉法所要擬合的回歸方程數(shù)隨自變量數(shù)目的增加而成倍增加，因此當自變量的數(shù)目較大時，計算量很大以至于難以實現(xiàn)。在這種情況下，逐步回歸是一種可行的選擇最優(yōu)回歸方程的方法。當前第39頁\共有45頁\編于星期三\8點二逐步回歸一、“最優(yōu)”回歸方程的選擇1.回歸方程中包含盡量多的信息2.回歸方程中包含盡量少的變量方法：逐步剔除的回歸分析方法逐步引入的回歸分析方法“有進有出”的回歸分析方法(逐步回歸分析方法)當前第40頁\共有45頁\編于星期三\8點逐步剔除法（backward）1、用全部m個變量建立一個回歸方程2、對每個變量的回歸系數(shù)進行F檢驗，選m個系數(shù)中F值最小者記為。如果有，則考慮把剔除。3、對剩余的m-1自變量重新建立回歸方程，再檢驗……4、直至回歸方程中的變量的F檢驗值都大于，沒有可剔除的變量為止。這時候的得到的回歸方程就是最重確定的方程。當前第41頁\共有45頁\編于星期三\8點逐步剔出法有明顯的不足。一開始把全部自變量引入回歸方程，計算量很大。如果有些自變量不太重要，一開始就不