統(tǒng)計(jì)學(xué)多元回歸分析方法

1、多元線性回歸分析在數(shù)量分析中，經(jīng)常會(huì)看到變量與變量之間存在著一定的聯(lián)系。要了解變量之間如何發(fā)生相互影響的， 就需要利用相關(guān)分析和回歸分 析?；貧w分析的主要類型：一元線性回歸分析、多元線性回歸分析、 非線性回歸分析、 曲線估計(jì)、 時(shí)間序列的曲線估計(jì)、 含虛擬自變量的 回歸分析以及邏輯回歸分析等。1.1 回歸分析基本概念相關(guān)分析和回歸分析都是研究變量間關(guān)系的統(tǒng)計(jì)學(xué)課題。在應(yīng)用 中，兩種分析方法經(jīng)常相互結(jié)合和滲透， 但它們研究的側(cè)重點(diǎn)和應(yīng)用 面不同。在回歸分析中，變量 y 稱為因變量，處于被解釋的特殊地位；而在相關(guān)分析中， 變量 y 與變量 x 處于平等的地位， 研究變量 y 與變 量 x 的密切程

2、度和研究變量 x 與變量 y 的密切程度是一樣的。在回歸分析中，因變量y是隨機(jī)變量，自變量x可以是隨機(jī)變量, 也可以是非隨機(jī)的確定變量；而在相關(guān)分析中，變量x和變量y都是 隨機(jī)變量。相關(guān)分析是測(cè)定變量之間的關(guān)系密切程度， 所使用的工具是相關(guān)系數(shù)；而回歸分析則是側(cè)重于考察變量之間的數(shù)量變化規(guī)律， 并通 過(guò)一定的數(shù)學(xué)表達(dá)式來(lái)描述變量之間的關(guān)系， 進(jìn)而確定一個(gè)或者幾個(gè) 變量的變化對(duì)另一個(gè)特定變量的影響程度。具體地說(shuō)，回歸分析主要解決以下幾方面的問(wèn)題。1）通過(guò)分析大量的樣本數(shù)據(jù)，確定變量之間的數(shù)學(xué)關(guān)系式。2）對(duì)所確定的數(shù)學(xué)關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并區(qū)分 出對(duì)某一特定變量影響較為顯著的變量和影

3、響不顯著的變量。3）利用所確定的數(shù)學(xué)關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值來(lái)預(yù)測(cè)或 控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確度。作為處理變量之間關(guān)系的一種統(tǒng)計(jì)方法和技術(shù)，回歸分析的基本 思想和方法以及“回歸（ Regression ）”名稱的由來(lái)都要?dú)w功于英國(guó) 統(tǒng)計(jì)學(xué) F Galt on (1822 1911)。在實(shí)際中，根據(jù)變量的個(gè)數(shù)、變量的類型以及變量之間的相關(guān)關(guān) 系，回歸分析通常分為一元線性回歸分析、 多元線性回歸分析、 非線 性回歸分析、 曲線估計(jì)、 時(shí)間序列的曲線估計(jì)、 含虛擬自變量的回歸 分析和邏輯回歸分析等類型。1.2 多元線性回歸 1.2.1 多元線性回歸的定義一元線性回歸

4、分析是在排除其他影響因素或假定其他影響因素確 定的條件下，分析某一個(gè)因素（自變量）是如何影響另一事物（因變 量）的過(guò)程，所進(jìn)行的分析是比較理想化的。其實(shí)，在現(xiàn)實(shí)社會(huì)生活 中，任何一個(gè)事物（因變量）總是受到其他多種事物（多個(gè)自變量） 的影響。一元線性回歸分析討論的回歸問(wèn)題只涉及了一個(gè)自變量，但在實(shí) 際問(wèn)題中， 影響因變量的因素往往有多個(gè)。 例如，商品的需求除了受平均日照自身價(jià)格的影響外， 還要受到消費(fèi)者收入、 其他商品的價(jià)格、 消費(fèi)者 偏好等因素的影響； 影響水果產(chǎn)量的外界因素有平均氣溫、時(shí)數(shù)、平均濕度等。因此，在許多場(chǎng)合，僅僅考慮單個(gè)變量是不夠的，還需要就一個(gè) 因變量與多個(gè)自變量的聯(lián)系來(lái)進(jìn)行考

5、察，才能獲得比較滿意的結(jié)果。這就產(chǎn)生了測(cè)定多因素之間相關(guān)關(guān)系的問(wèn)題。研究在線性相關(guān)條件下，兩個(gè)或兩個(gè)以上自變量對(duì)一個(gè)因變量的 數(shù)量變化關(guān)系， 稱為多元線性回歸分析， 表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公 式，稱為多元線性回歸模型。多元線性回歸模型是一元線性回歸模型的擴(kuò)展，其基本原理與一 元線性回歸模型類似， 只是在計(jì)算上更為復(fù)雜， 一般需借助計(jì)算機(jī)來(lái) 完成。1.2.2 多元線性回歸模型 1.2.2.1 元線性回歸模型及其矩陣表示設(shè) y 是一個(gè)可觀測(cè)的隨機(jī)變量，它受到 p 個(gè)非隨機(jī)因索Xi,X2,Xp和隨機(jī)因素的影響，若y與Xi,X2,Xp有如下線性關(guān)系：y 0 1X1pxp1.1)其中E(y) 0iXip

6、xp0, 1,p是P 1個(gè)未知參數(shù)， 是不可測(cè)的隨機(jī)誤差，且通常假定 N（0， 2）. 我們稱式（ 1.1 ）為多元線性回歸模型 . 稱 y 為被 解釋變量（因變量），Xi（i 1,2, ,p）為解釋變量（自變量）1.2) 為理論回歸方程 .對(duì)于一個(gè)實(shí)際問(wèn)題，要建立多元回歸方程，首先要估計(jì)出未知參01其中為此我們要進(jìn)行 n 次獨(dú)立觀測(cè)，得到 n 組樣本數(shù)據(jù),xip;yi) ， i1,2,n ，他們滿足式（ 1.1 ），即有y1 01x112x12px1p1y2 01x212x22px2 p2yn01xn12xn2pxnpnp(xi1,xi2,N(0,2).1.3)12n相互獨(dú)立且都服從式（ 1

7、.3 ）又可表示成矩陣形式：1.4)這里，丫(y1, y2,yn)T，(0,1, p)T ，( 1, 2,n)T， Nn(0,2In），In為n階單位矩陣.1 x11 x12x1p1 x21 x22Xx2p1xn1xn2xnpn （p 1）階矩陣 X 稱為資料矩陣或設(shè)計(jì)矩陣，并假設(shè)它是列滿秩的， 即 rank (X) p 1.由模型（1.3 ）以及多元正態(tài)分布的性質(zhì)可知，丫仍服從n維正態(tài)分布，它的期望向量為X，方差和協(xié)方差陣為2In，即丫 Nn(X ,2In ).1.2.2.2 參數(shù)的最小二乘估計(jì)及其表示 參數(shù)的最小二乘估計(jì)與一元線性回歸時(shí)的一樣，多元線性回歸方程中的未知參數(shù)0， 仁p仍然可用

8、最小二乘法來(lái)估計(jì)，即我們選擇,p)T使誤差平方和nQ( )? i2i 1n(yii 1(Y X )T(Y X )1Xi12xi2p xip )達(dá)到最小.由于Q()是關(guān)于p的非負(fù)二次函數(shù)，因而必定存在最小值，利用微積分的極值求法，得這里？(i 0,1, ,p)是 i(i0,1,p)的最小二乘估計(jì).上述對(duì)Q()求Qi()9(t?x?x? x )2(yi'01xi12Xi2p Xip )0i1Q(?)1n2i 1(yi?0?1xi1?2Xi2?pXip )Xi1Q(?)kn2i 1(yi?0?1Xi1?2 Xi 2?pXip) XkQ(?)n2(yi?0?1Xi1?2 Xi 2'p

9、Xip ) xpn0000i 1p偏導(dǎo)，求得正規(guī)方程組的過(guò)程可用矩陣代數(shù)運(yùn)算進(jìn)行，得到正規(guī)方程組的矩陣表示:Xt(Y X?)0移項(xiàng)得XTX ? xty稱此方程組為正規(guī)方程組.依據(jù)假定R(X) P 1，所以R(XtX) R(X) p 1 .故(XTX) 1存在.解正規(guī)方程組(1 . 5)得? (XTX)1xty(1.6)稱? ?0 ? X1?2X2?pXp為經(jīng)驗(yàn)回歸方程.2 .誤差方差trIn X(XTX) 1XT 2n tr(XTX) 1XTX 2(n P 1) .估計(jì)量的性質(zhì)性質(zhì)1?為 的線性無(wú)偏估計(jì)，且D( ?) Var( ?)2(XTX) 1 .證 由于？(XTX)収丁Y是丫的線性函數(shù)，

10、故其為線性估計(jì)，且的估計(jì)將自變量的各組觀測(cè)值代入回歸方程，可得因變量的估計(jì)量(擬 合值)為Y (?1,y2, ,y?p)2 X?向量 e Y Y? Y X? In X(XTX) 1XtY (In H )Y 稱為殘差向量,其中H X(XTX) 1XT為n階對(duì)稱幕等矩陣，In為n階單位陣.稱數(shù) eTe YT(In H)Y YTY?txty為殘差平方和(E rror Sum ofSquares,簡(jiǎn)寫為 SSE).由于 E(Y) X 且(In H )X0，則E(eTe)Etr T(IH) tr(In H)E( T)從而F 一1eTe為n p 12的一個(gè)無(wú)偏估計(jì).E(?) (XTX)1XTE(Y) ?

11、(XTX) 1XTXD( ?) (XTX) 1XTD(Y)XT(XTX) 1 2(XTX) 1這一性質(zhì)說(shuō)明 ?為 的線性無(wú)偏估計(jì)，又由于(XTX) 1一般為非對(duì)角陣，故 ?的各個(gè)分量間一般是相關(guān)的性質(zhì)2 E(e) O,D(e) 2(1 H).(I H )X OH)證 由于 e (I H )Y ，故 E(e) (I H)E(Y)T2D(e) (I H )D(Y)(I H )T2(I這一性質(zhì)表明殘差向量的各個(gè)分量間一般也是相關(guān)的性質(zhì) 3 Cov(e, ?) O .證 Cov(e, ?) Cov(I H)Y,(XT X) 1XTY)(I H)D(Y)X(X TX) 1 O這一性質(zhì)表明殘差 e 與 的

12、最小二乘估計(jì) ?是不相關(guān)的，又由于殘差平方和SSE是e的函數(shù)，故它與?也不相關(guān) 在正態(tài)假定下不相關(guān)與獨(dú)立等價(jià)，因而 SSE 與 ?獨(dú)立性質(zhì)4E( SSE) (n p 1)證明略性質(zhì)5(G auss-Markov定理)在假定 E(Y) X ， D(Y) 2In時(shí)， 的任一線性函數(shù) T 的最小方差線性無(wú)偏估計(jì) (BLUE )為 T ?其中 是任一 p 1維向量， ?是 的最小二乘估計(jì)性質(zhì)6 當(dāng)Y： Nn(X , 2I),有以下幾點(diǎn)結(jié)論:1) ?: N( , 2(XTX) 1) ；2)SSE 與 ?獨(dú)立；3) SSE: 2(n p 1)性質(zhì)5、性質(zhì)6的證明參見(jiàn)周紀(jì)薌回歸分析或方開泰實(shí)用 回歸分析1.

13、2.3 回歸方程和回歸系數(shù)的顯著性檢驗(yàn)給定因變量y與xi, X2,xp的n組觀測(cè)值，利用前述方法確定線性回歸方程是否有意義， 還有待于顯著性檢驗(yàn) 下面分別介紹回歸方 程顯著性的F檢驗(yàn)和回歸系數(shù)的t檢驗(yàn)，同時(shí)介紹衡量回歸擬合程度 的擬合優(yōu)度檢驗(yàn)1.2.3.1 回歸方程顯著性的檢驗(yàn)對(duì)多元線性回歸方程作顯著性檢驗(yàn)就是要看自變量X1, X2,Xp從整體上對(duì)隨機(jī)變量y是否有明顯的影響，即檢驗(yàn)假設(shè):H 0 ： 12LP 0H1： i0,1ip如果H0被接受，貝y表明y與X1, X2,Xp之間不存在線性關(guān)系.為了說(shuō)明如何進(jìn)行檢驗(yàn)，我們首先建立方差分析表1 .離差平方和的分解我們知道：觀測(cè)值y1 , y2 ,

14、 , yn之所以有差異，是由于下述兩個(gè)原因引起的，一是y與X1, X2,Xp之間確有線性關(guān)系時(shí)，由于X1, X2,Xp取值的不同而引起yi(i 1,2,., n)值的變化；另一方面是除去y與X1, X2，Xp的線性關(guān)系以外的因素，女口X1, X2，,xp對(duì)y的非線性影響以及隨機(jī)因素的影響等yi，則數(shù)據(jù)的總(1.7)(1. 8 )離差平方和(Total Sum of SquaresnSST(Vi y)2i 1反映了數(shù)據(jù)的波動(dòng)性的大小.殘差平方和nSST (Yi ? )2i 1反映了除去y與x1, X2,xp之間的線性關(guān)系以外的因素引起的數(shù)據(jù)Y1, Y2,yn的波動(dòng).若SSE 0 ,則每個(gè)觀測(cè)值可

15、由線性關(guān)系精確擬合，SSE越大，觀測(cè)值和線性擬合值間的偏差也越大.回歸平方和(Regression Sum of Squres)n(1.9)SSR (? y)2i 1彳n由于可證明1?i y，故SSR反映了線性擬合值與它們的平均n i 1值的宗偏差，即由變量X1, X2,Xp的變化引起 兒y2,yn的波動(dòng).若SSR 0 ,則每一個(gè)擬合值均相當(dāng)，即？不隨X1, X2，Xp而變化，這意味著1L p 0 .利用代數(shù)運(yùn)算和正規(guī)方程組(4.8 )可以證明:(1.10)n(yii 1y)2nn(? y)2(yi ?)2i 1i 1SST SSR SSE因此，SSR越大，說(shuō)明由線性回歸關(guān)系所描述的 兒y2,

16、yn的波動(dòng)性的比例就越大即y與X1, X2,Xp的線性關(guān)系就越顯著.線性模型的擬合效果越好.另外，通過(guò)矩陣運(yùn)算可以證明 SST SSE SSR有如下形式的矩陣表示:SST YTY Y TJ Y Y T(In J) YnnSSE eTe YTYXTY YT(ln H )Y11SSRXTY YTJY Y T(H -J) Ynn(1.11)其中J表示一個(gè)元素全為1的n階方陣.2.自由度的分解對(duì)應(yīng)于SST的分解，其自由度也有相應(yīng)的分解，這里的自由度是指平方中獨(dú)立變化項(xiàng)的數(shù)目.在SST中，由于有一個(gè)關(guān)系n式(yi y) 0,即y y(i 1,2,L , n)彼此并不是獨(dú)立變化的，故i 1其自由度為n 1

17、.可以證明，SSE的自由度為n P 1，SSR的自由度為P,因(1.12)此對(duì)應(yīng)于SST的分解，也有自由度的分解關(guān)系n 1 (n P 1) P3.方差分析表基于以上的SST和自由度的分解，可以建立方差分析表 1.1方差來(lái)源平方和自由度均方差F值SSRT1Y (H -J)Y nPMSR SSRPMSR F MSESSEYT(IH )Yn p 1SSEMSE n p 1SSTT1YT(I -J) Ynn 11.2.3.2線性回歸方程的顯著性檢驗(yàn)與一元線性回歸時(shí)一樣，可以用F統(tǒng)計(jì)量檢驗(yàn)回歸方程的顯著性, 也可以用P值法(P-Value )作檢驗(yàn).F統(tǒng)計(jì)量是(1.13)F MSR SSR/ pMSE

18、SSE/( n p 1)當(dāng)Ho為真時(shí)，F(xiàn)F( p,n p 1)，給定顯著性水平，查F分布表得臨 界值F(p,n P 1)，計(jì)算F的觀測(cè)值F0，若F0 F (p,n p1)，則接受H 0,即在顯著性水平 之下，認(rèn)為y與X1, X2,xp的線性關(guān)系就不顯著；當(dāng)F0 F ( p,n P 1)時(shí)，這種線性關(guān)系是顯著的.利用P值法作顯著性檢驗(yàn)性檢驗(yàn)十分方便：這里的 P值是P（F F。），表示第一、第二自由度分別為P, n P 1的F變量取值大于Fo的概率，利用計(jì)算機(jī)很容易計(jì)算出這個(gè)概率，很多統(tǒng)計(jì)軟件（如SPSS都給出了檢驗(yàn)的P值,這省去了查分布表的麻煩，對(duì)于給定的顯著性水平，若 p ，則拒絕H 0，反之

19、，接受H 0.如果檢驗(yàn)的結(jié)果是接受原假設(shè) Ho，那意味著什么呢？這時(shí)候表明，與模型的誤差相比，自變量對(duì)因變量的影響是不重要的 .這可能 有兩種情況 . 其一是模型的各種誤差太大，即使回歸自變量對(duì)因變量y 有一定的影響，但相比于誤差也不算大 . 對(duì)于這種情況，我們要想 辦法縮小誤差， 比如檢查是否漏掉了重要的自變量， 或檢查某些自變 量與y是否有非線性關(guān)系等；其二是自變量對(duì) y的影響確實(shí)很小，這時(shí)建立y與諸自變量的回歸方程沒(méi)有實(shí)際意義.1.2.3.3 回歸系數(shù)的顯著性檢驗(yàn) y有顯著地影響，可能其中的某個(gè)或某些自變量對(duì)y的影響并不顯著?；貧w方程通過(guò)了顯著性檢驗(yàn)并不意味著每個(gè)自變量Xi (i 1,2

20、, L , p)都對(duì)我們自然希望從回歸方程中剔除那些對(duì) y的影響不顯著的自變量，從 而建立一個(gè)較為簡(jiǎn)單有效地回歸方程 這就需要對(duì)每一個(gè)自變量作考 察.顯然，若某個(gè)自變量x對(duì)y無(wú)影響，那么在線性模型中，它的系 數(shù)i應(yīng)為零.因此檢驗(yàn)x的影響是否顯著等價(jià)于檢驗(yàn)假設(shè)H0 : i 0,H1: i 0由性質(zhì)6可知：卩：N（巴2（xx）1）若記 p 1階方陣 C （cij） （XX） 1，則有于是當(dāng)Ho成立時(shí)，有: N(0,1)因?yàn)轶模?(n p 1),且與叫相互獨(dú)立，根據(jù)t分布的定義，有ti +: t(n p 1)這里.，對(duì)給定的顯著性水平，當(dāng)|ti| t,(n p 1)時(shí)，我們0 P 111/2拒絕Ho

21、 ；反之，則接受Ho .在SPSS軟件的輸出結(jié)果中，可以直接從 p值看出檢驗(yàn)結(jié)果.對(duì)于估計(jì)量片，我們還想了解它與i的接近程度如何.這就需要確定i的置信區(qū)間.由于丿： t(n p 1),因而有pt邸n p 1) 1 ，即得i的置信度為1的置信區(qū)間為(片、禺卩妊，片t左妁123.4 因變量的預(yù)測(cè)還有一建立回歸方程，除了解自變量與因變量之間的相依關(guān)系之外,項(xiàng)重要的應(yīng)用就是預(yù)測(cè),即對(duì)給定的自變量的值，預(yù)測(cè)對(duì)應(yīng)的因變量的值.對(duì)于線性回歸模型XiLpXp當(dāng)我們要預(yù)測(cè)xo(1,X01,X02,Lxop)所對(duì)應(yīng)的因變量值yo時(shí)，我們可以用他的點(diǎn)預(yù)測(cè)值$0?0片xoiL?pXop ,但我們一般更感興趣的是yo的

22、區(qū)間估計(jì).可以證明:W y0八:t(n P 1)LU1 r L /x0 (XX) 1xo因而對(duì)給定的，有p0 y吋 1 UU(XX)1x0tjnP 1) 1由此可得y。的置信度為1的預(yù)測(cè)區(qū)間為(yo t(n p1.2.3.5擬合優(yōu)度；uu 廠J un 1r1)沖 x。(XX) xo, yO t攤(n p 1)吋 1 xo (XX) xo)擬合優(yōu)度用于檢驗(yàn)?zāi)Ｐ蛯?duì)樣本觀測(cè)值的擬合程度.在前面的方差分析中，我們已經(jīng)指出，在總離差平方和中，若回歸平方和占的比例越大，則說(shuō)明擬合效果越好.于是，就用回歸平方和與總離差平方和的比例作為評(píng)判一個(gè)模型擬合優(yōu)度的標(biāo)準(zhǔn)，稱為樣本決定系數(shù)(coefficie nt o

23、f determ in ation )(或稱為復(fù)相關(guān)系數(shù))，記為 r2 .2 SSR SSER 1 SST SST由R2的意義看來(lái)，其他越接近于1,意味著模型的擬合優(yōu)度越高。于是，如果在模型中增加一個(gè)自變量，R2的值也會(huì)隨之增加,這會(huì)給人一種錯(cuò)覺(jué)：要想模型擬合效果好，就得盡可能多引進(jìn)自變量.為了防止這種傾向，人們考慮到，增加自變量必定使得自由度減少,于是又定義了引入自由度的修正的復(fù)相關(guān)系數(shù)，記為R2.R21 M3EMSTssh, (n p 1)1 SST/(n 1)在實(shí)際應(yīng)用中，R2達(dá)到多大才算通過(guò)了擬合優(yōu)度檢驗(yàn)，沒(méi)有絕對(duì)的標(biāo)準(zhǔn)，要看具體情況而定。模型擬合優(yōu)度并不是判斷模型質(zhì)量的 唯一標(biāo)準(zhǔn)，有

24、時(shí)為了追求模型的實(shí)際意義，可以在一定程度上放寬對(duì) 擬合優(yōu)度的要求.123.6數(shù)據(jù)的中心化和標(biāo)準(zhǔn)化在多兀線性回歸分析中，所涉及道德諸多自變量往往量綱不同， 甚至差別很大，這給利用回歸方程分析實(shí)際問(wèn)題帶來(lái)一定困難. 為此,我們可以將數(shù)據(jù)進(jìn)行中心化和標(biāo)準(zhǔn)化處理，然后再建立回歸方程.數(shù)據(jù)的中心化處理方法是：記Xj、y為各個(gè)自變量與因變量的樣本中心值，令XjXij Xj, i1,2,L ,n; j 1,2,L , pViVi y, i1,2,L ,n如果利用沒(méi)有中心化處理之前的數(shù)據(jù)建立的多元回歸方程為?o ?X1 ?X2 L?PXP(4.19)那么經(jīng)過(guò)中心化處理的數(shù)據(jù)建立的回歸方程即為?入?X1?X2

25、L?PXP(4.20)這一點(diǎn)不難理解：數(shù)據(jù)的中心化處理相當(dāng)于將坐標(biāo)原點(diǎn)移至樣本 中心，而坐標(biāo)系的平移不改變直線的斜率，只改變了截距.Xij亠數(shù)據(jù)的標(biāo)準(zhǔn)化處理公式是:p, i 1,2,L ,n; j 1,2,L ,pJXij Xj)2Vi J y=, i 1,2,L , n Jy y)2(4.21)標(biāo)準(zhǔn)化的數(shù)據(jù)建立的回歸方程記為?為X2L?p Xp容易驗(yàn)證方程(4.21)與(4.19)的系數(shù)之間存在關(guān)系式j(luò)Jifj 汀ji1(yi y)2j, j 1,2,L , p1.2.4殘差分析在前面討論線性回歸問(wèn)題時(shí)，我們做了回歸模型的線性假定、誤 差的正態(tài)性和同方差性假定等，而實(shí)際問(wèn)題中所得的數(shù)據(jù)是否符

26、合這 些假定，還有待于檢驗(yàn).在本節(jié)和下一節(jié)中，將要解決兩個(gè)問(wèn)題：首 先是如何驗(yàn)證這些假定是否得到滿足？如果符合假定的話， 那么參數(shù) 的估計(jì)和有關(guān)的假設(shè)檢驗(yàn)都是可靠的；如果假定不滿足，我們要解決 另一個(gè)重要的問(wèn)題，即我們需采取怎樣的措施呢？在對(duì)模型的假定進(jìn) 行診斷時(shí)，殘差分析(又稱回歸診斷)起著十分重要的作用殘差向量e y ? (In H)y，這里H X(XTX) 1XT，前面已經(jīng)介紹過(guò)殘差的基本性質(zhì)，如E(e) O,Var(e)山H) 2,Cov(?,e) O等，由于實(shí)際問(wèn)題中，真正的觀測(cè)誤差i y E(yi) (i 1,2,L , n)我們并不知道,但如果模型正確，則可將e近似看作為i，此時(shí)

27、殘差e應(yīng)該能夠大致 反映誤差i的特性.因而我們可以利用殘差的特點(diǎn)來(lái)考察模型的可靠通過(guò)對(duì)殘差進(jìn)行分析，可以在一定程度上回答下列問(wèn)題:(1)回歸函數(shù)線性假定的可行性;(2)誤差項(xiàng)的等方差假設(shè)的合理性;誤差項(xiàng)獨(dú)立性假設(shè)的合理性;誤差項(xiàng)是否符合正態(tài)分布;觀測(cè)值中是否存在異常值;是否在模型中遺漏了某些重要的自變量做殘差分析時(shí)我們經(jīng)常借助于殘差圖，它是以殘差 e為縱坐標(biāo)，?、Xi 以以其他指定的量為橫坐標(biāo)做出的散點(diǎn)圖.常用的橫坐標(biāo)有: 及觀測(cè)時(shí)間或序號(hào)由殘差的分布可知，一般來(lái)講6|,倉(cāng)丄，en之間是相關(guān)的，且它們的 方差不等，從而直接用e作比較就帶來(lái)一定的麻煩，為此，人們引入標(biāo)準(zhǔn)化殘差和學(xué)生化殘差概念，以

28、改進(jìn)普通殘差的性質(zhì).分別定義如 下:標(biāo)準(zhǔn)化殘差：ZREi e / ?，學(xué)生化殘差：SREe /?JF （其中h是矩陣H的第i個(gè)對(duì)角元素）陳希孺等人曾指出,SREi,SRE2,L ,SREn近似獨(dú)立，且近似服從N（0,1），即可以近似認(rèn)為SREi,SRE2,L ,SREn是來(lái)自N(0,1)的隨機(jī)子樣.1.2.4.1回歸函數(shù)線性的診斷診斷回歸函數(shù)是否為自變量Xi,X2丄,Xp的線性函數(shù)時(shí)，主要采用殘差圖?, e.如果在這個(gè)散點(diǎn)圖中，點(diǎn)（？,ei）大致在e 0附近隨機(jī)變化（即無(wú)明顯的趨勢(shì)性），并在變化幅度不大的水平帶狀區(qū)域內(nèi)，如圖04.2（ a）所示，則可以認(rèn)為回歸函數(shù)的線性假定基本上是合理的.如果

29、這個(gè)散點(diǎn)圖類似于圖4.2 （b）,貝y表明回歸函數(shù)并非線性形狀，應(yīng) 該包含某些變量的高次項(xiàng)或交叉乘積項(xiàng)，或者考慮是否可先將y和某 些自變量做變換，再建立相應(yīng)的線性回歸模型圖4.2回歸散點(diǎn)圖1.2.4.2 誤差方差齊性（homogeneity）的檢驗(yàn)我們可以采用殘差圖yi e來(lái)判斷誤差方差是否齊性，若殘差圖類似于圖4.2（a），則可以認(rèn)為方差齊性的假設(shè)大致是成立的.如果殘 差圖類似于圖4.3，則方差齊性的假定不成立.圖4.3（a）、（b）分別 表示誤差方差隨自變量的變化而增加或減少.如果方差齊性的假定不 能滿足，通常有三種可以采用的處理方法.一是采用加權(quán)最小二乘法 估計(jì)模型參數(shù)；二是Box-Co

30、x變換法；這種情況的處理沒(méi)有一般的方 法，詳細(xì)過(guò)程請(qǐng)參閱近代回歸分析（陳希孺等，1987）.下面我們 分一元和多元的情況簡(jiǎn)要介紹加權(quán)最小二乘法對(duì)于一元線性回歸方程來(lái)說(shuō)，普通最小二乘法的離差平方和為ee(b)z.V圖4.3誤差方差隨自變量變化圖n2Q( 0,1)( yi 01xi)i 1加權(quán)最小二乘法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù)i,以消除方差非齊性的影響，即n2Q (0,1)i (yi 01xi)i 1(4.22)這里觀測(cè)值的權(quán)數(shù)應(yīng)該是誤差項(xiàng)方差的倒數(shù)，即i 1/ 2i.在實(shí)際問(wèn)題的研究中，2i通常是未知的，但是，當(dāng)誤差項(xiàng)方差隨自變量水平以系統(tǒng)的形式變化時(shí)，我們可以利用這種關(guān)系.例如，若2ik

31、x2i , 其中k為比例系數(shù)，由于這個(gè)系數(shù)在參數(shù)估計(jì)中可以消除，所以我們 取權(quán)數(shù)為i l/x2i.如果某個(gè)實(shí)際問(wèn)題的誤差方差與x的幕函數(shù)xm成比例，其中，m為待定參數(shù)，此時(shí)可取權(quán)數(shù)為i 1/Xmi，利用SPSS軟件包可以確定幕函數(shù)的最優(yōu)取值.在打開一個(gè)數(shù)據(jù)文件之后，依次點(diǎn)選 Statistics宀 RegressionWeight Estimation 進(jìn)入估計(jì)權(quán)函數(shù) 對(duì)話框，默認(rèn)的幕指數(shù)m的取值為m 2, 1.5, 1, 0.5,0,0.5,1,1.5,2，這個(gè)默認(rèn)值可以更改.先將自變量x與因變量y選入各自的變量框，再把x 選入Weight變量框，可得最優(yōu)幕指數(shù)值.多元線性回歸模型的加權(quán)離差

32、平方和為inQi (yi01xi1i1Lpxip)4.23)多元線性回歸模型中有多個(gè)自變量，通常取權(quán)函數(shù) 為某個(gè)自變 量Xi（i 1,2,L , p）的幕函數(shù)，即取 x：，在Xi,X2丄，Xp這p個(gè)自變量中,應(yīng)該取哪一個(gè)自變量呢？這只需要計(jì)算每一個(gè)自變量與普通殘差的 等級(jí)相關(guān)系數(shù)（ Spearman 相關(guān)系數(shù)），選取等級(jí)相關(guān)系數(shù)最大的那 個(gè)自變量構(gòu)造權(quán)函數(shù) .然后利用與一元回歸情形相同的方法確定最優(yōu) 的冪指數(shù) m 1.2.4.3 誤差獨(dú)立性的檢驗(yàn)在回歸模型中，我們總是堅(jiān)定誤差項(xiàng)是不相關(guān)的，即Cov（ i, j ） 0,i j 如果某個(gè)回歸模型的誤差項(xiàng)不滿足這一點(diǎn)， 則我們 稱其存在自相關(guān) （或

33、序列相關(guān)） 現(xiàn)象當(dāng)一個(gè)回歸模型的隨機(jī)誤差項(xiàng) 存在自相關(guān)時(shí)，會(huì)產(chǎn)生以下不良的后果：1）參數(shù)的估計(jì)量不再具有最小方差線性無(wú)偏性； 2）變量的顯著性檢驗(yàn)失去意義；3）模型的預(yù)測(cè)失效 .自相關(guān)性的檢驗(yàn)方法有多種， 目前比較常用的有 Durbin-Watson ， 但它僅適用于一階自相關(guān)的情況，即隨機(jī)擾動(dòng)項(xiàng)具有如下形式i i 1 ui4.24)由于實(shí)際問(wèn)題中的 i 未知，所以我們首先采用普通最小二乘法估 計(jì)模型，然后用殘差 ei 近似代替 i 來(lái)判斷是否存在自相關(guān)性 . 為了檢驗(yàn)自相關(guān)性，構(gòu)造的假設(shè)是Ho :0而構(gòu)造的統(tǒng)計(jì)量為:n(4.25 )(e ei)2n2e ii 2DW i 2計(jì)算出該統(tǒng)計(jì)量的數(shù)

34、值之后，根據(jù)樣本容量n和自變量數(shù)目P查DW分布表，得到臨界值dl和du ,然后按照下列準(zhǔn)則考察計(jì)算得到的 DW值，可以判斷模型的自相關(guān)狀態(tài).準(zhǔn)則：若0DWdl，則存在正自相關(guān)若dlDW du ,不能確定du DW 4 dl ,不能確定dl DW 4 ,存在負(fù)自相關(guān)從上面的準(zhǔn)則可以看出，當(dāng)值為2左右時(shí)，模型一般不存在一階自相關(guān).而且，經(jīng)驗(yàn)表明，如果模型不存在一階自相關(guān)，一般也不存 在咼階序列相關(guān).如果模型存在自相關(guān)，首先要查明原因.如果是回歸模型選用不 當(dāng)，則應(yīng)該用適當(dāng)?shù)幕貧w模型；如果是缺少重要的自變量，則應(yīng)加入 相應(yīng)的自變量.如果以上方法都不能消除自相關(guān)性，貝懦要采用新的 方法估計(jì)模型，如廣義

35、最小二乘法、差分法、迭代法、移動(dòng)平均法等 等，在此只介紹一階差分法和迭代法.對(duì)其他方法有興趣的讀者可以 參閱時(shí)間序列方面的教材或著作.差分法用增量數(shù)據(jù)代替原來(lái)的樣本數(shù)據(jù)，將原來(lái)的回歸模型變?yōu)椴罘中问降哪Ｐ?. 一階差分法適用于原模型存在較高程度的一階自相 關(guān)的情況 .令 yiyi 1yi, xk,ixk,i 1xk,i,k 1,2,L , p;i 1,2,L ,n 1建立y關(guān)于xk的線性回歸方程y 1 x12 x2L p xp(4.26)如果這個(gè)差分模型通過(guò)了各種檢驗(yàn)和診斷， 就可以利用它代替原模型做預(yù)測(cè).這里以一元線性回歸模型為例介紹迭代法.先求出y關(guān)于x的一元線性回歸方程?0 iX，計(jì)算出

36、殘差01,02丄,en之間的一階自相關(guān)系數(shù) ，再令yiyi 1yi,xixi 1xi, i 1,2,L ,n 1建立 y 關(guān)于 x 的一元線性回歸方程 y 01 x ，通過(guò)殘差ei ,02 ,L ,eni檢驗(yàn)這個(gè)回歸方程是否存在自相關(guān)，如果y之間不相關(guān),則迭代結(jié)束；如果存在自相關(guān)，則需計(jì)算殘差e1 ,e2 ,L ,e n 1 之間的自 相關(guān)系數(shù)，重復(fù)上述步驟，直到因變量序列不存在自相關(guān)性為止1.2.4.4 誤差項(xiàng)正態(tài)性的檢驗(yàn)檢驗(yàn)總體分布是否為正態(tài)分布的方法比較多，下面介紹其中的兩種.在前面我們指出過(guò)，當(dāng) y : N(X , 2I n )時(shí)，標(biāo)準(zhǔn)化殘差SRE,SRR丄，SREn可近似看成來(lái)自N(

37、0,1)的隨機(jī)子樣，從而可通過(guò)檢驗(yàn)SRE,SRE2丄，SREn所屬總體是否為N(0,1)來(lái)檢驗(yàn)?zāi)Ｐ驼`差的正態(tài)性.方法一：頻率檢驗(yàn)法.可以粗略的統(tǒng)計(jì)一下SRE,SRE2丄，SREn中正負(fù)個(gè)數(shù)是否大致各占 一半，介于（-1,1）間的比例是否約為68%介于（-2,2）間的比例是否 為95%介于（-3,3）間的比例是否約為99%不過(guò)這種方法比較粗糙.方法二：正態(tài)概率圖檢驗(yàn)法.首先，將殘差e,e2,L g從小到大排列為（1）,（2）丄，q n）；其次，對(duì)于q（i）每個(gè)i 1,2,L , n,計(jì)算q（i） ?Z（i 0.5/n），其中Z（i 0.5/n）為標(biāo)準(zhǔn)正態(tài)分布的下側(cè)i 0.5/n分位數(shù)，即滿足4

38、“72n然后，以q為縱坐標(biāo)，e為橫坐標(biāo)做散點(diǎn)圖，即為殘差的正態(tài)概率圖 從直觀上看，如果點(diǎn)（q（i）,e（i） （i 1,2,L , n）基本落在一條直線上，貝何認(rèn)為誤差正態(tài)性的假定是合理的.當(dāng)然還可以進(jìn)一步計(jì)算qi）和q（i）（i 1,2,L ,n）之間的相關(guān)系數(shù)來(lái)判斷它們之間的線性關(guān)系的強(qiáng)弱，若 相關(guān)系數(shù)接近于1,則說(shuō)明點(diǎn)（q（i）,qi）近似落在一條直線上.1.2.4.5 多重共線性的處理多元線性回歸模型中，假定自變量之間線性無(wú)關(guān)，因而資料矩陣X 是滿秩的.如果存在不全為零的P個(gè)常數(shù)C1,L ,Cp，使得C1Xi1 C2Xi2 LCpXip0, i 1,2,L ,n則自變量X1,X2,L

39、,xp之間存在著完全的多重共線（Multicollinearity）.在實(shí)際問(wèn)題中完全共線性的情況并不多見(jiàn),常見(jiàn)的是近似的多重共線關(guān)系，即存在不全為零的P個(gè)常數(shù)C1,L ,cp ,使得CiXiiQXi2LCpxip0, i 1,2,L , n如果回歸模型y 01X1 LpXp存在完的多重共線性，則資 料陣X的秩rank(X) p 1，故(XTX) 1不存在,無(wú)法得到回歸參數(shù)的估xTx計(jì)量.對(duì)于近似多重共線性的情況，此時(shí)雖有ran k(X) p 1，但0 ,從而矩陣(xTx)1的主對(duì)角線上的元素很大，使得估計(jì)的參數(shù)向量？的協(xié)方差陣D( ?2(XTX) 1的對(duì)角線上元素也很大，導(dǎo)致普通最小二乘參數(shù)

40、估計(jì)量并非有效.如何檢驗(yàn)是否存在多重共線性？已經(jīng)由不少的可行的方法，目前 常用的有方差擴(kuò)大因子法和特征根判別法.在此只介紹方差擴(kuò)大因子(VIF)法.對(duì)自變量做中心標(biāo)準(zhǔn)化處理，則XTX (rj)為自變量的相關(guān)矩陣,C (Cj) (XTX )1稱其對(duì)角線元素VIFjCij1/(1 Rj2) (j 1,2,L , p)為自變量Xj的方差擴(kuò)大因子(Variance In flation Factor )，其中Rj2是把Xj作為因變 量與其余P 1個(gè)自變量做線性回歸所得到的復(fù)相關(guān)系數(shù).VIFj反映了沒(méi)個(gè)變量所受到的多重共線性的影響的大小.對(duì)每一個(gè)自變量Xj，都 有VIFj 1.也可以用P個(gè)自變量所對(duì)應(yīng)得

41、方差擴(kuò)大因子的平均數(shù)來(lái)度 d P量多重共線性.當(dāng)VIF VIFj遠(yuǎn)遠(yuǎn)大于1時(shí)，就表示存在嚴(yán)重的多 P j 1重共線性問(wèn)題.當(dāng)發(fā)現(xiàn)自變量存在嚴(yán)重的多重共線性時(shí)，可以通過(guò)剔除一些不重要的自變量、增大樣本容量、 對(duì)回歸系數(shù)做有偏估計(jì) （如采用嶺回法、 主成分法、偏最小二乘法等）等方法來(lái)克服多重共線性1.2.5 自變量的選擇與逐步回歸在前面討論了線性回歸模型的估計(jì)方法和檢驗(yàn)問(wèn)題，但在應(yīng)用回 歸分析處理實(shí)際問(wèn)題時(shí)， 首先要解決的問(wèn)題是自變量的選擇和回歸函 數(shù)的選擇 . 由于本書中，我們只介紹線性回歸模型，在此，我們主要 考慮自變量的選擇問(wèn)題 .在多元線性回歸分析中，一方面，為了獲得較全面的信息，我們 總

42、是希望模型中包含盡可能多的自變量； 另一方面， 考慮到自變量越 多，收集數(shù)據(jù)存在困難以及成本大大增加， 加之，有些自變量與其他 自變量作用重疊 . 如果把它們都引入模型，不只是增加了計(jì)算量，還 對(duì)模型參數(shù)的估計(jì)和模型的預(yù)測(cè)帶來(lái)不利影響 . 這樣一來(lái)，我們自然 希望模型中選人最合適的自變量， 建立起既合理又簡(jiǎn)單實(shí)用的回歸模 型. 下面我們介紹一些自變量選擇的準(zhǔn)則，以及相應(yīng)的“最優(yōu)”自變 量子集的計(jì)算方法 .1.2.5.1 自變量選擇對(duì)估計(jì)和預(yù)測(cè)的影響設(shè)我們研究某一實(shí)際問(wèn)題時(shí)，根據(jù)經(jīng)驗(yàn)或?qū)I(yè)知識(shí)，確定一切可 能對(duì)因變量y有影響的因素共有P個(gè)，記為Xi,X2,L ,Xp，它們與y 起構(gòu)成線性回歸模型

43、y 01x1pxp4.33)我們稱這個(gè) y 與所有自變量的回歸模型為全模型 .如果我們從所有可供選擇的P個(gè)變量中挑出q個(gè)，記為Xi,X2,L ,xq ,4.34)建立如下的回歸模型y 01x1Lqxq我們稱其為選模型 .利用回歸分析解決問(wèn)題時(shí)，自變量的選擇問(wèn)題可以看成是應(yīng)該采 用全模型還是選模型去描述實(shí)際問(wèn)題 . 下面我們不加證明的給出幾個(gè) 結(jié)論，說(shuō)明自變量的選擇對(duì)參數(shù)估計(jì)和對(duì)因變量預(yù)測(cè)的影響（1） 模型正確而誤用選模型的情況 .結(jié)論 1：當(dāng)全模型正確時(shí)，選模型的回歸系數(shù)的最小二乘估計(jì)是 全模型相應(yīng)參數(shù)的有偏估計(jì)，選模型的預(yù)測(cè)也有偏的結(jié)論 2：當(dāng)全模型正確時(shí)，選模型的參數(shù)估計(jì)和預(yù)測(cè)殘差以及均

44、方誤差都有較小的方差 .2）選模型正確而誤用全模型的情況 . 如果選模型正確，怎其參數(shù)估計(jì)和預(yù)測(cè)值都是無(wú)偏的， 此時(shí)全模型的參數(shù)估計(jì)和預(yù)測(cè)都是有偏 估計(jì). 而且，全模型的預(yù)測(cè)值的方差和均方差都要大于選模型的相應(yīng)、” 八方差.以上結(jié)論的證明參見(jiàn)近代回歸分析 （陳希孺等， 1987）.上述結(jié)論告訴我們，建立回歸方程時(shí)，丟掉那些對(duì)因變量影響不 大，或雖有影響，但難于觀測(cè)的自變量是有利的1.2.5.2 自變量的選擇準(zhǔn)則若在一個(gè)回歸問(wèn)題中有m個(gè)變量可供選擇，那么我們可以建立 C個(gè)不同的一元線性回歸方程，cm個(gè)不同的二元線性回歸方程,cm個(gè)m元線性回歸方程，所有可能的回歸方程共有cm cm L c： 2m

45、 1個(gè)，前面提到的多元線性回歸中選變量也即選模型，即從這2m 1個(gè)回歸方程中選取“最優(yōu)”的一個(gè)，為此就需要有選擇的準(zhǔn)則F面從不同的角度給出選擇的準(zhǔn)則.從擬合角度考慮，可以采用修正的復(fù)相關(guān)系數(shù)達(dá)到最大的準(zhǔn)則準(zhǔn)則1修正的復(fù)相關(guān)系數(shù)R2達(dá)到最大.與這個(gè)準(zhǔn)則等價(jià)的準(zhǔn)則是：均方殘差 MSE達(dá)到最小，因?yàn)镽：1 MSESSTn 1從這個(gè)關(guān)系式容易看出，£達(dá)到最大時(shí)MSE達(dá)到最小.從預(yù)測(cè)角度考慮，可以采用預(yù)測(cè)平方和達(dá)到最小的準(zhǔn)則以及Cp準(zhǔn)準(zhǔn)則2預(yù)測(cè)平方和PRESSp達(dá)到最小.預(yù)測(cè)平方和(Prediction Sum of Squares)準(zhǔn)則的基本思想是:對(duì)于給定的某P個(gè)自變量X1,X2,L ,x

46、p，在樣本數(shù)據(jù)中刪除第i組觀測(cè)值(Xi1,Xi2丄，Xip； y)后利用這p個(gè)自變量和y的其余n 1組觀測(cè)值建立線性回歸方程，并利用所得的回歸方程對(duì)y做預(yù)測(cè)，若記此預(yù)測(cè)值為?，則預(yù)測(cè)誤差為diyiy(i)依次取i 1,2,L ,n，則得到n個(gè)預(yù)測(cè)誤差.如果包含這p個(gè)自變量的回歸模型預(yù)測(cè)效果較好，則所有di（i 12L , n）的誤差平方和達(dá)到或接近最小即選取PRESSp使得nP RESS pdi2i 1n(yi?(i)2i 1(4.35)達(dá)到或接近最小的回歸方程作為最優(yōu)回歸方程準(zhǔn)則3 （準(zhǔn)則） 定義Cp統(tǒng)計(jì)量為Cp A (n 2p 2)p MSE(x1，X2，L ,Xm)(4.36)其中SSE

47、p是包含P個(gè)自變量的回歸方程的殘差平方和，MSE（X1,X2,L ,xm）表示含有所有m個(gè)自變量的回歸方程的均方殘差.Cp準(zhǔn)則要求選擇Cp值小，且 Cp p小的回歸方程.從極大似然估計(jì)的角度考慮，可以采用赤池信息量準(zhǔn)則（AIC準(zhǔn)則）.準(zhǔn)則4 （AIC準(zhǔn)則）赤池信息量達(dá)到最小.這個(gè)準(zhǔn)則由日本統(tǒng)計(jì)學(xué)家赤池（Akaike）提出，人們稱它為AkaikeImformation Criterion，簡(jiǎn)稱為AIC.AIC準(zhǔn)則通常定義為AIC 2l nL(?,x) 2p(4.37)其中L（?,x）表示模型的對(duì)數(shù)似然函數(shù)的極大值，P表示模型中獨(dú)立的參數(shù)的個(gè)數(shù).在實(shí)用中，也經(jīng)常用下式計(jì)算赤池信息量AIC nin

48、(SSE p) 2p(4.38)選擇AIC值最小的回歸方程為最優(yōu)回歸方程.1.2.5.3 逐步回歸當(dāng)自變量的個(gè)數(shù)不多時(shí)，利用某種準(zhǔn)則，從所有可能的回歸模型 中尋找最優(yōu)回歸方程是可行的 . 但若自變量的數(shù)目較多時(shí)，求出所有 的回歸方程式很不容易的 . 為此，人們提出了一些較為簡(jiǎn)便實(shí)用的快 速選擇最優(yōu)方程的方法，下面我們簡(jiǎn)單的介紹一下“前進(jìn)法”和“后 退法”，再詳細(xì)介紹“逐步回歸法”1. 前進(jìn)法和后退法前進(jìn)法的思想是這樣的：設(shè)所考慮的回歸問(wèn)題中，對(duì)因變量y 有 影響的自變共有m個(gè)，首先將這m個(gè)自變量分別與y建立m個(gè)一元線 性回歸方程， 并分別計(jì)算出這 m 個(gè)一元回歸方程的偏 F 檢驗(yàn)值， 記為F1

49、(1),F2(1),L ,Fm(1) ，若其中偏 F 值最大者(為方便敘述起見(jiàn)，不妨設(shè)為F1(1) )所對(duì)應(yīng)的一元線性回歸方程都不能通過(guò)顯著性檢驗(yàn)，則可以認(rèn) 為這些自變量不能與y建立線性回歸方程；若該一元方程通過(guò)了顯著 性檢驗(yàn)，則首先將變量xi引入回歸方程；接下來(lái)由y與xi以及其他自 變量 Xj (j 1)建立 m 1個(gè)二元線性回歸方程對(duì)這 m 1個(gè)二元回歸方程中的X2,X3,L ,Xm的回歸系數(shù)做偏F檢驗(yàn)，檢驗(yàn)值記為F2(2),F3(2),L ,Fm2)，x2若其中最大者(不妨設(shè)為F2(2)通過(guò)了顯著性檢驗(yàn)，則又將變量 X2引入回歸方程， 依此方法繼續(xù)下去， 直到所有未被引入方程的自變量的 偏 F 值都小于顯著性檢驗(yàn)的臨界值，即再