多元線性回歸模型分析一

第三章多元線性回歸模型**多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第1頁(yè)!多元線性回歸模型是我們課程的重點(diǎn)，原因在于：

多元線性回歸模型應(yīng)用非常普遍；原理和方法是理解更復(fù)雜計(jì)量經(jīng)濟(jì)學(xué)模型的基礎(chǔ)；內(nèi)容較為豐富。從而，我們應(yīng)不遺余力地學(xué)，甚至是不遺余力地背?。?！多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第2頁(yè)!本章主要內(nèi)容多元線性回歸模型的描述參數(shù)的OLS估計(jì)OLS估計(jì)量的有限樣本性質(zhì)參數(shù)估計(jì)量的方差-協(xié)方差矩陣和隨機(jī)誤差項(xiàng)方差2的估計(jì)單方程模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型實(shí)例多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第3頁(yè)!1、多元線性回歸模型的形式由于在實(shí)際經(jīng)濟(jì)問(wèn)題中，一個(gè)變量往往受到多個(gè)原因變量的影響；“從一般到簡(jiǎn)單”的建模思路。所以，在線性回歸模型中的解釋變量有多個(gè)，至少開始是這樣。這樣的模型被稱為多元線性回歸模型。多元線性回歸模型參數(shù)估計(jì)的原理與一元線性回歸模型相同，只是計(jì)算更為復(fù)雜。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第4頁(yè)!

在研究中，我們根本無(wú)法了解式（1）所示的總體模型的特征，而只能通過(guò)樣本特征來(lái)近似考察。設(shè)經(jīng)過(guò)n次試驗(yàn)，得到n個(gè)樣本，如下所示：

y1

x11x12

…x1k

y2

x21x22

…x2k

……yn

xn1xn2

…xnk

從而得到表達(dá)式如下：Yi=xi11

+xi22+…+xikk

+i(2)其中，式（1）稱為總體線性模型；式（2）稱為樣本線性模型。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第5頁(yè)!（1）線性性。即要求模型關(guān)于參數(shù)是線性的，關(guān)于擾動(dòng)項(xiàng)是可加的。

（2）滿秩。說(shuō)明解釋變量之間是線性無(wú)關(guān)的，這一假設(shè)很重要，在后面會(huì)經(jīng)常受到。（3）回歸性。x與不相關(guān)。（4）x的DGP是外生的。x相對(duì)于y是外生的，是非隨機(jī)的。（5）球形擾動(dòng)。同方差性和非自相關(guān)性。（6）正態(tài)假設(shè)。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第6頁(yè)!偏回歸系數(shù)的含義如下：

1度量著在X2,X3,…,Xk保持不變的情況下，X1每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化，或者說(shuō)1給出X1的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。其他參數(shù)的含義與之相同。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第7頁(yè)!

需要說(shuō)明的是，如果令x1≡1，則1便是常數(shù)項(xiàng)。習(xí)慣上把常數(shù)項(xiàng)看成為一個(gè)虛變量的系數(shù)，在參數(shù)估計(jì)過(guò)程中該虛變量的樣本觀測(cè)值始終取1。通常，一定要假設(shè)在模型中有常數(shù)項(xiàng)，即盡量讓模型包含常數(shù)項(xiàng)，以中心化誤差。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第8頁(yè)!我們的模型是：

殘差為：一、參數(shù)的OLS估計(jì)普通最小二乘估計(jì)原理：使樣本殘差平方和最小Y=x11

+x22+…+xkk

+

關(guān)鍵問(wèn)題是選擇的估計(jì)量b（或），使得殘差平方和最小。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第9頁(yè)!按矩陣形式，上述方程組可表示為：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第10頁(yè)!

上述結(jié)果，亦可從矩陣表示的模型出發(fā)，完全用矩陣代數(shù)推導(dǎo)出來(lái)。

其中：殘差可用矩陣表示為：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第11頁(yè)!注意到上式中所有項(xiàng)都是標(biāo)量，且與采用標(biāo)量式推導(dǎo)所得結(jié)果相同。因?yàn)閤是滿秩的（假設(shè)2），所以（X‘X）-1存在。所以，得到的估計(jì)為用向量展開或矩陣微分法（前導(dǎo)不變后導(dǎo)轉(zhuǎn)置），我們可得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：令故多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第12頁(yè)!

注意到上述條件只是極小化問(wèn)題的必要條件，為了判斷充分性，我們需要求出目標(biāo)函數(shù)的Hessian矩陣

：

如果這個(gè)Hessian矩陣是正定的，則可以判斷所得到的解是唯一的最小二乘解。顯然，根據(jù)正定矩陣的定義或者正定矩陣的判斷準(zhǔn)則，可知當(dāng)矩陣的滿秩條件滿足時(shí)，矩陣是正定的，因此最小二乘解的充分性成立。從而，OLS估計(jì)量為：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第13頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第14頁(yè)!（3）的證明方法1因?yàn)棣瞖i=0，所以對(duì)兩邊求和即可。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第15頁(yè)!回憶一元線性回歸模型多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第16頁(yè)!

由于或然函數(shù)的極大化與或然函數(shù)的對(duì)數(shù)的極大化是等價(jià)的，所以，取對(duì)數(shù)或然函數(shù)如下：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第17頁(yè)!對(duì)數(shù)似然函數(shù)為參數(shù)的極大似然估計(jì)

結(jié)果與參數(shù)的普通最小二乘估計(jì)相同

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第18頁(yè)!同理，方差的估計(jì)量是樣本的二階中心矩?，F(xiàn)在，考慮一元線性回歸模型中的假設(shè)條件：其所對(duì)應(yīng)的樣本矩條件分別為：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第19頁(yè)!解此正規(guī)方程組即得參數(shù)的估計(jì)量，這種估計(jì)方法稱為矩估計(jì)。其參數(shù)估計(jì)結(jié)果與OLS一致。樣本形式：用每個(gè)解釋變量分別乘以模型的兩邊，并對(duì)所有樣本點(diǎn)求和，即得到：

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第20頁(yè)!得到一組矩條件求解這組矩條件，即得到參數(shù)估計(jì)量與OLS、ML估計(jì)量等價(jià)多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第21頁(yè)!廣義矩估計(jì)中，矩條件的個(gè)數(shù)大于參數(shù)個(gè)數(shù)，會(huì)出現(xiàn)什么問(wèn)題呢？

過(guò)度識(shí)別則必須想辦法調(diào)和出現(xiàn)在過(guò)度識(shí)別系統(tǒng)中相互沖突的估計(jì)。那如何解決呢？

廣義矩估計(jì)的思想是使得樣本矩與總體矩的加權(quán)距離（即馬氏距離）最小。主要是考慮到不同的矩所起的作用可能不同。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第22頁(yè)!注意：GMM估計(jì)是一個(gè)大樣本估計(jì)。在大樣本的情況下，GMM估計(jì)量是漸進(jìn)有效的，在小樣本情況下是無(wú)效的。所以，只有在大樣本情況下，才能使用GMM方法進(jìn)行參數(shù)估計(jì)。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第23頁(yè)!顯然，矩陣M的作用是，它乘積作用在某個(gè)向量y上，就可以得到這個(gè)向量y基于數(shù)據(jù)變量的最小二乘回歸的殘差向量，因此經(jīng)常將這個(gè)矩陣稱為“殘差生成矩陣”(residualmaker)。這里需要注意M的定義和所作用的變量，是所作用變量關(guān)于M定義中數(shù)據(jù)矩陣的回歸殘差。即多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第24頁(yè)!這說(shuō)明最小二乘回歸與殘差是正交的。因此，這樣的分解是正交分解，也就是說(shuō)最小二乘的擬合值向量和殘差向量是正交的(意味著這兩個(gè)向量之間的夾角為垂角)。這時(shí)也可以得到：這里矩陣也是一個(gè)對(duì)稱冪等矩陣，我們稱其為投影矩陣(projectmatrix)，它是由矩陣X構(gòu)成的，并且它如果乘積作用到向量y上，則可以得到y(tǒng)基于變量X的最小二乘回歸的擬合值。這也是向量y在矩陣X的各列生成的線性空間上的投影。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第25頁(yè)!為了更好地理解上述定義和公式，我們將一些有用的結(jié)論歸納為下述命題：命題1在線性模型的最小二乘估計(jì)中，可以得到：（1）P+M=I（顯然）（2）PM=MP=0，即矩陣P與M是正交的。

證明：因?yàn)镻=I-M，所以PM=（I-M）M=M-M2=0

（3）矩陣P具有自投影不變性，即PX=X。（4）向量y可以通過(guò)投影進(jìn)行正交分解，即分解為投影和殘差：y=Py+My。

證明：y=Iy=（P+M）y=Py+My，投影和殘差是正交的

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第26頁(yè)!（7）殘差平方和也可以表示為：

證明：根據(jù)（5）式，可得而且可推知，又因?yàn)閑=y-Xb，則有

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第27頁(yè)!請(qǐng)問(wèn)：根據(jù)模型得到的b1，是否與根據(jù)模型得到的b1相等？思考多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第28頁(yè)!從而，正規(guī)方程組X‘Y=X’Xb變成：從而得到多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第29頁(yè)!以上結(jié)果也可以直接計(jì)算得到：

由正規(guī)方程組得到：根據(jù)個(gè)方程得到多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第30頁(yè)!定理1：正交分塊回歸

在變量y基于兩部分變量X1和X2進(jìn)行多元線性回歸時(shí)，如果這兩個(gè)變量之間是正交的，則X1和X2的回歸系數(shù)可以通過(guò)單獨(dú)進(jìn)行y基于X1的回歸系數(shù)和基于X2的回歸系數(shù)得到。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第31頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第32頁(yè)!這個(gè)過(guò)程一般被稱為變量X1作用的“擠出”或者“分離”過(guò)程。出于這個(gè)原因，多元回歸系數(shù)經(jīng)常被稱為偏回歸系數(shù)(partialregressioncoefficients)。對(duì)于這個(gè)情形的一種特例，我們考慮向量Y基于一組變量X和一個(gè)附加變量Z的最小二乘回歸問(wèn)題。這時(shí)最小二乘系數(shù)表示為b和c。這種情形下的結(jié)果可以由下述推論得到：

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第33頁(yè)!例子：在下列模型中Earnings=a+b*education+c*age+d*age2+e第二個(gè)系數(shù)b如何得到？多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第34頁(yè)!通常將

稱為中心化矩陣。從矩陣結(jié)構(gòu)可以看出，其與變量X無(wú)關(guān)，只是一個(gè)數(shù)據(jù)轉(zhuǎn)換工具，其中的矩陣Jn被稱為列求和矩陣。例子：

中心化矩陣是對(duì)稱冪等矩陣嗎？其是否滿秩？

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第35頁(yè)!四、偏回歸與偏相關(guān)系數(shù)

（partialregressionandpartialcorrelationcoefficients

）多元回歸的用途之一，是提供了一個(gè)概念性框架，用以解決實(shí)踐中難以進(jìn)行的實(shí)驗(yàn)，就象經(jīng)濟(jì)學(xué)中的“其他假設(shè)不變”(ceterisparibus)的分析。

比如說(shuō)，在收入與教育關(guān)系的多元線性回歸模型中，我們能夠比較兩個(gè)年齡完全相同，但教育水平不同的人的收入，即使我們的樣本中并不包含這樣的個(gè)體數(shù)據(jù)。這就是偏回歸系數(shù)的特征。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第36頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第37頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第38頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第39頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第40頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第41頁(yè)!關(guān)于兩個(gè)模型y=xd+zc+u和y=xb+e的殘差平方和的詳細(xì)關(guān)系的推導(dǎo)見(jiàn)下頁(yè)：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第42頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第43頁(yè)!上述定理的一個(gè)重要啟示是，只要增加線性回歸模型中的解釋變量，就可以降低回歸模型的殘差平方和。這樣一來(lái)，無(wú)論解釋變量與相依變量之間的關(guān)系如何，解釋變量都是“有用”的或者是“有價(jià)值”的。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第44頁(yè)!§3.1多元線性回歸模型的描述多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第45頁(yè)!

以多元線性回歸模型的一般形式——K元線性回歸模型入手進(jìn)行講解，其模型結(jié)構(gòu)如下：Y=x11

+x22+…+xkk

+(1)

其中，Y是被解釋變量（因變量、相依變量、內(nèi)生變量），x是解釋變量（自變量、獨(dú)立變量、外生變量），是隨機(jī)誤差項(xiàng)，i,i=1,…,k是回歸參數(shù)。線性回歸模型的意義在于把Y分成兩部分：確定性部分和非確定性部分。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第46頁(yè)!

在計(jì)量經(jīng)濟(jì)學(xué)分析中，通常會(huì)借助矩陣工具，在此亦將多元線性模型表示成矩陣形式，以便于下一步的數(shù)學(xué)運(yùn)算。（3）

寫成一般形式為：

Y

=X

+

(4)

針對(duì)式（4），在這里主要講參數(shù)估計(jì)和統(tǒng)計(jì)推斷，但在此之前，我們要先回顧一下什么模型才是多元線性回歸模型，即了解線性回歸模型的6大假設(shè)，這一點(diǎn)十分重要。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第47頁(yè)!2、多元回歸方程及偏回歸系數(shù)的含義稱為多元回歸方程（函數(shù)）。

多元回歸分析（multipleregressionanalysis）是以多個(gè)解釋變量的固定值為條件的回歸分析，并且所獲得的是諸變量X值固定時(shí)Y的平均值。諸i稱為偏回歸系數(shù)（partialregressioncoefficients）。在經(jīng)典回歸模型的諸假設(shè)下，對(duì)（1）式兩邊求條件期望得E（Y|X1,X2,…Xk)=

x11

+x22+…+xk

k

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第48頁(yè)!例：

其中，Ct=消費(fèi)，Dt=居民可支配收入Lt=居民擁有的流動(dòng)資產(chǎn)水平β2的含義是，在流動(dòng)資產(chǎn)不變的情況下，可支配收入變動(dòng)一個(gè)單位對(duì)消費(fèi)額的影響。這是收入對(duì)消費(fèi)額的直接影響。收入變動(dòng)對(duì)消費(fèi)額的總影響=直接影響+間接影響。（間接影響：收入流動(dòng)資產(chǎn)擁有量消費(fèi)額）但在模型中這種間接影響應(yīng)歸因于流動(dòng)資產(chǎn)，而不是收入，因而，β2只包括收入的直接影響。在下面的模型中：這里，β是可支配收入對(duì)消費(fèi)額的總影響，顯然β和β2的含義是不同的。偏回歸系數(shù)bj就是xj本身變化對(duì)y的直接（凈）影響。

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第49頁(yè)!§3.2

參數(shù)的OLS估計(jì)參數(shù)的OLS估計(jì)

附錄：極大似然估計(jì)和矩估計(jì)

投影和投影矩陣

分塊回歸和偏回歸

偏相關(guān)系數(shù)

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第50頁(yè)!要使殘差平方和于是得到關(guān)于待估參數(shù)估計(jì)值的K個(gè)方程（即正規(guī)方程組）：為最小，則應(yīng)有：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第51頁(yè)!即多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第52頁(yè)!殘差平方和

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第53頁(yè)!注：這只是得到了求極值的必要條件。到目前為止，仍不能確定這一極值是極大還是極小。接下來(lái)考察求極值充分條件。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第54頁(yè)!樣本回歸線的數(shù)值性質(zhì)需要注意的是，上述命題成立的前提是線性模型中包含常數(shù)項(xiàng)，也就是個(gè)解釋變量是“啞變量”形式。這樣一個(gè)思考題目就是，當(dāng)線性模型中不包含常數(shù)項(xiàng)時(shí)，結(jié)論是什么樣的？多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第55頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第56頁(yè)!附錄：極大似然估計(jì)多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第57頁(yè)!

將該或然函數(shù)極大化，即可求得到模型參數(shù)的極大或然估計(jì)量。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第58頁(yè)!同理，分析多元線性回歸模型Y的隨機(jī)抽取的n組樣本觀測(cè)值的聯(lián)合概率

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第59頁(yè)!附錄：矩估計(jì)(MomentMethod,MM)矩估計(jì)是基于實(shí)際參數(shù)滿足一些矩條件而形成的一種參數(shù)估計(jì)方法。隨機(jī)變量的均值和方差如何得到？

例：總體：E（Y-μ）=0樣本矩（用樣本矩估計(jì)總體矩）：滿足相應(yīng)的矩條件：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第60頁(yè)!可見(jiàn)，與OLS估計(jì)量的正規(guī)方程組是相同的。多元線性回歸模型矩估計(jì)的矩條件通常是這樣構(gòu)造的：對(duì)于多元線性回歸模型Y=Xβ+ε兩邊分別左乘，即得到上式稱為總體回歸方程的一組矩條件。現(xiàn)在，我們隨機(jī)抽取樣本，用樣本矩代替總體矩，得到：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第61頁(yè)!對(duì)每個(gè)方程的兩邊求期望，有：

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第62頁(yè)!矩方法是工具變量方法(InstrumentalVariables,IV)和廣義矩估計(jì)方法(GeneralizedMomentMethod,GMM)的基礎(chǔ)在矩方法中關(guān)鍵是利用了如果某個(gè)解釋變量與隨機(jī)項(xiàng)相關(guān)，只要能找到1個(gè)工具變量，仍然可以構(gòu)成一組矩條件。這就是IV。如果存在＞k+1個(gè)變量與隨機(jī)項(xiàng)不相關(guān)，可以構(gòu)成一組方程數(shù)＞k+1的矩條件。這就是GMM。多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第63頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第64頁(yè)!二、投影和投影矩陣

——OLS估計(jì)的幾何性質(zhì)獲得最小二乘估計(jì)以后，可以獲得下述最小二乘殘差：將最小二乘估計(jì)的表達(dá)式代入，得到：

其中定義的矩陣在回歸分析中是非常基礎(chǔ)和重要的。顯然，這個(gè)矩陣是對(duì)稱冪等矩陣：

其次，還有一些重要的性質(zhì)需要注意，例如對(duì)稱冪等矩陣的特征根非0即1(對(duì)稱矩陣的特征根均為實(shí)數(shù))，因此矩陣具有性質(zhì)：矩陣的跡等于矩陣的秩。

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第65頁(yè)!顯然，X基于自己的線性回歸的最小二乘殘差一定為零，則必然有(即使驗(yàn)證也十分顯然)：根據(jù)此性質(zhì)，我們來(lái)考察最小二乘估計(jì)的性質(zhì)。已知：這說(shuō)明最小二乘回歸將變量y分解成為兩個(gè)部分，一個(gè)部分是擬合值，另一個(gè)部分是殘差e，由于

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第66頁(yè)!注釋：假設(shè)y在矩陣X的各列生成的線性空間上的投影是yp，則yp的定義是：且選擇使得

由于上述向量之間的模與最小二乘距離是一致的，因此投影值便是最小二乘估計(jì)的擬合值，即多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第67頁(yè)!（5）平方和分解公式成立：

證明：因?yàn)樗?/p>

（6）殘差平方和可以表示為：

證明：因?yàn)閑=My，且M是對(duì)陣冪等矩陣，所以

多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第68頁(yè)!三、分塊回歸與偏回歸

（partitionedregressionandpartialregression

）通常在進(jìn)行線性回歸時(shí)我們假定了完全的回歸變量，但事實(shí)上我們只對(duì)其中的部分變量感興趣。這時(shí)我們就需要考慮將一部分變量從回歸變量中刪除所導(dǎo)致的結(jié)果。假設(shè)回歸方程中涉及到兩部分變量X1和X2，這時(shí)有：由于X=（X1，X2），k1k2多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第69頁(yè)!則有：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第70頁(yè)!上述四塊矩陣可以通過(guò)下述分塊逆矩陣公式得到：利用該公式可得到：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第71頁(yè)!上述解的公式表明，系數(shù)的最小二乘估計(jì)是y基于X1的回歸系數(shù)，減去一個(gè)修正向量。上述獲得參數(shù)估計(jì)的過(guò)程具有典型的統(tǒng)計(jì)意義，首先，是被解釋變量中剔除變量X2的剩余部分；其次，將剩余部分基于X1再進(jìn)行回歸，因此，參數(shù)估計(jì)是剔除變量X2所剩余的部分。一種特殊情形是，這時(shí)，正好是y基于X1的回歸系數(shù)。更為一般的結(jié)果可以由下述定理給出：多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第72頁(yè)!多元線性回歸模型分析一共86頁(yè)，您現(xiàn)在瀏覽的是第73頁(yè)!上述結(jié)論對(duì)于回歸分析來(lái)說(shuō)是一個(gè)基礎(chǔ)結(jié)論，非常重要?？梢赃M(jìn)一步歸納成為下述定理：定理（Frisch-WaughTheorem）：在向量Y基于兩部分變量X1和X2的最小二乘回歸中，系數(shù)最小二乘估計(jì)的部分估計(jì)可以通過(guò)Y