多元回歸模型課件

第三講經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元回歸

多元線性回歸模型多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的預(yù)測回歸模型的其他形式回歸模型的參數(shù)約束第三講經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元回歸多元線性回歸模1§3.1多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

§3.1多元線性回歸模型一、多元線性回歸模型2

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

一、多元線性回歸模型多元線性回歸模型:表現(xiàn)3也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:

方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:4總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為

其中總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為其中5樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:6二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)

假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布

二、多元線性回歸模型的基本假定假設(shè)1，解釋變量是非隨7上述假設(shè)的矩陣符號(hào)表示式：

假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

上述假設(shè)的矩陣符號(hào)表示式：假設(shè)1，n(k+1)矩陣8假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)：假設(shè)5，樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n∞時(shí)，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

假設(shè)4，向量有一多維正態(tài)分布，即同一元回歸一樣，多9§3.2多元線性回歸模型的估計(jì)

估計(jì)方法：OLS、ML或者M(jìn)M普通最小二乘估計(jì)樣本容量問題估計(jì)實(shí)例

§3.2多元線性回歸模型的估計(jì)估計(jì)方法：OLS、ML或者10一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

其中一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參11于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：12正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

正規(guī)方程組的矩陣形式即由于X’X滿秩，故有13?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為

?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為其中：14?隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為

?隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)可以證明，隨機(jī)誤差項(xiàng)15樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)?，無多重共線性要求：秩(X)=k+1樣本容量問題所謂“最小樣本容量”，即從最小二乘原理和162、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明2、滿足基本要求的樣本容量從統(tǒng)計(jì)檢驗(yàn)的角度：一般經(jīng)驗(yàn)17§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)18

一、擬合優(yōu)度檢驗(yàn)

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)19由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象由于=0所以有：注意：一個(gè)有趣的現(xiàn)象20

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。21

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)（adjustedcoefficie22第3講多元回歸模型課件23*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。

*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解24

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0二、方程的顯著性檢驗(yàn)(F檢驗(yàn))方程的顯著性檢驗(yàn)25F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。F檢驗(yàn)的思想來自于總離差平方和的分解式：如果26

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)272、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論由可推出：與28在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)二元模型中，在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)29

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線30

1、t統(tǒng)計(jì)量

由于

以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

1、t統(tǒng)計(jì)量由于以cii表示矩陣(X’X)-31因此，可構(gòu)造如下t統(tǒng)計(jì)量

因此，可構(gòu)造如下t統(tǒng)計(jì)量32

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

2、t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：H1：i33注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致一方面，t檢驗(yàn)34在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093?？梢姡?jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗(yàn)。在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參35

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一36

在中國居民人均收入-消費(fèi)支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計(jì)算中已得到：在中國居民人均收入-消費(fèi)支出二元模型例中,計(jì)算得參數(shù)37如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯?，n越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小；提高模型的擬合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。如何才能縮小置信區(qū)間？增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘?8*§3.4多元線性回歸模型的預(yù)測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間*§3.4多元線性回歸模型的預(yù)測一、E(Y0)的置信區(qū)39對(duì)于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：

它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。

為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

對(duì)于模型給定樣本以外的解釋變量的觀測值X0=(1,X10,40

一、E(Y0)的置信區(qū)間易知

一、E(Y0)的置信區(qū)間易知41容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)42

二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那么預(yù)測誤差為：容易證明

二、Y0的置信區(qū)間如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那43e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

e0服從正態(tài)分布，即構(gòu)造t統(tǒng)計(jì)量可得給定(1-)的置信44

中國居民人均收入-消費(fèi)支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費(fèi)的預(yù)測值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實(shí)測值（90年價(jià)）=1782.2元，相對(duì)誤差：-0.31%預(yù)測的置信區(qū)間：中國居民人均收入-消費(fèi)支出二元模型例中：2001年人均45于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為于是E(?2001）的95%的置信區(qū)間為:或46§3.5回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實(shí)例§3.5回歸模型的其他函數(shù)形式一、模型的類型與變47

在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸的方法進(jìn)行計(jì)量經(jīng)濟(jì)學(xué)方面的處理。在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為48

一、模型的類型與變換

1、倒數(shù)模型、多項(xiàng)式模型與變量的直接置換法

例如，描述稅收與稅率關(guān)系的拉弗曲線：拋物線

s=a+br+cr2c<0s：稅收；r：稅率設(shè)X1=r，X2=r2，則原方程變換為

s=a+bX1+cX2c<0

一、模型的類型與變換1、倒數(shù)模型、多項(xiàng)式模型與變量的直492、冪函數(shù)模型、指數(shù)函數(shù)模型與對(duì)數(shù)變換法

例如，Cobb-Dauglas生產(chǎn)函數(shù)：冪函數(shù)

Q=AKLQ：產(chǎn)出量，K：投入的資本；L：投入的勞動(dòng)

方程兩邊取對(duì)數(shù)：

lnQ=lnA+lnK+lnL2、冪函數(shù)模型、指數(shù)函數(shù)模型與對(duì)數(shù)變換法例如，Co503、復(fù)雜函數(shù)模型與級(jí)數(shù)展開法

方程兩邊取對(duì)數(shù)后，得到：

(1+2=1)Q:產(chǎn)出量，K：資本投入，L：勞動(dòng)投入：替代參數(shù)，1、2：分配參數(shù)例如，常替代彈性CES生產(chǎn)函數(shù)

將式中l(wèi)n(1K-+2L-)在=0處展開臺(tái)勞級(jí)數(shù),取關(guān)于的線性項(xiàng)，即得到一個(gè)線性近似式。

如取0階、1階、2階項(xiàng)，可得

3、復(fù)雜函數(shù)模型與級(jí)數(shù)展開法方程兩邊取對(duì)數(shù)后，得到：(51并非所有的函數(shù)形式都可以線性化

無法線性化模型的一般形式為:其中，f(x1,x2,…,Xk)為非線性函數(shù)。如：并非所有的函數(shù)形式都可以線性化無法線性化模型的一般形式為:52

二、非線性回歸實(shí)例

例3.5.1

建立中國城鎮(zhèn)居民食品消費(fèi)需求函數(shù)模型。

根據(jù)需求理論，居民對(duì)食品的消費(fèi)需求函數(shù)大致為

Q:居民對(duì)食品的需求量，X：消費(fèi)者的消費(fèi)支出總額P1：食品價(jià)格指數(shù)，P0：居民消費(fèi)價(jià)格總指數(shù)。

零階齊次性，當(dāng)所有商品和消費(fèi)者貨幣支出總額按同一比例變動(dòng)時(shí)，需求量保持不變

(*)(**)為了進(jìn)行比較，將同時(shí)估計(jì)（*）式與（**）式。

二、非線性回歸實(shí)例例3.5.1建立中國城鎮(zhèn)居53

根據(jù)恩格爾定律，居民對(duì)食品的消費(fèi)支出與居民的總支出間呈冪函數(shù)的變化關(guān)系:

首先,確定具體的函數(shù)形式對(duì)數(shù)變換:

考慮到零階齊次性時(shí)(***)(****)(****)式也可看成是對(duì)（***）式施加如下約束而得因此，對(duì)（****）式進(jìn)行回歸，就意味著原需求函數(shù)滿足零階齊次性條件。根據(jù)恩格爾定律，居民對(duì)食品的消費(fèi)支出與居民的總支出間54X：人均消費(fèi)X1：人均食品消費(fèi)GP：居民消費(fèi)價(jià)格指數(shù)FP：居民食品消費(fèi)價(jià)格指數(shù)XC：人均消費(fèi)（90年價(jià)）Q：人均食品消費(fèi)（90年價(jià)）P0：居民消費(fèi)價(jià)格縮減指數(shù)（1990=100）P：居民食品消費(fèi)價(jià)格縮減指數(shù)（1990=100X：人均消費(fèi)55中國城鎮(zhèn)居民人均食品消費(fèi)

特征：消費(fèi)行為在1981~1995年間表現(xiàn)出較強(qiáng)的一致性1995年之后呈現(xiàn)出另外一種變動(dòng)特征。

建立1981~1994年中國城鎮(zhèn)居民對(duì)食品的消費(fèi)需求模型:

(9.03)(25.35)(-2.28)(-7.34)中國城鎮(zhèn)居民人均食品消費(fèi)特征：建立1981~1994年中國56按零階齊次性表達(dá)式回歸:

（75.86）(52.66)(-3.62)為了比較，改寫該式為：

發(fā)現(xiàn)與接近。意味著：所建立的食品需求函數(shù)滿足零階齊次性特征按零階齊次性表達(dá)式回歸:（75.86）(52.66)57第三講經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元回歸

多元線性回歸模型多元線性回歸模型的參數(shù)估計(jì)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)多元線性回歸模型的預(yù)測回歸模型的其他形式回歸模型的參數(shù)約束第三講經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：多元回歸多元線性回歸模58§3.1多元線性回歸模型

一、多元線性回歸模型

二、多元線性回歸模型的基本假定

§3.1多元線性回歸模型一、多元線性回歸模型59

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個(gè)。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習(xí)慣上：把常數(shù)項(xiàng)看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

一、多元線性回歸模型多元線性回歸模型:表現(xiàn)60也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:

方程表示：各變量X值固定時(shí)Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個(gè)單位時(shí)，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對(duì)Y均值的“直接”或“凈”（不含其他變量）影響。也被稱為總體回歸函數(shù)的隨機(jī)表達(dá)形式。它的非隨機(jī)表達(dá)式為:61總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為

其中總體回歸模型n個(gè)隨機(jī)方程的矩陣表達(dá)式為其中62樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:

ei稱為殘差或剩余項(xiàng)(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：樣本回歸函數(shù)：用來估計(jì)總體回歸函數(shù)其隨機(jī)表示式:63二、多元線性回歸模型的基本假定

假設(shè)1，解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2，隨機(jī)誤差項(xiàng)具有零均值、同方差及不序列相關(guān)性

假設(shè)3，解釋變量與隨機(jī)項(xiàng)不相關(guān)

假設(shè)4，隨機(jī)項(xiàng)滿足正態(tài)分布

二、多元線性回歸模型的基本假定假設(shè)1，解釋變量是非隨64上述假設(shè)的矩陣符號(hào)表示式：

假設(shè)1，n(k+1)矩陣X是非隨機(jī)的，且X的秩=k+1，即X滿秩。

假設(shè)2，

假設(shè)3，E(X’)=0，即

上述假設(shè)的矩陣符號(hào)表示式：假設(shè)1，n(k+1)矩陣65假設(shè)4，向量

有一多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個(gè)重要假設(shè)：假設(shè)5，樣本容量趨于無窮時(shí)，各解釋變量的方差趨于有界常數(shù)，即n∞時(shí)，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設(shè)6，回歸模型的設(shè)定是正確的。

假設(shè)4，向量有一多維正態(tài)分布，即同一元回歸一樣，多66§3.2多元線性回歸模型的估計(jì)

估計(jì)方法：OLS、ML或者M(jìn)M普通最小二乘估計(jì)樣本容量問題估計(jì)實(shí)例

§3.2多元線性回歸模型的估計(jì)估計(jì)方法：OLS、ML或者67一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計(jì)值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計(jì)值應(yīng)該是下列方程組的解

其中一、普通最小二乘估計(jì)對(duì)于隨機(jī)抽取的n組觀測值如果樣本函數(shù)的參68于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：

于是得到關(guān)于待估參數(shù)估計(jì)值的正規(guī)方程組：69正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

正規(guī)方程組的矩陣形式即由于X’X滿秩，故有70?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計(jì)結(jié)果為

?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為其中：71?隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)

可以證明，隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量為

?隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)可以證明，隨機(jī)誤差項(xiàng)72樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即

n

k+1因?yàn)椋瑹o多重共線性要求：秩(X)=k+1樣本容量問題所謂“最小樣本容量”，即從最小二乘原理和732、滿足基本要求的樣本容量

從統(tǒng)計(jì)檢驗(yàn)的角度：

n30時(shí)，Z檢驗(yàn)才能應(yīng)用；

n-k8時(shí),t分布較為穩(wěn)定

一般經(jīng)驗(yàn)認(rèn)為:

當(dāng)n30或者至少n3(k+1)時(shí)，才能說滿足模型估計(jì)的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明2、滿足基本要求的樣本容量從統(tǒng)計(jì)檢驗(yàn)的角度：一般經(jīng)驗(yàn)74§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

一、擬合優(yōu)度檢驗(yàn)二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）四、參數(shù)的置信區(qū)間

§3.3多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)75

一、擬合優(yōu)度檢驗(yàn)

1、可決系數(shù)與調(diào)整的可決系數(shù)則

總離差平方和的分解一、擬合優(yōu)度檢驗(yàn)1、可決系數(shù)與調(diào)整的可決系數(shù)76由于

=0所以有：

注意：一個(gè)有趣的現(xiàn)象由于=0所以有：注意：一個(gè)有趣的現(xiàn)象77

可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量，

R2往往增大（Why?)

這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。可決系數(shù)該統(tǒng)計(jì)量越接近于1，模型的擬合優(yōu)度越高。78

調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對(duì)擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。調(diào)整的可決系數(shù)（adjustedcoefficie79第3講多元回歸模型課件80*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則

為了比較所含解釋變量個(gè)數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標(biāo)準(zhǔn)還有:

赤池信息準(zhǔn)則（Akaikeinformationcriterion,AIC）施瓦茨準(zhǔn)則（Schwarzcriterion，SC）

這兩準(zhǔn)則均要求僅當(dāng)所增加的解釋變量能夠減少AIC值或AC值時(shí)才在原模型中增加該解釋變量。

*2、赤池信息準(zhǔn)則和施瓦茨準(zhǔn)則為了比較所含解81

二、方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：H0：0=1=2==k=0H1：j不全為0二、方程的顯著性檢驗(yàn)(F檢驗(yàn))方程的顯著性檢驗(yàn)82F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。F檢驗(yàn)的思想來自于總離差平方和的分解式：如果83

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平，可得到臨界值F(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F(k,n-k-1)或FF(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)842、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或2、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論由可推出：與85在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)二元模型中，在中國居民人均收入-消費(fèi)一元模型中，在中國居民人均收入-消費(fèi)86

三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）

方程的總體線性關(guān)系顯著每個(gè)解釋變量對(duì)被解釋變量的影響都是顯著的

因此，必須對(duì)每個(gè)解釋變量進(jìn)行顯著性檢驗(yàn)，以決定是否作為解釋變量被保留在模型中。這一檢驗(yàn)是由對(duì)變量的t檢驗(yàn)完成的。三、變量的顯著性檢驗(yàn)（t檢驗(yàn)）方程的總體線87

1、t統(tǒng)計(jì)量

由于

以cii表示矩陣(X’X)-1

主對(duì)角線上的第i個(gè)元素，于是參數(shù)估計(jì)量的方差為：

其中2為隨機(jī)誤差項(xiàng)的方差，在實(shí)際計(jì)算時(shí)，用它的估計(jì)量代替:

1、t統(tǒng)計(jì)量由于以cii表示矩陣(X’X)-88因此，可構(gòu)造如下t統(tǒng)計(jì)量

因此，可構(gòu)造如下t統(tǒng)計(jì)量89

2、t檢驗(yàn)

設(shè)計(jì)原假設(shè)與備擇假設(shè)：

H1：i0

給定顯著性水平，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計(jì)量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對(duì)應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：i=0

（i=1,2…k）

2、t檢驗(yàn)設(shè)計(jì)原假設(shè)與備擇假設(shè)：H1：i90注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致

一方面，t檢驗(yàn)與F檢驗(yàn)都是對(duì)相同的原假設(shè)H0：1=0

進(jìn)行檢驗(yàn);

另一方面，兩個(gè)統(tǒng)計(jì)量之間有如下關(guān)系：

注意：一元線性回歸中，t檢驗(yàn)與F檢驗(yàn)一致一方面，t檢驗(yàn)91在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參數(shù)的t值：

給定顯著性水平=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093?？梢姡?jì)算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項(xiàng)在內(nèi)的3個(gè)解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗(yàn)。在中國居民人均收入-消費(fèi)支出二元模型例中，由應(yīng)用軟件計(jì)算出參92

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計(jì)的參數(shù)值離參數(shù)的真實(shí)值有多“近”。在變量的顯著性檢驗(yàn)中已經(jīng)知道：容易推出：在(1-)的置信水平下i的置信區(qū)間是

其中，t/2為顯著性水平為、自由度為n-k-1的臨界值。

四、參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一93

在中國居民人均收入-消費(fèi)支出二元模型例中,給定=0.05，查表得臨界值：t0.025(19)=2.093計(jì)算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)

從回歸計(jì)算中已得到：在中國居民人均收入-消費(fèi)支出二元模型例中,計(jì)算得參數(shù)94如何才能縮小置信區(qū)間？

增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘肯拢琻越大，t分布表中的臨界值越小，同時(shí)，增大樣本容量，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減?。惶岣吣Ｐ偷臄M合優(yōu)度，因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散，(X’X)-1的分母的|X’X|的值越大，致使區(qū)間縮小。如何才能縮小置信區(qū)間？增大樣本容量n，因?yàn)樵谕瑯拥臉颖救萘?5*§3.4多元線性回歸模型的預(yù)測

一、E(Y0)的置信區(qū)間

二、Y0的置信區(qū)間*§3.4多元線性回歸模型的預(yù)測一、E(Y0)的置信區(qū)96對(duì)于模型

給定樣本以外的解釋變量的觀測值X0=(1,X10,X20,…,Xk0)，可以得到被解釋變量的預(yù)測值：

它可以是總體均值E(Y0)或個(gè)值Y0的預(yù)測。但嚴(yán)格地說，這只是被解釋變量的預(yù)測值的估計(jì)值，而不是預(yù)測值。

為了進(jìn)行科學(xué)預(yù)測，還需求出預(yù)測值的置信區(qū)間，包括E(Y0)和Y0的置信區(qū)間。

對(duì)于模型給定樣本以外的解釋變量的觀測值X0=(1,X10,97

一、E(Y0)的置信區(qū)間易知

一、E(Y0)的置信區(qū)間易知98容易證明

于是，得到(1-)的置信水平下E(Y0)的置信區(qū)間：

其中，t/2為(1-)的置信水平下的臨界值。容易證明于是，得到(1-)的置信水平下E(Y0)的置信區(qū)99

二、Y0的置信區(qū)間

如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那么預(yù)測誤差為：容易證明

二、Y0的置信區(qū)間如果已經(jīng)知道實(shí)際的預(yù)測值Y0，那100e0服從正態(tài)分布，即

構(gòu)造t統(tǒng)計(jì)量

可得給定(1-)的置信水平下Y0的置信區(qū)間：

e0服從正態(tài)分布，即構(gòu)造t統(tǒng)計(jì)量可得給定(1-)的置信101

中國居民人均收入-消費(fèi)支出二元模型例中：2001年人均GDP：4033.1元，

于是人均居民消費(fèi)的預(yù)測值為

?2001=120.7+0.2213×4033.1+0.4515×1690.8=1776.8（元）

實(shí)測值（90年價(jià)）=1782.2元，相對(duì)誤差：-0.31%預(yù)測的置信區(qū)間：中國居民人均收入-消費(fèi)支出二元模型例中：2001年人均102于是E(?2001）的95%的置信區(qū)間為:

或（1741.8，1811.7）或

（1711.1,1842.4）

同樣，易得?2001的95%的置信區(qū)間為于是E(?2001）的95%的置信區(qū)間為:或103§3.5回歸模型的其他函數(shù)形式

一、模型的類型與變換

二、非線性回歸實(shí)例§3.5回歸模型的其他函數(shù)形式一、模型的類型與變104

在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為線性關(guān)系的情況并不多見。

如著名的恩格爾曲線(Englecurves)表現(xiàn)為冪函數(shù)曲線形式、宏觀經(jīng)濟(jì)學(xué)中的菲利普斯曲線（Pillipscuves）表現(xiàn)為雙曲線形式等。但是，大部分非線性關(guān)系又可以通過一些簡單的數(shù)學(xué)處理，使之化為數(shù)學(xué)上的線性關(guān)系，從而可以運(yùn)用線性回歸的方法進(jìn)行計(jì)量經(jīng)濟(jì)學(xué)方面的處理。在實(shí)際經(jīng)濟(jì)活動(dòng)中，經(jīng)濟(jì)變量的關(guān)系是復(fù)雜的，直接表現(xiàn)為105

一、模型的類型與變換

1、倒數(shù)模