計量經(jīng)濟學(第三章多元線性回歸)培訓講學

計量經(jīng)濟學(第三章多元線性回歸)第一節(jié)多元線性回歸模型及古典假定主要介紹1.1多元線性回歸模型及其矩陣表示1.2模型的古典假定1.1.1多元線性回歸模型形式一般形式（隨機擾動形式，注意X的下標）：其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：模型中解釋變量的數(shù)目為（k+1）多元線性回歸模型形式（續(xù)）多元線性回歸模型的矩陣表示1.2模型的古典假定（一）假設1誤差項無偏——隨機擾動項均值為0：E(ui)=0假設2同方差和無自相關(guān)模型的古典假定（二）假定3隨機擾動項與解釋變量不相關(guān)。即假定4無多重共線性。此即假定解釋變量向量之間線性無關(guān)，這樣，解釋變量矩陣X列滿秩：R(X)=k。此時，有假定5正態(tài)性。假定第二節(jié)多元線性回歸模型的估計本節(jié)主要介紹2.1參數(shù)的最小二乘估計（OLS）；2.2OLS回歸線的性質(zhì)2.3參數(shù)的最小二乘估計量的性質(zhì)；2.4隨機擾動項的方差估計。2.1參數(shù)的最小二乘估計(OLS)對多元線性回歸方程的最小二乘估計和分析是一元情形的推廣。所使用的前提假定、估計方法、估計結(jié)果的性質(zhì)等等都同于一元的情形。OLS：原則、求解、結(jié)果2.2OLS回歸線的性質(zhì)完全同一元情形：2.3OLS估計量的性質(zhì)也完全同一元情形：OLS估計量的性質(zhì)（續(xù)）2.4隨機擾動項方差的估計第三節(jié)多元線性回歸模型的檢驗本節(jié)主要介紹：3.1擬合優(yōu)度檢驗（多重可決系數(shù)及其修正）3.2回歸參數(shù)的顯著性檢驗（t－檢驗）3.3回歸方程的顯著性檢驗（F－檢驗）3.4擬合優(yōu)度、t－檢驗、F－檢驗的關(guān)系3.1.1擬合優(yōu)度檢驗

－總變差、自由度的分解目的：構(gòu)造一個不含單位，可以相互比較，而且能直觀判斷擬合優(yōu)劣的指標。類似于一元情形，先將多元線性回歸作如下變差分解：對以上自由度的分解的說明3.1.2可決系數(shù)可決系數(shù)的定義：意義：可決系數(shù)越大，自變量對因變量的解釋程度越高，自變量引起的變動占總變動的百分比高。觀察點在回歸直線附近越密集。取值范圍：0-13.1.3修正可決系數(shù)為什么要修正？可決系數(shù)隨解釋變量個數(shù)的增加而增大。易造成錯覺：要模型擬合得越好，就應增加解釋變量。然而增加解釋變量會降低自由度，減少可用的樣本數(shù)。并且有時增加解釋變量是不必要的。導致解釋變量個數(shù)不同模型之間對比困難?？蓻Q系數(shù)只涉及變差，沒有考慮自由度。修正思路：引進自由度校正所計算的變差。修正可決系數(shù)（續(xù)）3.2回歸參數(shù)的顯著性檢驗

——t－檢驗以下給出t-檢驗的具體過程3.3回歸方程的顯著性檢驗

——（F檢驗）回歸系數(shù)的t檢驗，檢驗了各個解釋變量Xj單獨對應變量Y是否顯著；我們還需要檢驗：所有解釋變量聯(lián)合在一起，是否對應變量Y也顯著？這即是下面所要進行的F檢驗。3.3.1方差分析表以下用表格的形式列出變差、自由度、方差變差來源平方和自由度方差源于回歸K源于殘差n-k-1總變差n-13.3.2F－檢驗（單側(cè)檢驗）3.4各種檢驗之間的關(guān)系3.4.1經(jīng)濟意義檢驗和其他檢驗的關(guān)系聯(lián)系：判斷一個回歸模型是否正確，首先要看模型是否具有合理的經(jīng)濟意義，其次才是統(tǒng)計檢驗。3.4.2擬合優(yōu)度和F檢驗的關(guān)系（1）都是對回歸方程的顯著性檢驗；（2）都是把總變差分解，以構(gòu)成統(tǒng)計量進行檢驗；（3）兩者同增同減，具有一致性。擬合優(yōu)度和F檢驗的關(guān)系（續(xù)）區(qū)別：（1）F檢驗中使用的統(tǒng)計量有精確的分布，而擬合優(yōu)度檢驗沒有；（2）對是否通過檢驗，可決系數(shù)（修正可決系數(shù)）只能給出一個模糊的推測；而F檢驗可以在給定顯著水平下，給出統(tǒng)計上的嚴格結(jié)論；3.4.2F－檢驗和t－檢驗的關(guān)系在一元的情形，兩者是一致的，等價的。對單個解釋變量顯著性進行t檢驗，也就檢驗了解釋變量的整體顯著性（F檢驗）；并且可以證明：F＝t2（所以在一元情形，只需要進行一種檢驗）多元中，不存在以上關(guān)系。第四節(jié)多元線性回歸模型的預測4.1應變量平均值的點預測、區(qū)間預測；4.2應變量個別值的點預測、區(qū)間預測；4.1應變量平均值的點預測、區(qū)間預測4.1.1Y平均值的點預測將解釋變量預測值代入估計的方程便可：4.1.2Y平均值的區(qū)間預測基本思想Y平均值的區(qū)間預測

——具體作法4.2應變量個別值的點預測、區(qū)間預測4.2.1點預測：與應變量平均值點預測相等，為：

4.2.2應變量個別值的區(qū)間預測如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減小；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應越小。提高樣本觀測值的分散度，也就是說變量必須變化大。5.案例分析實驗第五節(jié)受約束回歸在建立回歸模型時，有時根據(jù)經(jīng)濟理論需對模型中變量的參數(shù)施加一定的約束條件。模型施加約束條件后進行回歸，稱為受約束回歸（restrictedregression）;

不加任何約束的回歸稱為無約束回歸（unrestrictedregression）。受約束回歸

一、模型參數(shù)的線性約束二、對回歸模型增加或減少解釋變量三、參數(shù)的穩(wěn)定性*四、非線性約束

一、模型參數(shù)的線性約束對模型施加約束得或(*)(**)如果對（**）式回歸得出則由約束條件可得：

然而，對所考查的具體問題能否施加約束？需進一步進行相應的檢驗。常用的檢驗有：

F檢驗、x2檢驗與t檢驗，

主要介紹F檢驗在同一樣本下，記無約束樣本回歸模型為受約束樣本回歸模型為于是受約束樣本回歸模型的殘差平方和RSSR于是e’e為無約束樣本回歸模型的殘差平方和RSSU(*)受約束與無約束模型都有相同的TSS由（*）式RSSR

RSSU從而

ESSRESSU這意味著，通常情況下，對模型施加約束條件會降低模型的解釋能力。

但是，如果約束條件為真，則受約束回歸模型與無約束回歸模型具有相同的解釋能力，RSSR

與RSSU的差異變小。可用RSSR

-RSSU的大小來檢驗約束的真實性根據(jù)數(shù)理統(tǒng)計學的知識：于是：

討論：如果約束條件無效，RSSR

與RSSU的差異較大，計算的F值也較大。于是，可用計算的F統(tǒng)計量的值與所給定的顯著性水平下的臨界值作比較，對約束條件的真實性進行檢驗。注意，kU-kR恰為約束條件的個數(shù)。

例中國城鎮(zhèn)居民對食品的人均消費需求實例中，對零階齊次性檢驗：取=5%，查得臨界值F0.05(1,10)=4.96

判斷：不能拒絕中國城鎮(zhèn)居民對食品的人均消費需求函數(shù)具有零階齊次特性這一假設。無約束回歸:RSSU=0.00324，kU=3受約束回歸:RSSR=0.00332，KR=2樣本容量n=14，約束條件個數(shù)kU-kR=3-2=1這里的F檢驗適合所有關(guān)于參數(shù)線性約束的檢驗如：多元回歸中對方程總體線性性的F檢驗：H0：j=0j=1,2,…,k這里：受約束回歸模型為這里，運用了ESSR＝0。

二、對回歸模型增加或減少解釋變量考慮如下兩個回歸模型(*)(**)(*)式可看成是（**）式的受約束回歸：H0：相應的Ｆ統(tǒng)計量為：如果約束條件為真，即額外的變量Xk+1,…,Xk+q對Ｙ沒有解釋能力，則Ｆ統(tǒng)計量較??；否則，約束條件為假，意味著額外的變量對Ｙ有較強的解釋能力，則Ｆ統(tǒng)計量較大。因此，可通過F的計算值與臨界值的比較，來判斷額外變量是否應包括在模型中。討論：

Ｆ統(tǒng)計量的另一個等價式

三、參數(shù)的穩(wěn)定性

1、鄒氏參數(shù)穩(wěn)定性檢驗建立模型時往往希望模型的參數(shù)是穩(wěn)定的，即所謂的結(jié)構(gòu)不變，這將提高模型的預測與分析功能。如何檢驗？假設需要建立的模型為在兩個連續(xù)的時間序列（1,2,…，n1）與（n1+1,…，n1+n2）中，相應的模型分別為：

合并兩個時間序列為(1,2,…，n1，n1+1,…，n1+n2)，則可寫出如下無約束回歸模型如果=，表示沒有發(fā)生結(jié)構(gòu)變化，因此可針對如下假設進行檢驗：H0:=(*)式施加上述約束后變換為受約束回歸模型(*)（**）因此，檢驗的F統(tǒng)計量為：記RSS1與RSS2為在兩時間段上分別回歸后所得的殘差平方和，容易驗證，于是參數(shù)穩(wěn)定性的檢驗步驟：（1）分別以兩連續(xù)時間序列作為兩個樣本進行回歸，得到相應的殘差平方：RSS1與RSS2

（2）將兩序列并為一個大樣本后進行回歸，得到大樣本下的殘差平方和RSSR（3）計算F統(tǒng)計量的值，與臨界值比較：

若F值大于臨界值，則拒絕原假設，認為發(fā)生了結(jié)構(gòu)變化，參數(shù)是非穩(wěn)定的。該檢驗也被稱為鄒氏參數(shù)穩(wěn)定性檢驗（Chowtestforparameterstability）。

2、鄒氏預測檢驗

上述參數(shù)穩(wěn)定性檢驗要求n2>k。如果出現(xiàn)n2<k，則往往進行如下的鄒氏預測檢驗（Chowtestforpredictivefailure）。

鄒氏預測檢驗的基本思想:先用前一時間段n1個樣本估計原模型，再用估計出的參數(shù)進行后一時間段n2個樣本的預測。

如果預測誤差較大，則說明參數(shù)發(fā)生了變化，否則說明參數(shù)是穩(wěn)定的。分別以、表示第一與第二時間段的參數(shù)，則其中，如果=0，則=，表明參數(shù)在估計期與預測期相同(*)(*)的矩陣式：可見，用前n1個樣本估計可得前k個參數(shù)的估計，而不外是用后n2個樣本測算的預測誤差X2(-)(**)如果參數(shù)沒有發(fā)生變化，則=0，矩陣式簡化為(***)（***）式與（**）式這里：KU-KR=n2RSSU=RSS1分別可看成受約束與無約束回歸模型，于是有如下F檢驗：

第一步，在兩時間段的合成大樣本下做OLS回歸，得受約束模型的殘差平方和RSSR；

第二步，對前一時間段的n1個子樣做OLS回歸，得殘差平方和RSS1；

第三步，計算檢驗的F統(tǒng)計量，做出判斷：鄒氏預測檢驗步驟：給定顯著性水平，查F分布表，得臨界值F(n2,n1-k-1)如果F>F(n2,n1-k-1)，則拒絕原假設，認為預測期發(fā)生了結(jié)構(gòu)變化。

例

中國城鎮(zhèn)居民食品人均消費需求的鄒氏檢驗。

1、參數(shù)穩(wěn)定性檢驗1981~1994：RSS1=0.003240

1995~2001：

(9.96)(7.14)(-5.13)(1.81)1981~2001:

(14.83)(27.26)(-3.24)(-11.17)給定=5%，查表得臨界值F0.05(4,13)=3.18判斷：F值>臨界值，拒絕參數(shù)穩(wěn)定的原假設，表明中國城鎮(zhèn)居民食品人均消費需求在1994年前后發(fā)生了顯著變化。

2、鄒氏預測檢驗給定=5%，查表得臨界值F0.05(7,10)=3.18判斷：F值>臨界值，拒絕參數(shù)穩(wěn)定的原假設

*四、非線性約束

也可對模型參數(shù)施加非線性約束,如對模型施加非線性約束12=1,得到受約束回歸模型:

該模型必需采用非線性最小二乘法（nonlinearleastsquares）進行估計。

非線性約束檢驗是建立在最大似然原理基礎(chǔ)上的,有最大似然比檢驗、沃爾德檢驗與拉格朗日乘數(shù)檢驗.1、最大似然比檢驗(likelihoodratiotest,LR)

估計:無約束回歸模型與受約束回歸模型，

方法:最大似然法，

檢驗:兩個似然函數(shù)的值的差異是否“足夠”大。

記L(,2)為一似然函數(shù):無約束回歸:Max:受約束回歸:Max:或求極值：

g():以各約束條件為元素的列向量,’：以相應拉格朗日乘數(shù)為元素的行向量

約束：g()=0

受約束的函數(shù)值不會超過無約束的函數(shù)值，但如果約束條件為真，則兩個函數(shù)值就非?！敖咏?。由此，定義似然比（likelihoodratio）:

如果比值很小，說明兩似然函數(shù)值差距較大，則應拒絕約束條件為真的假設；

如果比值接近于１，說明兩似然函數(shù)值很接近，應接受約束條件為真的假設。

具體檢驗時，由于大樣本下：

h是約束條件的個數(shù)。因此：

通過LR統(tǒng)計量的2分布特性來進行判斷。

在中國城鎮(zhèn)居民人均食品消費需求例中，對零階齊次性的檢驗：LR=-2(38.57-38.73)=0.32給出=5%、查得臨界值20.05(1)＝3.84，

判斷：LR<20.05(1),不拒絕原約束的假設，

２、沃爾德檢驗（Waldtest,W）

沃爾德檢驗中，只須估計無約束模型。如對在所有古典假設都成立的條件下，容易證明

因此，在1+2=1的約束條件下

記

可建立沃爾德統(tǒng)計量:如果有h個約束條件，可得到h個統(tǒng)計量z1,z2,…,zh約束條件為真時，可建立大樣本下的服從自由度為h的漸近2

分布統(tǒng)計量

其中，Z為以zi為元素的列向量，C是Z的方差-協(xié)方差矩陣。因此，W從總體上測量了無約束回歸不滿足約束條件的程度。

對非線性約束，沃爾德統(tǒng)計量W的算法描述要復雜得多。

3、拉格朗日乘數(shù)檢驗

拉格朗日乘數(shù)檢驗則只需估計受約束模型.受約束回歸是求最大似然法的極值問題:

’是拉格朗日乘數(shù)行向量，衡量各約束條件對最大似然函數(shù)值的影響程度。

如果某一約束為真，則該約束條件對最大似然函數(shù)值的影響很小，于是，相應的拉格朗日乘數(shù)的值應接近于零。因此，拉格朗日乘數(shù)檢驗就是檢驗某些拉格朗日乘數(shù)的值是否“足夠大”，如果“足夠大”，則拒絕約束條件為真的假設。

拉格朗日統(tǒng)計量LM本身是一個關(guān)于拉格朗日乘數(shù)的復雜的函數(shù)，在各約束條件為真的情況下，服從一自由度恰為約束條件個數(shù)的漸近2分布。

n為樣本容量，R2為如下被稱為輔助回歸（auxiliaryregression）的可決系數(shù):

如果約束是非線性的，輔助回歸方程的估計比較復雜，但仍可按（*）式計算LM統(tǒng)計量的值。

最后，一般地有:LMLRW同樣地，如果為線性約束，LM服從一精確的2分布：(*)第六節(jié)虛擬變量的定義在經(jīng)濟系統(tǒng)中，許多變動是不能定量的,如政府的更迭(工黨-保守黨)、經(jīng)濟體制的改革、固定匯率變?yōu)楦訁R率、從戰(zhàn)時經(jīng)濟轉(zhuǎn)為和平時期經(jīng)濟等。變動都可以用大家所熟悉的0-1變量來表示，

用1表示具有某一“品質(zhì)”或?qū)傩?，?表示不具有該“品質(zhì)”或?qū)傩?這種變量在計量經(jīng)濟學中稱為“虛擬變量”。虛擬變量是一用以反映質(zhì)的屬性的一個人工變量，通常記為D(Dummy)。例1研究學歷和收入之間的關(guān)系,在你的樣本中既有女性又有男性,你打算研究在此關(guān)系中性別是否會導致差別。例2研究某省家庭收入和支出的關(guān)系,采集的樣本中既包括農(nóng)村家庭,又包括城鎮(zhèn)家庭,你打算研究二者的差別。例3研究通貨膨脹的決定因素,在你的觀測期中,有些年份政府實行了一項收入政策。你想檢驗該政策是否對通貨膨脹產(chǎn)生影響?？梢杂脙煞N方法來解決,方法一:

分別進行兩類情況的回歸,然后看參數(shù)是否不同,方法二:

用全部觀測值作單一回歸,將定性因素的影響用虛擬變量引入模型。2.虛擬變量模型的定義(1)虛擬變量在模型中可以作解釋變量,也可以作因變量。(2)引入虛擬變量后,回歸方程中同時含有一般解釋變量和虛擬變量,稱這種變量結(jié)構(gòu)的模型為虛擬變量模型或協(xié)方差分析模型。虛擬變量作因變量的模型又稱抉擇模型。3.模型中引入虛擬變量的作用

(1)分離異常因素的影響,例如分析我國GDP的時間序列,必須考慮“文革”因素對國民經(jīng)濟的破壞性影響,剔除不可比的“文革”因素。(2)檢驗不同屬性類型對因變量的作用,例如工資模型中的文化程度、季節(jié)對銷售額的影響。(3)提高模型的精度,相當于將不同屬性的樣本合并,擴大了樣本容量(增加了誤差自由度,從而降低了誤差方差)。4.設置虛擬變量的原則在模型中引入多個虛擬變量時，虛擬變量的個數(shù)應按下列原則確定：(1)有m種互斥的屬性類型,則引入m-1個虛擬變量。例如，性別有2個互斥的屬性,引用2-1=1個虛擬變量;文化程度分小學、初中、高中、大學、研究生5類,引用4個虛擬變量。(2)如果對m個狀態(tài)引入m個虛擬變量來表示,虛擬變量間會造成多重共線。例10-1男女個體消費者每年的食品支出(美元)年齡女性食品支出女性稅后收入男性食品支出男性稅后收入<2519831155722301158925-3429872938737573332835-4429933146338213615145-5431562955432913544855-64270625137342932988>65221714952253320437例10-2食品支出與稅后收入和性別的關(guān)系觀察值食品支出稅后收入性別觀察值食品支出稅后收入性別119831155717223011589022987293871837573332803299331463193821361510431562955411032913544805270625137111342932988062217149521122533204370設性別虛擬變量

Di定義如下:Di=1,第i個觀察值的性別為女性；0,第i個觀察值的性別為男性；例工會化程度與工作權(quán)利法PVT:表示1982年私營部門工會化程度；RWL:虛擬變量RWLi=1,第i個州通過工作權(quán)利法；0,第i個沒有通過工作權(quán)利法。ANCOVA模型ANCOVA模型:回歸模型的解釋變量包括定量變量和定性變量，稱這種回歸模型為協(xié)方差分析模型(analysis-of-covariancemodels),其中定量變量稱為協(xié)變量.

例10.1中沒有考慮協(xié)變量—稅后收入,重新建立模型:

Yi=1+2Di+3Xi+ui利用表10-2的數(shù)據(jù),分析得到如下結(jié)果:femalemale稅后收入食品支出一個定量變量及多個定性變量的回歸分析考察表10-4數(shù)據(jù),想了解51個地區(qū)公立學校教師薪水是否有顯著差異。pay:公立學校教師平均年薪水平;pps:政府機構(gòu)用于每個學生的花費地區(qū):1—東北和中北部地區(qū)2—南部地區(qū)3—西部地區(qū)設兩個虛擬變量D2和D3:1東北和中部地區(qū)0其他地區(qū)

D2＝1南部地區(qū)0其他地區(qū)

D3＝建立ANCOVA模型，則有PPS不變時,D2=D3=0(西部):PPS不變時,D2=1,D3=0(東中北):PPS不變時,D2=0,D3=1(南部):變量的交互影響能源問題:下表是某國1966年~1979年能源需求與相應GDP的數(shù)據(jù)資料,年份初次能源需求量Y實際GDPX年份初次能源需求量Y實際GDPX196510010019731141501966106108197411715619671151171975121161196812212319761231691969129132197712917419701361411978130177197114114519791341831972143154Y與X的散點圖如下：X1965196619671968196919701971197219731974197519761977197819799010011012013014015080100120140160180200Y回歸結(jié)果如下：可以看出，模型的擬合度非常不好。

考慮1973年石油危機以后,該國能源需求結(jié)構(gòu)的變化,對下面引入系數(shù)虛擬變量的多元回歸模型進行OLS估算。0石油沖擊前（1965－1972）1石油沖擊后（1973－1979）

Di＝其中設β2<0是因為考慮到石油沖擊后,出現(xiàn)了節(jié)能性的經(jīng)濟增長。重新回歸，得到結(jié)果如下：決定系數(shù)明顯提高，估算出來的回歸系數(shù)滿足符號條件，而且均在1％水平上顯著(tc(15-3)＝2.681)；2.石油沖擊前的系數(shù)為0.839,石油沖擊后的系數(shù)為0.640.可見石油沖擊后，經(jīng)濟增長模式向節(jié)能化方向轉(zhuǎn)變。虛擬變量模型的分類例題：考察1990年前后的中國居民的總儲蓄-收入關(guān)系是否已發(fā)生變化。表中給出了中國1979~2001年以城鄉(xiāng)儲蓄存款余額代表的居民儲蓄以及以GNP代表的居民收入的數(shù)據(jù)。1990年前：Yi=1+2Xi+1ii=1,2…,n1

1990年后：Yi=1+2Xi+2ii=1,2…,n2

則有可能出現(xiàn)下述四種情況中的一種：(1)1=1，且2=2，即兩個回歸相同，稱為重合回歸（Coin