stata中級(jí)計(jì)量經(jīng)濟(jì)學(xué)課件多元線性模型：設(shè)定和估計(jì)

經(jīng)典線性模型：設(shè)定和估計(jì)2023/2/61主要內(nèi)容經(jīng)典線性回歸模型假設(shè)設(shè)定估計(jì)數(shù)據(jù)問(wèn)題：多重共線性、缺失、異常值線性估計(jì)的軟件操作主要基于鮑姆第四章內(nèi)容和Greene第2，3，4章的部分內(nèi)容。2023/2/621.1經(jīng)典線性回歸模型多元線性回歸可以表示“其他條件不變時(shí)，自變量對(duì)因變量的偏效應(yīng)”，通用形式為：例如:對(duì)某商品的需求和收入、價(jià)格有關(guān);工資方程里年齡和教育效應(yīng)影響經(jīng)濟(jì)增長(zhǎng)的因素：資本、勞動(dòng)力、人力資本、區(qū)位因素、基礎(chǔ)設(shè)施等我們假設(shè)樣本中每一個(gè)觀測(cè)值都是由如下過(guò)程生成的：擾動(dòng)項(xiàng)（誤差項(xiàng)）ε隨機(jī)擾動(dòng)項(xiàng)因“擾動(dòng)”了原本穩(wěn)定的關(guān)系而得名：無(wú)法包含所有可能產(chǎn)生影響的因素，被忽略的以誤差項(xiàng)表示；測(cè)量誤差，如資本存量、受教育程度；經(jīng)濟(jì)理論有定義，現(xiàn)實(shí)無(wú)可觀測(cè)的對(duì)應(yīng)，如永久收入?！?023/2/64例：工資與受教育程度2023/2/65矩陣標(biāo)注*經(jīng)典線性模型的假定（CLM）線性：

y=Xβ+

ε，或?qū)δ硢蝹€(gè)觀測(cè)滿秩（可識(shí)別）：不存在任何自變量之間的完全線性關(guān)系，否則參數(shù)是不可識(shí)別的。零條件期望（嚴(yán)格外生性）：E[εi|X]=0。樣本中第i次觀測(cè)到的干擾的期望值，不是任何一次觀測(cè)到的自變量的函數(shù)。也就是說(shuō)自變量不能為預(yù)測(cè)干擾項(xiàng)提供信息。并且E[εi]=EX[E[εi|X]]=0.球形干擾：同方差和無(wú)自相關(guān)正態(tài)性：干擾項(xiàng)服從均值為0和方差為常數(shù)的正態(tài)分布，2023/2/67注：除非特殊情況確定不含截距，否則X的第一列都是1.回歸模型的線性形式注意，線性是指參數(shù)和干擾項(xiàng)進(jìn)入方程的形式,而不是指變量之間的關(guān)系。E[y|x]=1f1(…)+2f2(…)+…+KfK(…).fk()可以是數(shù)據(jù)的任何函數(shù).例如:*例：超越對(duì)數(shù)模型2023/2/69線性回歸模型可以解釋為對(duì)某種未知函數(shù)關(guān)系的一種近似。例：工資方程其中，WAGE=工資率；S=接受教育年限，TENURE=當(dāng)前工作崗位的持續(xù)年限，EXPER=勞動(dòng)經(jīng)驗(yàn)（即當(dāng)前與以往的工作總年限）。該方程滿足線性形式，y=log(WAGE)。因變量取對(duì)數(shù)形式，稱為“半對(duì)數(shù)形式”，該方程是通過(guò)下述的工資率水平與自變量的非線性關(guān)系得到的：半對(duì)數(shù)形式的回歸系數(shù)解釋成百分比的變化而非水平變化，如b1

=0.05表示增加1年的教育大約能提高5%的工資水平。對(duì)數(shù)形式的變換相當(dāng)于數(shù)量的百分比變化2023/2/610滿秩矩陣X列滿秩,即X的列線性獨(dú)立，并且最少有K個(gè)觀測(cè)值。下面的模型中存在一種精確的線性關(guān)系，違背了該假設(shè)，參數(shù)無(wú)法估計(jì)。2023/2/611

例：完全共線性：AnUnidentified(ButValid)

TheoryofArtAppreciationEnhancedMonetAreaEffectModel:HeightandWidthEffectsLog(Price)=α+β1logArea+

β2logAspectRatio+

β3logHeight+

β4Signature+

ε(AspectRatio=Height/Width).Thisisaperfectlyrespectabletheoryofartprices.However,itisnotpossibletolearnabouttheparametersfromdataonprices,areas,aspectratios,heightsandsignatures.logHeight=1/2*(logArea+logAspectRatio)零條件均值：嚴(yán)格外生性2023/2/613干擾項(xiàng)是從某個(gè)總體中完全隨機(jī)的抽取的，回歸函數(shù)所涉及的不可觀測(cè)因素都和可觀測(cè)因素系統(tǒng)的不相關(guān)。經(jīng)典回歸模型的圖示2023/2/6141.2模型的估計(jì)：最小二乘法線性模型的未知參數(shù)是我們要估計(jì)的對(duì)象。注意總體參數(shù)（β、ε）和樣本估計(jì)值（b、e）的區(qū)別。2023/2/615誤差項(xiàng)殘差項(xiàng)總體回歸樣本回歸*OLS估計(jì)量的正規(guī)方程最小二乘估計(jì)量最小化殘差平方和

2023/2/616如果解釋變量只包含一個(gè)常數(shù)項(xiàng)呢？*矩方法估計(jì)量矩法估計(jì)量是由矩條件定義的，矩條件被假定對(duì)總體矩是成立的，當(dāng)用不可觀測(cè)總體矩的樣本對(duì)應(yīng)形式代替總體矩時(shí)，就能得到參數(shù)的可行估計(jì)量。零條件均值意味著：每個(gè)解釋變量和誤差項(xiàng)都不相關(guān)。見(jiàn)鮑姆P65.2023/2/617交叉矩陣*2023/2/618例子：工資方程的估計(jì)2023/2/619數(shù)據(jù)來(lái)自Wooldridge，wage1b1b2b3b0=1.3OLS估計(jì)的代數(shù)特征1.殘差和等于0。2.每個(gè)自變量和殘差之間的樣本協(xié)方差為0.3.總是經(jīng)過(guò)均值點(diǎn)。4.回歸擬合值的均值等于實(shí)際數(shù)據(jù)的均值。這一結(jié)論來(lái)自第一條。2023/2/6202023/2/6211.4*分塊回歸2023/2/622回歸模型:

y=X11+X22+

(總體）

=X1b1+X2b2+e(樣本)這個(gè)過(guò)程被稱為剔除(partialingout)或凈化(nettingout)X1

的影響，因此多元回歸中的系數(shù)通常又稱為偏回歸系數(shù)(partialregressioncoefficients)。應(yīng)用：時(shí)間序列數(shù)據(jù)的“detrending”汽油消費(fèi)數(shù)據(jù)

X

=[1,year,PG,Y],y=G

.

完整回歸系數(shù)：

去趨勢(shì)后回歸系數(shù)：2023/2/623“Detrendthedata”meanscomputetheresidualsfromtheregressionsofthevariablesonaconstantandatimetrend.1.5擬合優(yōu)度:中心化的R22023/2/624度量y的變異中能由x的變異加以解釋的比例，介于0~1之間。*非中心化的R2當(dāng)自變量中不包含常數(shù)時(shí)，R2

可能為負(fù)值，相關(guān)的另一概念為非中心化的R2。2023/2/625調(diào)整R方

2023/2/626

例：R方和調(diào)整R方2023/2/627方差分析表SS：平方和ResidualSS:殘差平方和，n-K個(gè)自由度，K包含常數(shù)項(xiàng)TotalSS：總平方和，n-1個(gè)自由度ModelSS：回歸平方和，K-1個(gè)自由度df：自由度MS：均方。等于平方和除以自由度2023/2/628R方和模型比較R2

是對(duì)y和x線性關(guān)系的一種度量，難以擬合非線性的關(guān)系；R2=0.99就好嗎？非穩(wěn)定時(shí)間序列往往存在“偽回歸”不同模型比較的因變量要統(tǒng)一。如對(duì)數(shù)-水平值的選擇。Y的變異和lnY的變異不是一碼事。只有在一個(gè)包含常數(shù)項(xiàng)的線性方程中使用最小二乘法，R2

才能理解為x的變異解釋了多少y的變異。2023/2/629系數(shù)估計(jì)值與β系數(shù)有時(shí)候也線性回歸也以β系數(shù)進(jìn)行報(bào)告，表示當(dāng)自變量變化一個(gè)標(biāo)準(zhǔn)差時(shí)因變量變動(dòng)多少個(gè)標(biāo)準(zhǔn)差。β系數(shù)絕對(duì)值的大小可以表示變量的影響力。2023/2/6301.6OLS估計(jì)量的有限樣本特征估計(jì)值和估計(jì)量的區(qū)別估計(jì)量的特征–抽樣分布“有限樣本特征”是與“漸進(jìn)”或“大樣本”特征對(duì)應(yīng)的。有限樣本性質(zhì)是指對(duì)于任意給定樣本容量n都成立的估計(jì)量分布特征OLS估計(jì)量的有限樣本特征(a)無(wú)偏性。E(b|X)=β，OLS估計(jì)量是一個(gè)線性無(wú)偏估計(jì)量(b)方差的表達(dá)式：?(Gauss-Markov定理)OLS估計(jì)量是有效的線性無(wú)偏估計(jì)量（BLUE），換言之，對(duì)于任意的y的線性函數(shù)構(gòu)成的無(wú)偏估計(jì)量c，都存在矩陣形式的關(guān)系式:var(c|X)≥var(b|X)2023/2/632證明：無(wú)偏性*2023/2/633對(duì)這個(gè)結(jié)論的解釋是，對(duì)任意觀測(cè)集X，最小二乘估計(jì)量的期望值都是β，因此當(dāng)我們將其在X的所有可能值上進(jìn)行平均時(shí)，它的無(wú)條件均值仍是β。最小二乘估計(jì)的抽樣分布：OLS估計(jì)量的無(wú)偏性2023/2/634N=100，b=0.5我們從一個(gè)標(biāo)準(zhǔn)正態(tài)分布抽取兩個(gè)樣本，分別包含了對(duì)wi

和xi

的10000個(gè)隨機(jī)抽樣。然后生成一組εi=0.5wi,和yi=0.5+0.5xi+εi,并把它作為總體。我們從這個(gè)總體中抽取500個(gè)各包含100個(gè)觀測(cè)值的隨機(jī)樣本，并對(duì)每個(gè)樣本計(jì)算最小二乘斜率系數(shù)。1.6.1遺漏變量問(wèn)題模型誤設(shè)主要包括遺漏變量或冗余變量。假設(shè)一個(gè)正確的模型為:y=X11+X22+如果我們錯(cuò)誤的只是

y

對(duì)

X1

進(jìn)行了回歸

b1=(X1X1)-1X1y

=(X1X1)-1X1(X11+X22+)

=1+(X1X1)-1X1X22+(X1X1)-1X1

E[b1]=1+(X1X1)-1X1X22除非X1X2=0或2=0，否則b1就有偏誤。

正交回歸：如果多遠(yuǎn)回歸中的變量不相關(guān)（即正交），那么多元回歸系數(shù)與逐個(gè)進(jìn)行簡(jiǎn)單回歸的系數(shù)相同。2023/2/635注意：偏誤的方向，取決于2和X2的每一列對(duì)X1回歸所得系數(shù).這個(gè)偏誤不會(huì)隨著抽樣增加或樣本容量變大而消失。應(yīng)用：遺漏變量問(wèn)題2023/2/636根據(jù)微觀經(jīng)濟(jì)知識(shí)，需求函數(shù)可以表示為:log(Quantity)=0+1log(Price)+2Iog(Income)+如果Quantity只對(duì)Price回歸，忘記了Income變量.結(jié)果會(huì)怎樣?TheU.S.GasolineMarket,52YearlyObservations,1953-2004遺漏變量

在時(shí)間序列里,1<0,2>0Cov[Price,Income]>0intimeseriesdata.因此，短回歸會(huì)高估價(jià)格系數(shù)，甚至超過(guò)了0改變了符號(hào)。1.6.2冗余變量正確的模型是y=X11

+而錯(cuò)誤的估計(jì)了

y=X11+X22+首先，包含冗余變量不會(huì)引起偏差。因?yàn)槿绻?/p>

2=0,那么

E[b1.2]=1.其次，可以證明，包含冗余變量將提高估計(jì)的方差，也就是說(shuō)估計(jì)將更加不準(zhǔn)確，尤其是冗余變量與解釋變量相關(guān)性較強(qiáng)時(shí)。2023/2/638OLS估計(jì)量的方差*2023/2/639擾動(dòng)項(xiàng)的假設(shè):i

零均值并且與其他任何j都不相關(guān);Var[i|X]=2.i

的方差不依賴于樣本中的任何數(shù)據(jù).注意：x的變異越大方差越小。高斯-馬爾可夫定理**2023/2/640高斯-馬爾可夫定理：在回歸元矩陣為X的經(jīng)典線性回歸中，OLS估計(jì)量b是β的最小方差線性無(wú)偏估計(jì)量。對(duì)任意一個(gè)常數(shù)向量w，經(jīng)典回歸模型中w’β的最小方差線性無(wú)偏估計(jì)也都是w’b.方差最小，我們稱b是有效估計(jì)。1.6.3最小二乘估計(jì)方差

2023/2/641附：s2

無(wú)偏性的證明*Hayashi（2000），P.21Greene，ed6,PP51,4.62023/2/642例:

Mroz已婚婦女工資方程2023/2/643協(xié)方差矩陣*方差估計(jì)：bootstrap法方法： 1.使用整個(gè)樣本估計(jì):-->b 2.重復(fù)R次:

從樣本容量為n的樣本中有放回抽取n次,得到一個(gè)新樣本，估計(jì)

得到

b(r). 3.估計(jì)系數(shù)方差V=(1/R)r[b(r)-b][b(r)-b]’2023/2/644應(yīng)用：工資方程2023/2/6451.7OLS估計(jì)量的大樣本特征*1.一致性。b是經(jīng)典回歸模型中的一致估計(jì)量（consistentestimator)。證明見(jiàn)Greene，P65-66.2.漸進(jìn)正態(tài)分布2023/2/6461.8區(qū)間估計(jì)

2023/2/6471.9 多重共線性問(wèn)題高斯馬爾科夫定理指出，在所有線性無(wú)偏估計(jì)量中，最小二乘估計(jì)量具有最小的方差。但并不保證其在任何絕對(duì)意義上都有較小方差。系數(shù)bk的方差可以表示為（Greene,P59)：其他條件不變，xk與其他變量相關(guān)程度越高(R2)，其系數(shù)方差越大；其他條件不變，xk的變動(dòng)程度越大，方差越??；其他條件不變，總體回歸擬合的越好（σ2越?。?，估計(jì)方差越小。2023/2/648如果有一個(gè)自變量可以表示為其他自變量的線性組合，則存在完全共線性.Stata可以自動(dòng)識(shí)別完全共線性，主要問(wèn)題來(lái)自近似共線性。高度相關(guān)產(chǎn)生的問(wèn)題

數(shù)據(jù)的微小變化導(dǎo)致參數(shù)估計(jì)值的大幅波動(dòng)盡管系數(shù)具有聯(lián)合顯著性且回歸的R2

值較高，但系數(shù)標(biāo)準(zhǔn)差較大，顯著性水平較低系數(shù)可能具有“錯(cuò)誤的”符號(hào)或不合理的大小。2023/2/649多重共線性的判斷1.簡(jiǎn)單相關(guān)系數(shù)：0.8以上就有一些問(wèn)題了；2.回歸的F值大但系數(shù)t值都不顯著。3.方差膨脹因子：一般認(rèn)為超過(guò)5就存在一定問(wèn)題。4.X’X的條件數(shù)：矩陣最大特征根和最小特征根之比的平方根。大大條件數(shù)意味著小的X的變化能引起估計(jì)系數(shù)大大變動(dòng)。超過(guò)20一般就有問(wèn)題了。2023/2/650例（E.4.6）：朗利數(shù)據(jù)2023/2/651例：朗利數(shù)據(jù)2023/2/652僅僅是否包含最后一個(gè)年度觀測(cè)值，估計(jì)結(jié)果差異巨大！方差膨脹因子對(duì)多重共線性的處理1.增加樣本信息；2.刪除變量（潛在遺漏偏物）；3.包含所有變量回歸，疑問(wèn)變量是否顯著，如顯著保留，如不顯著，丟棄；4.主成分，對(duì)系數(shù)經(jīng)濟(jì)含義2023/2/653應(yīng)用：電影票房2023/2/6542023/2/6551.10異常值*在樣本較小的情況下，異常值會(huì)對(duì)估計(jì)系數(shù)產(chǎn)生較大影響。異常值的識(shí)別：標(biāo)準(zhǔn)化殘差和學(xué)生化殘差2023/2/656應(yīng)用：莫奈名畫的拍賣價(jià)格2023/2/657估計(jì)命令返回的數(shù)值2023/2/658usewage1.dta,clearregresslwageeducexpertenureereturnlist*注意e(sample),當(dāng)觀測(cè)值包含在估計(jì)樣本中時(shí)，e(sample)函數(shù)為1，否則為0.如果有缺省值，樣本統(tǒng)計(jì)（如均值）可能與估計(jì)樣本不同。Summarizexife(sample)1.11報(bào)告回歸結(jié)果學(xué)術(shù)論文有一定的規(guī)范，尤其是多個(gè)回歸結(jié)果，表格的安排。estimatestableestout命令2023/2/659例子：波士頓房?jī)r(jià)模型2023/2/660VariableModel1Model2Model3Model4rooms0.369-0.8210.2550.02010.1830.0185rooms20.08890.014ldist0.237-0.157-0.1340.02550.05050.0431stratio-0.0775-0.05250.00660.0059lnox-1.22-0.9540.1350.117_cons7.6211.313.611.10.1270.5840.3040.318r2_a0.3990.50.4240.581rmse0.3170.2890.3110.265N5065065065062023/2/661附錄：OLS推導(dǎo)2023/2/662附錄：高斯-馬爾可夫定理的證明2023/2/663附錄：LS的方差（1.7多重共線性）文獻(xiàn)選讀N.GregoryMankiw;DavidRomer;DavidN.Weil,1992，AContributiontotheEmpiricsofEconomicGrowth,TheQuarterlyJournalofEconomics,Vol.107,No.2.(May,1992),pp.407-437.2023/2/665附錄：不同數(shù)據(jù)類型的Stata估計(jì)命令數(shù)據(jù)類型估計(jì)命令Linearregress,cnreg,areg,treatreg,ivregress,qreg,boxcox,frontier,mvreg,sureg,reg3,xtreg,xtgls,xtrc,xtpcse,xtregar,xtmixed,xtivreg,xthtaylor,xtabond,xtfrontier…NonlinearLSnlBinarylogit,logistic,probit,cloglog,glogit,slogit,hetprob,scobit,ivprobit,heckprob,xtlogit,xtprobit,xtcloglogMultinomialmlogit,clogit,asclogit,nlogit,ologit,rologit,asroprobit,mprobit,asmprobit,oprobit,biprobitCensorednormaltobit,intreg,cnsreg,truncreg,ivtobit,xttobit,xttintregSelectionnormaltreatregheckmanDurationsstcox,stregCountspoisson,nbreg,gnbreg,zip,zinb,ztp,ztnb,xtpoisson,xtnbreg2023/2/6662023/2/667

HealthCarePanelDataGermanHealthCareUsageData,7,293Individuals,VaryingNumbersofPeriods

DatadownloadedfromJournalofAppliedEconometricsArchive.

Therearealtogether27,326observations.

Thenumberofobservationsrangesfrom1to7.

(Frequenciesare:1=1525,2=2158,3=825,4=926,5=1051,6=1000,7=987).

Variable