計(jì)量經(jīng)濟(jì)學(xué)-一元線性回歸

《計(jì)量經(jīng)濟(jì)學(xué)》

Econometrics

第3章一元線性回歸3.1傳統(tǒng)假設(shè)下的一元線性回歸模型3.2

一元線性回歸模型的基本假設(shè)3.3最小二乘估計(jì)值的特征3.4判定系數(shù)3.5最小二乘回歸的若干重要結(jié)論3.6參數(shù)顯著性檢驗(yàn)：t檢驗(yàn)3.7預(yù)測(cè)3.8案例分析

23.1傳統(tǒng)假設(shè)下的一元線性回歸模型3.1.1回歸分析的基本概念3.1.2總體回歸函數(shù)、隨機(jī)誤差項(xiàng)、樣本回歸函數(shù)33.1.1回歸分析的基本概念4回歸這個(gè)術(shù)語是由英國(guó)著名統(tǒng)計(jì)學(xué)家FrancisGalton在19世紀(jì)末期研究孩子及他們的父母的身高時(shí)提出來的。孩子的身高會(huì)趨向平均發(fā)展。當(dāng)雙親的身高都很高（矮）時(shí)，他們的孩子身高雖然會(huì)高（矮）于一般人，卻往往比父母親矮（高）。高爾頓的普遍回歸定律。（lawofuniversalregression）5舉例高爾頓的普遍回歸定律。高爾頓的興趣在于發(fā)現(xiàn)為什么人口的身高分布有一種穩(wěn)定性。但現(xiàn)代觀點(diǎn)關(guān)心的則是給定父輩身高的情形下找出兒輩平均身高的變化。即關(guān)心一旦知道了父輩的身高，怎樣預(yù)測(cè)兒輩的平均身高。6070657560657075父輩身高，英寸兒輩身高，英寸對(duì)應(yīng)于給定父親身高的兒子身高的假想分布姚明女兒的身高？回歸的現(xiàn)代釋義回歸分析是關(guān)于研究一個(gè)被解釋變量對(duì)另一個(gè)或多個(gè)解釋變量的依賴關(guān)系，其用意在于通過后者（在重復(fù)抽樣中）的已知或設(shè)定值，去估計(jì)或預(yù)測(cè)前者的（總體）均值。雖然回歸分析研究一個(gè)變量對(duì)另一（些）變量的依賴關(guān)系，但它并不一定意味著因果關(guān)系。6相關(guān)關(guān)系和回歸分析的比較注意①

相關(guān)分析對(duì)稱地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的。

回歸分析對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）：前者是隨機(jī)變量，后者是固定的。②相關(guān)關(guān)系關(guān)心兩個(gè)變量間關(guān)系的緊密程度；

回歸分析感興趣的則是試圖根據(jù)其他變量的設(shè)定值來估計(jì)或預(yù)測(cè)某一變量的平均值。73.1.2總體回歸函數(shù)、隨機(jī)誤差項(xiàng)、

樣本回歸函數(shù)總體回歸函數(shù)：在解釋變量Xi確定的情況下，被解釋變量Yi的期望軌跡稱為總體回歸線，其相應(yīng)的函數(shù)形式為

稱為總體回歸函數(shù)（PRF），或稱條件期望函數(shù)。含義：回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。8實(shí)例例：一個(gè)假想的社區(qū)有99戶家庭組成，要研究該社區(qū)每月家庭消費(fèi)支出Y與每月家庭可支配收入X的關(guān)系。即如果知道了家庭的月收入，能否預(yù)測(cè)該社區(qū)家庭的平均月消費(fèi)支出水平。為達(dá)到此目的，將該99戶家庭劃分為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費(fèi)支出。9Y的條件均值E（Y/X）60582510451265148517051925214523652585236505001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費(fèi)支出Y（元）

描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。12在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為總體回歸線?；蚋话愕胤Q為總體回歸曲線?？傮w回歸線800140011006058251045E（Y︱Xi）13隨機(jī)誤差項(xiàng)一個(gè)例子

凱恩斯絕對(duì)收入假設(shè)消費(fèi)理論：消費(fèi)（Y）是由收入（X）唯一決定的，是收入的線性函數(shù)：

Y=+X(2.2.1)

但實(shí)際上上述等式不能準(zhǔn)確實(shí)現(xiàn)。原因⑴消費(fèi)除受收入影響外，還受其他因素的影響；⑵線性關(guān)系只是一個(gè)近似描述；⑶收入變量觀測(cè)值的近似性：收入數(shù)據(jù)本身并不絕對(duì)準(zhǔn)確地反映收入水平。14隨機(jī)誤差項(xiàng)的意義隨機(jī)誤差項(xiàng)是從模型中省略下來的而又集體地影響著Y的全部變量的替代物，那么為什么不把這些變量明顯地引進(jìn)到模型中來？即為什么不構(gòu)造一個(gè)含有盡可能多個(gè)變量的多元回歸模型？隨機(jī)誤差項(xiàng)主要包括下列因素：在解釋變量中被忽略的因素的影響；模型關(guān)系的設(shè)定誤差的影響；變量觀測(cè)值的觀測(cè)誤差的影響；其他隨機(jī)因素的影響。15因此，一個(gè)更符合實(shí)際的數(shù)學(xué)描述為：

Y=+X+

其中：是一個(gè)隨機(jī)誤差項(xiàng)，是其他影響因素的“綜合體”，是不可控的。這個(gè)式子由于引進(jìn)了隨機(jī)誤差項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，所以被稱為總體回歸模型。16隨機(jī)誤差項(xiàng)該偏差稱為觀察值圍繞它的期望值的離差（deviation），是一個(gè)不可觀測(cè)的隨機(jī)變量，稱為隨機(jī)誤差項(xiàng)（stochasticerror）。17樣本回歸函數(shù)（SRF）例:在上例的總體中有如下一個(gè)樣本，能否從該樣本估計(jì)總體回歸函數(shù)PRF？X800110014001700200023002600290032003500Y59463811221155140815951969207825852530表：家庭消費(fèi)支出與可支配收入的一個(gè)隨機(jī)樣本問題的提出：由于總體的信息往往無法掌握,現(xiàn)實(shí)的情況只能在一次觀測(cè)中得到總體的一組樣本.18

該樣本的散點(diǎn)圖（scatterdiagram)：

畫一條直線以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，以該直線近似地代表總體回歸線。該直線稱為樣本回歸線（sampleregressionlines，SRF）。19記樣本回歸線的函數(shù)形式為：稱為樣本回歸函數(shù)（sampleregressionfunction，SRF）20樣本回歸函數(shù)的隨機(jī)形式/樣本回歸模型同樣地，樣本回歸函數(shù)也有如下的隨機(jī)形式：

由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，因此也稱為樣本回歸模型（sampleregressionmodel）。

21回歸分析的主要目的即，根據(jù)

估計(jì)根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)PRF。3.2一元線性回歸模型的基本假設(shè)22由于回歸分析的主要目的是要通過樣本回歸函數(shù)(模型)SRF盡可能準(zhǔn)確地估計(jì)總體回歸函數(shù)(模型)PRF,即通過估計(jì)普遍采用普通最小二乘法或最大似然法需要對(duì)解釋變量和隨機(jī)項(xiàng)做出假設(shè),否則滿足不了這個(gè)技術(shù)路線.23

假設(shè)1.解釋變量X是確定性變量，不是隨機(jī)變量，且在重復(fù)抽樣中X值是固定的；解釋變量間不相關(guān)；

假設(shè)2.隨機(jī)誤差項(xiàng)具有零均值、同方差和不序列相關(guān)性：滿足這三條假設(shè)的隨機(jī)誤差項(xiàng)，稱為“球形擾動(dòng)項(xiàng)”i=1,2,…,n24假設(shè)3.隨機(jī)誤差項(xiàng)與解釋變量X之間不相關(guān)：假設(shè)4.服從零均值、同方差、零協(xié)方差的正態(tài)分布:

25X1X3●●●●●●●●●●●●●●●●●●●●●●●●X2均值YX這一假定是說，凡是模型不含的因而歸屬于ui的因素，對(duì)Y的均值都沒系統(tǒng)的影響26如果兩個(gè)變量關(guān)系中確實(shí)是線性函數(shù)主導(dǎo)的，誤差項(xiàng)只是次要的隨機(jī)擾動(dòng)因素，那么如果對(duì)同樣的X多次重復(fù)觀測(cè)對(duì)應(yīng)的Y值，則Y值的概率均值應(yīng)該能消除隨機(jī)擾動(dòng)的影響，即隨機(jī)誤差項(xiàng)對(duì)Y沒有系統(tǒng)的影響，符合線性函數(shù)的基本趨勢(shì)。等價(jià)表示形式：E[Y|Xi]=β0+β1Xi。即被解釋變量的數(shù)學(xué)期望始終落在總體回歸直線上。零均值的意義27Var(i)=2i=1,2,…,n誤差項(xiàng)的方差反映的是誤差項(xiàng)作為隨機(jī)函數(shù)的分布分散程度。這個(gè)假設(shè)的意義是對(duì)應(yīng)不同觀測(cè)數(shù)據(jù)誤差項(xiàng)分布的發(fā)散趨勢(shì)相同。如果i

的方差會(huì)隨i變化，就意味著這部分因素對(duì)被解釋變量的影響力度，會(huì)隨i而變化，不能再理解為是一些微小的可被忽略的因素的影響。28同方差X1X3X2YXμi的概率密度f(μ)這個(gè)假定也意味著Yi的條件方差也是同方差的。29異方差X1X3X2YXμi的概率密度f(μ)30Cov(i,j)=0i≠ji,j=1,2,…,n意義：對(duì)應(yīng)不同的觀測(cè)值的誤差項(xiàng)之間沒有相關(guān)性。31Cov(Xi,i)=0i=1,2,…,n32這個(gè)假設(shè)表面上看起來限制性很大，因?yàn)樗懦饬苏`差項(xiàng)服從任意其他分布的可能性，但實(shí)際上只要變量關(guān)系確實(shí)滿足線性回歸分析的基本思想，其誤差項(xiàng)代表許多微小擾動(dòng)因素的綜合，那么根據(jù)中心極限定理，誤差項(xiàng)服從正態(tài)分布是很自然的。i~N(0,2)i=1,2,…,n33思考線性回歸模型的零均值假設(shè)是否可以表示為？為什么？3.3最小二乘估計(jì)值的特征最佳線性無偏估計(jì)量——高斯-馬爾可夫定理線性性：意義：參數(shù)估計(jì)量與被解釋變量服從相同類型的分布無偏性：意義：參數(shù)估計(jì)量是以參數(shù)真實(shí)值為分布中心的隨機(jī)變量，反復(fù)抽樣估計(jì)可得真實(shí)值。有效性 :意義：說明估計(jì)量的分布分散程度較小，比較密集于分布中心的附近。34最小二乘估計(jì)的表達(dá)根據(jù)以上性質(zhì)，可知參數(shù)估計(jì)量的概率分布：35原因：由于隨機(jī)誤差項(xiàng)是服從正態(tài)分布的隨機(jī)變量，決定了也是服從正態(tài)分布的隨機(jī)變量，而又是的線性函數(shù)，決定了也是服從正態(tài)分布的隨機(jī)變量。

所以確定了的均值和方差即可。3.4判定系數(shù)（擬合優(yōu)度檢驗(yàn)）擬合度指回歸直線與樣本數(shù)據(jù)趨勢(shì)的吻合程度。擬合度是判斷模型假設(shè)的變量的關(guān)系的真實(shí)性的重要指標(biāo)。36思考?xì)埐钇椒胶褪呛玫臄M合度的評(píng)價(jià)標(biāo)準(zhǔn)嗎？殘差平方和存在的問題——受樣本容量、量綱等因素影響不同樣本，不同容量的情況，沒有橫向可比性。度量擬合優(yōu)度的指標(biāo)：判定系數(shù)（可決系數(shù)）R2建立在對(duì)被解釋變量總離差分解的基礎(chǔ)之上3738

思路：總離差平方和的分解來自殘差SRF來自回歸總離差

如果Yi=?i

即實(shí)際觀測(cè)值落在樣本回歸“線”上，則擬合最好?？烧J(rèn)為，“離差”全部來自回歸線，而與“殘差”無關(guān)。來自殘差SRF來自回歸總離差40

對(duì)于所有樣本點(diǎn)，則需考慮這些點(diǎn)與樣本均值離差的平方和，可以證明：其中：剛得到41TSS=ESS+RSS記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）判定系數(shù)（可決系數(shù)）R2統(tǒng)計(jì)量

42稱

R2

為（樣本）可決系數(shù)/判定系數(shù)?？蓻Q系數(shù)的取值范圍：[0，1]隨抽樣波動(dòng)，樣本可決系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量R2越接近1，說明實(shí)際觀測(cè)點(diǎn)離樣本線越近，擬合優(yōu)度越高。數(shù)值上等于相關(guān)系數(shù)的平方3.5最小二乘回歸的若干重要結(jié)論1.估計(jì)值的均值和方差分別為多大？2.估計(jì)值的分布是什么樣的？根據(jù)最小二乘估計(jì)量的特點(diǎn)可知：43當(dāng)模型為一元線性回歸時(shí)，k=1實(shí)驗(yàn)錄入表2-1中的數(shù)據(jù)，做回歸模型，其中被解釋變量“人均居民消費(fèi)水平”，解釋變量為“人均GDP”。觀察回歸輸出結(jié)果。44453.6參數(shù)顯著性檢驗(yàn)：t檢驗(yàn)3.6.1t檢驗(yàn)3.6.2參數(shù)的置信區(qū)間

463.6.1t檢驗(yàn)在一元線性模型中，回歸分析就是要判斷X是否對(duì)Y具有顯著的線性性影響。這就需要進(jìn)行變量的顯著性檢驗(yàn)。變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)中的假設(shè)檢驗(yàn)。4748

知識(shí)回顧：假設(shè)檢驗(yàn)

以50名同學(xué)的平均身高為例

，如果假設(shè)平均身高為163，但一次抽樣10人，發(fā)現(xiàn)平均身高180，則會(huì)推翻原假設(shè)，因?yàn)椋淮纬闃?，小概率事件就發(fā)生了。

1–aa/2a/2假設(shè)檢驗(yàn)的過程49顯著性水平和拒絕域0臨界值臨界值a/2

a/2樣本統(tǒng)計(jì)量拒絕H0拒絕H01-置信水平相對(duì)于顯著性水平的臨界值為：?jiǎn)蝹?cè)tα或雙側(cè)tα/2計(jì)算的統(tǒng)計(jì)量為t50

（1）對(duì)總體參數(shù)提出假設(shè)（原假設(shè)和備擇假設(shè)）

（2）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值（3）給定顯著性水平，查t分布表得臨界值(4)比較，判斷，變量的顯著性檢驗(yàn)：假設(shè)檢驗(yàn)步驟51此時(shí)，t統(tǒng)計(jì)量分別是多少？52

參數(shù)估計(jì)量只是參數(shù)真實(shí)值的近似，不僅與參數(shù)真實(shí)值有偏差，而且本身不能說明偏差的大小。因此還需要尋求包括真實(shí)參數(shù)的可能范圍，并說明其可靠性。

置信區(qū)間則限定了其偏差程度。

置信區(qū)間的含義：要判斷樣本參數(shù)的估計(jì)值在多大程度上可以“近似”地替代總體參數(shù)的真值，往往需要通過構(gòu)造一個(gè)以樣本參數(shù)的估計(jì)值為中心的“區(qū)間”，來考察它以多大的可能性（概率）包含著真實(shí)的參數(shù)值。這種方法就是參數(shù)檢驗(yàn)的置信區(qū)間估計(jì)。3.6.2參數(shù)的置信區(qū)間如果存在這樣一個(gè)區(qū)間，稱之為置信區(qū)間；1-α稱為置信系數(shù)，α稱為顯著性水平；置信區(qū)間的端點(diǎn)稱為置信限或臨界值。1–aa/2a/254一元線性模型中，i(i=0，1）的置信區(qū)間

在μi的正態(tài)性假定下，OLS估計(jì)量和本身就是正態(tài)分布的?？傮w回歸函數(shù)中隨機(jī)擾動(dòng)項(xiàng)的方差離差標(biāo)準(zhǔn)化公式要求記住下面的式子是定值55

但是很少能知道，在實(shí)踐中用無偏估計(jì)量來代替，則統(tǒng)計(jì)量t服從自由度為n-2的t分布：是隨機(jī)變量當(dāng)總體方差已知、或者總體方差未知但是大樣本時(shí)，應(yīng)該用z統(tǒng)計(jì)量。但是計(jì)量經(jīng)濟(jì)學(xué)中常常遇到的情況是小樣本且方差未知，所以一般用t統(tǒng)計(jì)量。56

意味著，如果給定置信度（1-α），從分布表中查得自由度為(n-2)的臨界值，那么t值處在(-tα/2,tα/2)的概率是(1-α)。表示為：

即57由于置信區(qū)間一定程度地給出了樣本參數(shù)估計(jì)值與總體參數(shù)真值的“接近”程度，因此置信區(qū)間越小越好。要縮小置信區(qū)間，需要（1）增大樣本容量n。因?yàn)樵谕瑯拥闹眯潘较拢琻越大，t分布表中的臨界值越?。煌瑫r(shí)，還可使樣本參數(shù)估計(jì)量的標(biāo)準(zhǔn)差減小；（2）提高模型的擬合優(yōu)度。因?yàn)闃颖緟?shù)估計(jì)量的標(biāo)準(zhǔn)差與殘差平方和呈正比，模型擬合優(yōu)度越高，殘差平方和應(yīng)越小。3.7預(yù)測(cè)基本思想利用計(jì)量經(jīng)濟(jì)模型做預(yù)測(cè)：指利用所估計(jì)的樣本回歸函數(shù)，用解釋變量的已知值或預(yù)測(cè)值，對(duì)預(yù)測(cè)期或樣本以外的被解釋變量數(shù)值做出定量的估計(jì)。對(duì)被解釋變量Y的預(yù)測(cè)分為：

點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)5859

對(duì)于一元線性回歸模型給定樣本以外的解釋變量的觀測(cè)值X0，可以得到被解釋變量的預(yù)測(cè)值?0

，可以此作為其條件均值E(Y|X=X0)或個(gè)別值Y0的一個(gè)近似估計(jì)。

預(yù)測(cè)值、平均值、個(gè)別值的相互關(guān)系XY點(diǎn)估計(jì)值YfE（Y│Xf)真實(shí)的個(gè)別值YXfPRFSRF∧基本思路：為了對(duì)Y

的個(gè)別值做區(qū)間預(yù)測(cè)，需要尋找與點(diǎn)預(yù)測(cè)值和預(yù)測(cè)目標(biāo)個(gè)別值Y0

有關(guān)的統(tǒng)計(jì)量，并要明確其概率分布。具體做法：已知?dú)埐铐?xiàng)是與預(yù)測(cè)值及個(gè)別值都有關(guān)的變量，并且已知服從正態(tài)分布，且可證明60總體個(gè)值預(yù)測(cè)值的預(yù)測(cè)區(qū)間61由Y0=β0+β1X0+μ知:于是

式中

:從而在1-α的置信度下，Y0的置信區(qū)間為

將未知的代以它的無偏估計(jì)量，可構(gòu)造t統(tǒng)計(jì)量