回歸分析概述及一元回歸模型參數(shù)估計

第二章單方程計量經(jīng)濟學(xué)模型理論(lǐlùn)與方法

TheoryandMethodologyofSingle-EquationEconometricModel線性單方程計量經(jīng)濟學(xué)模型的理論基礎(chǔ)和參數(shù)估計線性單方程計量經(jīng)濟學(xué)模型的統(tǒng)計(tǒngjì)檢驗和區(qū)間估計違背經(jīng)典假設(shè)的計量經(jīng)濟學(xué)問題擴展的單方程計量經(jīng)濟學(xué)模型精品資料§2.1回歸分析(fēnxī)概述IntroductiontoRegressionAnalysis一、變量間的關(guān)系及回歸分析的基本概念二、總體(zǒngtǐ)回歸函數(shù)（PRF）三、隨機擾動項四、樣本回歸函數(shù)（SRF）精品資料（1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機變量間的關(guān)系。（2）統(tǒng)計依賴(yīlài)或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機變量間的關(guān)系。一、變量間的關(guān)系及回歸(huíguī)分析的基本概念

1、變量間的關(guān)系

經(jīng)濟變量之間的關(guān)系，大體可分為兩類：精品資料對變量間統(tǒng)計依賴關(guān)系(guānxì)的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的：精品資料不線性相關(guān)(xiāngguān)并不意味著不相關(guān)(xiāngguān)；有相關(guān)(xiāngguān)關(guān)系并不意味著一定有因果關(guān)系；回歸分析/相關(guān)(xiāngguān)分析研究一個變量對另一個（些）變量的統(tǒng)計依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。相關(guān)(xiāngguān)分析對稱地對待任何（兩個）變量，兩個變量都被看作是隨機的。回歸分析對變量的處理方法存在不對稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量）:前者是隨機變量，后者不一定。注意(zhùyì)：精品資料回歸分析(regressionanalysis)是研究一個變量關(guān)于另一個（些）變量的具體(jùtǐ)依賴關(guān)系的計算方法和理論。其用意：在于通過后者在重復(fù)抽樣中的的已知或設(shè)定值，去估計和（或）預(yù)測前者的（總體）均值。這里:前一個變量被稱為被解釋變量(ExplainedVariable)或應(yīng)變量(DependentVariable)，后一個（些）變量被稱為解釋變量(ExplanatoryVariable)或自變量(IndependentVariable)。2、回歸(huíguī)分析的基本概念精品資料由于變量間關(guān)系的隨機性，回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察(kǎochá)被解釋變量的總體均值，即當解釋變量取某個確定值時，與之統(tǒng)計相關(guān)的被解釋變量所有可能出現(xiàn)的對應(yīng)值的平均值?；貧w分析構(gòu)成計量經(jīng)濟學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括：（1）根據(jù)(gēnjù)樣本觀察值對計量經(jīng)濟模型參數(shù)進行估計,求得回歸方程；（2）對回歸方程、參數(shù)估計值進行顯著性檢驗；（3）利用回歸方程進行分析、評價及預(yù)測。精品資料例2.1：一個假想的社區(qū)有100戶家庭組成，要研究該社區(qū)每月家庭消費支出Y與每月家庭可支配收入X的關(guān)系。如果(rúguǒ)知道了家庭的月收入，能否預(yù)測該社區(qū)家庭的平均月消費支出水平。為達到此目的，將該100戶家庭劃分(huàfēn)為組內(nèi)收入差不多的10組，以分析每一收入組的家庭消費支出。二、總體回歸函數(shù)精品資料收入水平800110014001700200023002600290032003500條件概率1/41/61/111/131/131/141/131/101/91/6條件均值60582510451265148517051925214523652585精品資料（1）由于不確定因素的影響，對同一收入水平X，不同家庭的消費支出(zhīchū)不完全相同；（2）但由于調(diào)查的完備性，給定收入水平X的消費支出(zhīchū)Y的分布是確定的，即以X的給定值為條件的Y的條件分布(Conditionaldistribution)是已知的，如：P(Y=561|X=800)=1/4。因此，給定收入X的值Xi，可得消費支出(zhīchū)Y的條件均值（conditionalmean）或條件期望（conditionalexpectation）：E(Y|X=Xi)該例中：E(Y|X=800)=605分析：精品資料描出散點圖發(fā)現(xiàn)：隨著(suízhe)收入的增加，消費“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。05001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消費支出Y（元）

精品資料概念(gàiniàn)：在給定解釋(jiěshì)變量Xi條件下被解釋(jiěshì)變量Yi的期望軌跡稱為總體回歸線(populationregressionline)，或更一般地稱為總體回歸曲線(populationregressioncurve)。

稱為總體回歸函數(shù)（populationregressionfunction,PRF）。

相應(yīng)的函數(shù)：精品資料總體(zǒngtǐ)回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體(zǒngtǐ)條件期望）隨解釋變量X變化的規(guī)律。含義(hányì)：

函數(shù)形式：

可以是線性或非線性的。

例2.1中，將居民消費支出看成是其可支配收入的線性函數(shù)時:為一線性函數(shù)。其中，0，1是未知參數(shù)，稱為回歸系數(shù)（regressioncoefficients）。精品資料三、隨機(suíjī)擾動項總體回歸函數(shù)說明在給定的收入水平Xi下，該社區(qū)家庭平均的消費支出水平。對某一個別的家庭，其消費支出可能(kěnéng)與該平均水平有偏差。稱i為觀察值Yi圍繞它的期望值E(Y|Xi)的離差(deviation)，是一個不可觀測的隨機變量，又稱為隨機干擾項（stochasticdisturbance）或隨機誤差項（stochasticerror）。記精品資料f(u)X1X2XiXE（Yi丨X

i）YXn精品資料例2.1中，個別家庭的消費(xiāofèi)支出為：（*）式稱為總體回歸函數(shù)（方程）PRF的隨機設(shè)定形式。表明被解釋變量除了(chúle)受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機性影響。(1)該收入水平下所有家庭的平均消費支出E(Y|Xi)，稱為系統(tǒng)性(systematic)或確定性(deterministic)部分。

(2)其他隨機或非確定性(nonsystematic)部分i。即，給定收入水平Xi,個別家庭的支出可表示為兩部分之和:(*)

由于方程中引入了隨機項，成為計量經(jīng)濟學(xué)模型，因此也稱為總體回歸模型。精品資料隨機誤差項的影響(yǐngxiǎng)因素：1）在解釋變量中被忽略的因素的影響；2）變量觀測值的觀測誤差的影響；3）模型關(guān)系的設(shè)定(shèdìnɡ)誤差的影響；4）其它隨機因素的影響;產(chǎn)生并設(shè)計隨機誤差項的主要原因：1）理論的含糊性；2）數(shù)據(jù)的欠缺；3）節(jié)省原則;精品資料四、樣本回歸(huíguī)函數(shù)（SRF）問題(wèntí)：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？

問：能否從該樣本估計總體回歸函數(shù)PRF？

例2.2：在例2.1的總體中有如下一個樣本，

總體的信息往往無法掌握，現(xiàn)實的情況只能是在一次觀測中得到總體的一組樣本。精品資料該樣本(yàngběn)的散點圖(scatterdiagram)：樣本散點圖近似(jìnsì)于一條直線，畫一條直線以盡好地擬合該散點圖，由于樣本取自總體，可以該線近似(jìnsì)地代表總體回歸線。該線稱為樣本回歸線（sampleregressionlines）。

記樣本回歸線的函數(shù)形式為：稱為樣本回歸函數(shù)(sampleregressionfunction，SRF)。

精品資料這里將樣本回歸線看成總體(zǒngtǐ)回歸線的近似替代則注意(zhùyì)：精品資料樣本回歸函數(shù)的隨機形式(xíngshì)/樣本回歸模型：同樣地，樣本(yàngběn)回歸函數(shù)也有如下的隨機形式：▼回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計總體回歸函數(shù)PRF。即，根據(jù)估計

式中，ei稱為（樣本）殘差或剩余項（residual），代表了其他影響Yi的隨機因素的集合，可看成是mi的估計量。

由于方程中引入了隨機項，成為計量經(jīng)濟模型，因此也稱為樣本回歸模型(sampleregressionmodel)。精品資料注意：這里PRF可能(kěnéng)永遠無法知道。精品資料§2.2一元線性回歸(huíguī)模型及參數(shù)估計

SimpleLinearRegressionModelandItsEstimation一、“線性”回歸模型的特征及含義二、一元線性回歸模型的基本假設(shè)三、參數(shù)的普通最小二乘估計(OLS)四、最小二乘估計量的性質(zhì)(xìngzhì)五、參數(shù)估計量的概率分布及隨機干擾項方差的估計精品資料一、線性回歸模型(móxíng)的特征一個例子凱恩斯絕對收入假設(shè)消費理論：消費C是由收入Y唯一決定(juédìng)的，是收入的線性函數(shù)：但實際上上述等式不能準確實現(xiàn)。

原因(1)消費除了受收入影響外還受其他因素的影響。(2)線性關(guān)系是一個近似，收入變量的觀察值是近似的，數(shù)據(jù)本身并不絕對準確地反映收入水平。精品資料因此，一個(yīɡè)更符合實際的數(shù)學(xué)描述是：線性回歸模型的特征：是通過(tōngguò)引入隨機誤差項將變量之間的關(guān)系用線性隨機方程來描述，并用隨機數(shù)學(xué)的方法來估計方程中的參數(shù)。在線性回歸模型中，被解釋變量的特征由解釋變量和隨機誤差項共同決定。精品資料計量經(jīng)濟學(xué)中“線性”回歸模型(móxíng)的含義對參數(shù)為線性、對變量(biànliàng)非線性的函數(shù)：對參數(shù)非線性、對變量線性的函數(shù)：對參數(shù)非線性、對變量非線性的函數(shù)：對參數(shù)不可化為線性的函數(shù)對參數(shù)可化為線性的函數(shù)(1)(2)(3)(4)(5)精品資料對可化為線性的非線性模型(móxíng)的處理方法(1)變量置換例如，描述稅收與稅率之間關(guān)系的拉弗曲線：s=a+br+cr2(c<0)s：稅收，r：稅率設(shè)，X1=r,X2=r2，則原方程變?yōu)閟=a+bX1+cX2(2)對數(shù)變換例如，Cobb-Dauglas生產(chǎn)(shēngchǎn)函數(shù)：冪函數(shù)

Q:產(chǎn)出量，K：投入的資本，L：投入的勞動方程兩邊取對數(shù)：精品資料三個版本的C-D生產(chǎn)(shēngchǎn)函數(shù)模型：注意模型(móxíng)線性化后的前提假設(shè)精品資料線性模型(móxíng)與非線性模型(móxíng)→(1)(2)(3)(4)(5)(7)(6)精品資料結(jié)論：實際(shíjì)經(jīng)濟活動中的許多問題，變量之間的非線性關(guān)系都可以最終化為線性關(guān)系。線性回歸模型具有普遍意義。即使對于無法采取任何變換方法使之變成線性的非線性模型，目前適用較多的參數(shù)估計方法非線性最小二乘法，其原理是以線性估計方法為基礎(chǔ)。線性模型理論方法在計量經(jīng)濟學(xué)理論方法中占據(jù)重要地位。精品資料其他(qítā)條件不變的概念(ceterisparibus)包括經(jīng)濟學(xué)在內(nèi)的許多社會科學(xué)中的假設(shè)都具有“其他條件不變”的特點：在研究兩個變量之間關(guān)系時，所有其他相關(guān)因素都必須固定(gùdìng)不變。例如，經(jīng)濟學(xué)中在分析消費需求時，想知道商品價格的變化對其需求量的影響，而讓所有其他因素——收入、其他商品的價格和個人偏好等——都保持不變。計量經(jīng)濟分析中的其他條件不變意味著“其他(相關(guān))因素保持不變，這一概念在因果分析中有重要作用。精品資料二、線性回歸(huíguī)模型的基本假設(shè)技術(shù)路線：由于回歸(huíguī)分析的主要目的是要通過樣本回歸(huíguī)函數(shù)（模型）SRF盡可能準確地估計總體回歸(huíguī)函數(shù)（模型）PRF。即通過：采用最小二乘或最大似然方法。精品資料一元(yīyuán)線性回歸模型：只有一個解釋變量i=1,2,…,nY為被解釋(jiěshì)變量，X為解釋(jiěshì)變量，0與1為待估參數(shù)，為隨機干擾項。

估計方法有多種，其中最廣泛使用的是普通最小二乘法（ordinaryleastsquares,OLS）。

為保證參數(shù)估計量具有良好的性質(zhì)，通常對模型提出若干基本假設(shè)。

注：這些假設(shè)與所采用的估計方法緊密相關(guān)。精品資料一元線性回歸模型的基本(jīběn)假設(shè)假設(shè)1：解釋變量X是確定性變量，不是隨機變量；假設(shè)2：隨機誤差項具有零均值、同方差(fānɡchà)和不序列相關(guān)性：E(i|Xi)=E(i)=0i=1,2,…,nVar(i|Xi)=2i=1,2,…,nCov(i,j)=0i≠ji,j=1,2,…,n假設(shè)3：隨機誤差項與解釋變量X之間不相關(guān)：Cov(Xi,i)=0i=1,2,…,n假設(shè)4：服從零均值、同方差(fānɡchà)、零協(xié)方差(fānɡchà)的正態(tài)分布i~N(0,2)i=1,2,…,n精品資料如果假設(shè)(jiǎshè)1和2滿足，則假設(shè)(jiǎshè)3也滿足；如果假設(shè)(jiǎshè)4滿足，則假設(shè)(jiǎshè)2也滿足。注意(zhùyì)：

假設(shè)1-4假設(shè)也稱為線性回歸模型的經(jīng)典假設(shè)或高斯(Gauss)假設(shè)，滿足該假設(shè)的線性回歸模型稱為經(jīng)典線性回歸模型(ClassicalLinearRegressionModel,CLRM)。

假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一個有限常數(shù)，即：

假設(shè)6：回歸模型是正確設(shè)定的。精品資料假設(shè)4：i~N(0,2)i=1,2,…,n例：測度教育的回報問題問題提出：如果從總體中選擇一個人，并讓他或她多受一年教育，那么，他或她的工資會提高(tígāo)多少？工資水平與可測教育水平及其他非觀測因素的關(guān)系：工資：小時工資(元)，教育：受教育的年數(shù)。其他非觀測因素：工作經(jīng)驗、天生素質(zhì)、職業(yè)道德等。E(μi|Xi)=0假設(shè)μ是天生能力，這個假定就是要求，不論受教育的年數(shù)是多少，平均能力水平都一樣。例如，E(abil|8)=E(abil|6)；精品資料Var(μi|Xi)=σ2，Var(Yi|Xi)=σ2Var(wage|educ)=σ2，雖然平均工資E(wage|educ)可隨著教育水平的提高而增長，但工資相對于它的均值(jūnzhí)的變異卻被假定為對所有的教育水平都不變。i~N(0,2)的理由：由于μ是影響wage而又觀測不到的許多因素之和，所以我們可以借助中心極限定理來斷定μ具有近似正態(tài)分布。

精品資料三、參數(shù)的普通(pǔtōng)最小二乘估計（OLS）給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)(hánshù)盡可能好地擬合這組值。普通最小二乘法(Ordinaryleastsquares,OLS)給出的判斷標準是：二者之差的平方和最小。精品資料方程組（*）稱為正規(guī)(zhèngguī)方程組（normalequations）。由于參數(shù)的估計結(jié)果是通過最小二乘法得到的，故稱為普通最小二乘估計量（ordinaryleastsquaresestimators）。精品資料四、參數(shù)估計的最大似然法(ML)最大似然法(MaximumLikelihood，簡稱ML)，是不同于最小二乘法的另一種參數(shù)估計方法，是從最大似然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)?；驹恚簩τ谧畲笏迫环?，當從模型總體隨機(suíjī)抽取n組樣本觀測值后，最合理的參數(shù)估計量應(yīng)該使得從模型中抽取該n組樣本觀測值的聯(lián)合概率最大。精品資料在滿足基本假設(shè)(jiǎshè)條件下，對一元線性回歸模型：隨機抽取n組樣本(yàngběn)觀測值（Xi,Yi）（i=1,2,…n）。

那么Yi服從如下的正態(tài)分布：于是，Y的概率密度函數(shù)為:（i=1,2,…n）

假如模型的參數(shù)估計量已經(jīng)求得，為精品資料因為Yi是相互獨立(dúlì)的，所以的所有樣本觀測值的聯(lián)合概率，也即似然函數(shù)(likelihoodfunction)為：將該似然函數(shù)(hánshù)極大化，即可求得到模型參數(shù)的極大似然估計量。精品資料由于似然函數(shù)的極大化與似然函數(shù)的對數(shù)的極大化是等價的，所以(suǒyǐ)，取對數(shù)似然函數(shù)如下：精品資料解得模型(móxíng)的參數(shù)估計量為：在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的最大似然估計量與普通(pǔtōng)最小二乘估計量是相同的。精品資料但是(dànshì)，隨機誤差項的方差的估計量是不同的。即可得到(dédào)的最大似然估計量為：解似然方程：精品資料記上述(shàngshù)參數(shù)估計量可以寫成：稱為(chēnɡwéi)OLS估計量的離差形式（deviationform）。關(guān)于參數(shù)估計量的離差形式(deviationform)：

精品資料記則有

可得

（**）式也稱為(chēnɡwéi)樣本回歸函數(shù)的離差形式。（**）注意：在計量經(jīng)濟學(xué)中，往往以小寫字母表示(biǎoshì)對均值的離差。精品資料樣本(yàngběn)回歸線的數(shù)學(xué)性質(zhì)(numericalproperties)樣本(yàngběn)回歸線通過Y和X的樣本(yàngběn)均值；Y估計值的均值等于觀測值的均值；殘差的均值為零