計量經(jīng)濟學（第四版）課件：一元線性回歸分析基礎

計量經(jīng)濟學（第四版）一元線性回歸分析基礎計量經(jīng)濟學

一元線性回歸分析基礎28二月2024重點問題參數(shù)的最小二乘估計最小二乘估計的性質(zhì)參數(shù)估計的檢驗預測一元線性回歸分析基礎28二月2024主要內(nèi)容第一節(jié)模型的假定第二節(jié)參數(shù)的最小二乘估計第三節(jié)最小二乘估計量的性質(zhì)第四節(jié)系數(shù)的顯著性檢驗第五節(jié)預測和預測區(qū)間一元線性回歸分析基礎28二月2024第一節(jié)模型的假定一、一元線性回歸模型

各種經(jīng)濟變量之間的關系，可以劃分為兩種類型。一類是變量之間有惟一確定的關系，即函數(shù)關系，可表示為：

F(X1，X2，…，Xn，Y)=0(1—1)或Y=f(X1，X2，…，Xn)(1—2)

其中，最簡單的形式為一元線性函數(shù)關系

Y=PX(1—3)

另一類關系為不完全確定的相關關系,表示為：

F(X1，X2，…，Xn，Y，u)=0(1—4)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

或

Y=f(X1，X2，…，Xn，u)

(1—5)

其中最簡單的形式為一元線性回歸模型Y=β1+β2X+u(1—6)

計量經(jīng)濟學只討論變量之間不完全確定的關系，如式(1—4)或式(1—5)所表示的關系。

如式(1—6)所表示的關系式，稱為一元線性回歸模型。

“一元”是指只有一個自變量X，這個自變量X可以解釋引起因變量Y變化的部分原因。因此，X稱為解釋變量，Y稱為被解釋變量，β1和β2為參數(shù)。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

“線性”一詞在這里有兩重含義。它一方面指被解釋變量Y與解釋變量X之間為線性關系，另一方面也指Y與參數(shù)β1、β2之間為線性關系。在數(shù)理統(tǒng)計學中，“回歸”通常指散布點分布在一條直線(或曲線)附近，并且越靠近該直線(或曲線)，點的分布越密集的情況?！澳Ｐ汀币辉~通常指滿足某些假設條件的方程或方程組。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定二、誤差項的性質(zhì)

與精密數(shù)學中的函數(shù)關系相比，回歸模型式(1—4),式(1—5),式(1—6)中的顯著特點是多了誤差項u。產(chǎn)生誤差項的原因主要有以下幾方面：1.忽略掉的影響因素造成的誤差2.模型關系不準確造成的誤差3.變量觀察值的計量誤差4.隨機誤差誤差項的存在是計量經(jīng)濟學模型的特點，是計量經(jīng)濟學模型與精密數(shù)學中完全確定的函數(shù)關系的主要區(qū)別。一元線性回歸分析基礎28二月2024第一節(jié)模型的假定三、經(jīng)典假設條件

經(jīng)典的一元線性回歸模型

Yt=β1+β2Xt+ut(t=1,2,…，n)(1—7)

通常要滿足五個假設條件：假設1誤差項ut的數(shù)學期望(均值)為零，即

E(ut)=0(t=1,2,…，n)(1—8)

假設2誤差項ut的方差與t無關，為一個常數(shù)，即

var(ut)=E((ut-E(ut))2)=E(ut2)

=σu2(t=1,2,…，n)

(1—9)

假設3不同的誤差項ut和us之間互相獨立，即

cov(ut,us)=E((ut-E(ut))(us-E(us)))=0(1—10)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

(t≠s;t=1,2,…,n;s=1,2,…,n)或

E(utus)=0

(1—11)

假設4解釋變量Xt與誤差項ut不相關，即

cov(Xt,ut)=E((Xt-E(Xt))(ut-E(ut)))

=E((Xt-E(Xt))ut)=0(t=1,2,…，n)(1—12)

假設5

ut為服從正態(tài)分布的隨機變量，即

ut～N(0,σu2)

以上五個假設條件稱為經(jīng)典假設條件。綜上所述，一元線性回歸模型可以歸結(jié)為

Yt=β1+β2Xt+ut(t=1,2,…，n)

(1—13)一元線性回歸分析基礎28二月2024第一節(jié)模型的假定

E(ut)=0cov(ut,us)=0(t≠s；t,s=1,2,…,n)var(ut)=σu2

(常數(shù))cov(Xt,ut)=0ut～N(0,σu2)一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計一、擬合準則與最小二乘估計

擬合準則：1使達到最小值

2使達到最小值

3使達到最小值

4使達到最小值

第4種準則，由于逐項平方，不存在正負抵消的問題。它不僅考慮了所有點的影響，而且具有無偏性，是一個很好的準則。這個準則稱為最小二乘準則。用最小二乘準則尋找擬合直線的方法稱為最小二乘法。一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計為簡化表達式，從本節(jié)起，在不會發(fā)生誤解的情況下，略去求和指標t求和的上下限。只要求和符號沒有上下限，就表示為從t=1到t=n求和。即用求和符號∑代替符號假設估計直線：Y=а*

+β*Xа*，β*為參數(shù)估計當X=XtYt=а*

+β*Xt(Xt,Yt)→(Xt,а*

+β*Xt)殘差：et=Yt-(а*

+β*Xt)誤差：ut=Yt-(а+βXt)殘差平方和：Q=∑et2=∑[Yt-(а*

+β*Xt)]2一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計二、總體與樣本

在數(shù)理統(tǒng)計中，通常把研究對象的全體稱為總體。把總體中的每個元素稱為個體。從總體中隨機抽取的一組個體稱為樣本。抽取的個體數(shù)，稱為樣本容量。從總體中抽取樣本的過程稱為隨機抽樣?？傮w有限總體無限總體任何樣本都是有限的

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)

一、線性特性

是指參數(shù)估計值β*1和β*2分別為觀察值Yt或擾動項ut的線性組合。

證：

β*2=∑Xtyt/∑Xt2

=∑Xt(Yt-)/∑X2t=∑（Xt/∑Xt2）Yt

令

bt=（Xt/∑Xt2）

得

β*2=∑btYt

即β*2

是Yt的線性組合一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)

β*2=∑btYt=∑bt(β1+β2Xt+ut)=β1∑bt+β2∑btXt+∑btut

其中：∑bt=∑(Xt/∑Xt2)=∑Xt/∑Xt2=0∑btXt=∑(Xt/∑Xt2)Xt=∑(Xt(Xt+)/∑Xt2)=1

所以

β*2=β2+∑btut即β*2也是ut的線性組合

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)

β*1=-β1=(1/n)∑Yt-∑btYt=∑[(1/n)-bt]Yt令at=[(1/n)-bt]由于和bt均為非隨機變量，所以at也是非隨機變量。因此

β*1=∑atYt即β*1是Yt的線性組合。

一元線性回歸分析基礎28二月2024第二節(jié)參數(shù)的最小二乘估計

β*1=∑at(β1+β2Xt+ut)=β1∑at+β2∑atXt+∑atut其中：∑at=∑[(1/n)-bt]=1-∑bt=1∑atXt=∑[1/n-bt]Xt=(1/n)∑Xt-∑btXt=0所以β*1=β1+∑atut即β*1也是ut的線性組合一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)二、無偏性

指β*1和β*2

的期望值分別等于總體參數(shù)β1和β2。

即E(β*1)=β1E(β*2)=β2

E(β*2)=E(β2+∑btut)=β2+∑btE(ut)=β2

E(β*1)=E(β1+∑atut)=β1

一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)三、最優(yōu)性

指最小二乘估計β*1和β*2在各種線性無偏估計中，具有最小方差。1.先求β*1和β*2的方差

var(β*2)=var(∑btYt)=∑bt2var(β1+β2Xt+ut)=∑bt2var(ut)=∑(Xt/∑Xt2)2σ2=σ2/Xt2var(β*1)=var(∑atYt)=∑at2var(β1+β2Xt+ut)=∑at2var(ut)=∑[(1/n)-bt]2σ2

=σ2(1/n+2/∑Xt2)一元線性回歸分析基礎28二月2024第三節(jié)最小二乘估計量的性質(zhì)2.證明最小方差性

假設β**2是其他方法得到的關于β2的線性無偏估計

β**2=∑ctYt

其中，ct=bt+dt，dt為不全為零的常數(shù)則容易證明var(β**2)≥var(β*2)

同理可證明β1的最小二乘估計量β*1具有最小方差。

高斯—馬爾可夫定理(Gauss-Markovtheorem)：

滿足性質(zhì)1、2、3的最小二乘估計量是最優(yōu)線性無偏估計量（bestlinearunbiasedestimator：BLUE）一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗一、誤差項方差估計

對比總體回歸模型和樣本回歸模型，可以看出，殘差et可以看做誤差項ut的估計值。計算如下：一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗二、參數(shù)估計的顯著性檢驗

在上一節(jié)中，已經(jīng)證明，由于最小二乘估計β*1和β*2

具有線性特性，所以β*1和β*2均為Yt的線性組合。

因為Yt服從正態(tài)分布，所以作為Yt的線性組合的β*1和β*2也服從正態(tài)分布。由無偏性，證明了β*1和β*2的期望分別為總體參數(shù)β1和β2。在證明最優(yōu)性的過程中又得到β*1和β*2的方差。一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗因此，可以得到β*1和β*2的抽樣分布為

由于真實的σ2不知，用它的無偏估計量S2=∑et2/(n-2)替代時，可構造如下統(tǒng)計量：一元線性回歸分析基礎28二月2024

檢驗步驟：（1）對總體參數(shù)提出假設

H0：

2=0，H1：20（2）以原假設H0構造t統(tǒng)計量，并由樣本計算其值一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗（3）給定顯著性水平

，查t分布表，得臨界值

t/2(n-2)(4)比較，判斷

若

|t|>t/2(n-2)，則拒絕H0

，接受H1

；

若

|t|

t/2(n-2)，則拒絕H1

，接受H0

；

對于一元線性回歸方程中的

1，可構造如下t統(tǒng)計量進行顯著性檢驗：

一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗三、總體參數(shù)的置信區(qū)間

總體參數(shù)β1和β2的置信區(qū)間分別為

一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗四、決定系數(shù)

由樣本回歸模型和樣本回歸方程，可以得到

這個恒等式把被解釋變量的總偏差分解成相應的可解釋偏差(回歸偏差)和殘差(隨機偏差兩部分之和，如下圖：一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗

圖1—5被解釋變量偏差的分解

XtOXy·Yt一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗記總體平方和（TotalSumofSquares）回歸平方和（ExplainedSumofSquares）殘差平方和（ResidualSumofSquares

）TSS=ESS+RSS可以證明一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗由正規(guī)方程組一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗所以即TSS=ESS+RSS

Y的觀測值圍繞其均值的總離差(totalvariation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機勢力(RSS)。在給定樣本中，TSS不變，

如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大。一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗因此定義：表示擬合的程度，因此稱為決定系數(shù)(coefficientofdetermination)或擬合優(yōu)度。在相關分析中R2

也稱為復相關系數(shù)。

0≤R2≤1一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗五、相關分析

通常把相關分析作為回歸分析的補充分析方法。相關分析分為線性相關與非線性相關，如果樣本點集中分布在一條直線附近，則兩變量的關系稱為線性相關。當直線的斜率為正值，兩變量的關系稱為正線性相關。當直線的斜率為負值，兩變量的關系稱為負線性相關。如果樣本點集中分布在一條曲線附近，則兩變量的關系稱為非線性相關。一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗線性相關：通常用相關系數(shù)表示X和Y的相關程度rXY為X與Y的簡單相關系數(shù)(只有兩個變量相關的相關系數(shù))，同時也是樣本相關系數(shù)

一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗總體相關系數(shù)-1≤ρ

≤1ρ=0，表示總體X與Y不相關；ρ≠0，表示總體X與Y在一定程度上相關；ρ=±1，表示總體X與Y完全正相關或完全負相關。

一元線性回歸分析基礎28二月2024第四節(jié)系數(shù)的顯著性檢驗X與Y總體是否相關的檢驗提出假設：

H0∶ρ=0H1∶ρ≠0構造統(tǒng)計量一元線性回歸分析