第二章 一元線性回歸模型

第二章一元線性回歸模型

學習目標：熟悉回歸分析和一元回歸分析的相關(guān)概念。理解總體回歸方程與樣本回歸方程的相關(guān)概念。掌握一元線性回歸模型的設(shè)定和普通最小二乘法的原理及其估計量的性質(zhì)。掌握一元線性回歸模型的極大似然估計法的基本原理和方法。能夠運用EViews軟件解決線性回歸模型的實際問題。第一節(jié)一元線性回歸模型第二節(jié)一元線性回歸的基本概念第三節(jié)一元線性回歸模型的參數(shù)估計第四節(jié)一元線性回歸模型的統(tǒng)計檢驗第五節(jié)一元線性回歸模型的預測第六節(jié)案例分析第一節(jié)一元線性回歸模型計量經(jīng)濟學的主要問題之一就是要探尋各種經(jīng)濟變量之間的相互聯(lián)系程度、聯(lián)系方式及其運動規(guī)律。而經(jīng)典計量經(jīng)濟學方法的核心是采用回歸分析的方法解釋變量之間的具體的依存關(guān)系?；貧w分析是建立計量經(jīng)濟學模型中一個十分重要的概念。在了解回歸分析的概念之前，首先需要對相關(guān)關(guān)系與因果關(guān)系作簡要的說明。相關(guān)關(guān)系：是指兩個以上的變量的樣本觀測值序列之間表現(xiàn)出來的隨機數(shù)學關(guān)系，用相關(guān)系數(shù)來衡量。因果關(guān)系：是指兩個或兩個以上變量在行為機制上的依賴性，作為結(jié)果的變量是由作為原因的變量所決定的，原因變量的變化引起結(jié)果變量的變化。因果關(guān)系有單向因果關(guān)系和互為因果關(guān)系之分。相關(guān)分析：是判斷變量之間是否具有相關(guān)關(guān)系的數(shù)學方法。回歸分析：是研究一個變量關(guān)于另一個變量的依賴關(guān)系的計算方法和理論。其目的在于通過后者的已知或設(shè)定值，去估計和預測前者的均值。前一個變量稱為被解釋變量或因變量，后一個變量被稱為解釋變量或自變量?；貧w分析的主要內(nèi)容包括：

（1）根據(jù)樣本觀測值對參數(shù)進行估計，求得回歸方程； （2）對回歸方程參數(shù)估計進行顯著性檢驗；（3）利用回歸方程進行分析、評價及預測。第二節(jié)一元線性回歸的基本概念一、散點圖線性關(guān)系的確定常常可以通過兩類方法：一類是根據(jù)實際問題所對應的理論分析；另一種直觀的方法是分別以被解釋變量y和解釋變量x在二維平面上繪制的散點圖來初步確認（如圖2-1）。散點圖表示因變量隨自變量而變化的大致趨勢，據(jù)此可以選擇合適的函數(shù)對數(shù)據(jù)點進行擬合。

圖2-1:散點圖示意圖二、總體回歸函數(shù)在全部解釋變量已知的條件下得到的全部被解釋變量的一個期望稱為總體回歸曲線，可用下面的函數(shù)來表示

這樣一個函數(shù)，我們稱之為總體回歸函數(shù)。至于總體回歸函數(shù)的具體函數(shù)形式，在實際應用過程中，是由總體特征來決定的。

只有一個解釋變量的線性回歸模型為一元線性回歸函數(shù)。其具體形式可寫為

在回歸分析中，我們的主要目的，是通過所取得的樣本觀測值去估計回歸系數(shù)的值，以達到預測經(jīng)濟現(xiàn)象的目的。

三、隨機干擾項一般由數(shù)據(jù)繪制的散點圖上的點并不在一條直線上，而是在直線的周圍。即與總體期望值是有一些差別的，稱這個差別為離差，用函數(shù)表示為

其中表示第i個被解釋變量的具體觀測值，是用于表示離差的一個隨機變量，在計量經(jīng)濟學中，我們稱之為隨機干擾項?？傮w回歸模型：（1）稱為系統(tǒng)性部分或

確定性部分；（2）隨機干擾項則稱為隨機性部分或非系統(tǒng)性部分。

隨機誤差項主要包括下列因素的影響：（1）包含了被遺漏的影響因素。由于考察總體認識上不可能達到絕對的精確，有部分未知的因素是不可避免的無法歸入模型。（2）包含了無法取得數(shù)據(jù)的影響因素。有一些影響因素也許對被解釋變量有相當?shù)挠绊懥Γ@些因素的數(shù)據(jù)很難獲取,甚至無法獲取。所以在建立模型時我們不得不將這一影響因素省略掉，歸入隨機干擾項中。（3）包含了模型設(shè)定上的誤差。建立回歸模型的時候，為了便于檢驗和預測，一般都力圖讓模型盡可能的簡單明了，因此會刻意的在模型中減少一些影響因素。（4）包含數(shù)據(jù)測量誤差。由于某些主客觀原因，數(shù)據(jù)在測量或觀測時出現(xiàn)了誤差，使其偏于實際值，這種誤差只能歸入中。（5）包含變量內(nèi)在的隨機性。模型變量本身具有其內(nèi)在的隨機性，會對被解釋變量產(chǎn)生隨機性的影響。

四、樣本回歸函數(shù)

在現(xiàn)實問題的計量經(jīng)濟學研究中，總體的信息往往無法全部獲得。這種情況下，總體回歸函數(shù)是無法估計的。在實際應用中，往往是

通過抽樣，得到總體的樣本，再通樣本數(shù)據(jù)做

回歸分析來估計總體回歸函數(shù)。

假設(shè)表2-1中的數(shù)據(jù)是從一個總體中隨機抽取的一個樣本，根據(jù)表2-1的數(shù)據(jù)做散點圖，如圖2-2所示。我們的任務就是：能否從所抽取的樣本去預測整個總體呢？表2-1總體中抽取一個隨機樣本

圖2-2總體中隨機抽取的一個樣本的散點圖根據(jù)圖2-2，該樣本的散點圖可通過一條直線盡可能的擬合。由于此樣本是取自于總體。所以這條直線可以近似地代表總體回歸線。這樣一條直線，我們稱之為樣本回歸線。

樣本回歸線，它的函數(shù)形式可以用

表示。這個函數(shù)稱作樣本回歸函數(shù)。

樣本回歸函數(shù)也可以表示為如下的隨機形式：由于殘差的引入，樣本回歸函數(shù)從一個確定性的數(shù)學模型成為一個具有隨機性的計量經(jīng)濟學模型，我們稱之為樣本回歸模型。

樣本回歸模型具有的性質(zhì):

（1）參數(shù)估計由樣本信息所形成；（2）這二個估計稱為點估計,即給定一組樣本,可得到相應的參數(shù)估計值,它們是對于總體參數(shù)的一個點估計,不同的樣本,

得到的估計可能不完全相同。但不同的樣本所得到的估計均是對總體的一個點估計。回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計總體回歸函數(shù)PRF。圖2-3樣本和總體回歸線的關(guān)系示意圖第三節(jié)一元線性回歸模型的參數(shù)估計一、最小二乘估計法的經(jīng)典假定二、普通最小二法（OLS）三、最小二乘估計量的性質(zhì)四、極大似然法(ML)一、最小二乘估計法的經(jīng)典假定假定1：解釋變量是非隨機的，即在重復抽樣中，解釋變量取固定值。假定2：隨機干擾項與解釋變量之間不相關(guān)，即假定3：隨機干擾項服從零均值，同方差，零協(xié)方差，即假定4：隨機干擾項服從零均值，同方差的正態(tài)分布，即假定5：正確設(shè)定了回歸模型。正確設(shè)定有三個方面的要求:1.選擇了正確的變量進入模型；2.

對模型的形式進行正確的設(shè)定；3.對模型的解釋變量、被解釋變量以及隨機干擾項做了正確的假定。二、最小二乘法（OLS）

給定一組樣本觀測值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地擬合這組值。普通最小二乘法（OLS）給出的判斷標準是：二者之差的平方和最小。即在給定樣本觀測值之下，選擇出能使與之差的平方和最小。求Q對的偏導數(shù)并令其等于零，得整理可得n是樣本容量，該方程組被稱作正規(guī)方程組。

解得通過上面的方法得到的、的估計結(jié)果是從最小二乘原理得到的，因此稱作普通最小二乘估計量。三、最小二乘估計量的性質(zhì)利用普通最小二乘法計算出的是樣本觀測值的函數(shù)，所以同一總體的不同樣本就會計算出不同的。用樣本回歸直線去代表總體回歸直線，其實用性和準確性是依靠這兩個參數(shù)的。所以，必須了解估計量的性質(zhì)。（一）線性性是指一個變量是否是另一個變量的線性函數(shù)。

OLS估計量均為隨機觀測值和離差的線性函數(shù)。

證明：（二）無偏性是指估計量的均值或期望等于總體真實值。

OLS估計量的均值等于總體參數(shù)值，即證明：（三）有效性也稱最小方差性，指估計量在所有線性無偏估計量中有最小方差。

OLS估計量具有最小方差。它們的方差分別為：其中，代表隨機干擾項的方差，即

OLS估計量的這三個性質(zhì)也稱作估計量的小樣本性質(zhì)。而擁有這類性質(zhì)的估計量，我們稱作最佳線性無偏估量。在實際樣本估計應用中，當參數(shù)估計量不滿足小樣本性質(zhì)時，要考慮擴大樣本容量，考察參數(shù)估計量的大樣本性質(zhì)。

當不滿足小樣本性質(zhì)時，需進一步考察估計量的

大樣本或漸近性質(zhì)：

(4)一致性：指樣本容量趨于無窮大時，參數(shù)估計量依概率收斂于總體真值。

(5)漸進無偏性：指樣本容量趨于無窮大時，參數(shù)估計量的均值趨向于總體真值。

(6)漸進有效性：指樣本容量趨于無窮大時，參數(shù)的一致估計量具有最小的漸進方差。這三個性質(zhì)，我們稱作估計量的大樣本性質(zhì)。四、極大似然法是不同于最小二乘法的另一種參數(shù)估計方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計方法的基礎(chǔ)?；驹恚簩τ谧畲蠡蛉环ǎ攺哪Ｐ涂傮w隨機抽取n組樣本觀測值后，最合理的參數(shù)估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。極大似然估計法一般可分為四個步驟：（1）寫出似然函數(shù)；（2）對似然函數(shù)取對數(shù)并整理；（3）關(guān)于參數(shù)求偏導數(shù)；（4）求解似然方程。

以正態(tài)分布的總體為例：假設(shè)一元線性回歸模型滿足經(jīng)典假定，且是服從均值為，方差為的正態(tài)分布，所以因為是獨立的，所以樣本觀測值的聯(lián)合概率函數(shù)，即似然函數(shù)為為求得模型參數(shù)的極大似然估計量，將上式極大化。又因為似然函數(shù)的極大化與似然函數(shù)的對數(shù)極大化是等價的，所以取對數(shù)似然函數(shù)如下。

解：解得模型參數(shù)估計量如下：由上式可知，在滿足經(jīng)典假定下，使用最大似然估計法得出的模型參數(shù)估計量等于使用普通最小二乘估計法得出的模型參數(shù)估計量。第四節(jié)一元線性回歸模型的統(tǒng)計檢驗一、對模型的經(jīng)濟意義的檢驗二、擬合優(yōu)度檢驗

三、回歸系數(shù)估計量的假設(shè)檢驗一、對模型的經(jīng)濟意義的檢驗對模型的經(jīng)濟意義檢驗主要檢驗模型參數(shù)估計量在經(jīng)濟意義上的合理性。主要方法是將模型參數(shù)的估計量與預先擬定的理論期望值進行比較，包括參數(shù)估計量的符號、大小、相互之間的關(guān)系以判斷其合理性。如果估計值的這兩個方面明顯與常識經(jīng)驗或經(jīng)濟學理論等相背離，就說明它不能很好的解釋客觀事實。

對模型參數(shù)估計量的經(jīng)濟意義檢驗是回歸檢驗的第一步，也是非常重要的一步。如果估計值出現(xiàn)不合理的情況，可能是樣本容量過小，沒有足夠的代表性，也可能是模型的設(shè)定出現(xiàn)了錯誤等。

二、擬合優(yōu)度檢驗擬合優(yōu)度檢驗：對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。判斷樣本回歸模型擬合程度優(yōu)劣，常用的指標是可決系數(shù)用表示。

圖2-5樣本回歸線對樣本點的擬合比較

總離差平方和的分解：兩邊平方求和得是指實測的值圍繞其均值的總體離差，稱為總離差平方和。是指估計的值圍繞其均值的離差，稱為回歸平方和。是指未被解釋的因素導致回歸線的變異，稱為殘差平方和?？傮w離差平方和可分解為兩部分，一部分來自回歸線，另一部分來自殘差所代表的隨機因素。可以用來自回歸的回歸平方和與總離差平方和的比例來判斷觀測點是否都很好被樣本回歸線擬合。定義判斷樣本回歸模型擬合程度優(yōu)劣的可決系數(shù)為：測度了總體離差中由回歸模型解釋那部分所占的比例。這部分比例越大，來自殘差那部分占總體離差的比例就越小。那么樣本點就越靠近回歸線，回歸線對樣本點就擬合的越好。所以越大，模型的擬合優(yōu)度就越高。三、回歸系數(shù)估計量的假設(shè)檢驗考察了擬合程度之后，還需要對回歸模型中解釋變量與被解釋變量之間的線性關(guān)系是否顯著成立做檢驗，即檢驗所選擇解釋變量與截距項是否對被解釋變量有顯著的線性影響。在假設(shè)檢驗的基礎(chǔ)上，有兩個互為補充的方法，分別是變量的顯著性檢驗和置信區(qū)間。下面我們著重介紹這兩種方法。（一）顯著性檢驗法（t檢驗）顯著性檢驗指的是利用樣本結(jié)果，來證實一個原假設(shè)真?zhèn)蔚囊环N檢驗程序?；貧w方程的參數(shù)估計量服從正態(tài)分布因為真實的未知，所以用的估計量替代;綜上，構(gòu)造如下統(tǒng)計量檢驗步驟：（１）對總體參數(shù)給出假設(shè)

H0：

1=0，H1：

10（２）以原假設(shè)H0構(gòu)造t統(tǒng)計量，并由樣本計算其值（３）給定顯著性水平，查t分布表，得臨界值（４）比較，判斷若＜，則接受原假設(shè)；若＞，則拒絕原假設(shè)；（二）回歸系數(shù)、的置信區(qū)間用OLS得到的回歸方程參數(shù)估計值只是一個點估計，雖然根據(jù)OLS的無偏性可知，在重復抽樣中參數(shù)估計值的期望會等于參數(shù)的真實值，但不能說明這個參數(shù)估計是一個可靠的估計。

方差只是說明了估計值和其均值的離散程度，并不能說明參數(shù)真實值的分布范圍。所以須確定一個區(qū)間，使得在左右的這個區(qū)間范圍內(nèi)可能包含了，并且確定這樣的范圍包含參數(shù)真實值的概率是多少，這就是參數(shù)的區(qū)間估計。進行區(qū)間估計，首先選定一個概率（0＜＜1),并確定一個正數(shù)，使得隨機區(qū)間包含參數(shù)的概率為，用公式表示為：≤≤,區(qū)間稱之為置信區(qū)間，稱為置信度，稱為顯著性水平。置信區(qū)間的端點稱為置信限。在臨界值中，較小的端點被稱為置信下限，較