第一章 一元線性回歸模型

第一章一元線性回歸模型學(xué)習(xí)目標(biāo)：

熟悉回歸分析和一元回歸分析的相關(guān)概念理解總體回歸方程與樣本回歸方程的相關(guān)概念掌握一元線性回歸模型的設(shè)定和普通最小二乘法的原理及其估計(jì)量的性質(zhì)掌握一元線性回歸模型的極大似然估計(jì)法的基本原理和方法掌握EViews軟件的操作方法，能夠運(yùn)用EViews軟件解決線性回歸模型的實(shí)際問題第一章一元線性回歸模型1.1一元線性回歸模型 1.2一元線性回歸的基本概念1.3一元線性回歸模型的參數(shù)估計(jì)1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)1.5一元線性回歸模型的預(yù)測(cè)1.6案例分析1.1一元線性回歸模型

計(jì)量經(jīng)濟(jì)學(xué)的主要問題之一就是要探尋各種經(jīng)濟(jì)變量之間的相互聯(lián)系程度、聯(lián)系方式及其運(yùn)動(dòng)規(guī)律。而經(jīng)典計(jì)量經(jīng)濟(jì)學(xué)方法的核心是采用回歸分析的方法解釋變量之間的具體的依存關(guān)系。因此，回歸分析是建立計(jì)量經(jīng)濟(jì)學(xué)模型中一個(gè)十分重要的概念。在了解回歸分析的概念之前，首先需要對(duì)相關(guān)關(guān)系與因果關(guān)系作簡(jiǎn)要的說(shuō)明。1.1一元線性回歸模型相關(guān)關(guān)系：是指兩個(gè)以上的變量的樣本觀測(cè)值序列之間表現(xiàn)出來(lái)的隨機(jī)數(shù)學(xué)關(guān)系，用相關(guān)系數(shù)來(lái)衡量。如果兩個(gè)變量樣本觀測(cè)值序列之間的相關(guān)系數(shù)的絕對(duì)值為1，則兩者之間具有完全相關(guān)性（完全正相關(guān)或完全負(fù)相關(guān)）；如果相關(guān)系數(shù)的絕對(duì)值比較大，或接近于1，則兩者之間具有較強(qiáng)相關(guān)性；如果相關(guān)關(guān)系絕對(duì)值為0或接近于0，則兩者之間不具有相關(guān)性。因果關(guān)系：是指兩個(gè)或兩個(gè)以上變量在行為機(jī)制上的依賴性，作為結(jié)果的變量是由作為原因的變量所決定的，原因變量的變化引起結(jié)果變量的變化。因果關(guān)系有單向因果關(guān)系和互為因果關(guān)系之分。1.1一元線性回歸模型相關(guān)分析：是判斷變量之間是否具有相關(guān)關(guān)系的數(shù)學(xué)分析方法，通過(guò)計(jì)算變量之間的相關(guān)系數(shù)來(lái)實(shí)現(xiàn)?；貧w分析也是判斷變量之間是否具有相關(guān)關(guān)系的一種數(shù)學(xué)分析方法，它著重判斷一個(gè)隨機(jī)變量與一個(gè)或幾個(gè)可控變量之間是否具有相關(guān)關(guān)系。由于它的特定的功能，所以也被用來(lái)進(jìn)行變量之間的因果分析?；貧w分析：是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的依賴關(guān)系的計(jì)算方法和理論。其目的在于通過(guò)后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測(cè)前者的（總體）均值。前一個(gè)變量稱為被解釋變量（explainedvariable）或因變量（dependentvariable），后一個(gè)變量被稱為解釋變量（explanatoryvariable）或自變量（independentvariable）。1.1一元線性回歸模型回歸分析的主要內(nèi)容包括： （1）根據(jù)樣本觀測(cè)值對(duì)參數(shù)進(jìn)行估計(jì)，求得回歸方程； （2）對(duì)回歸方程參數(shù)估計(jì)進(jìn)行顯著性檢驗(yàn)；（3）利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測(cè)。1.2一元線性回歸的基本概念一、散點(diǎn)圖線性關(guān)系的確定常?？梢酝ㄟ^(guò)兩類方法，一類是根據(jù)實(shí)際問題所對(duì)應(yīng)的理論分析；另一種直觀的方法是分別以被解釋變量y和解釋變量x在二維平面上繪制的散點(diǎn)圖來(lái)初步確認(rèn)（如圖1-1）。散點(diǎn)圖將數(shù)據(jù)以點(diǎn)的形式畫在直角坐標(biāo)平面上，顯示在同一個(gè)個(gè)體上度量到的兩個(gè)數(shù)量變量之間的關(guān)系。其中一個(gè)變量的值在橫坐標(biāo)上標(biāo)示，另一個(gè)變量的值在縱坐標(biāo)上標(biāo)示。每一對(duì)數(shù)據(jù)對(duì)應(yīng)圖中的一個(gè)點(diǎn)，點(diǎn)的位置由該個(gè)體的兩個(gè)變量的值決定。散點(diǎn)圖表示因變量隨自變量而變化的大致趨勢(shì)，據(jù)此可以選擇合適的函數(shù)對(duì)數(shù)據(jù)點(diǎn)進(jìn)行擬合。1.2一元線性回歸的基本概念

圖1-1:散點(diǎn)圖示意圖1.2一元線性回歸的基本概念二、總體回歸函數(shù)在全部解釋變量已知的條件下得到的全部被解釋變量的一個(gè)期望稱為總體回歸曲線，可用下面的函數(shù)來(lái)表示

這樣一個(gè)函數(shù)，我們稱之為總體回歸函數(shù)。至于總體回歸函數(shù)的具體函數(shù)形式，在實(shí)際應(yīng)用過(guò)程中，是由總體特征來(lái)決定的。只有一個(gè)解釋變量的線性回歸模型為一元線性回歸函數(shù)。其具體形式可寫為

在回歸分析中，我們的主要目的，是通過(guò)所取得的樣本觀測(cè)值去估計(jì)回歸系數(shù)的值，以達(dá)到預(yù)測(cè)經(jīng)濟(jì)現(xiàn)象的目的。1.2一元線性回歸的基本概念三、隨機(jī)干擾項(xiàng)

一般由數(shù)據(jù)繪制的散點(diǎn)圖上的點(diǎn)并不在一條直線上，而是在直線的周圍。即與總體期望值是有一些差別的，稱這個(gè)差別為離差，用函數(shù)表示為

其中表示第i個(gè)被解釋變量的具體觀測(cè)值，是用于表示離差的一個(gè)隨機(jī)變量，在計(jì)量經(jīng)濟(jì)學(xué)中，我們稱之為隨機(jī)干擾項(xiàng)。

總體回歸模型（1）稱為系統(tǒng)性部分或確定性部分；（2）隨機(jī)干擾項(xiàng)則稱為隨機(jī)性部分或非系統(tǒng)性部分。1.2一元線性回歸的基本概念隨機(jī)誤差項(xiàng)主要包括下列因素的影響：（1）包含了被遺漏的影響因素。由于考察總體認(rèn)識(shí)上不可能達(dá)到絕對(duì)的精確，有部分未知的因素是不可避免的無(wú)法歸入模型。（2）包含了無(wú)法取得數(shù)據(jù)的影響因素。有一些影響因素也許對(duì)被解釋變量有相當(dāng)?shù)挠绊懥?，但這些因素的數(shù)據(jù)很難獲取,甚至無(wú)法獲取。所以在建立模型時(shí)我們不得不將這一影響因素省略掉，歸入隨機(jī)干擾項(xiàng)中。（3）包含了模型設(shè)定上的誤差。建立回歸模型的時(shí)候，為了便于檢驗(yàn)和預(yù)測(cè)，一般都力圖讓模型盡可能的簡(jiǎn)單明了，因此會(huì)刻意的在模型中減少一些影響因素。（4）包含數(shù)據(jù)測(cè)量誤差。由于某些主客觀原因，數(shù)據(jù)在測(cè)量或觀測(cè)時(shí)出現(xiàn)了誤差，使其偏于實(shí)際值，這種誤差只能歸入中。（5）包含變量?jī)?nèi)在的隨機(jī)性。模型變量本身具有其內(nèi)在的隨機(jī)性，會(huì)對(duì)被解釋變量產(chǎn)生隨機(jī)性的影響。1.2一元線性回歸的基本概念四、樣本回歸函數(shù)在現(xiàn)實(shí)問題的計(jì)量經(jīng)濟(jì)學(xué)研究中，總體的信息往往無(wú)法全部獲得。這種情況下，總體回歸函數(shù)是無(wú)法估計(jì)的。在實(shí)際應(yīng)用中，往往是通過(guò)抽樣，得到總體的樣本，再通樣本數(shù)據(jù)做回歸分析來(lái)估計(jì)總體回歸函數(shù)。假設(shè)表1-1中的數(shù)據(jù)是從一個(gè)總體中隨機(jī)抽取的一個(gè)樣本，根據(jù)表1-1的數(shù)據(jù)做散點(diǎn)圖，如圖1-2所示。我們的任務(wù)就是：能否從所抽取的樣本去預(yù)測(cè)整個(gè)總體呢？表1-1總體中抽取一個(gè)隨機(jī)樣本1.2一元線性回歸的基本概念

圖1-2總體中隨機(jī)抽取的一個(gè)樣本的散點(diǎn)圖

根據(jù)圖1-2，該樣本的散點(diǎn)圖可通過(guò)一條直線盡可能的擬合。由于此樣本是取自于總體。所以這條直線可以近似地代表總體回歸線。這樣一條直線，我們稱之為樣本回歸線。1.2一元線性回歸的基本概念

樣本回歸線，它的函數(shù)形式可以用表示。這個(gè)函數(shù)稱作樣本回歸函數(shù)。樣本回歸函數(shù)也可以表示為如下的隨機(jī)形式：由于殘差的引入，樣本回歸函數(shù)從一個(gè)確定性的數(shù)學(xué)模型成為一個(gè)具有隨機(jī)性的計(jì)量經(jīng)濟(jì)學(xué)模型，我們稱之為樣本回歸模型。

1.2一元線性回歸的基本概念樣本回歸模型具有性質(zhì):

（1）參數(shù)估計(jì)由樣本信息所形成；（2）這二個(gè)估計(jì)稱為點(diǎn)估計(jì),即給定一組樣本,可得到相應(yīng)的參數(shù)估計(jì)值,它們是對(duì)于總體參數(shù)的一個(gè)點(diǎn)估計(jì),不同的樣本,得到的估計(jì)可能不完全相同。但不同的樣本所得到的估計(jì)均是對(duì)總體的一個(gè)點(diǎn)估計(jì)。圖1-3樣本和總體回歸線的關(guān)系示意圖計(jì)量經(jīng)濟(jì)學(xué)中回歸分析的目的便是設(shè)計(jì)一種方法來(lái)構(gòu)造樣本回歸函數(shù)，使其盡可能的接近總體回歸函數(shù)。圖1-3說(shuō)明了樣本與總體回歸線之間的基本關(guān)系。1.3一元線性回歸模型的參數(shù)估計(jì)1.3.1最小二乘估計(jì)法的經(jīng)典假定1.3.2

普通最小二法（OLS）1.3.3最小二乘估計(jì)量的性質(zhì)1.3.4極大似然法(ML)1.3一元線性回歸模型的參數(shù)估計(jì)一、最小二乘估計(jì)法的經(jīng)典假定假定1：解釋變量是非隨機(jī)的，即在重復(fù)抽樣中，解釋變量取固定值。假定2：隨機(jī)干擾項(xiàng)與解釋變量之間不相關(guān)，即假定3：隨機(jī)干擾項(xiàng)服從零均值，同方差，零協(xié)方差，即假定4：隨機(jī)干擾項(xiàng)服從零均值，同方差的正態(tài)分布，即假定5：正確設(shè)定了回歸模型。正確設(shè)定有三個(gè)方面的要求:1.選擇了正確的變量進(jìn)入模型；2.對(duì)模型的形式進(jìn)行正確的設(shè)定；3.對(duì)模型的解釋變量、被解釋變量以及隨機(jī)干擾項(xiàng)做了正確的假定。1.3一元線性回歸模型的參數(shù)估計(jì)二、最小二乘法（OLS）

給定一組樣本觀測(cè)值（Xi,Yi）（i=1,2,…n）要求樣本回歸函數(shù)盡可能好地?cái)M合這組值。普通最小二乘法（OLS）給出的判斷標(biāo)準(zhǔn)是：二者之差的平方和最小。即在給定樣本觀測(cè)值之下，選擇出能使與之差的平方和最小。1.3一元線性回歸模型的參數(shù)估計(jì)求Q對(duì)的偏導(dǎo)數(shù)并令其等于零，得整理可得n是樣本容量，該方程組被稱作正規(guī)方程組。1.3一元線性回歸模型的參數(shù)估計(jì)解得通過(guò)上面的方法得到的、的估計(jì)結(jié)果是從最小二乘原理得到的，因此稱作普通最小二乘估計(jì)量。1.3一元線性回歸模型的參數(shù)估計(jì)三、最小二乘估計(jì)量的性質(zhì)利用普通最小二乘法計(jì)算出的是樣本觀測(cè)值的函數(shù)，所以同一總體的不同樣本就會(huì)計(jì)算出不同的我們稱這為最小二乘估計(jì)量，用于對(duì)總體回歸模型真實(shí)參數(shù)的估計(jì)。用樣本回歸直線去代表總體回歸直線，其實(shí)用性和準(zhǔn)確性是依靠這兩個(gè)參數(shù)的。所以，必須了解估計(jì)量的性質(zhì)。1.3一元線性回歸模型的參數(shù)估計(jì)（一）線性性是指一個(gè)變量是否是另一個(gè)變量的線性函數(shù)。OLS估計(jì)量均為隨機(jī)觀測(cè)值和離差的線性函數(shù)。

證明：1.3一元線性回歸模型的參數(shù)估計(jì)（二）無(wú)偏性是指估計(jì)量的均值或期望等于總體真實(shí)值。

OLS估計(jì)量的均值等于總體參數(shù)值即，

證明：同樣地，容易得出1.3一元線性回歸模型的參數(shù)估計(jì)（三）有效性也稱最小方差性，指估計(jì)量在所有線性無(wú)偏估計(jì)量中有最小方差。

OLS估計(jì)量具有最小方差。它們的方差分別為：其中，代表隨機(jī)干擾項(xiàng)的方差，即

1.3一元線性回歸模型的參數(shù)估計(jì)OLS估計(jì)量的這三個(gè)性質(zhì)也稱作估計(jì)量的小樣本性質(zhì)。而擁有這類性質(zhì)的估計(jì)量，我們稱作最佳線性無(wú)偏估量。除此之外，還可以從如下幾個(gè)方面考察估計(jì)量的優(yōu)劣性（1）一致性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)估計(jì)量依概率收斂于總體真值。（2）漸進(jìn)無(wú)偏性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)估計(jì)量的均值趨向于總體真值。（3）漸進(jìn)有效性：指樣本容量趨于無(wú)窮大時(shí)，參數(shù)的一致估計(jì)量具有最小的漸進(jìn)方差。這三個(gè)性質(zhì)，我們稱作估計(jì)量的大樣本性質(zhì)。在實(shí)際樣本估計(jì)應(yīng)用中，當(dāng)參數(shù)估計(jì)量不滿足小樣本性質(zhì)時(shí)，要考慮擴(kuò)大樣本容量，考察參數(shù)估計(jì)量的大樣本性質(zhì)。1.3一元線性回歸模型的參數(shù)估計(jì)四、極大似然法

是不同于最小二乘法的另一種參數(shù)估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來(lái)的其它估計(jì)方法的基礎(chǔ)。基本原理：對(duì)于最大或然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大。極大似然估計(jì)法一般可分為四個(gè)步驟：（1）寫出似然函數(shù)；（2）對(duì)似然函數(shù)取對(duì)數(shù)并整理；（3）關(guān)于參數(shù)求偏導(dǎo)數(shù)；（4）求解似然方程。1.3一元線性回歸模型的參數(shù)估計(jì)

以正態(tài)分布的總體為例：假設(shè)一元線性回歸模型滿足經(jīng)典假定，且是服從均值為，方差為的正態(tài)分布，所以因?yàn)槭仟?dú)立的，所以樣本觀測(cè)值的聯(lián)合概率函數(shù)，即似然函數(shù)為1.3一元線性回歸模型的參數(shù)估計(jì)

為求得模型參數(shù)的極大似然估計(jì)量，將上式極大化。又因?yàn)樗迫缓瘮?shù)的極大化與似然函數(shù)的對(duì)數(shù)極大化是等價(jià)的，所以取對(duì)數(shù)似然函數(shù)如下。解：1.3一元線性回歸模型的參數(shù)估計(jì)解得模型參數(shù)估計(jì)量如下：由上式可知，在滿足經(jīng)典假定下，使用最大似然估計(jì)法得出的模型參數(shù)估計(jì)量等于使用普通最小二乘估計(jì)法得出的模型參數(shù)估計(jì)量。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

1.4.1對(duì)模型的經(jīng)濟(jì)意義的檢驗(yàn)

1.4.2擬合優(yōu)度檢驗(yàn)

1.4.3回歸系數(shù)估計(jì)量的假設(shè)檢驗(yàn)1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一、對(duì)模型的經(jīng)濟(jì)意義的檢驗(yàn)對(duì)模型的經(jīng)濟(jì)意義檢驗(yàn)主要檢驗(yàn)?zāi)Ｐ蛥?shù)估計(jì)量在經(jīng)濟(jì)意義上的合理性。主要方法是將模型參數(shù)的估計(jì)量與預(yù)先擬定的理論期望值進(jìn)行比較，包括參數(shù)估計(jì)量的符號(hào)、大小、相互之間的關(guān)系以判斷其合理性。如果估計(jì)值的這兩個(gè)方面明顯與常識(shí)經(jīng)驗(yàn)或經(jīng)濟(jì)學(xué)理論等相背離，就說(shuō)明它不能很好的解釋客觀事實(shí)。對(duì)模型參數(shù)估計(jì)量的經(jīng)濟(jì)意義檢驗(yàn)是回歸檢驗(yàn)的第一步，也是非常重要的一步。如果估計(jì)值出現(xiàn)不合理的情況，可能是樣本容量過(guò)小，沒有足夠的代表性，也可能是模型的設(shè)定出現(xiàn)了錯(cuò)誤等。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)

二、擬合優(yōu)度檢驗(yàn)擬合優(yōu)度檢驗(yàn)：對(duì)樣本回歸直線與樣本觀測(cè)值之間擬合程度的檢驗(yàn)。判斷樣本回歸模型擬合程度優(yōu)劣，常用的指標(biāo)是可決系數(shù)用表示。

圖1-5樣本回歸線對(duì)樣本點(diǎn)的擬合比較

1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)總離差平方和的分解：兩邊平方求和得1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)是指實(shí)測(cè)的值圍繞其均值的總體離差，稱為總離差平方和。是指估計(jì)的值圍繞其均值的離差，稱為回歸平方和。是指未被解釋的因素導(dǎo)致回歸線的變異，稱為殘差平方和。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)圖1-6總離差的分解總體離差平方和可分解為兩部分，一部分來(lái)自回歸線，另一部分來(lái)自殘差所代表的隨機(jī)因素?？梢杂脕?lái)自回歸的回歸平方和與總離差平方和的比例來(lái)判斷觀測(cè)點(diǎn)是否都很好被樣本回歸線擬合。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)定義判斷樣本回歸模型擬合程度優(yōu)劣的可決系數(shù)為：測(cè)度了總體離差中由回歸模型解釋那部分所占的比例。這部分比例越大，來(lái)自殘差那部分占總體離差的比例就越小。那么樣本點(diǎn)就越靠近回歸線，回歸線對(duì)樣本點(diǎn)就擬合的越好。所以越大，模型的擬合優(yōu)度就越高。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)三、回歸系數(shù)估計(jì)量的假設(shè)檢驗(yàn)考察了擬合程度之后，還需要對(duì)回歸模型中解釋變量與被解釋變量之間的線性關(guān)系是否顯著成立做檢驗(yàn)，即檢驗(yàn)所選擇解釋變量與截距項(xiàng)是否對(duì)被解釋變量有顯著的線性影響。在假設(shè)檢驗(yàn)的基礎(chǔ)上，有兩個(gè)互為補(bǔ)充的方法，分別是變量的顯著性檢驗(yàn)和置信區(qū)間。下面我們著重介紹這兩種方法。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)（一）顯著性檢驗(yàn)法（t檢驗(yàn)）顯著性檢驗(yàn)指的是利用樣本結(jié)果，來(lái)證實(shí)一個(gè)原假設(shè)真?zhèn)蔚囊环N檢驗(yàn)程序?；貧w方程的參數(shù)估計(jì)量服從正態(tài)分布又因?yàn)檎鎸?shí)的未知，所以用的估計(jì)量替代綜上，構(gòu)造的統(tǒng)計(jì)量1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)檢驗(yàn)步驟：（１）對(duì)總體參數(shù)給出假設(shè)

H0：

1=0，H1：

10（２）以原假設(shè)H0構(gòu)造t統(tǒng)計(jì)量，并由樣本計(jì)算其值（３）給定顯著性水平，查t分布表，得臨界值（４）比較，判斷若＜，則接受原假設(shè)；若＞，則拒絕原假設(shè)；1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)（二）回歸系數(shù)、的置信區(qū)間用OLS得到的回歸方程參數(shù)估計(jì)值只是一個(gè)點(diǎn)估計(jì)，雖然根據(jù)OLS的無(wú)偏性可知，在重復(fù)抽樣中參數(shù)估計(jì)值的期望會(huì)等于參數(shù)的真實(shí)值，但不能說(shuō)明這個(gè)參數(shù)估計(jì)是一個(gè)可靠的估計(jì)。

方差只是說(shuō)明了估計(jì)值和其均值的離散程度，并不能說(shuō)明參數(shù)真實(shí)值的分布范圍。所以須確定一個(gè)區(qū)間，使得在左右的這個(gè)區(qū)間范圍內(nèi)可能包含了，并且確定這樣的范圍包含參數(shù)真實(shí)值的概率是多少，這就是參數(shù)的區(qū)間估計(jì)。1.4一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)進(jìn)行區(qū)間估計(jì)，首先選定一個(gè)概率（0＜＜1),并確定一個(gè)正數(shù)，使得隨機(jī)區(qū)間包含參數(shù)的概率為，用公式表示為：≤≤,區(qū)間稱之為置信區(qū)間，稱為置信度，稱為顯著性水平。置信區(qū)間的端點(diǎn)稱為