回歸分析基本方法

關(guān)于回歸分析基本方法第一頁，共四十九頁，2022年，8月28日§2.1回歸分析概述一、變量間的關(guān)系及回歸分析的基本概念

二、一元總體回歸函數(shù)三、隨機擾動項四、一元樣本回歸函數(shù)（SRF）第二頁，共四十九頁，2022年，8月28日§2.1回歸分析概述

（1）確定性關(guān)系或函數(shù)關(guān)系：研究的是確定現(xiàn)象非隨機變量間的關(guān)系。（2）統(tǒng)計依賴或相關(guān)關(guān)系：研究的是非確定現(xiàn)象隨機變量間的關(guān)系。一、變量間的關(guān)系及回歸分析的基本概念

1、變量間的關(guān)系經(jīng)濟變量之間的關(guān)系，大體可分為兩類：第三頁，共四十九頁，2022年，8月28日對變量間統(tǒng)計依賴關(guān)系的考察主要是通過相關(guān)分析(correlationanalysis)或回歸分析(regressionanalysis)來完成的：例如：

函數(shù)關(guān)系：統(tǒng)計依賴關(guān)系/統(tǒng)計相關(guān)關(guān)系：第四頁，共四十九頁，2022年，8月28日

①不線性相關(guān)并不意味著不相關(guān)；

②有相關(guān)關(guān)系并不意味著一定有因果關(guān)系；③回歸分析/相關(guān)分析研究一個變量對另一個（些）變量的統(tǒng)計依賴關(guān)系，但它們并不意味著一定有因果關(guān)系。

④相關(guān)分析對稱地對待任何（兩個）變量，兩個變量都被看作是隨機的。回歸分析對變量的處理方法存在不對稱性，即區(qū)分應變量（被解釋變量）和自變量（解釋變量）：前者是隨機變量，后者不是。▲注意：第五頁，共四十九頁，2022年，8月28日

回歸分析(regressionanalysis)是研究一個變量關(guān)于另一個（些）變量的具體依賴關(guān)系的計算方法和理論。

其用意：在于通過后者的已知或設定值，去估計和（或）預測前者的（總體）均值。這里：前一個變量被稱為被解釋變量（ExplainedVariable）或應變量（DependentVariable），后一個（些）變量被稱為解釋變量（ExplanatoryVariable）或自變量（IndependentVariable）。2、回歸分析的基本概念

回歸分析構(gòu)成計量經(jīng)濟學的方法論基礎，其主要內(nèi)容包括：

（1）根據(jù)樣本觀察值對經(jīng)濟計量模型參數(shù)進行估計，求得回歸方程；（2）對回歸方程、參數(shù)估計值進行顯著性檢驗；（3）利用回歸方程進行分析、評價及預測。第六頁，共四十九頁，2022年，8月28日

回歸分析關(guān)心的是根據(jù)解釋變量的已知或給定值，考察被解釋變量的總體均值，即當解釋變量取某個確定值時，與之統(tǒng)計相關(guān)的被解釋變量所有可能出現(xiàn)的對應值的平均值。

二、一元總體回歸函數(shù)第七頁，共四十九頁，2022年，8月28日概念：

在給定解釋變量Xi條件下被解釋變量Yi的期望軌跡稱為一元總體回歸線（populationregressionline），或更一般地稱為一元總體回歸曲線（populationregressioncurve）。稱為（雙變量）一元總體回歸函數(shù)（populationregressionfunction,PRF）。

相應的函數(shù)：第八頁，共四十九頁，2022年，8月28日

回歸函數(shù)（PRF）說明被解釋變量Y的平均狀態(tài)（總體條件期望）隨解釋變量X變化的規(guī)律。含義：

函數(shù)形式：可以是線性或非線性的。為一線性函數(shù)。其中，0，1是未知參數(shù)，稱為回歸系數(shù)（regressioncoefficients）。

。第九頁，共四十九頁，2022年，8月28日

三、隨機擾動項

稱i為觀察值Yi圍繞它的期望值E(Y|Xi)的離差（deviation），是一個不可觀測的隨機變量，又稱為隨機干擾項（stochasticdisturbance）或隨機誤差項（stochasticerror）。記第十頁，共四十九頁，2022年，8月28日

（*）式稱為一元總體回歸函數(shù)（方程）PRF的隨機設定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機性影響。(*)

由于方程中引入了隨機項，成為計量經(jīng)濟學模型，因此也稱為一元總體回歸模型。第十一頁，共四十九頁，2022年，8月28日隨機誤差項主要包括下列因素的影響：1）在解釋變量中被忽略的因素的影響；2）變量觀測值的觀測誤差的影響；3）模型關(guān)系的設定誤差的影響；4）其它隨機因素的影響。產(chǎn)生并設計隨機誤差項的主要原因：1）理論的含糊性；2）數(shù)據(jù)的欠缺；3）節(jié)省原則。第十二頁，共四十九頁，2022年，8月28日

四、一元樣本回歸函數(shù)（SRF）

問題：能從一次抽樣中獲得總體的近似的信息嗎？如果可以，如何從抽樣中獲得總體的近似信息？

總體的信息往往無法掌握，現(xiàn)實的情況只能是在一次觀測中得到總體的一個樣本。第十三頁，共四十九頁，2022年，8月28日該樣本的散點圖（scatterdiagram)：

樣本散點圖近似于一條直線，畫一條直線以盡好地擬合該散點圖，由于樣本取自總體，可以該線近似地代表總體回歸線。該線稱為一元樣本回歸線（sampleregressionlines）。

記樣本回歸線的函數(shù)形式為：稱為一元樣本回歸函數(shù)（sampleregressionfunction，SRF）。

第十四頁，共四十九頁，2022年，8月28日

這里將樣本回歸線看成總體回歸線的近似替代則

注意：第十五頁，共四十九頁，2022年，8月28日

樣本回歸函數(shù)的隨機形式/樣本回歸模型：同樣地，樣本回歸函數(shù)也有如下的隨機形式：

由于方程中引入了隨機項，成為計量經(jīng)濟模型，因此也稱為一元樣本回歸模型（sampleregressionmodel）。

第十六頁，共四十九頁，2022年，8月28日

▼回歸分析的主要目的：根據(jù)樣本回歸函數(shù)SRF，估計總體回歸函數(shù)PRF。注意：這里PRF可能永遠無法知道。即，根據(jù)

估計第十七頁，共四十九頁，2022年，8月28日§2.2線性回歸模型

一、多元線性回歸模型二、多元線性回歸模型的基本假定

第十八頁，共四十九頁，2022年，8月28日

一、多元線性回歸模型

多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：i=1,2…,n其中:k為解釋變量的數(shù)目，j稱為回歸參數(shù)（regressioncoefficient）。

習慣上：把常數(shù)項看成為一虛變量的系數(shù)，該虛變量的樣本觀測值始終取1。這樣：

模型中解釋變量的數(shù)目為（k+1）

第十九頁，共四十九頁，2022年，8月28日也被稱為總體回歸函數(shù)的隨機表達形式。它的非隨機表達式為:

方程表示：各變量X值固定時Y的平均響應。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj每變化1個單位時，Y的均值E(Y)的變化;

或者說j給出了Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。第二十頁，共四十九頁，2022年，8月28日總體回歸模型n個隨機方程的矩陣表達式為

其中第二十一頁，共四十九頁，2022年，8月28日樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項i的近似替代。

樣本回歸函數(shù)的矩陣表達:

或其中：第二十二頁，共四十九頁，2022年，8月28日二、多元線性回歸模型的基本假定

假設1，解釋變量是非隨機的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設2，隨機誤差項具有零均值、同方差及不序列相關(guān)性

假設3，解釋變量與隨機項不相關(guān)

假設4，隨機項滿足正態(tài)分布

第二十三頁，共四十九頁，2022年，8月28日上述假設的矩陣符號表示式：

假設1，n(k+1)矩陣X是非隨機的，且X的秩=k+1，即X滿秩。

假設2，

假設3，E(X’)=0，即

第二十四頁，共四十九頁，2022年，8月28日假設4，向量

服從多維正態(tài)分布，即

同一元回歸一樣，多元回歸還具有如下兩個重要假設：假設5，樣本容量趨于無窮時，各解釋變量的方差趨于有界常數(shù)，即n∞時，

或

其中：Q為一非奇異固定矩陣，矩陣x是由各解釋變量的離差為元素組成的nk階矩陣

假設6，回歸模型的設定是正確的。

第二十五頁，共四十九頁，2022年，8月28日§2.3

線性回歸模型的參數(shù)估計

估計方法：OLS、ML

一、普通最小二乘估計二、最大似然估計三、參數(shù)估計量的性質(zhì)四、樣本容量問題五、估計實例

第二十六頁，共四十九頁，2022年，8月28日一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數(shù)的參數(shù)估計值已經(jīng)得到，則有：

i=1,2…n根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解

其中第二十七頁，共四十九頁，2022年，8月28日于是得到關(guān)于待估參數(shù)估計值的正規(guī)方程組：

第二十八頁，共四十九頁，2022年，8月28日正規(guī)方程組的矩陣形式即由于X’X滿秩，故有

第二十九頁，共四十九頁，2022年，8月28日將上述過程用矩陣表示如下：

即求解方程組：得到：

于是：第三十頁，共四十九頁，2022年，8月28日?正規(guī)方程組的另一種寫法對于正規(guī)方程組

于是

或

(*)或（**）是多元線性回歸模型正規(guī)方程組的另一種寫法

(*)(**)第三十一頁，共四十九頁，2022年，8月28日?樣本回歸函數(shù)的離差形式i=1,2…n其矩陣形式為

其中：在離差形式下，參數(shù)的最小二乘估計結(jié)果為

第三十二頁，共四十九頁，2022年，8月28日?隨機誤差項的方差的無偏估計

可以證明，隨機誤差項的方差的無偏估計量為

第三十三頁，共四十九頁，2022年，8月28日二、最大似然估計

對于多元線性回歸模型易知

Y的隨機抽取的n組樣本觀測值的聯(lián)合概率即為變量Y的似然函數(shù)

第三十四頁，共四十九頁，2022年，8月28日對數(shù)似然函數(shù)為對對數(shù)似然函數(shù)求極大值，也就是對

求極小值。

因此，參數(shù)的最大似然估計為結(jié)果與參數(shù)的普通最小二乘估計相同第三十五頁，共四十九頁，2022年，8月28日

三、參數(shù)估計量的性質(zhì)

在滿足基本假設的情況下，其結(jié)構(gòu)參數(shù)的普通最小二乘估計、最大似然估計及矩估計仍具有：

線性性、無偏性、有效性。

同時，隨著樣本容量增加，參數(shù)估計量具有：

漸近無偏性、漸近有效性、一致性。

1、線性性

其中,C=(X’X)-1X’為一僅與固定的X有關(guān)的行向量

第三十六頁，共四十九頁，2022年，8月28日

2、無偏性

這里利用了假設:E(X’)=0

3、有效性（最小方差性）

第三十七頁，共四十九頁，2022年，8月28日其中利用了

和第三十八頁，共四十九頁，2022年，8月28日

四、樣本容量問題

所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。⒈

最小樣本容量

樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

k+1因為，無多重共線性要求：秩(X)=k+1第三十九頁，共四十九頁，2022年，8月28日2、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n30時，Z檢驗才能應用；

n-k8時,t分布較為穩(wěn)定

一般經(jīng)驗認為:

當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。

模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明第四十頁，共四十九頁，2022年，8月28日五、線性回歸模型的參數(shù)估計實例第四十一頁，共四十九頁，2022年，8月28日1、中國居民人均消費模型

例

考察中國居民收入與消費支出的關(guān)系。GDPP：

人均國內(nèi)生產(chǎn)總值（1990年不變價）CONSP：人均居民消費（以居民消費價格指數(shù)（1990=100）縮減）。

表2.3.1中國居民人均消費支出與人均GDP（元/人）

年份

人均居民消費

CONSP

人均GDP

GDPP

年份

人均居民消費

CONSP

人均GDP

GDPP

1978

395.8

675.1

1990

797.1

1602.3

1979

437.0

716.9

1991

861.4

1727.2

1980

464.1

763.7

1992

966.6

1949.8

1981

501.9

792.4

1993

1048.6

2187.9

1982

533.5

851.1

1994

1108.7

2436.1

1983

572.8

931.4

1995

1213.1

2663.7

1984

635.6

1059.2

1996

1322.8

2889.1

1985

716.0

1185.2

1997

1380.9

3111.9

1986

746.5

1269.6

1998

1460.6

3323.1

1987

788.3

1393.6

1999

1564.4

3529.3

1988

836.4

1527.0

2000

1690.8

3789.7

1989

779.7

1565.9

第四十二頁，共四十九頁，2022年，8月28日

該兩組數(shù)據(jù)是1978~2000年的時間序列數(shù)據(jù)（timeseriesdata）；

建立模型

擬建立如下一元回歸模型

采用Eviews軟件進行回歸分析的結(jié)果見下表

第四十三頁，共四十九頁，2022年，8月28日一般可寫出如下回歸分析結(jié)果：

(13.51)(53.47)R2=0.9927F=2859.23DW=0.5503

表2.3.2中國居民人均消費支出對人均GDP的回歸（1978~2000）

LS//DependentVariableisCONSP

Sample:19782000

Includedobservations:23

Variable

Coefficient

Std.Error

t-Statistic

Prob.

C

201.1071

14.88514

13.51060

0.0000

GDPP

0.386187

0.007222

53.47182

0.0000

R-squared

0.992709

Meandependentvar

905.3331

AdjustedR-squared

0.992362

S.D.dependentvar

380.6428

S.E.ofregression

33.26711

Akaikeinfocriterion

7.092079

Sumsquaredresid

23240.71

Schwarzcriterion

7.190818

Loglikelihood