計(jì)量經(jīng)濟(jì)學(xué)課件：第三章 多元線性回歸模型

1、多元線性回歸模型計(jì)量經(jīng)濟(jì)學(xué)第三章2引子:中國(guó)已成為世界汽車產(chǎn)銷第一大國(guó) 2009年，為應(yīng)對(duì)國(guó)際金融危機(jī)、確保經(jīng)濟(jì)平穩(wěn)較快增長(zhǎng)，國(guó)家出臺(tái)了一系列促進(jìn)汽車消費(fèi)的政策，有效刺激了汽車消費(fèi)市場(chǎng)，汽車產(chǎn)銷呈高增長(zhǎng)態(tài)勢(shì)，首次成為世界汽車產(chǎn)銷第一大國(guó)。2009年，汽車產(chǎn)銷分別為1379.1萬(wàn)輛和1364.5萬(wàn)輛，同比增長(zhǎng)48.3%和46.15%。 是什么因素導(dǎo)致中國(guó)汽車數(shù)量的增長(zhǎng)? 影響中國(guó)汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟(jì)增長(zhǎng)、消費(fèi)趨勢(shì)、市場(chǎng)行情、業(yè)界心態(tài)、能源價(jià)格、道路發(fā)展、內(nèi)外環(huán)境，都會(huì)使中國(guó)汽車行業(yè)面臨機(jī)遇和挑戰(zhàn)。3分析中國(guó)汽車行業(yè)未來(lái)的趨勢(shì),應(yīng)具體分析這樣一些問(wèn)題：中國(guó)汽車市場(chǎng)發(fā)展的狀況如何？（

2、用銷售量觀測(cè)）影響中國(guó)汽車銷量的主要因素是什么？ （如收入、價(jià)格、費(fèi)用、道路狀況、能源、政策環(huán)境等）各種因素對(duì)汽車銷量影響的性質(zhì)怎樣？（正、負(fù)）各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？所得到的數(shù)量結(jié)論是否可靠？中國(guó)汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當(dāng)如何制定汽車的產(chǎn)業(yè)政策？很明顯，只用一個(gè)解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展, 還需要尋求有更多個(gè)解釋變量情況的回歸分析方法。 怎樣分析多種因素的影響？4 本章主要討論: 多元線性回歸模型及古典假定 多元線性回歸模型的估計(jì) 多元線性回歸模型的檢驗(yàn) 多元線性回歸模型的預(yù)測(cè)5 第一節(jié) 多元線性回歸模型及古典假定 一、多元線性回歸模型的意義 一般形式：對(duì)于有K

3、-1個(gè)解釋變量的線性回歸模型 注意：模型中的 （j=1,2,-k）是偏回歸系數(shù) 樣本容量為n 偏回歸系數(shù)： 控制其它解釋量不變的條件下，第j個(gè)解釋變量的單位變動(dòng)對(duì)被解釋變量平均值的影響，即對(duì)Y平均值“直接”或“凈”的影響。 56 多元線性回歸中的“線性”指對(duì)各個(gè)回歸系數(shù)而言是“線性”的，對(duì)變量則可以是線性的，也可以是非線性的例如：生產(chǎn)函數(shù)取對(duì)數(shù)這也是多元線性回歸模型，只是這時(shí)變量為lnY、lnL、lnK7 多元總體回歸函數(shù) 條件期望表現(xiàn)形式：將Y的總體條件期望表示為多個(gè)解釋變量的函數(shù)，如:注意：這時(shí)Y總體條件期望的軌跡是K維空間的一條線個(gè)別值表現(xiàn)形式：引入隨機(jī)擾動(dòng)項(xiàng)或表示為 8 多元樣本回歸函

4、數(shù) Y 的樣本條件均值可表示為多個(gè)解釋變量的函數(shù) 或回歸剩余（殘差）： 其中 9 二、多元線性回歸模型的矩陣表示 多個(gè)解釋變量的多元線性回歸模型的n組樣本觀測(cè)值，可表示為 用矩陣表示 910總體回歸函數(shù) 或樣本回歸函數(shù) 或 其中： 都是有n個(gè)元素的列向量 是有k 個(gè) 元素的列向量 （ k = 解釋變量個(gè)數(shù) + 1 ） 是第一列為1的nk階解釋變量數(shù)據(jù)矩陣 ， (截距項(xiàng)可視為解釋變量總是取值為1) 矩陣表示方式11 三、多元線性回歸中的基本假定 假定1：零均值假定 （ i=1，2，-n） 或 E（u）=0 假定2和假定3：同方差和無(wú)自相關(guān)假定： 或用方差-協(xié)方差矩陣表示為: （i=j）(ij)0

5、12假定5: 無(wú)多重共線性假定 (多元中增加的) 假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無(wú)關(guān)?；蚪忉屪兞坑^測(cè)值 矩陣X的秩為K(注意X為n行K列)。 Ran(X)= k Rak(XX)=k 即 (XX) 可逆 假定6:正態(tài)性假定12假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān) 第二節(jié) 多元線性回歸模型的估計(jì)一、普通最小二乘法（OLS）原則：尋求剩余平方和最小的參數(shù)估計(jì)式 即求偏導(dǎo)，并令其為0 其中即 1314 用矩陣表示的正規(guī)方程偏導(dǎo)數(shù)因?yàn)闃颖净貧w函數(shù)為 兩邊左乘根據(jù)最小二乘原則則正規(guī)方程為15 OLS估計(jì)式 由正規(guī)方程 多元回歸的OLS估計(jì)量為當(dāng)只有兩個(gè)解釋變量時(shí)為：注意： 為

6、X、Y的離差對(duì)比簡(jiǎn)單線性回歸中16OLS回歸線的數(shù)學(xué)性質(zhì) (與簡(jiǎn)單線性回歸相同) 回歸線通過(guò)樣本均值 估計(jì)值 的均值等于實(shí)際觀測(cè)值 的均值 剩余項(xiàng) 的均值為零 被解釋變量估計(jì)值 與剩余項(xiàng) 不相關(guān) 解釋變量 與剩余項(xiàng) 不相關(guān) （j=1,2,-k）1617二、 OLS估計(jì)式的統(tǒng)計(jì)性質(zhì) 1、 線性特征 是Y的線性函數(shù)，因 是非隨機(jī)或取固定值的矩陣 2、 無(wú)偏特性 (證明見教材P101附錄3.1) 3、 最小方差特性 在 所有的線性無(wú)偏估計(jì)中，OLS估計(jì) 具有最小方差 (證明見教材P101或附錄3.2) 結(jié)論：在古典假定下，多元線性回歸的 OLS估 計(jì)式是最佳線性無(wú)偏估計(jì)式（BLUE）18 三、 OL

7、S估計(jì)的分布性質(zhì)基本思想： 是隨機(jī)變量，必須確定其分布性質(zhì)才可能進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn) 是服從正態(tài)分布的隨機(jī)變量，決定了Y也是服從正態(tài)分布的隨機(jī)變量 是Y的線性函數(shù)，決定了 也是服從正態(tài)分布的隨機(jī)變量19 的期望 (由無(wú)偏性) 的方差和標(biāo)準(zhǔn)誤差： 可以證明 的方差協(xié)方差矩陣為（見下頁(yè)） 這里的 （其中 是矩陣 中第 j 行第 j 列的元素） 所以 （j=1,2,-k） 的期望與方差20其中：(由無(wú)偏性)(由同方差性)(由OLS估計(jì)式)20注意 是向量的方差-協(xié)方差21 四、 隨機(jī)擾動(dòng)項(xiàng)方差 的估計(jì) 一般未知，可證明多元回歸中 的無(wú)偏 估計(jì)為：(證明見P103附錄3.3) 或表示為 將 作標(biāo)準(zhǔn)化

8、變換： 21對(duì)比: 一元回歸中22 未知時(shí) 的標(biāo)準(zhǔn)化變換因 是未知的， 可用 代替 去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差: 當(dāng)為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) 作標(biāo)準(zhǔn)化變換，所得 Z 統(tǒng)計(jì)量仍可視為服從正態(tài)分布當(dāng)為小樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) 作標(biāo)準(zhǔn)化變換，所得的 t 統(tǒng)計(jì)量服從 t 分布：2223五、 回歸系數(shù)的區(qū)間估計(jì) 由于給定 ，查t分布表的自由度為 n-k 的臨界值或或表示為2324 第三節(jié)多元線性回歸模型的檢驗(yàn)一、多元回歸的擬合優(yōu)度檢驗(yàn) 多重可決系數(shù)：在多元回歸模型中，由各個(gè)解釋 變量聯(lián)合起來(lái)解釋了的Y的變差，在Y的總變差中占 的比重，用 表示 與簡(jiǎn)單線性回歸中可決系數(shù) 的區(qū)別只是 不同多元回

9、歸中多重可決系數(shù)可表示為 (注意:紅色字體是與一元回歸不同的部分)2425 多重可決系數(shù)的矩陣表示 可用代數(shù)式表達(dá)為 特點(diǎn):多重可決系數(shù)是模型中解釋變量個(gè)數(shù)的不減函 數(shù)，這給對(duì)比不同模型的多重可決系數(shù)帶來(lái)缺陷， 所以需要修正。 26 修正的可決系數(shù)思想：可決系數(shù)只涉及變差，沒有考慮自由度。 如果用自由度去校正所計(jì)算的變差，可糾 正解釋變量個(gè)數(shù)不同引起的對(duì)比困難?；仡? 自由度：統(tǒng)計(jì)量的自由度指可自由變化的樣本觀 測(cè)值個(gè)數(shù)，它等于所用樣本觀測(cè)值的個(gè) 數(shù)減去對(duì)觀測(cè)值的約束個(gè)數(shù)。27 可決系數(shù)的修正方法 總變差 TSS 自由度為 n-1 解釋了的變差 ESS 自由度為 k-1 剩余平方和 RSS 自

10、由度為 n-k 修正的可決系數(shù)為 28 修正的可決系數(shù) 與可決系數(shù) 的關(guān)系 已經(jīng)導(dǎo)出： 注意： 可決系數(shù) 必定非負(fù)，但所計(jì)算的修正可決系數(shù) 有可能為負(fù)值 解決辦法：若計(jì)算的 ，規(guī)定 取值為0 2929二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）基本思想： 在多元回歸中包含多個(gè)解釋變量，它們與被解釋變量是否有顯著關(guān)系呢？ 當(dāng)然可以分別檢驗(yàn)各個(gè)解釋變量對(duì)被解釋變量影響的顯著性。 但是我們首先關(guān)注的是所有解釋變量聯(lián)合起來(lái)對(duì)被解釋變量影響的顯著性, 或整個(gè)方程總的聯(lián)合顯著性，需要對(duì)方程的總顯著性在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。3030在討論可決系數(shù)時(shí)已經(jīng)分析了被解釋變量總變差TSS的分解及自由度： TSS=ESS

11、+RSS注意: Y的樣本方差= 總變差/自由度 即顯然，Y的樣本方差也可分解為兩部分，可用方差分析表分解301.方差分析31總變差 TSS= 自由度 n1 模型解釋了的變差 ESS= 自由度 k1剩余變差 RSS= 自由度 nk 變差來(lái)源 平 方 和 自由度 方 差歸于回歸模型 ESS= k-1歸于剩余 RSS= n-k總變差 TSS= n-1基本思想: 如果多個(gè)解釋變量聯(lián)合起來(lái)對(duì)被解釋變量的影響不顯著, “歸于回歸的方差“ 比“歸于剩余的方差”顯著地小應(yīng)是大概率事件。 方差分析表322. F檢驗(yàn)原假設(shè):（所有解釋變量聯(lián)合起來(lái)對(duì)被解釋變量的影響不顯著）備擇假設(shè): 不全為0建立統(tǒng)計(jì)量(可以證明)

12、: 給定顯著性水平 ，查F分布表中自由度為 k-1 和 n-k 的臨界值 ，并通過(guò)樣本觀測(cè)值計(jì)算F值3233F檢驗(yàn)方式如果計(jì)算的F值大于臨界值 ， 則拒絕 ，說(shuō)明回歸模型有顯著意義， 即所有解釋變量聯(lián)合起來(lái)對(duì)Y確有顯著影響。如果計(jì)算的F值小于臨界值 ，則不拒絕 ，說(shuō)明回歸模型沒有顯著 意義，即所有解釋變量聯(lián)合起來(lái)對(duì)Y沒有顯著影響。34三、各回歸系數(shù)的假設(shè)檢驗(yàn)注意: 在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià), 且但在多元回歸中，F(xiàn)檢驗(yàn)顯著，不一定每個(gè)解釋變量都對(duì)Y有顯著影響。還需要分別檢驗(yàn)當(dāng)其他解釋變量保持不變時(shí)，各個(gè)解釋變量X對(duì)被解釋變量Y是否有顯著影響。 方法： 原假設(shè) （j=1,2,k） 備擇假設(shè)

13、統(tǒng)計(jì)量t為： 35給定顯著性水平，查t分布表的臨界值為如果 就不拒絕 ，而拒絕 即認(rèn)為 所對(duì)應(yīng)的解釋變量 對(duì)被解釋變量Y的影響不顯著。 如果 就拒絕 而不拒絕 即認(rèn)為 所對(duì)應(yīng)的解釋變量 對(duì)被解釋變量Y的影響是顯著的。討論：在多元回歸中，可以作F檢驗(yàn)，也可以分別對(duì)每個(gè)回歸系數(shù)逐個(gè)地進(jìn)行 t 檢驗(yàn)。 F 檢驗(yàn)與t檢驗(yàn)的關(guān)系是什么？對(duì)各回歸系數(shù)假設(shè)檢驗(yàn)的作法36第四節(jié)多元線性回歸模型的預(yù)測(cè) 一、被解釋變量平均值預(yù)測(cè)1. Y平均值的點(diǎn)預(yù)測(cè) 方法：將解釋變量預(yù)測(cè)值代入估計(jì)的方程： 多元回歸時(shí)： 或注意: 預(yù)測(cè)期的 是第一個(gè)元素為1的行向量,不是矩陣,也不是列向量 37 2. Y平均值的區(qū)間預(yù)測(cè) 基本思想

14、： （與簡(jiǎn)單線性回歸時(shí)相同） 由于存在抽樣波動(dòng)，預(yù)測(cè)的平均值 不一定 等于真實(shí)平均值 ，還需要對(duì) 作區(qū)間估計(jì)。 為了對(duì)Y作區(qū)間預(yù)測(cè)，必須確定平均值預(yù)測(cè)值 的抽樣分布。 必須找出與 和 都有關(guān)的統(tǒng)計(jì)量, 并要明確其概率分布性質(zhì)。3738區(qū)間預(yù)測(cè)的具體作法當(dāng) 未知 時(shí)，只得用 代替，這時(shí)簡(jiǎn)單線性回歸中(回顧簡(jiǎn)單線性回歸)3839多元回歸時(shí)，與預(yù)測(cè)的平均值 和真實(shí)平均值 都有關(guān)的是二者的偏差 ： 服從正態(tài)分布，可證明 用 代替，可構(gòu)造 t 統(tǒng)計(jì)量區(qū)間預(yù)測(cè)的具體作法（多元時(shí)）40或者 服從正態(tài)分布，可證明 即標(biāo)準(zhǔn)化當(dāng)用 代替 時(shí) ，可構(gòu)造 t 統(tǒng)計(jì)量4041 給定顯著性水平，查t分布表，得自由度為 n

15、-k的臨界值 ，則或區(qū)間預(yù)測(cè)的具體作法42二、被解釋變量個(gè)別值預(yù)測(cè) 基本思想： （與簡(jiǎn)單線性回歸時(shí)相同） 由于存在隨機(jī)擾動(dòng) 的影響，Y的平均值并不等于Y的個(gè)別值。 為了對(duì)Y的個(gè)別值 作區(qū)間預(yù)測(cè)，需要尋找與預(yù)測(cè)值 和個(gè)別值 有關(guān)的統(tǒng)計(jì)量，并要明確其概率分布性質(zhì)。43 已知剩余項(xiàng) 是與預(yù)測(cè)值 和個(gè)別值 都有關(guān)的變量 并且已知 服從正態(tài)分布，且多元回歸時(shí)可證明 當(dāng)用 代替 時(shí)，對(duì) 標(biāo)準(zhǔn)化的 變量 t 為： 個(gè)別值區(qū)間預(yù)測(cè)具體作法給定顯著性水平 ，查t分布表得自由度為 n-k 的臨界值 則 因此，多元回歸時(shí)Y的個(gè)別值的置信度1-的預(yù)測(cè)區(qū)間的上下限為4445 第五節(jié) 案例分析研究的目的要求為了研究影響中

16、國(guó)稅收收入增長(zhǎng)的主要原因，分析中央和地方稅收收入增長(zhǎng)的數(shù)量規(guī)律，預(yù)測(cè)中國(guó)稅收未來(lái)的增長(zhǎng)趨勢(shì)，需要建立計(jì)量經(jīng)濟(jì)模型。 研究范圍：1978年-2007年全國(guó)稅收收入理論分析：為了全面反映中國(guó)稅收增長(zhǎng)的全貌，選擇包括中央和地方稅收的“國(guó)家財(cái)政收入”中的“各項(xiàng)稅收”（簡(jiǎn)稱“稅收收入”）作為被解釋變量；選擇國(guó)內(nèi)生產(chǎn)總值（GDP）作為經(jīng)濟(jì)整體增長(zhǎng)水平的代表；選擇中央和地方“財(cái)政支出”作為公共財(cái)政需求的代表；選擇“商品零售價(jià)格指數(shù)”作為物價(jià)水平的代表。46年份 稅收收入（億元）（Y） 國(guó)內(nèi)生產(chǎn)總值（億元）（X2）財(cái)政支出（億元）（X3）商品零售價(jià)格指數(shù)（%）（X4）1978 519.283624.11122

17、.09100.71979 537.824038.21281.79102.01980 571.704517.81228.83106.01981 629.894862.41138.41102.41982 700.025294.71229.98101.91983775.595934.51409.52101.51984947.357171.01701.02102.819852040.798964.42004.25108.819862090.7310202.22204.91106.019872140.3611962.52262.18107.319882390.4714928.32491.21118.51

18、9892727.4016909.22823.78117.819902821.8618547.93083.59102.119912990.1721617.83386.62102.919923296.9126638.13742.20105.44719934255.3034634.44642.30113.219945126.8846759.45792.62121.719956038.0458478.16823.72114.819966909.8267884.67937.55106.119978234.0474462.69233.56100.819989262.8078345.210798.1897.

19、4199910682.5882067.513187.6797.0200012581.5189468.115886.5098.5200115301.3897314.818902.5899.220022003200420052006200717636.4520017.3124165.6828778.5434804.3545621.97104790.6135822.8159878.3183217.4211923.5249529.922053.1524649.9528486.8933930.2840422.7349781.3598.799.9102.8100.8101103.848序列Y、X2、X3、

20、X4的線性圖可以看出Y、X2、X3都是逐年增長(zhǎng)的，但增長(zhǎng)速率有所變動(dòng)，而且X4在多數(shù)年份呈現(xiàn)出水平波動(dòng)。說(shuō)明變量間不一定是線性關(guān)系，可探索將模型設(shè)定為以下對(duì)數(shù)模型：注意這里的“商品零售價(jià)格指數(shù)”（X4）未取對(duì)數(shù)。49 三、估計(jì)參數(shù)模型估計(jì)的結(jié)果為： (0.6397) (0.1355) (0.1557) (0.0055) t= (-4.4538) (3.0420) (4.2788) (2.0856) F=673.7521 df=3050模型檢驗(yàn)：1、經(jīng)濟(jì)意義檢驗(yàn)：模型估計(jì)結(jié)果說(shuō)明，在假定其它變量不變的情況下，當(dāng)年GDP每增長(zhǎng)1%，稅收收入會(huì)增長(zhǎng)0.4123%；當(dāng)年財(cái)政支出每增長(zhǎng)1%，平均說(shuō)來(lái)稅收收入會(huì)增長(zhǎng)0.6664%；當(dāng)年商品零售價(jià)格指數(shù)上漲一個(gè)百分點(diǎn)，平均說(shuō)來(lái)稅收收入會(huì)增長(zhǎng)0.0115%。這與理論分析和經(jīng)驗(yàn)判斷相