計量經(jīng)濟學(xué)-第三章_多元線性回歸模型

1 多元線性回歸模型 計量經(jīng)濟學(xué) 第三章 2 引子 : 中國汽車的保有量會達到 ? 中國經(jīng)濟的快速發(fā)展，使居民收入不斷增加，數(shù)以百萬 計的中國人開始得以實現(xiàn)擁有汽車的夢想，中國也成為世界 上成長最快的汽車市場。 中國交通部副部長在中國交通可持續(xù)發(fā)展論壇上做出預(yù) 測 :“2020年，中國的民用汽車保有量將比 2003年的數(shù)字 增長倍，達到 。 是什么因素導(dǎo)致中國汽車數(shù)量的增長 ? 影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟增長、 消費趨勢、市場行情、業(yè)界心態(tài)、能源價格、道路發(fā)展、內(nèi) 外環(huán)境，都會使中國汽車行業(yè)面臨機遇和挑戰(zhàn)。 3 分析中國汽車行業(yè)未來的趨勢 ,應(yīng)具體分析這樣一些問題： 中國汽車市場發(fā)展的狀況如何？ （用銷售量觀測） 影響中國汽車銷量的主要因素是什么？ （如收入、價格、費用、道路狀況、能源、政策環(huán)境等） 各種因素對汽車銷量影響的性質(zhì)怎樣？ （正、負） 各種因素影響汽車銷量的具體數(shù)量關(guān)系是什么？ 所得到的數(shù)量結(jié)論是否可靠？ 中國汽車行業(yè)今后的發(fā)展前景怎樣？應(yīng)當如何制定汽車的 產(chǎn)業(yè)政策？ 很明顯，只用一個解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展 , 還需要尋求有更多個解釋變量情況的回歸分析方法。 怎樣分析多種因素的影響？ 4 第三章 多元線性回歸模型 本章主要討論 : 多元線性回歸模型及古典假定 多元線性回歸模型的估計 多元線性回歸模型的檢驗 多元線性回歸模型的預(yù)測 5 第一節(jié) 多元線性回歸模型及古典假定 本節(jié)基本內(nèi)容 : 一、多元線性回歸模型的意義 二、多元線性回歸模型的矩陣表示 三、多元線性回歸中的基本假定 6 一、多元線性回歸模型的意義 例如 :有兩個解釋變量的電力消費模型 其中 : 為各地區(qū)電力消費量； 為各地區(qū)國內(nèi)生產(chǎn)總值 （ ； 為各地區(qū)電力價格變動 。 模型中參數(shù)的意義是什么呢 ? 1 2 2 3 3 X u 2元線性回歸模型的一般形式 一般形式：對于有 個解釋變量的線性回歸模型 模型中參數(shù) 是偏回歸系數(shù) ， 樣本容量 為 偏回歸系數(shù) ：控制其它解釋量不變的條件下 ， 第 個解釋變量的單位變動對應(yīng)變量平均值的影響 。 2 3 3 .i i i k k i X X u ( 1 , 2 , . . . , ) j 對各個回歸系數(shù)而言是 “ 線性 ” 的，對變量則可是線性的，也可是非線性的 例如：生產(chǎn)函數(shù) 取自然對數(shù) l n l n l n l n l L K u Y A L K u多元線性回歸 9 的總體條件均值表示為多個解釋變量的函數(shù) 總體回歸函數(shù)也可表示為 : 2 3 1 2 2 3 3E ( , , . . . , ) . . .i i i k i i i k k X X X X X 1 2 2 3 3 .i i i k k i X X u 10 的樣本條件均值表示為多個解釋變量的函數(shù) 或 其中 回歸剩余（殘差）： -i i Y多元樣本回歸函數(shù) 1 2 2 3 3 Y . . . i i i k k 2 3 3 . i i i k k i X X ,2,1 11 二、多元線性回歸模型的矩陣表示 個解釋變量的多元線性回歸模型的 個觀測 樣本，可表示為 1 1 2 2 1 3 3 1 1 1. X X u 2 1 2 2 2 3 3 2 2 2. X X u 1 2 2 3 3 .n n n k k n X X u 2 矩陣表示 1n 1k 1 1 1 12 2 2 2 2 22111n k n k X X X u XY 體回歸函數(shù) 或 樣本回歸函數(shù) 或 其中： 都是有 個元素的列向量 是有 個元素的列向量 是第一列為 1的 階解釋變量 數(shù)據(jù)矩陣 (截距項可視為解釋變量 取值為 1) Y ) = X Y = X + X Y = X + Y , u , 14 三、多元線性回歸中的基本假定 假定 1： 零均值假定 或 假定 2和假定 3：同方差和無自相關(guān)假定 假定 4：隨機擾動項與解釋變量不相關(guān) E ( ) 0 ( 1 , 2 , , ) iu i nC o v( , ) 0 2 , 3 , , j i iX u j kC o v( , ) E ( - E ) ( - E ) E ( ) i j i i j j i ju u u u u u u ( ) j (E u ) = 015 假定 5:無多重共線性假定 (多元中 ) 假定各解釋變量之間不存在線性關(guān)系，或各個解釋變量觀測值之間線性無關(guān)?；蚪忉屪兞坑^測值矩陣 列滿秩 ( 列 )。 即 可逆 假定 6： 正態(tài)性假定 ( 0 , )k()R a n k kX ()R a n k K 二節(jié) 多元線性回歸模型的估計 本節(jié)基本內(nèi)容 : 普通最小二乘法（ 隨機擾動項方差 的估計 回歸系數(shù)的區(qū)間估計 217 一、普通最小二乘法 （ 最小二乘原則 剩余平方和最?。?求偏導(dǎo) ,令其為 0: 22 m i n ( - )i i Y221 2 2 3 3 m i n - ( . . . ) i i i i k k X X X 2()0 注意到 1 2 2 3 3 - ( . . . ) i i i k i k i X X 1 2 2 3 3 - 2 - ( . . . ) 0 i i i k i k X 2 3 3 - 2 - ( . . . ) 0 k i i i i k i k X X 2 2 3 3 - 2 - ( . . . ) 0 i i i i k i k X X 0k i 19 用矩陣表示 因為樣本回歸函數(shù)為 兩邊乘 有： 因為 ，則正規(guī)方程為： XX e = 021 22 2221 1 1 0001 k k n nk i X = =. X = X X Y = X X + X X +eX 正規(guī)方程 多元回歸中 二元回歸中 注意： 和 為 的離差 ( X X ) X Y( ) , 是 滿 秩 矩 陣 其 逆 存 在 = X 2 3 3 X 23 2 2 2 33 2 2 22 3 2 3( ) ( ) - ( ) ( )( ) ( ) - ( )i i i i i i ii i i iy x x y x x xx x x x 22 3 3 2 32 2 2 22 3 2 3( ) ( ) - ( ) ( )( ) ( ) - ( )i i i i i i ii i i iy x x y x x xx x x x x y X,21 二、 是 的線性函數(shù)，因 是非隨機 或取固定值的矩陣 E ( )( ) ( X X ) X 22 3. 最小方差特性 在 所有的線性無偏估計中， 具有 最小方差 結(jié)論 ： 在古典假定下，多元線性回歸的 、 基本思想 是隨機變量 ， 必須確定其分布性質(zhì)才可能進行區(qū)間估計和假設(shè)檢驗 是服從正態(tài)分布的隨機變量 , 決定了 也是服從正態(tài)分布的隨機變量 是 的線性函數(shù) ， 決定了 也是服從正態(tài)分布的隨機變量 期望 (由無偏性 ) 的方差和標準誤差： 可以證明 的方差 這里 是 矩陣 中第 行第 列的元素 2 - 1V a r - C o v ( ) ( ) E ( ) S E ( )j j c2V a r ( )j j c1() ( , ) 1 , 2 , . . . ,j j j j N c j k 故 有 ：25 四、隨機擾動項方差 的估計 多元回歸中 的無偏估計為： 或表示為 將 作標準化變換： 2( 0 , 1 )S E ( )k k k 22 2 - 是未知的，可用 代替 去估計參數(shù) 的標 準誤差 : 當為大樣本時，用估計的參數(shù)標準誤差對 作標準化變換，所得 當為小樣本時，用估計的參數(shù)標準誤差對 作標準化變換，所得的 2 2 - ( - )S E ( )t t n 227 五、回歸系數(shù)的區(qū)間估計 由于 給定 ，查 的臨界值 或 : 或表示為 : *22 - ( - ) ( - ) 1 ( )t n k t t n k 2 ( - ) 2 ( - ) ( - , )j j n k j j j n k j t c t c22 P - 1 j j j j t c t c 22 P - ( ) ( ) 1 j j j j t S E t S E ()S E ( )j j j j* - t = = t n - k (-)t n k( 1 , . . . , )jk8 第三節(jié) 多元線性回歸模型的檢驗 本節(jié)基本內(nèi)容 : 多元回歸的擬合優(yōu)度檢驗 回歸方程的顯著性檢驗（ 各回歸系數(shù)的顯著性檢驗（ 29 一、多元回歸的擬合優(yōu)度檢驗 多重可決系數(shù) ：在多元回歸模型中，由各個解釋變量聯(lián)合 解釋了的 的變差，在 的總變差中占的比重，用 表 示 與簡單線性回歸中可決系數(shù) 的區(qū)別只是 不同，多元 回歸中 多重可決系數(shù)也可表示為 2 2 313 ii i k + X+ X + . . . + - )E S S T S S - R S S ( - ) T S y E S S - 多重可決系數(shù)是模型中解釋變量個數(shù)的 不減函數(shù) ， 這給對比不同模型的多重可決系數(shù)帶來缺陷 ， 所以 需要修正 。 2T S S S S .i i i i k i 可 以 證 明 ：多重可決系數(shù)的矩陣表示 31 思想 可決系數(shù)只涉及變差，沒有考慮 自由度 。如果用自由度去校正所計算的變差，可糾正解釋變量個數(shù)不同引起的對比困難。 自由度 統(tǒng)計量的自由度指可自由變化的樣本觀測值個數(shù)，它等于所用樣本觀測值的個數(shù)減去對觀測值的約束個數(shù)。 修正的可決系數(shù) 32 可決系數(shù)的修正方法 2211T S S ( ) Y 總變差 自由度為 解釋了的變差 自由度為 剩余平方和 自由度為 修正的可決系數(shù) 為 222 (-) 1 -( - 1 ) n k n n k y22R S S ( - ) e22E S S ( - )i y 1點 可決系數(shù) 必定非負 ， 但修正的可決系數(shù) 可能為負值 ， 這時規(guī)定 修正的可決系數(shù) 與可決系數(shù) 的關(guān)系： 2 2 ( 1 - ) k2R 34 二、回歸方程顯著性檢驗（ 基本思想 在多元回歸中有多個解釋變量，需要說明所有解 釋變量聯(lián)合起來對應(yīng)變量影響的總顯著性 ,或整個 方程總的聯(lián)合顯著性。對方程總顯著性檢驗需要 在方差分析的基礎(chǔ)上進行 35 總變差 自由度 模型解釋了的變差 自由度 剩余變差 自由度 變差來源 平方和 自由度 方差 歸于回歸模型 歸于剩余 總變差 方差分析表 22T S S ( - ) y2E S S ( - )2R S S ( - )2E S S ( - )1 S ( - )2R S S ( - )T S S / - 1 S / - 1 S / n - 假設(shè) 備擇假設(shè) 不全為 0 建立統(tǒng)計量 (可以證明 ): 給定顯著性水平 ， 查 并通過樣本觀測值計算 值 FE S S ( - 1 ) F ( - 1 , )R S S ( - )kF k n - - 1 , - )F k n k1H : ( 1 2 )j j = , , . . . , 3H : 0 = . . . = =37 如果 (小概率事件發(fā)生了 ) 則拒絕 ， 說明回歸模型有顯著意義 ， 即所有解釋變量聯(lián)合起來對 有顯著影響 。 如果 (大概率事件發(fā)生了 ) 則接受 ， 說明回歸模型沒有顯著意義 ， 即所有解釋變量聯(lián)合起來對 沒有顯著影響 。 ( - 1 , - )F F k n k( - 1 , - )F F k n k0 2 3H : 0 = . . . = = 3H : 0 = . . . = =38 可決系數(shù)與 由方差分析可以看出 ， 二者 都建立在對應(yīng)變量變差分解的基礎(chǔ)上 。 決系數(shù)計算： 可看出：當 時 ， 越大 ， 值也越大 當 時 ， 結(jié)論： 對方程聯(lián)合顯著性檢驗的 實際上也是對 的顯著性檢驗 。 22( - 1 )( 1 - ) ( - )n k2 0R 2R F 0F=、各回歸系數(shù)的顯著性檢驗 （ t 檢驗） 目的： 在多元回歸中 ， 分別檢驗當其他解釋變量保持不變時 ， 各個解釋變量 對應(yīng)變量 是否有顯著影響 。 方法： 原假設(shè) 備擇假設(shè) 統(tǒng)計量為： * - ( - ) S E ( )jj t t n 0H : 0 = 1 2j j , . . . , k ,1H : 0X 給定顯著性水平 ， 查自由度為 時 如果 就不拒絕 而拒絕 即認為 所對應(yīng)的解釋變量 對應(yīng)變量 的影響不顯著 。 *22- ( - ) ( - )t n k t t n k 1H : 00H : 02 (-)t n k1 如果 就拒絕 而不拒絕 即認為 所對應(yīng)的解釋變量 對應(yīng)變量 的影響 是顯著的 。 在多元回歸中 ， 可分別對每個回歸系數(shù)逐個地進 行 注意 :在一元回歸中 且 但在多元回歸中 0H*22- ( - ) ( - )t t n k t t n k 或四節(jié) 多元線性回歸模型的預(yù)測 本節(jié)基本內(nèi)容 : 應(yīng)變量平均值預(yù)測 應(yīng)變量個別值預(yù)測 43 一、應(yīng)變量平均值預(yù)測 1. 平均值的點預(yù)測 將解釋變量預(yù)測值代入估計的方程： 多元回歸時： 或 注意 :預(yù)測期的 是第一個元素為 1的行向量 ,不是矩陣 ,也不是列向量 2 2 3 31 . F k F X X X 本思想： 由于存在抽樣波動 ， 預(yù)測的平均值 不一定 等于真實平均值 ， 還需要對 作區(qū)間估計 。 為對 作區(qū)間預(yù)測 ， 必須確定平均值預(yù)測值 的抽樣分布 。 必須找出與 和 都有 關(guān)的統(tǒng)計量 。 2. 平均值的區(qū)間預(yù)測 E ( ) ) ( )體作法 (回顧一元回歸 ) 當 未知 時，只得用 代替， 這時 一元中已知 2 22 ( - 2 ) 12E ( ) E ( )F F F X X 22( - )1S E ( ) 222( - )1V a r ( ) 222( - )1V a r ( ) 46 多元回歸時 ,與 和 都有關(guān)的是偏差 從正態(tài)分布 ,可證明 用 代替 ,可構(gòu)造 *- E ( )- E ( ) ( - )S E ( )t n X X ) a r ( ) X X ) E ( )F F Y )-)ie n k E ( ) 0給定顯著性水平 ， 查 得自由度 的臨界值 ， 則 或 22 - E ( ) 1 t X X ) X X ) X22 P ( - S E ( ) E ( ) ( S E ( ) F F F F FY t Y Y Y t Y 2 ()t n k 1- n - 、應(yīng)變量個別值預(yù)測 基本思想： 既是對 平均值的點預(yù)測，也是對 個別值的點預(yù)測。 由于存在隨機擾動 的影響 , 的平均值并不等于 的個別值 為了對 的個別值 作區(qū)間預(yù)測，需要尋找與預(yù)測值 和個別值 有關(guān)的統(tǒng)計量，并要明確其概率分布 2 (-)i e n k 已知剩余項 是與預(yù)測值 和個別值 都有關(guān)的 變量 ， 并且已知 服從正態(tài)分布 ， 且可證明 當用 代替 時 ， 對 標準化的變 量為： ) 0 2V a r ( ) 1 X X ) X- E ( ) - ( - )S E ( ) 1F F F e Y Yt t n X X ) 50 22 ( - S E ( ) S E ( ) 1 F F t e Y Y t e 給定顯著性水平 ，查 t 分布表得自由度為 的臨界值 則 因此，多元回歸時 的個別值的置信度 的預(yù) 測區(qū)間的上下限為： 2 1 t X X ) X2 (-)t n kY 1五節(jié) 案例分析 案例： 中國稅收增長的分析 提出問題 改革開放以來，隨著經(jīng)濟體制改革的深化和經(jīng)濟的快速增長，中國的財政收支狀況發(fā)生很大變化，為了研究影響中國稅收收入增長的主要原因，分析中央和地方稅收收入的增長規(guī)律，預(yù)測中國稅收未來的增長趨勢，需要建立計量經(jīng)濟模型。 52 理論分析 影響中國稅收收入增長的主要因素可能有： （ 1）從宏觀經(jīng)濟看，經(jīng)濟整體增長是稅收增長的基本源泉。 （ 2）社會經(jīng)濟的發(fā)展和社會保障等都對公共財政提出要求，公共財政的需求對當年的稅收收入可能會有一定的影響。 （ 3）物價水平。中國的稅制結(jié)構(gòu)以流轉(zhuǎn)稅為主，以現(xiàn)行價格計算的 （ 4）稅收政策因素。 53 以 各項稅收收入 Y 作為被解釋變量 以 以財政支出表示公共財政的需求 以 商品零售價格指數(shù) 表示物價水平 稅收政策因素較難用數(shù)量表示 ,暫時不予考慮 建立模型 54 模型設(shè)定為 : 其中： 各項稅收收入（億元） 國內(nèi)生產(chǎn)總值（億元） 財政支出（億元） 商品零售價格指數(shù)（ %） 1 2 2 2 3 3 4t t t t X X 據(jù)來源： 中國統(tǒng)計年鑒 其中 : 各項稅收收入（億元） 國內(nèi)生產(chǎn)總值（億元） 財政支出（億元） 商品零售價格指數(shù)（ %） 356 假定模型中隨機項滿足基本假定，可用 具體操作 ： 用 計結(jié)果為： 參數(shù)估計 57 模型估計的結(jié)果可表示為 2 3 4 - 2 5 8 2 . 7 9 1 0 . 0 2 2 0 6 7 0 . 7 0 2 1 0 4 2 3 . 9 8 5 4 1 X X ( ( ( (t= ( ( ( (2 0 . 9 9 7 4R 2 0 . 9 9 7 1R 擬合優(yōu)度： 可決系數(shù) 較高， 修正的可決系數(shù) 也較高， 表明模型擬合較好。 模型檢驗： 2 0 . 9 9 7 4R 2 0 . 9 9 7 1R d f =F 2158 顯著性檢驗 針對 ，取 查自由度為 和 的臨界值 。 由于 ，應(yīng)拒絕 ， 說明回歸方程顯著，即“國內(nèi)生產(chǎn)總值”、“財政支出”、“商品零售物價指數(shù)”等變量聯(lián)合起來確實對“稅收收入”有顯著影響。 0 2 3 4H : 0 ( 3 , 2 1 )F0 F ( 3 , 2 3 . 0 7 5 3k = 2 1n - 給定 ，查 自由度為 時臨界值為 ，因為 的參數(shù)對應(yīng)的 這說明在 5%的顯著性水平下，斜率系數(shù)均顯著不為零，表明國內(nèi)生產(chǎn)總值、財政支出、商品零售價格指數(shù)對財政收入分別都有顯著影響。 0 . 0 2 5 ( 2 1 ) 2 . 0 8 0t 0 234,X X = 2 5 - 4 =