第四講多元線性回歸模型

1、第四講 多元線性回歸模型Ø 目的和要求：通過本章學習，要求學生理解多元線性回歸模型的矩陣表示，掌握多元線性回歸模型的參數(shù)估計，理解模型檢驗的方法，學會應用多元線性回歸模型進行經(jīng)濟預測。Ø 教學重點：1、 普通最小二乘估計法；2、 多元線性回歸模型的檢驗。Ø 教學難點：多元線性回歸模型的參數(shù)估計和檢驗 知識體系1、回歸模型總體線性回歸模型與樣本線性回歸模型；回歸模型的矩陣表示；模型的基本假定2、參數(shù)估計OLS估計法；OLS估計量的性質；OLS估計量的區(qū)間估計3、統(tǒng)計檢驗方程總體顯著性檢驗（F檢驗）；變量顯著性檢驗（t檢驗）4、模型應用總體均值的點預測與區(qū)間預測；個別

2、值的點預測與區(qū)間預測一、 為什么學習計量經(jīng)濟學？ 案例：中國汽車的保有量會達到1.4億輛嗎？中國經(jīng)濟的快速發(fā)展，使居民收入不斷增加，數(shù)以百萬計的中國人開始實現(xiàn)擁有汽車的夢想，中國也成為世界上成長最快的汽車市場。中國交通部副部長在中國交通可持續(xù)發(fā)展論壇上做出預測：“2020年，中國的民用汽車保有量將比2003年的數(shù)字增長倍，達到1.4億輛左右”。是什么因素導致中國汽車數(shù)量的增長？影響中國汽車行業(yè)發(fā)展的因素并不是單一的，經(jīng)濟增長、消費趨勢、市場行情、業(yè)界心態(tài)、能源價格、道路發(fā)展、內外環(huán)境，都會使中國汽車行業(yè)面臨機遇和挑戰(zhàn)。怎樣分析多種因素的影響？分析中國汽車行業(yè)未來的趨勢，應具體分析這樣一些問題：

3、中國汽車市場發(fā)展的狀況如何？（用銷售量觀測）影響中國汽車銷量的主要因素是什么？（如收入、價格、費用、道路狀況、能源、政策環(huán)境等）各種因素對汽車銷量影響的性質怎樣？（正、負）各種因素影響汽車銷量的具體數(shù)量關系是什么？所得到的數(shù)量結論是否可靠？中國汽車行業(yè)今后的發(fā)展前景怎樣？應當如何制定汽車的產(chǎn)業(yè)政策？顯然，只用一個解釋變量已很難分析汽車產(chǎn)業(yè)的發(fā)展，還需要尋求多元回歸分析方法。一、 多元線性回歸模型（一）總體回歸模型和樣本回歸模型項目總體樣本多元線性回歸模型多元線性回歸函數(shù)隨機干擾項偏回歸系數(shù)Note: 多元回歸分析是以多個解釋變量的固定值為條件的回歸分析，反映了各解釋變量X值固定時Y的平均響應。

4、偏回歸系數(shù)表示在其它解釋量保持不變的條件下，每變化1個單位時，的均值的變化。多元線性回歸模型中的“線性”是對各個回歸系數(shù)而言的，對變量而言，可以是線性，也可是非線性的。如柯布-道格拉斯生產(chǎn)函數(shù)，取自然對數(shù)轉化為（二）多元線性回歸模型的矩陣表示多元線性回歸模型的一般形式，可表示為： 用矩陣表示為： 總體回歸函數(shù) ：總體回歸模型：樣本回歸函數(shù)：樣本回歸模型： 其中：都是有個元素的列向量， 是有個元素的列向量，是第一列為1的階解釋變量的觀測值矩陣 （截距項可視為解釋變量取值為1）（三） 多元線性回歸中的基本假定1、 基本假定1 解釋變量為確定性變量，且各解釋變量之間不存在線性關系，即：矩陣

5、型式：矩陣是階非隨機矩陣和列滿秩矩陣，即：，也就是說，階方陣是可逆的非奇異矩陣。Note：列滿秩矩陣指一個矩陣的列數(shù)小于行數(shù)，且秩等于列數(shù)；行滿秩矩陣指一個矩陣的行數(shù)小于列數(shù)，且秩等于行數(shù)。 隨機干擾項具有零均值、同方差和不序列相關性，即零均值；同方差無序列相關矩陣形式： 隨機干擾項與解釋變量不相關，即矩陣形式： 隨機干擾項服從零均值，同方差，零協(xié)方差的正態(tài)分布，即：（中心極限定理）矩陣形式： 樣本容量趨于無窮時，各解釋變量的樣本方差趨于有限常數(shù)，即取值要有變異性，不能單調上升或下降 模型沒有設定偏誤（specification error） 樣本容量大于待估參數(shù)的個數(shù)，即2、的分布性質（）零

6、均值假定：同方差假定：無序列相關假定：正態(tài)分布假定：二、參數(shù)估計（一）普通最小二乘法（OLS）1、基本思想隨機抽取n組樣本觀測值，若要使樣本回歸線盡可能好地擬合這些散點的分布規(guī)律，則必須滿足所有樣本觀測點（）到樣本回歸線的距離之和最小，即：2、 參數(shù)的最小二乘估計1 微分求最值原理要使，則必使對的一階偏導數(shù)等于0，即可得正規(guī)方程組： Note:2 轉化成矩陣形式 樣本回歸函數(shù)為 兩邊同乘，可得： 階方陣是可逆的非奇異矩陣 Note: 行向量乘以列向量得到一個標量（數(shù)）；列向量乘以行向量得到一個矩陣；求逆矩陣可使用初等變換的方法；為對稱的方陣。 3、 樣本回歸函數(shù)的離差形式1 樣本回歸函數(shù)的離差

7、形式其矩陣形式為：2 參數(shù)的OLS估計由微分求最值原理可知，要使，則必使：轉化成矩陣形式：同理可得，離差形式下參數(shù)的OLS估計量為： 二元線性回歸模型的OLS估計 對二元線性回歸模型的OLS估計量為：（二）OLS估計量的性質1、 線性性2、 無偏性 3、 有效性最小方差性1 結論：在古典假定下，多元線性回歸的 OLS估計量是最佳線性無偏估計量（BLUE）（三）OLS回歸線的性質*1、 樣本回歸線通過樣本均值點，即2、 估計值的均值等于實際觀測值的均值，即3、殘差的和為零，即，而殘差平方和最小，即 4、解釋變量與殘差的乘積之和為零，即5、被解釋變量的估計與殘差的乘積之和為零，即（四）OLS估計量

8、的區(qū)間估計 基本思想是隨機變量，必須確定其分布性質才可能進行區(qū)間估計和假設檢驗是服從正態(tài)分布的隨機變量，決定了也是服從正態(tài)分布的隨機變量是的線性函數(shù)，決定了也是服從正態(tài)分布的隨機變量 1、 OLS估計量的分布性質 方差已知 估計量是的線性組合 的分布函數(shù)取決于的分布函數(shù)又 也服從正態(tài)分布，即： Note：若隨機變量服從正態(tài)分布，則其線性組合也服從正態(tài)分布。 方差未知在隨機干擾項方差的估計出后，參數(shù)的樣本方差和標準差分別為：2、 構造統(tǒng)計量1 方差已知2 方差 未知A. 小樣本當樣本為小樣本時，可用代替去估計參數(shù)的置信區(qū)間，用估計的參數(shù)標準差對 作標準化變換，所得的統(tǒng)計量不再服從正態(tài)分布，而是服

9、從 t 分布：B. 大樣本當樣本為大樣本時，用估計的參數(shù)標準差對作標準化變換，所得Z 統(tǒng)計量仍可視為標準正態(tài)變量（根據(jù)中心極限定理）3、 OLS估計量的區(qū)間估計1 構造樞軸變量2 構造概率為的事件，即：3 反解不等式，得到置信度為的置信區(qū)間：（五）樣本容量問題*1、 最小樣本容量2、 滿足基本要求的樣本容量一般認為，當，才能滿足模型估計的基本要求。三、統(tǒng)計檢驗（一）擬合優(yōu)度檢驗1、可決系數(shù)與調整的可決系數(shù)1 總變差分解分析Y 的觀測值、估計值與平均值的關系：總離差平方和（Total Sum of Square，），反映了樣本觀測值與其平均值的總體離差的大?。换貧w平方和（Explained Su

10、m of Square，ESS），反映了由模型中解釋變量所解釋的那部分離差的大?。唬▉碜曰貧w線）殘差平方和（Residual Sum of Square，RSS），反映了由模型中解釋變量不能解釋的那部分離差的大小。（來自隨機勢力）2 可決系數(shù)樣本回歸線與樣本觀測值的擬合程度在多元回歸模型中，由各個解釋變量聯(lián)合解釋了的變差，在的總變差中占的比重。若解釋變量的個數(shù)增加，殘差平方和減小或不變，則可決系數(shù)就變大。3 調整的可決系數(shù)消去自由度后的可決系數(shù)若調整的可決系數(shù)，則剔除新增加的解釋變量 新增加的解釋變量沒有解釋能力 殘差平方和基本保持不變，待估參數(shù)個數(shù)2*、赤池信息準則和施瓦茨準則赤池信息準則（

11、AIC，Akaike information criterion）:施瓦茨準則（SC，Schwarz criterion）: 若和，則剔除新增加的解釋變量。 新增加的解釋變量沒有解釋能力 殘差平方和基本保持不變，待估參數(shù)個數(shù)Note：剔除新增加的解釋變量的原則、和（二）方程總體顯著性檢驗（F檢驗）1、 F檢驗的步驟1 分析問題，提出假設原假設:；備擇假設:2 確定檢驗統(tǒng)計量3 構造小概率事件，查F分布表，得到臨界值4 計算檢驗統(tǒng)計量的值，判斷其落入的區(qū)域。若時，則拒絕，而接受，說明所有解釋變量聯(lián)合起來對被解釋變量有顯著影響。若時，則接受，說明所有解釋變量聯(lián)合起來對被解釋變量沒有顯著影響。2、

12、可決系數(shù)與F檢驗的關系*1 區(qū)別擬合優(yōu)度檢驗是從已經(jīng)得到估計的模型出發(fā)，檢驗它對樣本觀測值的擬合程度；F檢驗是從樣本觀測值出發(fā)檢驗模型總體線性關系的顯著性。擬合優(yōu)度檢驗只是通過提供了對模型擬合優(yōu)度的度量，并沒有提供模型是否通過檢驗的明確界限；F檢驗可在給定顯著性水平下，給出模型總體線性關系是否顯著成立的結論。2 聯(lián)系擬合優(yōu)度檢驗和F檢驗都是在把總離差平方和TSS分解為回歸平方和ESS與殘差平方和RSS的基礎上構造統(tǒng)計量進行檢驗的?？蓻Q系數(shù)與F同方向變化，越大，F(xiàn)越大，即模型對樣本數(shù)據(jù)的擬合程度越高，模型總體線性關系的顯著性越強。當時， ；當時， 結論：對方程的總體顯著性檢驗，實際上也是對的顯著

13、性檢驗。（三）變量顯著性檢驗（t檢驗）1、 t檢驗的步驟分析問題，提出假設原假設: ；備擇假設:確定檢驗的統(tǒng)計量構造小概率事件計算檢驗統(tǒng)計量的值，判斷其落入的區(qū)域。若時，則拒絕，而接受，說明解釋變量對被解釋變量有顯著影響，即兩者線性關系顯著。若時，則接受，說明解釋變量對被解釋變量沒有顯著影響，即兩者線性關系不顯著。2、 F檢驗和t檢驗的關系*1 區(qū)別F檢驗是針對所有解釋變量對被解釋變量的聯(lián)合影響是否顯著所作的檢驗；而t檢驗是針對單個解釋變量對被解釋變量的影響是否顯著所作的檢驗。在多元線性回歸模型中，F(xiàn)檢驗和t檢驗都要進行，不能相互替代。因為單個解釋變量對被解釋變量的影響都顯著，不代表所有解釋變

14、量對被解釋變量的聯(lián)合影響顯著；反之亦然。2 聯(lián)系在一元線性回歸模型中，F(xiàn)檢驗和t檢驗是一致的，即一方面，原假設相同都是，另一方面，兩個統(tǒng)計量之間的關系為：F=t2四、模型應用（一）總體均值的點預測 總體回歸函數(shù)為 當時，又 樣本回歸函數(shù)為 當時， 是條件均值的一個無偏估計，即可將作為總體均值的點預測。（二）總體均值的區(qū)間預測1、 的分布形式2、 區(qū)間預測的步驟1 構造樞軸變量2 構造概率為的事件3 反解不等式，得到置信度為的置信區(qū)間：（三）的區(qū)間預測1、的分布形式2、的區(qū)間預測的步驟1 構造樞軸變量2 構造概率為的事件3 反解不等式，得到置信度為的置信區(qū)間：Ø 附錄：4.1 最小二乘

15、估計法的矩陣求法根據(jù)普通最小二乘原理，要需找一組參數(shù)估計值，使得殘差平方和：即參數(shù)估計值應該是方程組的解。求解過程為：Note：矩陣轉置的性質4.2 矩陣求導公式1、矩陣對標量求導 法則矩陣中每個元素均求導數(shù)后再轉置，即m×n矩陣求導后將變成n×m矩陣；公式2、標量對列向量求導法則標量對列向量的每個元素分別求偏導，但不轉置，對n×1向量求導后還是n×1向量；公式3、行向量對列向量求導法則1×m行向量對n×1列向量求導后是n×m矩陣，即將行向量的每一列對列向量每一行求偏導，將各列構成一個矩陣。公式重要結論4、列向量對行向量求導法則m×1列向量對1×n行向量求導后是m×n矩陣，即將列向量的每一行對行向量每一列求偏導，將