第四章多元回歸估計與假設(shè)檢驗

第四章多元回歸估計與假設(shè)檢驗第1頁，共24頁，2023年，2月20日，星期三包含多個解釋變量的回歸模型稱為多元回歸模型。多元是指由多種因素對應(yīng)變量有影響。本章將以三變量線性回歸模型為例來講解多元回歸模型。一旦掌握了三變量模型，就很容易將結(jié)論擴展到更多元的線性回歸模型。本章的內(nèi)容如下：1.三變量線性回歸模型與三變量線性回歸模型的假設(shè)2.三變量線性回歸模型的OLS估計量以及OLS估計量的方差與標準誤3.多元回歸的擬合優(yōu)度：多元判定系數(shù)4.多元回歸的假設(shè)檢驗5.其他問題第2頁，共24頁，2023年，2月20日，星期三一、三變量線性回歸模型與三變量線性回歸模型的假設(shè)三變量線性回歸模型的非隨機總體回歸函數(shù)（PRF）一般可以表示為：隨機形式：

其中，Y為應(yīng)變量；X1,X2為解釋變量；u為隨機誤差項；t表示第t期觀察值。B1是截距，表示當(dāng)X1,X2為零時Y的平均值。B2、B3稱為偏回歸系數(shù)。三變量線性回歸模型的PRF也是給出了在給定解釋變量的情況下，相應(yīng)的Y總體的條件均值。第3頁，共24頁，2023年，2月20日，星期三偏回歸系數(shù)

三變量線性回歸模型中的斜率系數(shù)稱為偏回歸系數(shù)(Partialregressioncoefficient)或偏斜率系數(shù)(partialslopecoefficient)。其表示的意義為，度量了在保持不變的情況下，單位變動引起均值的改變量；同樣，度量了在保持不變的情況下，單位變動引起均值的改變量。

例如：多元線性回歸模型的若干假定(1)回歸模型是參數(shù)線性的。(2)回歸模型是正確設(shè)定的。(3)解釋變量與隨機誤差項不相關(guān)。(4)隨機誤差項均值為零第4頁，共24頁，2023年，2月20日，星期三(5)不同隨機誤差項的方差相同，即：(6)不同隨機誤差項之間不相關(guān)，或者無自相關(guān)，即：(7)解釋變量和之間不存在完全共線性，即兩個解釋變量之間無確切的線性關(guān)系。如果變量能表示為另一變量的線性函數(shù)，則稱和之間是共線性的。在和存在共線性的情況下，不能通過一個樣本估計出和的參數(shù)值。

注意：雖然在實際中很少遇到完全共線性的情況，但是高度共線性或近似共線性的情況還是很常見的。(8)隨機誤差項服從均值為零，方差為的正態(tài)分布，即：第5頁，共24頁，2023年，2月20日，星期三二、三變量線性回歸模型的OLS估計量以及OLS估計量的方差與標準誤

1.三變量線性回歸模型的OLS估計量假設(shè)某三變量線性回歸模型，其隨機樣本回歸函數(shù)為：其中，、、分別是、、的估計量，為殘差確定樣本回歸函數(shù)為：根據(jù)OLS的原理，對于三變量線性回歸模型來說，求解、、的方法是選擇、、使得下式中的RSS最小化，即：第6頁，共24頁，2023年，2月20日，星期三求解該最小化問題后得到如下正規(guī)方程式：將以上三個正規(guī)方程做簡單代數(shù)變換，得到：其中，小寫字母表示與其樣本均值的離差，（例如：）第7頁，共24頁，2023年，2月20日，星期三2.三變量模型OLS估計量的方差與標準誤根據(jù)三變量線性回歸模型OLS估計量的推導(dǎo)式可以知道，、、估計量的方差與標準誤為：第8頁，共24頁，2023年，2月20日，星期三對于以上諸式中的未知量，可用其OLS估計量來代替，即：3.高斯-馬爾柯夫定理

在滿足古典線性回歸模型假設(shè)的前提下，多元線性回歸模型中參數(shù)的估計量依然是總體回歸模型參數(shù)的最優(yōu)線性無偏估計量（BLUE）。第9頁，共24頁，2023年，2月20日，星期三例子：古董鐘拍賣德國Triberg鐘表公司每年都舉行古董鐘表拍賣會?，F(xiàn)有一個32個鐘表拍賣信息的數(shù)據(jù)（樣本），這些信息包括：鐘表的中標價格、投標人數(shù)、古董鐘的年代。第10頁，共24頁，2023年，2月20日，星期三三、多元回歸的擬合優(yōu)度：多元判定系數(shù)

對于多元線性回歸模型來說，也有如下等式的成立：

與雙變量模型相同，決定系數(shù)定義為：其中，為應(yīng)變量Ｙ的總平方和；為回歸平方和；為殘差平方和。第11頁，共24頁，2023年，2月20日，星期三四、多元回歸的假設(shè)檢驗

在隨機誤差項服從正態(tài)分布以及多元回歸的其他基本假定的情況下，可以證明、、均服從均值分別為、和，方差分別為、、的正態(tài)分布。1.對零假設(shè)進行假設(shè)檢驗的檢驗統(tǒng)計量分別為：第12頁，共24頁，2023年，2月20日，星期三顯著性檢驗法1.對于假設(shè)2.計算t值3.根據(jù)顯著性水平計算臨界值并得到拒絕域4.比較t值和拒絕域并作出判斷置信區(qū)間法由于多元線性回歸模型截距和系數(shù)的檢驗統(tǒng)計量為t統(tǒng)計量，即：所以可以得到一個該參數(shù)的置信度為的置信區(qū)間：

滿足：第13頁，共24頁，2023年，2月20日，星期三對比參數(shù)的置信區(qū)間和零假設(shè)值，如果置信區(qū)間包含零假設(shè)值，則不能拒絕零假設(shè)，否則，拒絕零假設(shè)。2.檢驗聯(lián)合假設(shè)：

對于一個多元線性回歸模型來說，一個或多個解釋變量各自對應(yīng)變量沒有影響，但卻有可能聯(lián)合對應(yīng)變量有影響。所以有必要對這些變量的系數(shù)作聯(lián)合的假設(shè)檢驗，即檢驗假設(shè)：或以上檢驗稱為多元回歸的總體顯著性檢驗。

如何檢驗?zāi)?？可以采用方差分析的公式?/p>

第14頁，共24頁，2023年，2月20日，星期三對于TSS、RSS、ESS來說，其自由度分別為：平方和自由度

TSSn-1RSSn-k(k為待估參數(shù)個數(shù))ESSk-1平方和自由度

TSSn-1RSSn-3(k為待估參數(shù)個數(shù))ESS2對于三變量線性回歸模型來說，有下表第15頁，共24頁，2023年，2月20日，星期三在滿足CLRM基本假定，在零假設(shè)：下可以證明變量服從分子自由度為k-1，分母自由度為n-k的F分布，即：對于三變量線性回歸模型來說，則有：第16頁，共24頁，2023年，2月20日，星期三F檢驗的理論原理是：如果Y由回歸解釋的部分（即由X2和X3解釋的部分）比未被回歸解釋的部分大，則F值將大于1。因此，隨著解釋變量對應(yīng)變量Y變異的解釋比例逐漸增大，F(xiàn)值也將逐漸增大。因此，F(xiàn)值越大，則拒絕零假設(shè)的理由越充分。例如：古董鐘拍賣價格一例（見課本第119頁）

回歸結(jié)果如下：從結(jié)果來看，獲得F值的概率幾乎為0，所以，能夠拒絕零假設(shè)：鐘表年代和競標人數(shù)聯(lián)合對古董競標價格沒有影響。第17頁，共24頁，2023年，2月20日，星期三DependentVariable:PRICE Method:LeastSquares Date:10/19/08Time:17:19 Sample:132 Includedobservations:32

Variable CoefficientStd.Error t-Statistic Prob. C -1336.049175.2725 -7.622698 0.0000 PEOPLE85.76407 8.801995 9.743708 0.0000 YEAR 12.74138 0.912356 13.96537 0.0000 R-squared 0.890614Meandependentvar 1328.094 AdjustedR-squared 0.883070S.D.dependentvar 393.6495 S.E.ofregression 134.6083 Akaikeinfocriterion 12.73167 Sumsquaredresid 525462.2Schwarzcriterion 12.86909 Loglikelihood -200.7068F-statistic 118.0585 Durbin-Watsonstat 1.864656Prob(F-statistic) 0.000000 第18頁，共24頁，2023年，2月20日，星期三F與之間的重要關(guān)系可以證明，判定系數(shù)與F值之間有如下重要關(guān)系：

其中，n為觀察值的個數(shù)，k為包括截距在內(nèi)的解釋變量的個數(shù)。因此，可以說，前面討論過的F檢驗也可用于檢驗的顯著性。鑒于此，對于總體回歸方程的顯著性的F檢驗可以采用的形式。方差分析表也可以等價地表示為下表：第19頁，共24頁，2023年，2月20日，星期三五、多元回歸的其他問題1.設(shè)定誤差的定義

以鐘表拍賣為例，可以設(shè)立拍賣價格和鐘表年代的一元線性回歸模型，拍賣價格和競標人數(shù)的一元線性回歸模型，拍賣價格和鐘表年代、競標人數(shù)的三變量線性回歸模型。其回歸結(jié)果如下：t=(-0.7248)(5.8457)r2=0.5325F=34.17t=(3.496)(2.345)r2=0.1549F=5.502P=(0.0000)(0.00000)(0.00000)R2=0.89F=118.06第20頁，共24頁，2023年，2月20日，星期三注意，在兩個雙變量模型中，解釋變量的影響包括了該解釋變量的直接影響和其他變量的間接影響；而在三變量模型中，當(dāng)推導(dǎo)一個解釋變量對應(yīng)變量的影響時，則是假設(shè)另外一個解釋變量保持不變，這是一種凈影響或凈效果。除了以上的一點外，從以上三個回歸方程式可以知道，鐘表年代和競標人數(shù)無論是單獨地，還是聯(lián)合地都對拍賣價格有重要影響。因此，如果從模型式中省略任何一個變量，都會導(dǎo)致設(shè)定偏差，或設(shè)定誤差。經(jīng)驗告訴我們，建模過程中，要以經(jīng)濟理論為依據(jù)，并充分利用以往的工作經(jīng)驗，一旦建立起模型，就不要隨意地從模型中刪除某個解釋變量。2.校正的判定系數(shù)

校正的判定系數(shù)的提出是因為普通的判定系數(shù)會隨著解釋變量的個數(shù)的增加而變大，比如鐘表拍賣價格一例。這是因為，在的定義中，并沒有考慮到不同模型自由度的差異。第21頁，共24頁，2023年，2月20日，星期三

正是基于以上不足，計量經(jīng)濟學(xué)者們提出了能根據(jù)模型中解釋變量的個數(shù)進行調(diào)整的，經(jīng)過調(diào)整的判定系數(shù)，稱為校正判定系數(shù)。其計算公式為：校正的判定系數(shù)有如下性質(zhì)：(1)如果，則。隨著模型中解釋變量個數(shù)的增加，校正判定系數(shù)越來越小于未校正判定系數(shù)。(2)雖然未校正判定系數(shù)總為正，但校正判定系數(shù)可能為負。3.什么時候增加新的解釋變量？

通常的做法是：只要校正判定系數(shù)的值增加（即使值小于的值），就可以增加新的解釋變量。但問題是，什么時候值開始增加呢？理論表明：如果增加變量系數(shù)的|t|值大于1，就會增加，這里的t值是在零假設(shè)：總體系數(shù)為零下計算得到的。（例子：p166）第22頁，共24頁，2023年，2月20日，星期三4.受限最小二乘(略)

對的F檢驗提供了對所有回歸系數(shù)為零的原假設(shè)的檢驗，但是有時我們想對部分回歸系數(shù)所組成的子集是否顯著進行聯(lián)合檢驗（比方說，在有四個解釋變量的線性回歸模型中，對其中的三個作是否共同顯著的聯(lián)合檢驗）。考慮如下模型：因為關(guān)于這個模型系數(shù)沒有任何假設(shè)，稱為非受限模型（UR）。假設(shè)我們想檢驗其中q個回歸