復(fù)回歸分析估計(jì)問題

復(fù)回歸分析估計(jì)問題第1頁，課件共49頁，創(chuàng)作于2023年2月

復(fù)回歸分析，也就是多元線性回歸分析，討論應(yīng)變量或回歸子Y，依賴于兩個(gè)或更多個(gè)解釋變量或回歸元的模型。 本章主要討論有兩個(gè)解釋變量的情形。

§7.1三變量模型：符號(hào)與假定三變量的PRF為：（7.1.1）其中是截距項(xiàng)，表示所有未包含到模型中來的變量對(duì)Y的平均影響。和被稱為偏回歸系數(shù)（partialregressioncoefficients）。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第2頁，課件共49頁，創(chuàng)作于2023年2月

在經(jīng)典線性回歸模型（CLRM）的框架下，我們對(duì)（7.1.1）作如下假定：

ui的均值為零，即：對(duì)每一個(gè)i（7.1.2）無序列相關(guān)：（7.1.3）同方差性：（7.1.4）ui與每一個(gè)X變量之間都有零協(xié)方差：（7.1.5）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第3頁，課件共49頁，創(chuàng)作于2023年2月

其實(shí)，只要X2和X3是非隨機(jī)的，并且有（7.1.2）成立，則這個(gè)假定就自動(dòng)得到滿足。無設(shè)定偏誤，或：模型被正確地設(shè)定（7.1.6）

X諸變量間無精確的共線性，或

X2與X3之間無精確的線性關(guān)系（7.1.7）（NoexactlinearrelationshipbetweenX2andX3）另外，還假定：多元回歸模型對(duì)參數(shù)而言是線性的；回歸元的值在重復(fù)抽樣中是被固定的，以及回歸元的取值有足夠的變異性（variability）。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第4頁，課件共49頁，創(chuàng)作于2023年2月

（7.1.7）式要求X2和X3之間無精確的線性關(guān)系，用專業(yè)術(shù)語講就是無共線性（nocollinearity）或無多重共線性（nomulticollinearity）。簡(jiǎn)單地說，就是沒有一個(gè)解釋變量可以寫成其余解釋變量的線性組合。從數(shù)學(xué)上看，無共線性的含義是，不存在一組不全為零的和，使得：（7.1.8）如果這一關(guān)系式存在，則說明X2和X3是共線的（collinear）或線性相關(guān)的（linearlydependent）。如果（7.1.8）式僅當(dāng)時(shí)成立，則說X2和X3是線性獨(dú)立的。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第5頁，課件共49頁，創(chuàng)作于2023年2月

如果，這會(huì)不會(huì)破壞無共線性的假定呢？不會(huì)，因?yàn)檫@里的兩個(gè)變量的關(guān)系是非線性的，并不違背回歸元之間沒有精確線性關(guān)系的要求。在極端情形下，如果X2和X3存在精確的線性關(guān)系，比如，則獨(dú)立的解釋變量實(shí)際上只有一個(gè)，而不是兩個(gè)了：

貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第6頁，課件共49頁，創(chuàng)作于2023年2月§7.2對(duì)復(fù)回歸方程的解釋把（7.1.1）的兩邊對(duì)Y求條件期望得：（7.2.1）可見，復(fù)回歸分析是以多個(gè)解釋變量的固定值為條件的回歸分析。我們所獲得的，是各個(gè)自變量X值固定時(shí)，Y的平均值或Y的平均響應(yīng)（meanresponse）。

§7.3偏回歸系數(shù)的含義偏回歸系數(shù)的含義：度量著在保持X3不變的情況下，X2每變化1個(gè)單位時(shí)，Y的均值的變化。換一句話說，給出X2的單位變化對(duì)Y均值的“直接”或“凈”影響（凈在不染有X3的影響）。則給出了X3的單位變化對(duì)Y均值的“直接”或“凈”影響，凈在不沾有X2的影響。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第7頁，課件共49頁，創(chuàng)作于2023年2月

如何分離出X2對(duì)Y的“真實(shí)”或凈影響呢？（雙殘差方法）第一步：Y僅對(duì)X3回歸：（7.3.1）其中是樣本殘差項(xiàng)，b13的下標(biāo)1指變量Y只對(duì)X3回歸。第二步：X2對(duì)X3回歸：（7.3.2）其中也是殘差項(xiàng)。于是：

（7.3.3）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第8頁，課件共49頁，創(chuàng)作于2023年2月

（7.3.4）其中和是分別從回歸（7.3.1）和（7.3.2）得來的估計(jì)值。殘差和的含義：表示去掉X3對(duì)Y的（線性）影響后的Yi值；表示除去X3對(duì)X2的（線性）影響后的X2i的值。這樣一來，和就代表是“凈化了的（purified）”Yi和X2i。即除去了X3的影響（沾染）的Yi和X2i。具體例子見P194關(guān)于兒童死亡率與人均收入、婦女識(shí)字率的關(guān)系。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第9頁，課件共49頁，創(chuàng)作于2023年2月

第三步：做對(duì)的回歸：（7.3.5）其中，是樣本殘差項(xiàng)。那么，就是X2對(duì)Y的“真實(shí)”或凈影響的一個(gè)估計(jì)，或者說，是Y對(duì)X2的真實(shí)斜率的一個(gè)估計(jì)。

§7.4偏回歸系數(shù)的OLS估計(jì)一、OLS估計(jì)量（7.1.1）式的PRF相對(duì)應(yīng)的樣本回歸函數(shù)（SRF）為：（7.4.1）其中是殘差項(xiàng)，是總體隨機(jī)擾動(dòng)項(xiàng)ui的相應(yīng)部分。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第10頁，課件共49頁，創(chuàng)作于2023年2月OLS方法的實(shí)質(zhì)就是，通過殘差平方和（RSS）的一階條件求未知參數(shù)的估計(jì)值：（7.4.2）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第11頁，課件共49頁，創(chuàng)作于2023年2月

于是，得正規(guī)方程：從而，的OLS估計(jì)量為：（7.4.6）

（7.4.7）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第12頁，課件共49頁，創(chuàng)作于2023年2月

（7.4.8）

如果Ｘ2和Ｘ3無關(guān)，會(huì)怎樣？OLS估計(jì)量的特點(diǎn)：①可以從方程（7.4.7）和（7.4.8）中的一個(gè)通過x2和x3的對(duì)調(diào)而得到另一個(gè)，所以，它們本質(zhì)上是對(duì)稱的。②兩個(gè)方程的分母完全相同。③三變量情形是雙變量情形的自然而然的推廣。二、OLS估計(jì)量的方差和標(biāo)準(zhǔn)誤我們計(jì)算出標(biāo)準(zhǔn)誤主要有兩個(gè)作用：①建立置信區(qū)間②檢驗(yàn)統(tǒng)計(jì)假設(shè)。公式如下，證明見第九章。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第13頁，課件共49頁，創(chuàng)作于2023年2月

（7.4.9）

（7.4.10）

（7.4.11）或者：（7.4.12）其中，r23是X2和X3的樣本相關(guān)系數(shù)：貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第14頁，課件共49頁，創(chuàng)作于2023年2月

（7.4.13）

（7.4.14）或者：（7.4.15）（7.4.16）（7.4.17）在上述公式中是總體干擾項(xiàng)ui的方差，的無偏估計(jì)量是：貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第15頁，課件共49頁，創(chuàng)作于2023年2月

（7.4.18）

注：自由度為（n-3），這是因?yàn)樵诠烙?jì)之前，必須先估計(jì)和。從而損失了3個(gè)自由度。四變量中自由度為（n-4）等。而（7.4.19）課堂作業(yè)：證明上式貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第16頁，課件共49頁，創(chuàng)作于2023年2月貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第17頁，課件共49頁，創(chuàng)作于2023年2月

三、OLS估計(jì)量的性質(zhì)1．三變量回歸面通過均值，和。因?yàn)?，?.4.3）告訴我們：這個(gè)性質(zhì)可以推廣到一般情形，如在K變量回歸中有：2．估計(jì)的（即）的均值等于真實(shí)的均值。由和得：貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第18頁，課件共49頁，創(chuàng)作于2023年2月

（7.4.22）將上式兩邊對(duì)所有樣本值求和，再除以樣本容量n得：（）從而有：（由于（7.4.22））（7.4.23）其中貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第19頁，課件共49頁，創(chuàng)作于2023年2月因此，SRF：的離差形式表達(dá)為：（7.4.24）3．在求解OLS估計(jì)量的過程中，曾經(jīng)有：這就是4．殘差與和都不相關(guān)，就是貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第20頁，課件共49頁，創(chuàng)作于2023年2月

這也是求解OLS估計(jì)量的副產(chǎn)品：

即是所求。5．殘差與不相關(guān)，即貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第21頁，課件共49頁，創(chuàng)作于2023年2月∵（7.4.23）

∴貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第22頁，課件共49頁，創(chuàng)作于2023年2月6．由（7.4.12）和（7.4.15）可見，越大（越接近1），和越大。，它們將很難估計(jì)和的真值。7．由（7.4.12）和（7.4.15），與成反比，即X2的樣本值變化越大，的方差越小，對(duì)的估計(jì)的精度越高。對(duì)的方差也如此。8．偏回歸系數(shù)的OLS估計(jì)量是BLUE（最佳線性無偏估計(jì)）。證明略（用矩陣證明更簡(jiǎn)單，見第9章）。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第23頁，課件共49頁，創(chuàng)作于2023年2月ML估計(jì)在總體擾動(dòng)項(xiàng)服從的假定下，ML與OLS所得的回歸系數(shù)估計(jì)相同。但是，的估計(jì)有區(qū)別，前者所得估計(jì)是無偏的，后者是漸近無偏的。ML估計(jì)的方差貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第24頁，課件共49頁，創(chuàng)作于2023年2月§7.5復(fù)判定系數(shù)與復(fù)相關(guān)系數(shù)R

（TheMultiplecoefficientofDeterminationandtheMultiplecoefficientofCorrelationR）復(fù)判定系數(shù)：在三變量（或者更多變量）的模型中，衡量Y的變異由變量、等聯(lián)合解釋的比重，記作。在概念上，近似于。的推導(dǎo)：（7.5.1）

是從所擬合的回歸線（SRF）估計(jì)的值，它是真實(shí)的一個(gè)估計(jì)量。（7.5.1）可以變換為：（7.5.2）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第25頁，課件共49頁，創(chuàng)作于2023年2月

上式兩邊平方，再對(duì)i求和，得：

（7.5.3）（7.5.3）表明：總平方和＝解釋平方和＋殘差平方和即：TSS＝ESS＋RSS

（7.4.19）表明：

貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第26頁，課件共49頁，創(chuàng)作于2023年2月

代入（7.5.3）有：

整理得：（7.5.4）于是，由定義有：

（7.5.5），越接近于1，我們說模型“擬合”優(yōu)度越高。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第27頁，課件共49頁，創(chuàng)作于2023年2月

復(fù)相關(guān)系數(shù)R：度量Y和所有解釋變量在一起的關(guān)聯(lián)程度。在一元回歸中，r可正可負(fù)；但是，在多元回歸中，R永遠(yuǎn)取正值。實(shí)際上，R沒有太大的意義，用途不大。§7.6例子說明標(biāo)準(zhǔn)化后的優(yōu)勢(shì)§7.7從復(fù)回歸的角度看簡(jiǎn)單回歸：設(shè)定偏誤初探

（7.6.1）模型試圖用人均收入和婦女識(shí)字率去解釋兒童死亡率的變化：

（7.6.1）如果采用雙變量模型去擬合的話，則為：

（7.7.1）

貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第28頁，課件共49頁，創(chuàng)作于2023年2月

既然（7.6.1）是“正確”的模型，那么，（7.7.1）就必然是一個(gè)有偏誤的模型，其偏誤在于丟失了一個(gè)不應(yīng)該省略的變量。如果（7.6.1）的是真實(shí)的一個(gè)無偏估計(jì)，即，那么，在一元回歸中的簡(jiǎn)單回歸系數(shù)將不會(huì)是的無偏估計(jì)量。事實(shí)上，有以下關(guān)系式：（7.7.2）其中，是對(duì)回歸中的斜率系數(shù)，即或者，有：貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第29頁，課件共49頁，創(chuàng)作于2023年2月證明：離差形式的三變量總體回歸模型可以表述為：（1）先乘以

，再乘以，得到通常的正規(guī)方程：

（2）

（3）用除（2）的兩邊得：

（4）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第30頁，課件共49頁，創(chuàng)作于2023年2月

而

（∴是固定量）方程（4）便可以寫為：（5）（5）式兩邊取期望值，得：

（6）（與，不相關(guān)，，是常數(shù)）其實(shí)，不僅有偏誤，的方差也很可能有偏誤。

貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第31頁，課件共49頁，創(chuàng)作于2023年2月這是因?yàn)椋海?）把（5）式和（6）式代入（7）式并化簡(jiǎn)得：

（8）貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第32頁，課件共49頁，創(chuàng)作于2023年2月

由（7.4.12）式我們知道：

（7.4.12）

可見，（8）式和（7.4.12）不同，是一個(gè)有偏估計(jì)量。。結(jié)論：簡(jiǎn)單回歸系數(shù)不僅度量了對(duì)Y的“直接”或“凈”影響，而且也度量了通過它對(duì)所忽略變量的影響而影響Y的間接或誘發(fā)（induced）影響。簡(jiǎn)單地說，度量著對(duì)Y的總影響（直接影響加間接影響），而僅度量了對(duì)Y的直接或凈影響。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第33頁，課件共49頁，創(chuàng)作于2023年2月結(jié)論：如果需要一個(gè)三變量回歸，就不要嘗試簡(jiǎn)單或雙變量回歸?；蛘哒f得更一般，如果你認(rèn)定某個(gè)特殊的回歸模型是“正確”模型，就不要從中略去一個(gè)或多個(gè)變量，而把它加以修改。如果你忽視這條原則，你就會(huì)得到有偏誤的參數(shù)估計(jì)。不僅如此，你還可能低估了真實(shí)的方差并因而低估了回歸系數(shù)的估計(jì)標(biāo)準(zhǔn)誤。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第34頁，課件共49頁，創(chuàng)作于2023年2月§7.8與調(diào)整（校正）（andtheAdjusted）我們知道：其中，，與模型中X變量的個(gè)數(shù)無關(guān)。但是，則與模型中的回歸元個(gè)數(shù)相關(guān)。隨著X變量個(gè)數(shù)的增加，很可能減小，至少不會(huì)增大，從而將會(huì)增大。因此，在比較具有相同的因變量但有著不同個(gè)數(shù)的X變量的兩個(gè)回歸模型時(shí)，選擇有最高值的模型就必須小心。這時(shí)，較高的可能來自解釋變量個(gè)數(shù)的增加，并不能說明模型更好。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第35頁，課件共49頁，創(chuàng)作于2023年2月

考慮有關(guān)的自由度數(shù)，采用方差而不用變異，對(duì)的表達(dá)式進(jìn)行修正，可以導(dǎo)出校正（校正判定系數(shù)，校正可決系數(shù)）：

（7.8.2）其中，k代表模型中包括截距項(xiàng)在內(nèi)的參數(shù)個(gè)數(shù)。顯然，在三變量回歸（二元回歸）中k＝3。 為校正（adjusted）?！靶Ｕ敝傅氖牵孟鄳?yīng)的自由度對(duì)（7.8.1）式中的平方和進(jìn)行校正。有個(gè)自由度，而有個(gè)自由度。貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第36頁，課件共49頁，創(chuàng)作于2023年2月貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第37頁，課件共49頁，創(chuàng)作于2023年2月

需要指出的是，回歸分析的目的并不是要追求較高的之值，而是要取得總體回歸系數(shù)的可信任的估計(jì)量，以便作出統(tǒng)計(jì)推斷。因此，研究人員應(yīng)當(dāng)更多地從理論上探討解釋變量與因變量之間的關(guān)系，而不能單憑最高的之值來選擇模型。換言之，某個(gè)解釋變量是否應(yīng)列入模型，在很大程度上取決于事前的理論分析。PKPK此外，還有AIC,APC等評(píng)價(jià)模型的標(biāo)準(zhǔn)貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第38頁，課件共49頁，創(chuàng)作于2023年2月貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第39頁，課件共49頁，創(chuàng)作于2023年2月貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第40頁，課件共49頁，創(chuàng)作于2023年2月貴州財(cái)經(jīng)大學(xué)經(jīng)濟(jì)研究所白萬平教授第41頁，課件共49頁，創(chuàng)作于