多元回歸分析估計(jì)

多元回歸分析估計(jì)第1頁，共83頁，2023年，2月20日，星期四第3章

多元回歸分析：估計(jì)3.1使用多元回歸分析的動(dòng)因3.2普通最小二乘法的操作和解釋3.3OLS估計(jì)量的期望值3.4OLS估計(jì)量的方差3.5OLS的有效性：高斯-馬爾科夫定理第2頁，共83頁，2023年，2月20日，星期四3.1使用多元回歸模型的動(dòng)因?qū)嶋H研究中更多時(shí)候?qū)σ蜃兞坑杏绊懙淖宰兞總€(gè)數(shù)將不只一個(gè)，需要進(jìn)行多元回歸例1:

在對(duì)小時(shí)工資的研究中，除了教育水平之外，工作經(jīng)歷也是一個(gè)顯著的影響因素，因此需要增加自變量個(gè)數(shù)，建立多元回歸模型。第3頁，共83頁，2023年，2月20日，星期四1.為獲得其它因素不變的效應(yīng)，控制更多的因素在實(shí)證工作中使用簡單回歸模型,首要的困難在于：要得到在其它因素不變的情況下，x1對(duì)y的影響(ceteris

paribuseffect)，非常困難。在簡單線性回歸中，是否能夠獲得在其它條件不變情況下，x1對(duì)y的影響，完全取決于零值條件期望假設(shè)是否符合現(xiàn)實(shí)。如果影響y的其它因素，與x1不相關(guān)，則改變x1，可以確保u(均值)不變，從而識(shí)別出在其它條件不變情況下x對(duì)y的影響。不幸的是，影響y的其它因素(包含在u中)，往往與x1相關(guān)：改變x1，u(均值)也往往發(fā)生變化，從而使得僅僅利用簡單回歸模型，無法識(shí)別出在其它條件不變情況下x1對(duì)y的影響。第4頁，共83頁，2023年，2月20日，星期四1.控制更多的因素一個(gè)策略就是，將與x1相關(guān)的其他因素從誤差項(xiàng)u中取出來，放在方程里，作為新的解釋變量，這就構(gòu)成多元回歸模型。多元回歸分析可以明確地控制許多其它同時(shí)影響因變量的因素，而不是放在不可觀測的誤差項(xiàng)中，故多元回歸分析更適合于其它條件不變情況下（ceterisparibus）的特定因素x對(duì)y的影響。多元回歸模型能容許很多解釋變量，而這些變量可以是相關(guān)的。在使用非實(shí)驗(yàn)數(shù)據(jù)時(shí)，多元回歸模型對(duì)推斷y與解釋變量x間的因果關(guān)系很重要。第5頁，共83頁，2023年，2月20日，星期四2.更好地預(yù)測一個(gè)變量y的變化，不僅與一種因素有關(guān)，可能決定于許多因素。預(yù)測一個(gè)變量的變化，往往需要盡可能多地知道影響該變量變化的因素。簡單回歸模型，只包含一個(gè)解釋變量，有時(shí)只能解釋y的變動(dòng)的很小部分。(如，擬合優(yōu)度很低)多元回歸模型由于可以控制更多地揭示變量，因此，可以解釋更多的因變量變動(dòng)。第6頁，共83頁，2023年，2月20日，星期四3.表達(dá)更多的函數(shù)關(guān)系多元回歸模型，可以包含多個(gè)解釋變量，因此，可以利用變量的函數(shù)變換，在模型中表達(dá)多種函數(shù)關(guān)系。因此，多元線性回歸模型，是實(shí)證分析中應(yīng)用最廣泛的分析工具。第7頁，共83頁，2023年，2月20日，星期四多元線性回歸模型的一般形式

第8頁，共83頁，2023年，2月20日，星期四多元回歸的術(shù)語第9頁，共83頁，2023年，2月20日，星期四3.2普通最小二乘法的操作和解釋第10頁，共83頁，2023年，2月20日，星期四如何得到OLS估計(jì)值首先考慮兩個(gè)自變量的模型：

建模的原理依舊是使得達(dá)到最小。

要理解OLS在做什么，重要的是理解自變量角標(biāo)的含義。下標(biāo)i表示觀測序號(hào)，這里假設(shè)有n個(gè)觀測變量。第二個(gè)下標(biāo)只是區(qū)別不同自變量的方法。在之前的例子中，分別表示樣本中第i個(gè)人的教育程度和工作經(jīng)歷。第11頁，共83頁，2023年，2月20日，星期四如何得到OLS估計(jì)值在含有k個(gè)自變量的情形中。在選擇估計(jì)值時(shí)，我們最小化了殘差平方和

這個(gè)最小化問題可以使用多元微積分求解。OLS的一階條件：第12頁，共83頁，2023年，2月20日，星期四如何得到OLS估計(jì)值如同簡單回歸里那樣

稱為OLS回歸線，

為截距估計(jì)值，

為斜率估計(jì)值。為了表明已經(jīng)進(jìn)行了一個(gè)OLS回歸分析，我們將方程中的y,x1,x2..xk用其變量名稱取代（如wage,educ,exper等）

第13頁，共83頁，2023年，2月20日，星期四對(duì)OLS回歸方程的解釋估計(jì)值具有偏效應(yīng)或其他情況不變得解釋。從方程中我們可以得到

所以我們能在給定x1,x2的變化時(shí)預(yù)測y

值得變化。特別的，當(dāng)=0時(shí)，有關(guān)鍵是通過把x2包含在模型中，我們所得到的x1的系數(shù)可解釋為在其他條件不變的情況下的影響。這正是多元回歸分析如此有用的原因所在。第14頁，共83頁，2023年，2月20日，星期四例3.2：小時(shí)工資方程我們在log(wage)的方程中包括educ(教育水平)，exper（工作經(jīng)歷），

和tenure(任現(xiàn)職的任期)，估計(jì)的方程：系數(shù)0.092意味著，在保持tenure和exper不變的情況下，多受一年教育者的log(wage)提高0.092即9.2%。第15頁，共83頁，2023年，2月20日，星期四“保持其他因素不變”的含義多元回歸中，所得到的“其他因素不變的效應(yīng)”，并非是通過在實(shí)際抽樣中，固定其他因素不變。在教育-經(jīng)驗(yàn)-工資一例中，在獲得教育對(duì)的工資其他條件不變影響時(shí)，在實(shí)際抽樣中，也并非是固定工作經(jīng)驗(yàn)，收集不同教育年限的樣本，來分析教育年限變化，對(duì)于工資的影響。對(duì)個(gè)體進(jìn)行隨機(jī)抽樣，就可通過多元回歸分析得到“其他因素不變的效應(yīng)”。多元回歸分析的優(yōu)勢，在于它使我們能在非實(shí)驗(yàn)環(huán)境中去做自然科學(xué)家在受控實(shí)驗(yàn)中所能做的事情：保持其它因素不變。第16頁，共83頁，2023年，2月20日，星期四同時(shí)改變不止一個(gè)變量有時(shí)我們想改變一個(gè)以上的變量，同時(shí)看看由此對(duì)因變量的影響，通過回歸方程很容易做到。在例2中，當(dāng)一人在同一企業(yè)工作過1年，保持educ不變，exper和tenure都增加一年時(shí)，對(duì)工資的總影響為：第17頁，共83頁，2023年，2月20日，星期四OLS的擬合值和殘差對(duì)觀測i,其擬合值為

它只是將第i個(gè)自變量值代入回歸方程所得的預(yù)測值。OLS最小化了預(yù)測誤差平方的平均值。第i個(gè)觀測的殘差被定義為：若，意味著yi被預(yù)測的過低；反之說明yi被預(yù)測的過高。第18頁，共83頁，2023年，2月20日，星期四OLS的擬合值和殘差直接從單變量模型推廣，可得OLS擬合值和殘差的某些重要性質(zhì)。殘差的樣本平均值為零每個(gè)自變量和OLS殘差之間的樣本協(xié)方差為零，于是OLS擬合值和OLS殘差之間的樣本協(xié)方差也為零點(diǎn)總位于樣本OLS回歸線上。第19頁，共83頁，2023年，2月20日，星期四對(duì)多元回歸“排除其他變量影響”的解釋

第20頁，共83頁，2023年，2月20日，星期四對(duì)多元回歸“排除其他變量影響”的解釋

A“PartiallingOut”Interpretation對(duì)于估計(jì)的樣本回歸線可以表示為：

？第21頁，共83頁，2023年，2月20日，星期四22對(duì)多元回歸“排除其他變量影響”的解釋首先，將第一個(gè)自變量x1對(duì)第二個(gè)自變量x2進(jìn)行回歸，得到樣本回歸函數(shù)

，根據(jù)xi和擬合值

，得到殘差。殘差表示剔除了x2的影響之后，x1的其他部分。它與x2不相關(guān),樣本均值為0。然后，將y對(duì)進(jìn)行簡單回歸得到。衡量的是，剔除了其他自變量的影響之后，x1對(duì)于y的凈影響。第22頁，共83頁，2023年，2月20日，星期四23對(duì)多元回歸“排除其他變量影響”的解釋上述過程表明：將y同時(shí)對(duì)x1和x2回歸得出的x1的影響，與先將x1對(duì)x2回歸得到殘差，再將y對(duì)此殘差回歸得到的x1的影響相同。同時(shí)說明，在多元回歸模型中，x1的系數(shù)衡量的是，x1中與其他自變量不相關(guān)的部分，與y的相關(guān)關(guān)系。即，在多元回歸模型中，所估計(jì)的是，在其他自變量對(duì)于x1的影響“被剔除(partialledout)”后，x1對(duì)y的影響。第23頁，共83頁，2023年，2月20日，星期四24“剔除其它變量影響”

“PartiallingOut”在一個(gè)含有k個(gè)解釋變量的一般模型中，仍然可以寫成(3.22)式(證明見本章附錄3A.2):殘差是來自x1對(duì)x2…,xk的回歸。因此，度量的是，在排除x2…,xk等變量的影響之后，x1對(duì)y的影響。第24頁，共83頁，2023年，2月20日，星期四25證明(3.22)式：第25頁，共83頁，2023年，2月20日，星期四26簡單回歸與多元回歸估計(jì)值的比較用同一個(gè)樣本：估計(jì)一個(gè)最簡單的線性回歸模型，得到：估計(jì)一個(gè)最簡單的多元線性回歸模型，得到：存在一個(gè)簡單關(guān)系：是x2對(duì)x1進(jìn)行簡單回歸所得到的斜率系數(shù)估計(jì)值。證明上式第26頁，共83頁，2023年，2月20日，星期四第27頁，共83頁，2023年，2月20日，星期四28一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2對(duì)于y沒有局部效應(yīng)(partialeffect)在(2)種情況下，x2與x1在樣本中不相關(guān)。第28頁，共83頁，2023年，2月20日，星期四29用同一個(gè)樣本：估計(jì)一個(gè)最簡單的線性回歸模型，得到：估計(jì)一個(gè)最簡單的多元線性回歸模型，得到：存在一個(gè)關(guān)系：是x2,…,xk分別對(duì)x1進(jìn)行簡單回歸所得到的斜率系數(shù)估計(jì)值。第29頁，共83頁，2023年，2月20日，星期四30一般而言，兩種特殊情況下，兩者相等：在第(1)種情況下，x2,…,xk對(duì)于y均沒有偏效應(yīng)(partialeffect)

在(2)種情況下，x2,…,xk中每一個(gè)均與x1不相關(guān)第30頁，共83頁，2023年，2月20日，星期四例3：401（k）養(yǎng)老金計(jì)劃匹配率mrate是指對(duì)于一個(gè)員工所投入的每一美元的養(yǎng)老金，企業(yè)為員工匹配的數(shù)量。參與率prate是指有資格擁有一個(gè)401（k）賬戶的員工中參與此計(jì)劃的百分比。變量age是401（k）養(yǎng)老金計(jì)劃的實(shí)施年數(shù)。將prate對(duì)mrate和age進(jìn)行回歸：

第31頁，共83頁，2023年，2月20日，星期四例3：401（k）養(yǎng)老金計(jì)劃如果我們不控制age，將prate對(duì)mrate進(jìn)行簡單歸可以得到：

可見兩種回歸式子相差不大。

第32頁，共83頁，2023年，2月20日，星期四擬合優(yōu)度與簡單回歸中一樣，我們定義總平方和SST

解釋平方和SSE

殘差平方和SSR

第33頁，共83頁，2023年，2月20日，星期四擬合優(yōu)度判定系數(shù)我們定義R2=SSE/SST=1–SSR/SST為判定系數(shù)，總是介于0到1之間一個(gè)接近于1的判定系數(shù)表明OLS給出了一個(gè)良好的擬合，一個(gè)于0的判定系數(shù)表明OLS給出了一個(gè)糟糕的擬合第34頁，共83頁，2023年，2月20日，星期四擬合優(yōu)度還可以證明R2

等于yi的實(shí)際值與擬合值相關(guān)系數(shù)的平方，即：第35頁，共83頁，2023年，2月20日，星期四過原點(diǎn)的回歸

第36頁，共83頁，2023年，2月20日，星期四3.3OLS估計(jì)量的期望值第37頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值我們現(xiàn)在轉(zhuǎn)而討論，在估計(jì)一個(gè)產(chǎn)生樣本的總體模型的參數(shù)時(shí)，OLS所具有的統(tǒng)計(jì)性質(zhì)。特別的，我們討論四個(gè)假定，這些假定都是對(duì)簡單回歸模型假定的直接推廣，而且在這些假定下，OLS估計(jì)量是總體參數(shù)的無偏估計(jì)值第38頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值

第39頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值假定MLR.2(隨機(jī)抽樣)

我們有一個(gè)包含n次觀測的隨機(jī)樣本它來自MLR.1中的總體模型。

第40頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值假定MLR.3（不存在完全共線性）

在樣本（因而在總體中），沒有一個(gè)自變量是常數(shù)，自變量之間不存在嚴(yán)格（完全）的線性關(guān)系。我們現(xiàn)在必須關(guān)注所有自變量之間的關(guān)系，如果方程中有一個(gè)自變量是其他自變量的額線性組合，那么我們說這個(gè)模型遇到了完全共線性問題。第41頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值重要的是我們要注意到，MLR.3允許變量之間有相關(guān)關(guān)系，只是不能是完全相關(guān)。例4：將考試分?jǐn)?shù)與教育支出（expend）和家庭收入（avginc）的模型中：我們充分預(yù)料expend與avginc之間可能相關(guān)，學(xué)生家庭收入高的學(xué)校，傾向于對(duì)每個(gè)學(xué)生在教育上支出更多。MLR.3只是排除了expend與avginc之間完全相關(guān)的情形。

第42頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值兩個(gè)變量完全相關(guān)，最簡單的情形就是一個(gè)變量是另一個(gè)變量的常數(shù)倍。當(dāng)研究者把同一個(gè)變量在不同的單位下兩次進(jìn)入同一個(gè)回歸方程，就會(huì)出現(xiàn)完全線性相關(guān)的額情形。例如在估計(jì)消費(fèi)與收入的模型中，將收入以美元和千美元為單位分別最為自變量是毫無意義的。也是違背了MLR.3的第43頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值同一變量的不同非線性函數(shù)也都可以出現(xiàn)在回歸元中。比如模型

就不違背假定MLR.3,因?yàn)閤2=inc*inc雖然是x1=inc的一個(gè)函數(shù)，但是并不是一個(gè)線性函數(shù)。在模型中引入inc*inc是推廣函數(shù)形式的一種有用方法。

第44頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值自變量可能完全線性相關(guān)的另一種方式是，一個(gè)自變量恰好是其他自變量的線性函數(shù)。例5：考慮競選支出和得票率的關(guān)系，有兩位競選者A和B，為了使每個(gè)候選人支出與總支出隔離開來，設(shè)定模型：顯然有x3=x1+x2，因而違背了假定MLR.3第45頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值假定MLR.4(條件均值為零)給定自變量的任何值，誤差u的期望值為零。換句話說，E(u|x1,x2…xk)=0通常情況下，漏掉一個(gè)與x1,x2…xk中任何一個(gè)自變量相關(guān)的因素，都有可能導(dǎo)致MLR.4不成立。

使用多元回歸分析，我們能包含解釋變量中的許多因素，與簡單回歸相比，多元回歸分析出現(xiàn)漏掉一些變量的可能性要小很多。第46頁，共83頁，2023年，2月20日，星期四OLS估計(jì)值的期望值當(dāng)假定MLR.4成立時(shí)，我們常說我們具有外生解釋變量。如果處于某種原因xj仍與u有關(guān)，那么我就成xj是內(nèi)生解釋變量。雖然“外生”和“內(nèi)生”的術(shù)語源于聯(lián)立方程分析，但內(nèi)生解釋變量一詞涵蓋了一個(gè)解釋變量可能與誤差項(xiàng)相關(guān)的一切情況。第47頁，共83頁，2023年，2月20日，星期四OLS的無偏性

第48頁，共83頁，2023年，2月20日，星期四對(duì)“無偏”的理解如我們所知，估計(jì)值不可能是無偏的，因?yàn)橐粋€(gè)估計(jì)值就是從一個(gè)特定的樣本得到的固定值，它通常都不等于總體參數(shù)。我們說OLS在四個(gè)假定下是無偏的是指當(dāng)我們將用來得到OLS估計(jì)值的程序用到各種可能的隨機(jī)樣本時(shí)，這個(gè)程序是無偏的。第49頁，共83頁，2023年，2月20日，星期四回歸模型中包含了無關(guān)變量

第50頁，共83頁，2023年，2月20日，星期四回歸模型中包含了無關(guān)變量

第51頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形現(xiàn)在假設(shè)我們是遺漏了一個(gè)實(shí)際應(yīng)該包括在模型中的變量，通常稱為排出一個(gè)有關(guān)變量或者對(duì)模型設(shè)定不足。推導(dǎo)遺漏一個(gè)重要變量所導(dǎo)致的偏誤，是誤設(shè)分析的一個(gè)例子，我們從含有兩個(gè)變量的模型入手：

并假設(shè)模型滿足MLR.1-MLR.4

第52頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形由于疏忽或者數(shù)據(jù)不足，我們在排除X2的情況下估計(jì)這個(gè)模型得到：

例6：假設(shè)薪資與教育程度、天賦有關(guān)即

由于能力不可觀測，我們轉(zhuǎn)而用模型其中

第53頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形

第54頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形

第55頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形

第56頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：簡單情形

第57頁，共83頁，2023年，2月20日，星期四遺漏變量的誤差

第58頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：一般情形

第59頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：一般情形

第60頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：一般情形

第61頁，共83頁，2023年，2月20日，星期四遺漏變量的偏誤：一般情形

spring201262第62頁，共83頁，2023年，2月20日，星期四OLS估計(jì)量的方差除了知道估計(jì)量的趨勢之外，我們還想度量其在樣本分布中的分散情況。在求出方差之前，我們增加一個(gè)同方差假定，其次我們在下面可以看到，如果增加了同方差的假定，OLS具有一個(gè)重要的性質(zhì)，即有效性。假定MLR.5(同方差性)

給定任意解釋變量值，誤差u都具有相同的方差，換言之：Var（u|x1,..xk）=第63頁，共83頁，2023年，2月20日，星期四OLS估計(jì)量的方差在方程

中，同方差性要求不可觀測的誤差項(xiàng)不依賴于教育水平，工作經(jīng)歷和現(xiàn)有任期水平。

即Var(u|educ,exper,tenure)=否則就會(huì)出現(xiàn)異方差性。假定MLR.1-MLR.5一起被稱為（橫截面回歸的）高斯-馬爾科夫假定。迄今為止，我們對(duì)假定的表述都只使用于隨機(jī)抽樣的橫截面分析。對(duì)于時(shí)間序列或面板數(shù)據(jù)，該假定將更加困難。第64頁，共83頁，2023年，2月20日，星期四OLS估計(jì)量的方差接下來的討論中，我們將用x表示（x1,…,xk）的集合，于是在工資例子中x=（educ,exper,tenure）。我們可以將MLR.1和MLR.4寫成E（y|x）=假定MLR.5表示為：Var(y|x)=第65頁，共83頁，2023年，2月20日，星期四OLS估計(jì)量的方差

第66頁，共83頁，2023年，2月20日，星期四OLS估計(jì)量的方差在我們詳盡的研究估計(jì)值方差之前，我們要注意，在得到這個(gè)公式的過程中，用到了所有高斯-馬爾科夫假定。雖然OLS的無偏性不需要同方差假定，但是要讓上述式子成立，則必然要求同方差。

的大小在實(shí)踐中也很重要。方差越大，則意味著估計(jì)量越不精確，也就是置信區(qū)間越大和假設(shè)檢驗(yàn)越不準(zhǔn)確。第67頁，共83頁，2023年，2月20日，星期四OLS方差的成分：多重共線性

第68頁，共83頁，2023年，2月20日，星期四OLS方差成分：多重共線性xj的總樣本變異，SSTj。由定理3.2的表達(dá)式，xj的樣本變異越大，則估計(jì)值的方差越小。因此我們希望xj的取值越分散越好。擴(kuò)大樣本容量可以提高每一個(gè)先變量的變異。當(dāng)我們從總體中抽樣時(shí)，隨著樣本量的越來越大，SSTj將無限遞增。若SSTj很小，那么估計(jì)值的方差將很大，但是只要SSTj不為零，都是不違背假定MLR.3的第69頁，共83頁，2023年，2月20日，星期四OLS方差成分：多重共線性自變量之間的線性關(guān)系，.的回歸只是涉及到

原模型的自變量，其中xj是作為因變量而出現(xiàn)的?？紤]k=2的情形：

于是其中是x1對(duì)x2進(jìn)行簡單回歸得到的擬合優(yōu)度。越接近1，表明x1與x2高度相關(guān)，且此時(shí)越大。第70頁，共83頁，2023年，2月20日，星期四OLS方差成分：多重共線性

第71頁，共83頁，2023年，2月20日，星期四OLS方差成分：多重共線性若1，則，兩個(gè)或者多個(gè)自變量之間高度（但不完全）相關(guān)被稱為多重共線性。多重共線性不違背假定MLR.3，但是我們也不能確定一個(gè)臨界值來說明是否存在多重共線性。例如=0.9意味著在xj的樣本變異中，90%都可以由回歸模型中的其他自變量來解釋。即xj與其他的自變量有很強(qiáng)的相關(guān)關(guān)系。第72頁，共83頁，2023年，2月20日，星期