第三章-多元線性回歸模型

.,第三章,多元線性回歸模型,.,本章介紹多元線性回歸模型的概念、矩陣表示形式、參數(shù)估計方法、模型檢驗、預測及應用實例。多元線性回歸模型在經(jīng)濟實踐中有著廣泛的應用，比如著名的C-D生產(chǎn)函數(shù)，其取對數(shù)后即為多元線性回歸模型的形式。再比如GDP關(guān)于消費與投資的線性回歸模型等。,.,第三章,第一節(jié),計量經(jīng)濟學,.,3.1多元線性回歸模型,一、多元線性回歸模型的引入一元：一個因素X；多元：多個因素-X1,X2,Xk被解釋變量還是一個：Y,.,比如：被解釋變量：某商品的需求量Y；解釋變量：該商品的價格P、消費者收入DPI、替代商品價格P2；未考慮的量：消費偏好等；,.,二、多元總體線性回歸模型總體模型：1、分量式：2、總量式,.,稱之為變量Y關(guān)于變量X1,X2,Xk的k元總體線性回歸模型，Y稱為被解釋變量，X1,X2,Xk稱為解釋變量，k稱為解釋變量個數(shù)，U稱為隨機擾動項，或隨機項，或擾動項。,.,三、多元樣本線性回歸模型由于經(jīng)濟變量的總體分布大多數(shù)是未知的，與一元模型類似，我們只能根據(jù)樣本觀察值進行統(tǒng)計推斷，以此來估計多元總體回歸方程和總體回歸參數(shù)。這時導出的模型式為：,.,稱為樣本回歸參數(shù)，n稱為樣本容量。稱ei為殘差項，它是擾動項ui的估計量?？傮w模型是理論意義上的，是在做定性研究時所使用的，在做定量分析時具體使用的模型也即可操作的是樣本模型。,.,第三章,第二節(jié),計量經(jīng)濟學,.,3.2多元線性回歸模型的經(jīng)典假設,10解釋變量X1,X2,Xk是非隨機的；20E(ui)=030Var(ui)=2i=1,2,nCov(ui,uj)=0ij,i,j=1,2,n40解釋變量X1,X2,Xk線性無關(guān)；50uiN(0,2),.,對上述假設條件的理解基本上與一元線性回歸模型類似，因此不再贅述。假設30中實際上包含了兩條假設，這樣寫的原因是為了以后的多元線性回歸模型經(jīng)典假設的矩陣表示。以上假設1050合稱為多元線性回歸模型的經(jīng)典假設，也稱為基本假設。滿足經(jīng)典假設的模型稱為經(jīng)典多元線性回歸模型。,.,第三章,第三節(jié),計量經(jīng)濟學,.,3.3多元線性回歸模型的矩陣表示一、多元總體線性回歸模型的矩陣表示,.,二、多元樣本線性回歸模型的矩陣表示,.,三、多元模型經(jīng)典假設的矩陣表示20E(U)=030E(UU)=2In即擾動項的方差與協(xié)方差矩陣等于2與單位矩陣之積。40秩(X)=k，且kn。,.,引入幾個符號設=(ij)nm，其中ij為隨機變量，即為nm階隨機矩陣（其元素為隨機變量），定義隨機矩陣的數(shù)學期望為：E()=(E(ij)nm即隨機矩陣的數(shù)學期望等于對應元素的期望組成的矩陣。可以證明隨機矩陣的期望有如下性質(zhì),.,(1)設、為隨機矩陣，則E(+)=E()+E()即隨機矩陣和的期望等于期望的和；(2)設為隨機矩陣，A、B為非隨機矩陣，則E(AB)=A(E()B即隨機矩陣左乘及右乘非隨機矩陣之后取期望等于先取期望之后再左右乘非隨機矩陣，但左右次序不能變（因為矩陣乘法沒有交換率）。,.,稱E(UU)為擾動項U的方差與協(xié)方差矩陣，一般地，設i為隨機變量，(i=1,2,.,n)即為隨機列向量，定義的方差與方差矩陣為：,.,即對角線上元為各個分量的方差，其它元素為協(xié)方差，顯然該矩陣為對稱矩陣，可以證明：,.,VarCov()=E-E()-E()即隨機列向量的方差與協(xié)方差矩陣等于隨機列向量減去其期望然后與該項的轉(zhuǎn)置相乘之后取期望。,.,由上可知：,.,VarCov(U)=EU-E(U)U-E(U)=E(UU)=2In即擾動項的方差與協(xié)方差矩陣等于2與單位矩陣之積。,.,第三章,第四節(jié),計量經(jīng)濟學,.,3.4普通最小二乘估計,對于多元線性回歸模型，最常用的參數(shù)估計方法也是普通最小二乘方法（OLS）。其原理與一元線性回歸模型的普通最小二乘估計的原理類似，也是使擬合誤差平方和為最小。一、矩陣式的普通最小二乘估計量,.,設由極值原理可知：最后可得：,.,稱上式為多元線性回歸模型矩陣式的普通最小二乘估計量（OLS）。由經(jīng)典假設可知，X的秩等于k，而為正定矩陣，于是可逆，即滿足解釋變量線性無關(guān)的多元線性回歸模型的普通最小二乘估計量有解。,.,二、正規(guī)方程組上面導出的是矩陣式的普通最小二乘解(OLS)，然而有時我們需要用到其分量方程組形式,即正規(guī)方程組,下面我們導出正規(guī)方程組。由極值原理可導出多元線性回歸模型的正規(guī)方程組：,.,.,當k=2時，OLS解為：,.,解方程時的系數(shù)行列式：解時的分子行列式：,.,第三章,第五節(jié),計量經(jīng)濟學,.,3.5最小二乘估計量的特征,上一章中談到，經(jīng)典一元線性回歸模型的OLS估計量滿足線性、無偏及方差最小性，即高斯馬爾可夫定理，對于經(jīng)典多元線性回歸模型的普通最小二乘估計量，這一性質(zhì)仍然存在，換言之，對于滿足經(jīng)典假設的多元線性回歸模型，采用OLS方法所得估計量也滿足線性、無偏及方差最小性。,.,一、線性性由OLS估計可知令由解釋變量的非隨機性可知M為非隨機矩陣。則為M中的第j+1行與Y的對應元素乘積之和，即故為Yi的線性組合，即線性性成立。,.,二、無偏性由零均值及解釋變量為非隨機可知：即無偏性得證。,.,三、方差最小性（也稱有效性）首先導出的方差與協(xié)方差矩陣：由于于是OLS估計量的方差與協(xié)方差矩陣為：,.,即的方差與協(xié)方差矩陣為與之積，因此估計量的方差為與的第j個對角線元素之積(j=1,2,k)。令則,.,由于總體分布未知，于是也未知，令可以證明為總體方差的無偏估計量。最小方差的證明省略。,.,第三章,第六節(jié),計量經(jīng)濟學,.,3.6估計量的顯著性檢驗及置信區(qū)間,對于多元線性回歸模型的參數(shù)估計量，其在統(tǒng)計上是否顯著，也需要作顯著性檢驗，即t-顯著性檢驗，其檢驗方法與一元線性模型的參數(shù)顯著性檢驗基本相同，所不同的是現(xiàn)在要對所有解釋變量前的參數(shù)進行顯著性檢驗。,.,與一元線性回歸模型的原理完全一樣可導出：以95%的可能性落在區(qū)間：(j=1,2,k)上，稱該區(qū)間為的置信區(qū)間，或稱區(qū)間估計，置信度為95%.,.,很顯然，置信區(qū)間越小則可信度越高，而置信區(qū)間的半徑中臨界值變化不大，因此估計量的可信度主要取決于其標準差的估計量，標準差越小，則可信度越高，標準差越大，則可信度越低。這與t-檢驗的顯著性是等價的，從T統(tǒng)計量的計算可知，標準差越小，則t-統(tǒng)計量的絕對值越大，即t-值通過臨界值的可能性也大，從而t-檢驗顯著的可能性也大。,.,另一方面，從標準差的計算公式可知，標準差的大小主要取決于總體方差估計量的大小及對角線上的元素，而與解釋變量的線性相關(guān)的程度有關(guān)，當總體方差估計量較大以及解釋變量的線性相關(guān)程度較高時，參數(shù)估計量的標準差的估計量也就較大，這時會影響參數(shù)的顯著性。,.,第三章,第七節(jié),計量經(jīng)濟學,.,3.7回歸方程的顯著性檢驗,對于一元線性回歸模型，回歸參數(shù)的顯著性與回歸方程的顯著性是等價的，而對于多元線性回歸模型，單個回歸參數(shù)是顯著的并不等于整個回歸方程是顯著的，因此還要作回歸方程的顯著性檢驗?；貧w方程的顯著性檢驗也稱為F檢驗，也是一種假設檢驗。,.,F檢驗是檢驗所有解釋變量合起來對被解釋變量線性影響的顯著性，單個解釋變量對被解釋變量的線性影響是顯著的，合起來之后即線性組合對被解釋變量的影響未必是顯著的，這相當于我們通常所說的整體效率。因此對于多元模型，回歸方程的顯著性檢驗與回歸參數(shù)顯著性檢驗是不能相互替代的，,.,即使對回歸方程中每個參數(shù)分別進行的t-檢驗都不顯著，F(xiàn)檢驗也可能是顯著的。比如當解釋變量之間高度相關(guān)時就可能出現(xiàn)這種情況，其結(jié)果可能是參數(shù)的標準差大而t值小，但整個模型仍然能對數(shù)據(jù)擬合得很好。,.,F-統(tǒng)計量的計算公式為：在一般計量軟件的參數(shù)估計輸出結(jié)果中均有F-統(tǒng)計量的值，不必用手工計算。當F-值大于臨界值時，回歸方程是顯著的，否則，為不顯著的。,“自由度”是指當以樣本的統(tǒng)計量來估計總體的參數(shù)時，樣本中獨立或能自由變化的數(shù)據(jù)的個數(shù)。,.,第三章,第八節(jié),計量經(jīng)濟學,.,3.8擬合優(yōu)度檢驗及修正的R2值,在一元線性回歸模型中，我們用樣本決定系數(shù)來衡量回歸方程對樣本觀察值的擬合程度，即擬合優(yōu)度檢驗，這一方法對多元線性回歸模型仍然適用。與一元線性模型類似，可以證明：TSS=ESS+RSS即樣本總離差可以分解為回歸總離差與殘差平方和之和。,.,令稱R2為多元線性回歸模型的樣本決定系數(shù)，也稱為樣本可決系數(shù)。R2表示被多元回歸方程“解釋”的離差占總離差的比重。顯然,.,由R2的定義可以看出，當R2越接近于1時，說明ESS越接近于TSS，即殘差平方和越小，也就是說回歸方程對樣本觀察值擬合的越好，因此，我們以R2接近于1的程度來衡量樣本回歸方程對樣本觀察值的擬合的優(yōu)度，即擬合優(yōu)度檢驗，用來說明被解釋變量與被解釋變量之間的線性回歸關(guān)系是否有效。,.,然而，在使用R2時也存在一些問題，比如，R2與模型中解釋變量的個數(shù)有關(guān)。在回歸方程中加入更多的解釋變量會使R2值增大（增加新的解釋變量不會改變TSS，但是可以增加ESS），因此，給人一種誤解，為提高擬合優(yōu)度，解釋變量越多越好，但事實上并非如此。,.,用R2度量擬合優(yōu)度的問題在于R2只涉及Y的總離差中被解釋的部分和未被解釋的部分，沒有考慮自由度的個數(shù)。為了消除擬合優(yōu)度對模型中解釋變量個數(shù)的依賴性，我們定義修正的R2值，記作：,.,由R2及的定義可知：可以推得：1；2可能為負值；3.當模型的自由度（n-k）較大時，R2與比較接近。,.,比R2更適合于衡量擬合優(yōu)度。當回歸模型中加入新的解釋變量時，R2肯定會增加，而可能增加也可能減少。比如，一個樣本容量為25的模型，其R2為0.8，但這個結(jié)果只是在模型中包含了17個解釋變量時才得到。而該模型的僅為0.4，這一例子充分說明了R2作為衡量擬合優(yōu)度指標的局限性。,.,在實際應用中，由于大多數(shù)情況下，與R2之間的差異不太大，故使用R2作為衡量擬合優(yōu)度的情況也常見。,.,擬合優(yōu)度檢驗與F檢驗是有聯(lián)系的?？梢宰C明：從(3.36)可知R2越接近于1，則F值越大，反之，若R2越接近于0，則F值越小。因此，一般來說，擬合優(yōu)度較高，則F檢驗可以通過，擬合優(yōu)度較差，,.,則F檢驗通不過。但是，擬合優(yōu)度檢驗與F檢驗還是有區(qū)別的，有例子表明，即使擬合優(yōu)度只有0.65，F(xiàn)檢驗也是顯著的。因此，雖然二者有聯(lián)系，但是也不能相互替代。F檢驗的優(yōu)越性在于它有臨界值，可以斷定顯著與否，而擬合優(yōu)度的好處在于它能說明擬合的程度，它的不足之處在于沒有擬合好與壞的明確標準，一般來說，擬合的好壞視具體問題而定，,.,但是，一個好的模型首先擬合優(yōu)度要求比較高，從經(jīng)驗上講，R20.9。不過擬合優(yōu)度高并不能斷定模型一定可取，較高的擬合優(yōu)度是一個好模型的必要條件，但不是充分條件。,.,3.9多元線性回歸模型的預測,以上內(nèi)容，我們研究了多元線性回歸模型的參數(shù)估計方法及其統(tǒng)計檢驗。本節(jié)介紹如何利用所得回歸方程進行經(jīng)濟預測。與一元模型的預測問題相類似，多元模型的預測也分為條件預測與無條件預測兩類，下面介紹的是條件預測，條件預測又分為點預測與區(qū)間預測。,.,一、點預測設多元線性回歸模型的樣本回歸方程為：給定解釋變量樣本以外的觀察值X2f,X3f,Xkf，令利用上述回歸方程求得被解釋變量的預測值：,.,就是Yf的點預測值，同時也是Yf的均值E(Yf|Xf)的預測值。二、區(qū)間預測由于回歸方程代表的是被解釋變量的一個主要部分，不是全部，另一部分用擾動項來代表，因此，點預測值與其真實值Yf之間有誤差存在。,.,令稱ef為預測誤差，ef為隨機變量。由于擾動項為零均值，可以證明,及,.,與參數(shù)估計量的置信區(qū)間的推導過程相類似，可以得出置信度為1-=95%的Y0的置信區(qū)間為：,.,預測區(qū)間越小，預測精度就越高，因此預測區(qū)間越小越好。怎樣才能縮小預測區(qū)間呢？可以從以下三方面考慮：(1)增大樣本容量n。在同樣的置信水平下，n越大，則從t分布表中查得的自由度為nk的臨界值T/2就越小；同時，增大樣本容量，在一般情況下可使,.,減小，因為式中分母的增大是肯定的，但分子不一定增大。(2)提高模型的擬合優(yōu)度，以減小殘差平方和。這一條是提高預測精度的主要方法。,.,(3)減少解釋變量之間的線性相關(guān)程度。由于解釋變量之間的線性相關(guān)程度越高，的取值就越小，（當解釋變量完全線性相關(guān)時，該行列式取值為0）于是中元素取值增大，從而增大了預測誤差。,.,多元線性回歸模型應用實例,例3.2我國居民消費函數(shù)的實證分析。眾所周知，從城鄉(xiāng)結(jié)構(gòu)上比較，我國居民人均收入的基礎水平及其發(fā)展速度都存在著很大的差異。按現(xiàn)價計算，1978年城鎮(zhèn)居民的可支配收入為343.4元，而同期農(nóng)村居民的家庭人均純收入為133.6元，同期我國居民的人均消費,.,水平為184元，1999年此三項指標分別為9421.6元、2936.4元和4552元，顯然無論是改革開放的初期還是二十一世紀的今天，農(nóng)村居民的收入水平與城鎮(zhèn)一直存在著很大的差異。由絕對收入的消費理論假設可知，影響居民消費水平的主要因素為收入水平，下面分析農(nóng)村與城鎮(zhèn)居民收入水平對居民消費水平的影響程度。,.,選取我國居民年人均消費水平為被解釋變量（Y），選取農(nóng)村居民家庭年人均純收入（X1）及城鎮(zhèn)居民家庭人均可支配收入（X2）為解釋變量。依據(jù)絕對收入消費理論以及對樣本數(shù)據(jù)的研究，選取線性回歸模型：,.,采用OLS方法，利用Eviews估計回歸，所用命令為：CREATEA19852005DATAY