02-多元線性回歸模型

1.3多元線性回歸與最小二乘估計(1.1)1.假定條件、最小二乘估計量和高斯一馬爾可夫定理多元線性回歸模型：(1.1)兀=Po+「1%+P2%七-+L%k-1+ut其中兀是被解釋變量（因變量），xtj是解釋變量（自變量），ut是隨機誤差項，P.,i=0,1,,k-1是回歸參數(shù)（通常未知）。'對經(jīng)濟問題的實際意義：^與氣,存在線性關(guān)系，xtj,j=0,1,...,k-1,是Jt的重要解釋變量。氣代表眾多影響兀變化的微小因素。使兀的變化偏離了E（少=P°+P1xt1+P2xt2+..?+Pk-1xtk1決定的k維空間平面?！府?dāng)給定一個樣本（兀，七，xt2，…，xtk_1）,t=1,2,…，T時，上述模型表示為七=P0+P1x11+P2x12+.+Pk擂］k_1+u1，經(jīng)濟意義：xtj是兀的重要解釋變量。如Po+P1X21+P2X22+.+Pk-1X2k-1+U2，代數(shù)意義：與％存在線性關(guān)系。幾何意義：y表示一個多維平面。-「11,??-「11,??x-11x21?x1jx2j?x1x2,??k一1k一1「P01p1「u11u-(Tx1)_1xT1xTjxT?」k-1」(Txk)PLk-1」(kx1)■uTyT=Po+P1xT1+P2XT2+???+Pk-1XTk-1+UT（1'2）此時兀與xt.已知，Pj與ut未知。(Tx1)^1^2(1.3)(1.4)為保證得到最優(yōu)估計量，回歸模型（1.4）應(yīng)滿足如下假定條件。假定⑴隨機誤差項ut是非自相關(guān)的，每一誤差項都滿足均值為零，方差6相同且為有限值，即E(u)E(u)=0=Var(u)=E(UU')=b2I=b200001假定⑵解釋變量與誤差項相互獨立，即E（XU）=0假定⑶解釋變量之間線性無關(guān)。rk（X'X）=rk（X）=k其中rk（.）表示矩陣的秩。假定⑷解釋變量是非隨機的，且當(dāng)T一8時T-1XX一Q其中Q是一個有限值的非退化矩陣。最小二乘（OLS）法的原理是求殘差（誤差項的估計值）平方和最小。代數(shù)上是求極值問題。QQ卜卜minS=(Y-XP)'(Y-XP)=Y'Y-PXY-Y'XP+PXXP=YY-2PXY+史X'XP(1.5)因為YXP是一個標(biāo)量，所以有YXP=PX'Yo(1.5)的一階條件為:as人—=-2XY+2XXP=0aP(1.6)化簡得因為(XX是一個非退化矩陣(見假定⑶)，所以有p=(X'X)-1XY(1.7)因為X的元素是非隨機的，(XX)-1X是一個常數(shù)矩陣，則P是Y的線性組合，為線性估計量。求出P，估計的回歸模型寫為(1.9)其中P=(隊氏...)'是P的估計值列向量，U=(Y-XP)稱為殘差列向量。因為01k—1一八U=Y-XP=Y-X(X'X)-1X'Y=[I-X(X'X)-1X']Y(1.10)所以I!也是Y的線性組合。P的期望和方差是E(P)=E[(X'X)-1XY]=E[(X'X)-1X'(XP+u)]=P+(XX)-X'E(u)=P(1.11)Var(P)=E[(P-P)(P-P)']=E[(X'X)-^X'uUX(X'X)-1]=E[(XX)-1X'b2IX(X'X)-1]=b2(X'X)-1高斯一馬爾可夫定理：若前述假定條件成立，OLS估計量是最佳線性無偏估計量。P具有無偏性。P具有最小方差特性。P具有一致性，漸近無偏性和漸近有效性。2.殘差的方差(1.12)一人.s2=U'U/(T-k)S2是b2的無偏估計量，E(S2)=b2。p的估計的方差協(xié)方差矩陣是(1.13)AVar(P)=s2(X'X)-1(1.14)3.多重確定系數(shù)(多重可決系數(shù))(1.15)總平方和=女七2一2亍孔yt+T&2”，-"(1.16)(1.17)(1.18)(1.19)(1.20)SST=?叫一?"一―描聲t=1tt=1't=1't=1其中y是yt的樣本平均數(shù)，定義為y=(Z]yyt。同理，回歸平方和為SSR=ZT(y—y)2=y'y-Ty2其中y的定義同上。殘差平方和為SSE=?(y_y)2=?u2=u'Ut=1ttt=1t則有如下關(guān)系存在，SST=SSR+SSEssrYY-Ty2SSTYY-Ty2顯然有=女七2一2亍孔yt+T&2”，-"(1.16)(1.17)(1.18)(1.19)(1.20)4.調(diào)整的多重確定系數(shù)當(dāng)解釋變量的個數(shù)增加時，通常R2不下降，而是上升。為調(diào)整因自由度減小帶來的損失，又定義調(diào)整的多重確定系數(shù)R2如下：R2)(1.21)R2=1-地=14(笠3絲)=1-

SST/(T-1)T-R2)(1.21)5.OLS估計量的分布若u?N(0,b2l)，則每個ut都服從正態(tài)分布。于是有Y?N(XP,Q2I)(1.22)因P也是u的線性組合(見公式1.7)，依據(jù)(1.11)和(1.12)有P?N(P,Q2(XX)-1)(1.23)6.方差分析與F檢驗與SST相對應(yīng)，自由度T-1也被分解為兩部分，(T-1)=(k-1)+(T-k)(1.24)回歸均方定義為MSR=SR，誤差均方定義為MSE=巖表1.1方差分析表方差來源平方和自由度均方回歸SSR=Y'Y-Ty2k-1MSR=SSR/(k-1)誤差SSE=U'UT-kMSE=SSE/(T-k)總和SST=YY-Ty2T-1

H0：P1=P2=…=Pk-1=0；H"j不全為零(1.25)F_MSR_SSR/(k-1)?F-MSE一SSE/(T-k)?("T-k)7.(1.25)7.t檢驗H0：P.=0,(j=1,2,…,k-1),H1：p.R'_s^p^_BjqVar(p)j+1=B/vs2(x-X)-1j't(「k)(技6).判別規(guī)則：若It|<ta(T-k)接受H0；若|t|>ta(T-k)拒絕H0。p.的置信區(qū)間全部P.的聯(lián)合置信區(qū)間接受F_y(P-B)'(XX)(P-p)/s2?F(1.27)kX>(/v,J.K)(p-P)'(X'X)(P-P)<s2kFa(k,T-k)，它是一個k維橢球。(1.28)單個p.的置信區(qū)間P._Pi±Hj+1Sta/2(T-k).(1.29)預(yù)測點預(yù)測C_(1%1%2…％k-1)S則T+1期被解釋變量jT+1的點預(yù)測式是，L+rCB=&°+B1%1+…+Bk-1%k-1(頃)E(jt+1)的置信區(qū)間預(yù)測首先求點預(yù)測式Cp的抽樣分布E(寧t+「=E(Cp)=CP(1.32)Var(L+1)_Var(Cp)_E[(Cp-CP)(Cp-CP)']_E[C(p-P)[C(p-P)]']_CE[(p-P)(p-p)']C'

=CVar(&)C'=C。2(X'X)-1C'=。2c(XX)-1C',因為P服從多元正態(tài)分布，所以CB也是一個多元正態(tài)分布變量，即JT+1=CP?N(CP,b2C(X'X)-1C')(1.33)(1.34)t堂T+1-E(Jt+Q一<6-邙sv'C(X'X)TC's、；(1.33)(1.34)t堂T+1-E(Jt+Q一<6-邙sv'C(X'X)TC's、；C(X'X尸C'?t(T-k)(1.35)置信區(qū)間c6土山(1,算)s、《x)-1c，(1.36)(3)單個jT+1的置信區(qū)間預(yù)測jT+1值與點預(yù)測值jT+1有以下關(guān)系—...JT+1一jt+1+UT+1其中uT+1是隨機誤差項。因為E(Jt+1)=E(JT+")=邙Var(jT+1)=Var(JT+1)+Var(uT+1)=b2C(X'X)-1C'+b2=b2(C(X'X)-1C'+1)因為6服從多元正態(tài)分布，所以jT+1也是一個多元正態(tài)分布變量，即jT+1?N(CP,b2C(X'X)-1C'+1)與上相仿，單個JT+1的置信區(qū)間是一A?'CP土y(T-k)syC(X'X)-1C+計算舉例：(見《計量經(jīng)濟分析》第19-27頁，熟悉矩陣運算(file:b1e1)(1.37)(1.38)(1.39)(1.40)10.預(yù)測的評價指標(biāo)注意，以下6個公式中的et表示的是預(yù)測誤差，不是殘差?？梢栽跇颖緝?nèi)、外預(yù)測。(1)預(yù)測誤差。預(yù)測誤差定義為et=Jt-yt,t=T+1,T+2,...是對單點預(yù)測誤差大小的測量。(2)相對誤差PE(PercentageError)。PE=工匕,t=T+1,T+2,...是對單點預(yù)測相對誤差大小的測量。(3)誤差均方根rmserror(RootMeanSquaredError)rmserror=1—^(J-y)2TtVt=1通過若干個預(yù)測值對預(yù)測效果進行綜合評價。(4)絕對誤差平均MAE(MeanAbsoluteError)通過若干個預(yù)測值對預(yù)測的絕對誤差進行綜合評價。(5)相對誤差絕對值平均MAPE(MeanAbsolutePercentageError)MAPE=-ILTt=1綜合運用以上4種方法，通過若干個預(yù)測值對預(yù)測的相對誤差進行綜合評價。以上5個式子中，yt表示預(yù)測值，yt表示實際值。公式中的累加范圍是用1至T表示的，當(dāng)然也可以用于樣本外預(yù)測評價。Forecast:YFActual:YForecastsample:115Includedobservations:15RootMeanSquare0.(Erlr(9474MeanAbsoluteErrOiG16331MeanAbs.PercentlE2rro5560TheilInequalityCo(te0fic6e)07BiasProportion0.000000VariancePropo01(b(n0264CovarianceProCpSi9隱7364，5)Theil不等系數(shù)的范圍是4，5)Theil不等系數(shù)的范圍是[0，1]11.建模過程中應(yīng)注意的問題研究經(jīng)濟變量之間的關(guān)系要剔除物價變動因素。以上圖為例，按當(dāng)年價格計算，我國1992年的GDP是1980年的5.9倍，而按固定價格計算，我國1992年的GDP是1980年的2.8倍。另外從圖中還可看出，1980-1992期間按名義價格計算的GDP曲線一直是上升的，而按不變價格(1980年價格)計算的GDP曲線在1989年出現(xiàn)一次下降?？梢娧芯拷?jīng)濟變量應(yīng)該剔除物價變動因素。(1988、1989年居民消費價格指數(shù)分別為18.8%、18%。)依照經(jīng)濟理論以及對具體經(jīng)濟問題的深入分析初步確定解釋變量。

例：我國糧食產(chǎn)量=f（耕地面積、農(nóng)機總動力、施用化肥量、農(nóng)業(yè)人口等）。但根據(jù)我國目前情況，“耕地面積”不是“糧食產(chǎn)量”的重要解釋變量。糧食產(chǎn)量的提高主要來自科技含量的提高。例：關(guān)于某市的食用油消費量，文革前常駐人口肯定是重要解釋變量?，F(xiàn)在則不同，消費水平是重要解釋變量，因為食用油供應(yīng)方式已改變。（3）當(dāng)引用現(xiàn)成數(shù)據(jù)時，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。例：“農(nóng)業(yè)人口”要區(qū)別是“從事農(nóng)業(yè)勞動的人口”還是相對于城市人口的“農(nóng)業(yè)人口”。例：2002年起我國將執(zhí)行新的規(guī)定劃分三次產(chǎn)業(yè)。即將農(nóng)、林、牧、副、漁服務(wù)業(yè)從原第三產(chǎn)業(yè)劃歸第一產(chǎn)業(yè)。（4）通過散點圖，相關(guān)系數(shù)，確定解釋變量與被解釋變量的具體函數(shù)關(guān)系。（線性、非圖3.5(nonli8,1982-1998)圖3.5(nonli8,1982-1998)年INV（投資）IMPORT年INV（投資）IMPORT(進口)19912.56200023.4700019922.42970032.2900019936.71240063.99000199415.3760078.75000199521.31000149.1300199627.37000113.8100199741.71000106.1500199839.78000112.200060LABOR（5）謹(jǐn)慎對待離群值（outlier）。離群值可能是正常值也可能是異常值。不能把建立模型簡單化為一個純數(shù)學(xué)過程，目的是尋找經(jīng)濟規(guī)律。（歐盟對華投資和中國從歐盟進口）5040302010017880828486889092949698000204圖3.6把5.1282錯輸入為51.28。

過原點回歸模型與非過原點回歸模型相比有如下不同點。以一元線性過原點模型，yt=81xt+ut，為例，①正規(guī)方程只有一個(不是兩個)，。('"」)=2Z(y-8x)(-x)=0嘰V1'"即Zutxt=0，而沒有&t=0，即殘差和等于零不一定成立。②可決系數(shù)R2有時會得負(fù)值！原因是有時會有SSE>SST。為維持SSE+SSR=SST，迫使SSR<0。改變變量的測量單位可能會引起回歸系數(shù)值的改變，但不會影響t值。即不會影響統(tǒng)計檢驗結(jié)果。以一元回歸模型的估計公式為例說明之。.Z(x一X)(y一y)8=—Zt——1乙(x一X)2tZ(X-X)(yty)JZ(x一x)2^cx^zX)(y^zy^lZKZHD^壬(疽)2\.'Z(yt-yt)2回歸模型給出估計結(jié)果后，首先應(yīng)進行F檢驗。F檢驗是對模型整體回歸顯著性的檢驗。(檢驗一次，h0：8]=82=…=8k-1=0;H1：8j不全為零。)若F檢驗結(jié)果能拒絕原假設(shè)，應(yīng)進一步作t檢驗(檢驗k次，H0：8廣0,(j=1,2,…，k-1)，H1：8/W0)。t檢驗是對單個解釋變量的回歸顯著性的檢驗。若回歸系數(shù)估計值未通過t檢驗，則相應(yīng)解釋變量應(yīng)從模型中剔除。剔除該解釋變量后應(yīng)重新回歸。按經(jīng)濟理論選擇的變量剔出時要慎重。在作F與t檢驗時，不要把自由度和檢驗水平用錯(正確查臨界值表)。回歸系數(shù)的t檢驗是雙端檢驗，但t檢驗表的定義有P(|11>ta)=a,P(t<ta)=a圖3.8圖3.8不能在估計的回歸系數(shù)之間比

應(yīng)該對回歸系數(shù)作如下變換對于多元回歸模型，當(dāng)解釋變量的量綱不相同時，較大小。若要在多元回歸模型中比較解釋變量的相對重要性，(1.41)其中s(xt)和5(yt)分別表示xt和兀的樣本標(biāo)準(zhǔn)差。七*可用來直接比較大小。

不能在估計的回歸系數(shù)之間比

應(yīng)該對回歸系數(shù)作如下變換以二元模型為例，標(biāo)準(zhǔn)化的回歸模型表示如下(標(biāo)準(zhǔn)化后不存在截距項),三=B*烏三1+R*=2+...+US(七)1S(七)2，(％2)'兩側(cè)同乘町)，得3-亍)=B*s(七)(x-x)+B*s(—)(x-x)+...+us(y)11s(x1)1112s(xt2)t22tt，因為均值點必在回歸直線上，去掉上式中由均值點構(gòu)成的方程，則必有y=B*s(七)x+B*s(yt)x+...+us(y)f1s(x"t12s(氣2)t2tf所以有''P*^^=p.,i=1,2,...k-1,即p*=p.^B^,i=1,2,...k-1js(xtj)jjjs(yt)既是(1.41)式。利用回歸模型預(yù)測時，解釋變量的值最好不要離開樣本范圍太遠(yuǎn)。原因是①根據(jù)預(yù)測公式離樣本平均值越遠(yuǎn)，預(yù)測誤差越大。以一元回歸模型為例；K?N(P0+P1七，薩(1+]^(^^))從公式看，當(dāng)xF=x時，yF的分布方差最小，即預(yù)測區(qū)間最小，預(yù)測精度最高。而預(yù)測點xF越遠(yuǎn)離x，yF的分布方差越大，即預(yù)測區(qū)間越大，預(yù)測精度越差。②有時，樣本以外變量的關(guān)系不清楚。當(dāng)樣本外變量的關(guān)系與樣本內(nèi)變量的關(guān)系完全不同時，在樣本外預(yù)測就會發(fā)生錯誤。圖3.10給出青銅硬度與錫含量的關(guān)系曲線。若以錫含量為0-16%為樣本，求得的關(guān)系近似是線性的。當(dāng)把預(yù)測點選在錫含量為16%之外時，顯然這種預(yù)測會發(fā)生嚴(yán)重錯誤。因為錫含量超過16%之后，青銅的硬度急劇下降，不再遵從錫含量為0-16%時的關(guān)系?；貧w模型的估計結(jié)果應(yīng)與經(jīng)濟理論或常識相一致。如邊際消費傾向估計結(jié)果為1.5,則模型很難被接受。(產(chǎn)出對勞動力的彈性為負(fù)值!)殘差項應(yīng)非自相關(guān)(用DW檢驗，亦可判斷虛假回歸)。否則說明①仍有重要解釋

變量被遺漏在模型之外。②選用的模型形式不妥。（14）通過對變量取對數(shù)消除異方差。（15）避免多重共線性。（16）解釋變量應(yīng)具有外生性，與誤差項不相關(guān)。（17）應(yīng)具有高度概括性。若模型的各種檢驗及預(yù)測能力大致相同，應(yīng)選擇解釋變量較少的一個。（18）模型的結(jié)構(gòu)穩(wěn)定性要強，超樣本特性要好。（19）世界是變化的，應(yīng)該隨時間的推移及時修改模型。建模案例1：《全國味精需求量的計量經(jīng)濟模型》（file:1c02）（見《預(yù)測》1987年第2期）依據(jù)經(jīng)濟理論選擇影響味精需求量變化的因素依據(jù)經(jīng)濟理論一種商品的需求量主要取決于四個因素，即①商品價格，②代用品價格，③消費者收入水平，④消費者偏好。模型為：商品需求量=f（商品價格，代用品價格，收入水平，消費者偏好）對于特定商品味精，當(dāng)建立模型時要對上述四個因素能否作為重要解釋變量逐一鑒別。商品價格：味精是一種生活常用品，當(dāng)時又是一種價格較高的調(diào)味品。初步判斷價格會對需求量產(chǎn)生影響。所以確定價格作為一個重要解釋變量。代用品價格：味精是一種獨特的調(diào)味品，目前尚沒有替代商品。所以不考慮代用品價格這一因素。消費者收入：顯然消費者收入應(yīng)該是一個較重要的解釋變量。偏好：由于因偏好不食味精或大量食用味精的情形很少見，所以每人用量只會在小范圍內(nèi)波動，所以不把偏好作為重要解釋變量，而歸并入隨機誤差項。分析結(jié)果，針對味精需求量只考慮兩個重要解釋變量，商品價格和消費者收入水平。味精需求量=f（商品價格，收入水平）選擇恰當(dāng)?shù)淖兞浚纫紤]代表性，也要考慮可能性）用銷售量代替需求量。因需求量不易度量，味精是自由銷售商品，不存在囤積現(xiàn)象，所以銷售量可較好地代表需求量。味精商品價格即銷售價格。用人均消費水平代替收入水平。因為①消費水平與味精銷售量關(guān)系更密切。②消費水平數(shù)據(jù)在統(tǒng)計年鑒上便于查找（收入水平的資料不全）。味精銷售量=f（銷售價格，人均消費水平）用平均價格作為銷售價格的代表變量。不同地區(qū)和不同品牌的味精價格是不一樣的，應(yīng)取平均價格（加權(quán)平均最好）。取不變價格的人均消費水平:消費水平都是用當(dāng)年價格計算的，應(yīng)用物價指數(shù)進行修正。味精銷售量=f（平均銷售價格，不變價格的消費水平）收集樣本數(shù)據(jù)（抽樣調(diào)查，引用數(shù)據(jù)）從中國統(tǒng)計年鑒和有關(guān)部門收集樣本數(shù)據(jù)（1972-1982,T=11。數(shù)據(jù)見下頁。）。定義銷售量為（噸），平均銷售價格為％（元/公斤），不變價格的消費水平為％（元）。相關(guān)系數(shù)表如下：不變價格的消費水平32）0.9771平均銷售價格（幻）味精銷售量3,）-0.3671注：臨界值廣005（9）3.60不變價格的消費水平32）0.9771確定模型形式并估計參數(shù)*=-144680.9+6313.4x1t+690.4x2,(1)(-3.92)(2.17)(15.32)R2=0.97,DW=1.8,t005(8)=2.3回歸系數(shù)6313.4無顯著性(兀與x1t應(yīng)該是負(fù)相關(guān)，回歸系數(shù)估計值卻為正，可見該估計值不可信)。剔除不顯著變量x1t，再次回歸，*=-65373.6+642.4x2,(2)(-10.32)(13.8)R2=0.95,DW=1.5,t005(9)=2.26問題：&]=6313.4,為什么檢驗結(jié)果是P1=0？量綱的變化對回歸結(jié)果會造成影響嗎？DependentVariable:YMethod:LeastSquaresDate:03/24/01Time:12:49Sample:19721902Includedobservations:11VariableCoefficientStd.Errort-StatisticProb.C-144680.936909.30-3.9199050.0044X16313.3922907.4102.1714830.0617X2690.440545.0717215.318710.0000R-squared0.971474Meandependentvar20886.00AdjustedR-squared0.964343S.D.dependentvar13980.06S.E.ofregression2639.001Akaikeinfocriterion15.98398Sumsquaredresid55751758Schwarzcriterion16.09250Loglikelihood-100.5202F-statistic136.2231Durbin-Watsonstat1.793474Prob(F-statistic)0.000001建模案例2：(file:b1c4)中國國債發(fā)行額模型(多元回歸)首先分析中國國債發(fā)行額序列的特征。1980年國債發(fā)行額是43.01億元(占GDP的1%)，2001年國債發(fā)行額是4604億元(占GDP的4.8%)。以當(dāng)年價格計算，21年間(1980-2001)增長了106倍。平均年增長率是24.9%。

DEBTMeanDEBTMean1216.395Median434.6850Maximum4604.000Minimum43.01000Std.Dev.1485.993中國當(dāng)前正處在社會主義市場經(jīng)濟逐步完善，宏觀經(jīng)濟平穩(wěn)運行的階段。國債發(fā)行總量（DEBT,億元）應(yīng)該與經(jīng)濟總規(guī)模，財政赤字的多少，每年的還本付息能力有關(guān)系。選擇3個解釋變量，國內(nèi)生產(chǎn)總值（百億元），財政赤字額（億元），年還本付息額（億元），根據(jù)散點圖建立中國國債發(fā)行額（DEBT，億元）模型如下：DEBTt=P0+6]GDPt+P2DEFt+P3REPAYt+ut其中GDPt表示年國內(nèi)生產(chǎn)總值（百億元），DEFt表示年財政赤字額（億元），REPAYt表示年還