第6章(多元線性回歸的向量表述)

1、計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。1第6章 多元線性回歸的向量表述 多元線性回歸模型的向量形式最小二乘法（OLS）的向量表述最小二乘估計(jì)量的性質(zhì)LR、Wald和LM檢驗(yàn) 案例分析計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。2多元線性回歸模型的一般形式多元線性回歸模型的一般形式 在實(shí)際經(jīng)濟(jì)問(wèn)題中，一個(gè)變量往往受到多個(gè)原因變量的影響，在線性回歸模型中則表現(xiàn)為有多個(gè)解釋變量，這樣的模型被稱為多元線性回歸模型。 模型的一般形式如下：模型的一般形式如下： ikikiiiXXXY 22110 i=1,2,n (2.3.1)其中：k 為解釋變量的數(shù)目；其中：K為解釋變量個(gè)數(shù)

2、；K+1為未知參數(shù)個(gè)數(shù) 模型中的未知參數(shù) 稱為偏回歸系數(shù)， 的數(shù)值結(jié)果表明，當(dāng)其他變量保持不變的情況下，X X1 1 增加一個(gè)單位，Y Y 平均增加 個(gè)單位； 的數(shù)值表明，當(dāng)其他變量保持不變時(shí)， X X2 2 增加一個(gè)單位，Y Y平均增加 個(gè)單位，以此類推。1122計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。3第6章 多元線性回歸的向量表述 6.1 多元線性回歸模型的向量表述01 122iiikkiiYxxx1,2,in上式是由n個(gè)方程，k+1個(gè)未知參數(shù)組成的一個(gè)線性方程組，即：101 1122111201 122222201 122kkkknnnkknnYxxxYxxxYxxx把

3、線性方程組寫成矩陣的形式： 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。40112111111222222212111kknnnknnkXXXYXXXYYXXX這個(gè)模型相應(yīng)的矩陣表達(dá)式簡(jiǎn)記為 YX其中：01121111112222222121(1)1(1) 111,1kknnnknnnnknkkXXXYXXXYYXYXXX 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。5多元線性回歸模型的四種向量表述多元線性回歸模型的四種向量表述 真實(shí)的回歸模型：真實(shí)的回歸模型： 估計(jì)的回歸模型：估計(jì)的回歸模型： 真實(shí)的回歸線：真實(shí)的回歸線： 樣本回歸線：樣本回歸線：YXYXYXYX計(jì)量

4、經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。66.2 OLS估計(jì)量的向量表述估計(jì)量的向量表述 1()X XX Y因此，回歸參數(shù)的因此，回歸參數(shù)的OLS估計(jì)量為：估計(jì)量為：計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。76.2 OLS估計(jì)量的向量表述估計(jì)量的向量表述 注：注：OLSOLS估計(jì)量中隱含了一個(gè)假設(shè)條件估計(jì)量中隱含了一個(gè)假設(shè)條件 , ,只要模型及樣本數(shù)只要模型及樣本數(shù)據(jù)滿足第四章的假定據(jù)滿足第四章的假定7 7，則，則 一定成立。一定成立。0X X 0X X 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。8隨機(jī)誤差項(xiàng)的方差 的估計(jì)因?yàn)闅埐羁梢员硎緸椋?矩陣 是

5、對(duì)稱的冪等矩陣，冪等矩陣是指自身相乘后仍等于自身的矩陣，即 。因此殘差平方和可以表示為：兩邊求期望得： 21111()()()()()uYXYXX XX YIX X XX YIX X XXXuIX X XX uMu1()MIX X XX2MM Quuu M Muu Mu1( ) () E QE u IXX XX u計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。9隨機(jī)誤差項(xiàng)的方差 的估計(jì)由于殘差的平方和是標(biāo)量(Scalar)，可以采用跡(Trace)，即：根據(jù)跡運(yùn)算的性質(zhì)tr(AB)=tr(BA),上式為：即：所以 的無(wú)偏估計(jì)量是： 1( ) () E QE tr u IXX XX u

6、112121212( ) ()() () ( )() ( )()()(1)KE QE tr IXX XX uutr IXX XX E uutr Itr XX XXtr ItrX XX XNtr INK2 ()()11QuuEENKNK211QRSSNKNK22計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。10OLSOLS估計(jì)量估計(jì)量 的方差的方差- -協(xié)方差估計(jì)協(xié)方差估計(jì)因?yàn)椋簞t：111()()()()X XX YX XXXuX XX u111121var( )()() ()()()()()()EEX XX uX XX uX XX E uu X X XX X計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王

7、少平、楊繼生、歐陽(yáng)志剛等編著。11 一、OLS估計(jì)量的有限樣本性質(zhì) 在滿足基本假設(shè)的情況下，其結(jié)構(gòu)參數(shù) 的普通最小二乘估計(jì)普通最小二乘估計(jì)(OLS)(OLS)具有：線性性線性性、無(wú)偏性無(wú)偏性、有效性有效性。同時(shí)，隨著樣本容量增加，參數(shù)估計(jì)量具有：一致性、漸近正態(tài)性一致性、漸近正態(tài)性。1 1、線性性、線性性其中,C=(XX)-1 X 為一僅與固定的X有關(guān)的行向量。2、無(wú)偏性、無(wú)偏性這里利用了假設(shè): E(X )=0 CYYXXX1)(6.3 最小二乘（最小二乘（OLS）估計(jì)量的性質(zhì)）估計(jì)量的性質(zhì)XXXXXXXYXXX11)()()()()()(1EEEE計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)

8、志剛等編著。12 3 3、有效性（最小方差性）、有效性（最小方差性） 所謂有效性是指在所有線性無(wú)偏估計(jì)量中，OLS估計(jì)量具有最小方差。為了證明OLS估計(jì)量的有效性，現(xiàn)假設(shè)有另一任意的線性無(wú)偏估計(jì)量：其中矩陣A和C是與X矩陣有關(guān)的(K+1)N階矩陣，上式：為了滿足無(wú)偏性，AX=I必須成立，I是單位矩陣。上式可以得到CX=0，同時(shí)意味著 ，所以： 1()AYX XXC Y()AYA XuAXAu1()CAX XX()CYC XuCu121()() ()()0EE X XX uuCX XX C計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。13因此估計(jì)量 的方差-協(xié)方差矩陣為：顯然要使得 的

9、方差最小，必須使C=0，所以 是所有無(wú)偏估計(jì)量中方差最小的，即OLS估計(jì)量具有有效性。 總結(jié)：總結(jié)：高斯馬爾可夫定理(Gauss-Markov theorem) 在給定經(jīng)典線性回歸的假定下，最小二乘估計(jì)量是具有最小方差的線性無(wú)偏估計(jì)量,即OLS估計(jì)量是BLUE估計(jì)量。var( )var()var()var( )CY計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。14二、二、OLSOLS估計(jì)量的漸近性質(zhì)估計(jì)量的漸近性質(zhì)1.OLS估計(jì)量是一致估計(jì)量 一致估計(jì)量是指對(duì)于回歸參數(shù)的真實(shí)值 ，樣本容量為N時(shí)的OLS估計(jì)量記為 ，隨著樣本容量N的逐步增大， 即：2.OLS估計(jì)量的正態(tài)性 正態(tài)性是指

10、，在大樣本下，OLS估計(jì)量的分布收斂到正態(tài)分布。設(shè) ，則： Nlim()NNp111lim ()NNX XQ21()(0,)dNNQ 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。15補(bǔ)充：樣本容量問(wèn)題補(bǔ)充：樣本容量問(wèn)題 最小樣本容量最小樣本容量 所謂“最小樣本容量”，即從最小二乘原理和最大似然原理出發(fā)，欲得到參數(shù)估計(jì)量，不管其質(zhì)量如何，所要求的樣本容量的下限。 樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)）,即 n k+1因?yàn)椋瑹o(wú)多重共線性要求：秩(X)=k+1計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。16 2 2、滿足基本要求的樣本容量、滿足基本要求的樣本

11、容量 從統(tǒng)計(jì)檢驗(yàn)的角度： n30 時(shí)，Z檢驗(yàn)才能應(yīng)用； n-k8時(shí), t分布較為穩(wěn)定 一般經(jīng)驗(yàn)認(rèn)為: 當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。 模型的良好性質(zhì)只有在大樣本下才能得到理論上的證明。 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。176.4 LR、Wald和和LM檢驗(yàn)檢驗(yàn)1.1.似然比似然比(LR)(LR)檢驗(yàn)檢驗(yàn)似然比檢驗(yàn)是三種檢驗(yàn)中最簡(jiǎn)單的，其原假設(shè)和備選假設(shè)分別為： HA：原假設(shè)的約束條件中至少有一個(gè)不成立 LR檢驗(yàn)統(tǒng)計(jì)量等于似然函數(shù)的無(wú)約束極大值和有約束極大值之差的兩倍，即：其中 分別表示模型中參數(shù)向量的無(wú)約束和有約束的極大似然估計(jì)結(jié)果。L

12、R檢驗(yàn)的基本思想是：如果約束條件為真，則無(wú)約束和有約束的似然函數(shù)極大值不應(yīng)有顯著的差異，所以，如果二者存在較大差異則認(rèn)為約束條件不成立。 在大樣本下： q 表示約束條件的個(gè)數(shù)。 0:( )0Hf2ln( )ln( )LRLFLF, 2( )asyLRq 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。18LR檢驗(yàn)的判別規(guī)則： 如果 ，則拒絕原假設(shè)；反之不能拒絕原假設(shè)。2.Wald2.Wald檢驗(yàn)檢驗(yàn) LR檢驗(yàn)既要估計(jì)約束條件下的極大似然函數(shù)值，又要估計(jì)無(wú)約束下的極大似然函數(shù)值，但當(dāng)約束模型的估計(jì)很困難時(shí)，檢驗(yàn)就不適用了。而Wald檢驗(yàn)則只需要對(duì)無(wú)約束模型進(jìn)行極大似然估計(jì)，所以比LR檢驗(yàn)

13、具有一定的優(yōu)勢(shì)。 Wald檢驗(yàn)的原假設(shè)和備擇假設(shè)為： HA：原假設(shè)的約束條件中至少有一個(gè)不成立。如果約束條件是成立的，我們用參數(shù)估計(jì)值 來(lái)代替參數(shù) ， 應(yīng)該很接近0；而如果約束條件不成立， 將顯著地偏離0。因此構(gòu)造以下統(tǒng)計(jì)量： 2( )LRq0:( )0Hf( )f( )f1( ) var( ( )( )Wfff計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。19 在原假設(shè)成立的條件下，在大樣本下Wald統(tǒng)計(jì)量具有以下漸近分布：q為約束條件的個(gè)數(shù)。 Wald檢驗(yàn)的判別規(guī)則： 如果 ，則拒絕原假設(shè)；反之就不能拒絕原假設(shè)。3.LM檢驗(yàn)檢驗(yàn) 當(dāng)無(wú)約束模型的估計(jì)較容易時(shí)，采用Wald檢驗(yàn)較方便

14、，但是當(dāng)無(wú)約束模型的估計(jì)很難或根本不可能時(shí)，只能采用LM檢驗(yàn)，LM檢驗(yàn)又稱為得分檢驗(yàn)(Score Test)。 LM檢驗(yàn)的基本方法是首先給出無(wú)約束的對(duì)數(shù)似然函數(shù)： 2( )asyWq 2( )Wq2ln( ,)LF 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。20對(duì)于無(wú)約束極大似然估計(jì)量 必然有： j=1,2,k 若約束條件成立，則施加約束條件下極大似然估計(jì)量 應(yīng)與不施加約束條件下的極大似然估計(jì)量 非常接近。也就是說(shuō)，如果約束條件 成立， 應(yīng)近似為零。拉格朗日乘子檢驗(yàn)的原理是：如果 顯著不為零，則說(shuō)明約束條件不成立。 LM檢驗(yàn)統(tǒng)計(jì)量被定義為：其中： 為信息矩陣。在約束條件成立的條件

15、下，LM統(tǒng)計(jì)量漸近地服從：q也是約束條件個(gè)數(shù)，判別規(guī)則與前面兩種檢驗(yàn)方法相同。 jln0jLFjjln/jLFln/jLF1lnln( )LFLFLMI( )I2( )asyLMq 計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。21對(duì)三個(gè)檢驗(yàn)統(tǒng)計(jì)量的說(shuō)明對(duì)三個(gè)檢驗(yàn)統(tǒng)計(jì)量的說(shuō)明1.可以證明，當(dāng)樣本容量趨于無(wú)窮大時(shí)，三種檢驗(yàn)統(tǒng)計(jì)量都具有同樣的極限分布，檢驗(yàn)結(jié)果是一致的，即三者在大樣本下，同時(shí)拒絕原假設(shè)或同時(shí)不拒絕原假設(shè)，這被稱為漸近等價(jià)； 而對(duì)于小或中等樣本容量來(lái)說(shuō)，三者的表現(xiàn)不同且未知，檢驗(yàn)結(jié)果可能不一致。 在實(shí)際應(yīng)用中，對(duì)于小或中等樣本容量，在進(jìn)行線性約束檢驗(yàn)時(shí)，通常的F統(tǒng)計(jì)量可能更為有效。2.三種檢驗(yàn)統(tǒng)計(jì)量均采用極大似然估計(jì)量。LR檢驗(yàn)同時(shí)進(jìn)行有約束和無(wú)約束的極大似然估計(jì)；Wald只需做無(wú)約束極大似然估計(jì)；而LM只需做有約束的極大似然估計(jì)。3.對(duì)于線性回歸模型而言，在有限樣本或小樣本中，WLRLM 。計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。226.5 案例分析案例分析計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。23計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐陽(yáng)志剛等編著。24計(jì)量經(jīng)濟(jì)學(xué)，高教出版社，王少平、楊繼生、歐