計量經(jīng)濟學(xué)中相關(guān)證明

1、課本中相關(guān)章節(jié)的證明過程第2章有關(guān)的證明過程2.1 一元線性回歸模型 有一元線性回歸模型為：yt = b0 + b1 xt + ut 上式表示變量yt 和xt之間的真實關(guān)系。其中yt 稱被解釋變量（因變量），xt稱解釋變量（自變量），ut稱隨機誤差項，b0稱常數(shù)項，b1稱回歸系數(shù)（通常未知）。上模型可以分為兩部分。（1）回歸函數(shù)部分，E(yt) = b0 + b1 xt,（2）隨機部分，ut 。圖2.8 真實的回歸直線 這種模型可以賦予各種實際意義，收入與支出的關(guān)系；如脈搏與血壓的關(guān)系；商品價格與供給量的關(guān)系；文件容量與保存時間的關(guān)系；林區(qū)木材采伐量與木材剩余物的關(guān)系；身高與體重的關(guān)系等。以收

2、入與支出的關(guān)系為例。假設(shè)固定對一個家庭進行觀察，隨著收入水平的不同，與支出呈線性函數(shù)關(guān)系。但實際上數(shù)據(jù)來自各個家庭，來自各個不同收入水平，使其他條件不變成為不可能，所以由數(shù)據(jù)得到的散點圖不在一條直線上（不呈函數(shù)關(guān)系），而是散在直線周圍，服從統(tǒng)計關(guān)系。隨機誤差項ut中可能包括家庭人口數(shù)不同，消費習(xí)慣不同，不同地域的消費指數(shù)不同，不同家庭的外來收入不同等因素。所以，在經(jīng)濟問題上“控制其他因素不變”實際是不可能的?；貧w模型的隨機誤差項中一般包括如下幾項內(nèi)容，（1）非重要解釋變量的省略，（2）人的隨機行為，（3）數(shù)學(xué)模型形式欠妥，（4）歸并誤差（糧食的歸并）（5）測量誤差等?；貧w模型存在兩個特點。（1

3、）建立在某些假定條件不變前提下抽象出來的回歸函數(shù)不能百分之百地再現(xiàn)所研究的經(jīng)濟過程。（2）也正是由于這些假定與抽象，才使我們能夠透過復(fù)雜的經(jīng)濟現(xiàn)象，深刻認識到該經(jīng)濟過程的本質(zhì)。通常，線性回歸函數(shù)E(yt) = b0 + b1 xt 是觀察不到的，利用樣本得到的只是對E(yt) = b0 + b1 xt 的估計，即對b0和b1的估計。在對回歸函數(shù)進行估計之前應(yīng)該對隨機誤差項ut做出如下假定。(1) ut 是一個隨機變量，ut 的取值服從概率分布。(2) E(ut) = 0。(3) D(ut) = Eut - E(ut) 2 = E(ut)2 = s 2。稱ui 具有同方差性。(4) ut 為正態(tài)

4、分布（根據(jù)中心極限定理）。以上四個假定可作如下表達：ut N (0, s 2 )。 (5) Cov(ui, uj) = E(ui - E(ui) ) ( uj - E(uj) ) = E(ui, uj) = 0, (i j )。含義是不同觀測值所對應(yīng)的隨機項相互獨立。稱為ui 的非自相關(guān)性。(6) xi是非隨機的。(7) Cov(ui, xi) = E(ui - E(ui) ) (xi - E(xi) ) = Eui (xi - E(xi) = Eui xi - ui E(xi) = E(ui xi) = 0.ui 與xi 相互獨立。否則，分不清是誰對yt的貢獻。 (8) 對于多元線性回歸模型

5、，解釋變量之間不能完全相關(guān)或高度相關(guān)（非多重共線性）。在假定（1），（2）成立條件下有E(yt) = E(b0 + b1 xt + ut ) = b0 + b1 xt 。2.2 最小二乘估計（OLS）對于所研究的經(jīng)濟問題，通常真實的回歸直線是觀測不到的。收集樣本的目的就是要對這條真實的回歸直線做出估計。圖2.9 怎樣估計這條直線呢？顯然綜合起來看，這條直線處于樣本數(shù)據(jù)的中心位置最合理。怎樣用數(shù)學(xué)語言描述“處于樣本數(shù)據(jù)的中心位置”？設(shè)估計的直線用 =+ xt表示。其中稱yt的擬合值（fitted value），和分別是 b0 和b1的估計量。觀測值到這條直線的縱向距離用表示，稱為殘差。 yt =

6、+=+ xt +稱為估計的模型。假定樣本容量為T。（1）用“殘差和最小”確定直線位置是一個途徑。但很快發(fā)現(xiàn)計算“殘差和”存在相互抵消的問題。（2）用“殘差絕對值和最小”確定直線位置也是一個途徑。但絕對值的計算比較麻煩。（3）最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計算比較方便外，得到的估計量還具有優(yōu)良特性（這種方法對異常值非常敏感）。設(shè)殘差平方和用Q表示， Q = = = ，則通過Q最小確定這條直線，即確定和的估計值。以和為變量，把Q看作是和的函數(shù)，這是一個求極值的問題。求Q對和的偏導(dǎo)數(shù)并令其為零，得正規(guī)方程， = 2(-1) = 0 (2.7) = 2(- xt)

7、 = 0 (2.8)下面用代數(shù)和矩陣兩種形式推導(dǎo)計算結(jié)果。首先用代數(shù)形式推導(dǎo)。由（2.7）、（2.8）式得， = 0 (2.9) xt = 0 (2.10)（2.9）式兩側(cè)用除T，并整理得，= (2.11)把（2.11）式代入（2.10）式并整理，得，xt = 0 (2.12)= 0 (2.13)= (2.14)因為= 0，= 0，采用離差和為零的結(jié)論：，。所以，通過配方法，分別在（2.14）式的分子和分母上減和得，= (2.15)= (2.16)即有結(jié)果： = （2.17） = 這是觀測值形式。如果以離差形式表示，就更加簡潔好記。 = = 矩陣形式推導(dǎo)計算結(jié)果：由正規(guī)方程， = 2(-1)

8、= 0 = 2(- xt) = 0 T + () = + () = = = = 注意：關(guān)鍵是求逆矩陣。它等于其伴隨陣除以其行列式，伴隨陣是其行列式對應(yīng)的代數(shù)余子式構(gòu)成的方陣的轉(zhuǎn)置。寫成觀測值形式。 = = 如果，以離式形式表示更為簡潔： = = 2.3 一元線性回歸模型的特性1 線性特性（將結(jié)果離差轉(zhuǎn)化為觀測值表現(xiàn)形式） 2 無偏性其中： 故有： 3 有效性首先討論參數(shù)估計量的方差。即： 同理有： 顯然各自的標(biāo)準(zhǔn)誤差為：， 標(biāo)準(zhǔn)差的作用：衡量估計值的精度。由于為總體方差，也需要用樣本進行估計。證明過程如下：因此有： 那么： 根據(jù)定義：，（實際觀測值與樣本回歸線的差值）則有：兩邊平方，再求和：對

9、上式兩邊取期望有： 其中： 故有：即有：，令，則問題得證。關(guān)于的計算：關(guān)于的證明： ，其中：。當(dāng) 當(dāng)，當(dāng)時，有： Q.E.D.關(guān)于可能小于0的證明。設(shè)：則有：那么 但：，因為沒有存在。同時，還有： 其中：，和 則： 考慮到： 若定義 可能小于0。參考書：Dennis J. Aigner Basic Econometrics, Prentice-Hall, Englewood Cliffs, N. J. 1971,pp85-88第二章2.1 簡單線性回歸最小二乘估計最小方差性質(zhì)的證明對于OLS估計式和,已知其方差為 這里只證明最小，最小的證明可以類似得出。 設(shè)的另一個線性無偏估計為，即 其中 因

10、為也是的無偏估計，即，必須有 ，同時 因為 上式最后一項中 （因為，）所以 而，因為，則有，為此 只有時，由于是任意設(shè)定的的線性無偏估計式，這表明的OLS估計式具有最小方差性。2.2 最小二乘估計的證明用離差形式表示模型時 而且 因此 則有 取的期望 式中 (1) (2) (3) 所以 如果定義 其期望值為 這說明是的無偏估計。第三章3.1 多元線性回歸最小二乘估計無偏性的證明因為 對兩邊取期望, 由假定1:即是的無偏估計。3.2 多元線性回歸最小二乘估計最小方差性的證明 設(shè)為的另一個關(guān)于的線性無偏估計式，可知 （為常數(shù)矩陣）由無偏性可得 所以必須有 要證明最小二乘法估計式的方差小于其他線性去

11、偏估計式的方差，只要證明協(xié)方差矩陣之差 為半正定矩陣，則稱最小二乘估計是的最小方差線性無偏估計式。因為 所以 由于 所以 由于 由線性代數(shù)知，對任一非奇異矩陣，為半正定矩陣。如果令則 由于半正定矩陣對角線元素非負，因此有即 （）這證明了的最小二乘估計在的所有無偏估計中是方差最小的估計式。3.3 殘差平方和的均值為的證明 由殘差向量的定義及參數(shù)的最小二乘估計式，有 可以記，則 容易驗證，P為對稱等冪矩陣，即 殘差向量的協(xié)方差矩陣為 利用矩陣跡的性質(zhì)，有 兩邊取期望得 第五章5.1在異方差性條件下參數(shù)估計統(tǒng)計性質(zhì)的證明1、參數(shù)估計的無偏性仍然成立設(shè)模型為 （1）用離差形式表示 (其中) （2）參數(shù)

12、的估計量為在證明中僅用到了假定。2、參數(shù)估計的有效性不成立假設(shè)（1）式存在異方差，且，則參數(shù)的估計的方差為 (5)在上述推導(dǎo)中用了假定。下面對（2）式運用加權(quán)最小二乘法（WLS）。設(shè)權(quán)數(shù)為，對（2）式變換為 （6） 可求得參數(shù)的估計，根據(jù)本章第四節(jié)變量變換法的討論，這時新的隨機誤差項為同方差，即，而 的方差為 （7）為了便于區(qū)別，用()wls表示加權(quán)最小二乘法估計的，用()ols表示OLS法估計的。比較（5）式與（7）式，即在異方差下用OLS法得到參數(shù)估計的方差與用WLS法得到參數(shù)估計的方差相比較為 （8）令，由初等數(shù)學(xué)知識有，因此（10）式右端有 （9）從而，有 這就證明了在異方差下，仍然用普通最小二乘法所得到的參數(shù)估計值的方差不再最小。5.2 對數(shù)變換后殘差為相對誤差的證明事實上，設(shè)樣本回歸函數(shù)為 （10）其中為殘差，取對數(shù)后的樣本回歸函數(shù)為 （11）其中殘差為，因此 （12）對（12）式的右端，依據(jù)泰勒展式 （13）將（13）式中的用替換，則可近似地表示為 （14）即表明（11）式中的誤差項為相對誤差。第六章：6.1: 存在自相關(guān)時參數(shù)估計值方差的證明+第九章9.1 概率極限性質(zhì)的證明其中：為X2的樣本方差，為X2和X3的樣本協(xié)方差， 為X2和的樣本協(xié)方差。9.2 參數(shù)一致性的證