§3.2 多元線性回歸模型的參數估計

1、3.2 多元線性回歸模型的估計 估計方法：OLS、ML或者MM一、普通最小二乘估計 *二、最大或然估計 *三、矩估計 四、參數估計量的性質 五、樣本容量問題 六、估計實例 1一、普通最小二乘估計對于隨機抽取的n組觀測值如果樣本函數的參數估計值已經得到，則有： i=1,2n根據最小二乘原理，參數估計值應該是下列方程組的解 其中2于是得到關于待估參數估計值的正規(guī)方程組： 3正規(guī)方程組的矩陣形式即由于XX滿秩，故有 4將上述過程用矩陣表示如下： 即求解方程組：得到： 于是：56例3.2.1：家庭收入-消費支出 ， 可求得 于是 7正規(guī)方程組 的另一種寫法對于正規(guī)方程組 于是 或 (*)或（*）是多元

2、線性回歸模型正規(guī)方程組的另一種寫法 (*)(*)8樣本回歸函數的離差形式i=1,2n其矩陣形式為 其中 ：在離差形式下，參數的最小二乘估計結果為 9隨機誤差項的方差的無偏估計 可以證明，隨機誤差項的方差的無偏估計量為 10 *二、最大似然估計 對于多元線性回歸模型易知 Y的隨機抽取的n組樣本觀測值的聯(lián)合概率即為變量Y的似然函數 11對數或然函數為對對數或然函數求極大值，也就是對 求極小值。 因此，參數的最大或然估計為結果與參數的普通最小二乘估計相同12*三、矩估計（Moment Method, MM） OLS估計是通過得到一個關于參數估計值的正規(guī)方程組并對它進行求解而完成的。 該正規(guī)方程組 可

3、以從另外一種思路來導: 求期望 :13稱為原總體回歸方程的一組矩條件，表明了原總體回歸方程所具有的內在特征。 由此得到正規(guī)方程組 解此正規(guī)方程組即得參數的MM估計量。 易知MM估計量與OLS、ML估計量等價。14矩方法是工具變量方法(Instrumental Variables,IV)和廣義矩估計方法(Generalized Moment Method, GMM)的基礎 在矩方法中關鍵是利用了 E(X)=0 如果某個解釋變量與隨機項相關，只要能找到1個工具變量，仍然可以構成一組矩條件。這就是IV。 如果存在k+1個變量與隨機項不相關，可以構成一組包含k+1方程的矩條件。這就是GMM。15 四、

4、參數估計量的性質 在滿足基本假設的情況下，其結構參數的普通最小二乘估計、最大或然估計及矩估計仍具有： 線性性、無偏性、有效性。 同時，隨著樣本容量增加，參數估計量具有： 漸近無偏性、漸近有效性、一致性。 1、線性性 其中,C=(XX)-1 X 為一僅與固定的X有關的行向量 16 2、無偏性 這里利用了假設: E(X)=0 3、有效性（最小方差性） 17其中利用了 和18 五、樣本容量問題 所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數估計量，不管其質量如何，所要求的樣本容量的下限。 最小樣本容量 樣本最小容量必須不少于模型中解釋變量的數目（包括常數項）,即 n k+1因為

5、，無多重共線性要求：秩(X)=k+119 2、滿足基本要求的樣本容量 從統(tǒng)計檢驗的角度： n30 時，Z檢驗才能應用； n-k8時, t分布較為穩(wěn)定 一般經驗認為: 當n30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。 模型的良好性質只有在大樣本下才能得到理論上的證明20 六、多元線性回歸模型的參數估計實例 例3.2.2 在例2.5.1中，已建立了中國居民人均消費一元線性模型。這里我們再考慮建立多元線性模型。解釋變量：人均GDP：GDPP 前期消費：CONSP(-1)估計區(qū)間：19792000年21Eviews軟件估計結果 22六、多元線性回歸模型的參數估計實例例子：基于一些數據估計中國宏觀生產函數Se： 0.7880 0.0902 0.0220t值： -11.31367 7.3534 34.1171p值： 0.0000 0.0