第三章多元線性回歸分析1

1、14計量經(jīng)濟學課件第三章 多元線性回歸分析主要內容：n 多元線性回歸模型 n 多元線性回歸模型的參數(shù)估計n 多元線性回歸模型的統(tǒng)計檢驗n 多元線性回歸模型的預測n 案例3.1 多元線性回歸模型一、多元線性回歸模型 多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。一般表現(xiàn)形式： i=1，2，n其中:k為解釋變量的數(shù)目，稱為回歸參數(shù)（regression coefficient）。經(jīng)濟解釋：也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，每變化1個單位時，Y的均值E(Y)的變化;或者說給出了的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。樣本回歸函數(shù)：用來估計總體回歸函數(shù)

2、 i=1,2,n其隨機表示式: 稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機擾動項的近似替代。3.2 多元線性回歸模型的估計一、普通最小二乘估計對于隨機抽取的n組觀測值對樣本回歸函數(shù)： i=1,2n根據(jù)最小二乘原理，參數(shù)估計值應該是下列方程組的解 即 由于滿秩，故有 隨機誤差項m的方差s的無偏估計 可以證明，隨機誤差項u的方差的無偏估計量為 二、參數(shù)估計量的性質在滿足基本假設的情況下，其結構參數(shù)b的普通最小二乘估計、最大或然估計及矩估計仍具有：線性性、無偏性、有效性。1、 線性其中,C= 為一僅與固定的X有關的行向量 2、無偏性 3、有效性（最小方差性） 參數(shù)估計量的方差

3、-協(xié)方差矩陣其中利用了 和 三、多元線性回歸模型的參數(shù)估計實例例題3.1Y： 某商品需求量X1：該商品價格X2：消費者平均收入下圖（圖3.1） = 113.83 - 8.36 X1 + 0.18 X2 (4.0) (-3.6) (0.9) R2 =0.88, F=26.4, n=10圖3.13.3 多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的基本假定 假設1，解釋變量是非隨機的或固定的，且各X之間互不相關（無多重共線性）。假設2，隨機誤差項具有零均值、同方差及不序列相關性假設3，解釋變量與隨機項不相關 假設4，隨機項滿足正態(tài)分布 一、擬合優(yōu)度檢驗1、可決系數(shù)與調整的可決系數(shù)記 總離差平方和回歸

4、平方和剩余平方和則可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。 問題：在應用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，往往增大。這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關，R2需調整。調整的可決系數(shù)（adjusted coefficient of determination） 在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。與之間存在

5、如下關系：二、方程的顯著性檢驗(F檢驗) 方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關系在總體上是否顯著成立作出推斷。1、方程顯著性的F檢驗 即檢驗模型 中的參數(shù)是否總體顯著不為0?？商岢鋈缦略僭O與備擇假設： H0： H1：不全為0F檢驗的思想來自于總離差平方和的分解式：TSS=ESS+RSS如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關系，反之總體上可能不存在線性關系。因此,可通過該比值的大小對總體線性關系進行推斷。在原假設成立的條件下，統(tǒng)計量 服從自由度為(k , n-k-1)的F分布。給定顯著性水平a，可得到臨界值 (k,n-k-1)，由樣本求出

6、統(tǒng)計量F的數(shù)值，通過F (k,n-k-1) 或 F (k,n-k-1)來拒絕或接受原假設，以判定原方程總體上的線性關系是否顯著成立。 2、關于擬合優(yōu)度檢驗與方程顯著性檢驗關系的討論 由 與 可推出： 或 F與同向變化：當=0時間，F(xiàn)=0；越大，F(xiàn)值也越大；當=1時，F(xiàn)為無窮大。三、變量的顯著性檢驗（t檢驗）方程的總體線性關系顯著每個解釋變量對被解釋變量的影響都是顯著的因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的 t 檢驗完成的。1、t統(tǒng)計量 由于以表示矩陣主對角線上的第i個元素，于是參數(shù)估計量的方差為： 其中為隨機誤差項的方差，在實際計算時

7、，用它的估計量代替: 易知服從如下正態(tài)分布 因此，可構造如下t統(tǒng)計量 2、t檢驗設計原假設與備擇假設： 給定顯著性水平a，可得到臨界值，由樣本求出統(tǒng)計量t的數(shù)值，通過|t| 或 |t|來拒絕或接受原假設，從而判定對應的解釋變量是否應包括在模型中。 注意：一元線性回歸中，t檢驗與F檢驗一致 一方面，t檢驗與F檢驗都是對相同的原假設 進行檢驗; 另一方面，兩個統(tǒng)計量之間有如下關系： 看下一頁圖（例題3.1）四、參數(shù)的置信區(qū)間 參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。 在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-a)的置信水平下的置信區(qū)間是 其中，為顯著性水平

8、為a 、自由度為n-k-1的臨界值。如何才能縮小置信區(qū)間？ 增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減??； 提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和越小。 提高樣本觀測值的分散度，一般情況下，樣本觀測值越分散，(XX)-1的分母的|XX|的值越大，致使區(qū)間縮小。3.4 多元線性回歸模型的預測樣本內10點與樣本外1點預測小結n 多元線性回歸模型 n 多元線性回歸模型的參數(shù)估計n 多元線性回歸模型的統(tǒng)計檢驗n 多元線性回歸模型的預測預測的評價指標例題3.1預測評價指標的

9、應用建模過程中應注意的問題(1) 研究經(jīng)濟變量之間的關系要剔除物價變動因素。 注意：價格指數(shù)應該用定基價格指數(shù)。(2) 依照經(jīng)濟理論以及對具體經(jīng)濟問題的深入分析初步確定解釋變量。 例：我國糧食產(chǎn)量 = f（耕地面積、農(nóng)機總動力、施用化肥量、農(nóng)業(yè)人口等）。 例：關于食用油消費量模型(3) 當引用現(xiàn)成數(shù)據(jù)時，要注意數(shù)據(jù)的定義是否與所選定的變量定義相符。 例：“農(nóng)業(yè)人口”要區(qū)別是“從事農(nóng)業(yè)勞動的人口”還是相對于城市人口的“農(nóng)業(yè)人口”。 (4) 養(yǎng)成看散點圖的習慣。中國移動電話用戶數(shù)（億戶）序列硫酸透明度（y）與鐵雜質含量（x）的關系GDP與FDI（5）謹慎對待離群值（outlier）(6) 過原點回

10、歸模型與非過原點回歸模型相比有如下不同點: 殘差和等于零不一定成立。 可決系數(shù)有時會得負值！ (7) 改變變量的測量單位可能會引起回歸系數(shù)值的改變，但不會影響t值。即不會影響統(tǒng)計檢驗結果。(8) 回歸模型給出估計結果后，首先應進行F檢驗。F檢驗是對模型整體回歸顯著性的檢驗。 (檢驗一次，H0: b1= b2 = = bk = 0; H1: bj不全為零。)若F檢驗結果能拒絕原假設，應進一步作t檢驗。t檢驗是對單個解釋變量的回歸顯著性的檢驗。若回歸系數(shù)估計值未通過t檢驗，則相應解釋變量應從模型中剔除。剔除該解釋變量后應重新回歸。按經(jīng)濟理論選擇的變量剔出時要慎重。(10) 對于多元回歸模型，當解釋變量的量綱不相同時，不能在估計的回歸系數(shù)之間比較大小。若要在多元回歸模型中比較解釋變量的相對重要性，應該用標準化變量回歸。 (11) 利用回歸模型預測時，解釋變量的值最好不要離開樣本范圍太遠。原因是 根據(jù)預測公式離樣本平均值越遠，預測誤差越大。 有時，樣本以外變量的關系不清楚。當樣本外變量的關系與樣本內變量的關系完全不同時，在樣本外預測就會發(fā)生錯誤。(12) 回歸模型的估計結果應與經(jīng)濟理論或常識相一致。(13) 殘差項應非自相關。否則說明 仍有重要解釋變量被遺漏在模型之外。 選用的