5--第三章多重回歸.doc

第三部 線性分析第三章 多重回歸第三章 多重回歸 1 多重回歸模型和主要結果2 多重共線性 multicolllinearity3. 要因分解4. 虛擬變量 (dummy variable) 5. 回歸與相關，相關與因果6. 因果檢驗7練習題1多重回歸模型和主要結果1-1 多重回歸模型 說明變量兩個或兩個以上的回歸模型叫多重回歸模型。 可表示為： 被說明變量的變動想用k個說明變量來解釋，所以我們有時也把上面的模型叫做向說明變量所作的線性回歸。 為簡單起見，本章我們所研究的多重回歸指的是 ，很容易把兩個結論拓展到其他三個說明變量或三個以上說明變量的情況。計量經(jīng)濟學的三項主要工作：（1） 求出參數(shù)的無偏估計；（2） 對估計量進行統(tǒng)計檢驗；（3） 進行預測注意事項：中的稱為偏相關系數(shù)。意義是，度量了在不變的情況下，每變化一個單位，被說明變量Y的期望值E(Y)的變化量。同理，度量了在不變的情況下，每變化一個單位，被說明變量Y的期望值E(Y)的變化量。這是多元回歸特殊的地方。在多元回歸里，我們想知道Y的期望值的變化有多少是直接受的影響，有多少是直接受的影響。偏相關系數(shù)反映的是當模型中的一個在固定說明變量的情況下，另一個說明變量對被說明變量期望值的影響。多元回歸這種獨特的性質，不僅可以使我們引入多個說明變量，而且也可以使我們能夠分離每一個變量對被說明變量的影響。偏相關和偏相關系數(shù) 檢驗兩個變量之間是否存在相關，或者存在偽相關需要專業(yè)知識。簡單的，我們可以使用偏相關系數(shù)來判斷。對于變量，我們假設 固定的情況下，和之間的相關關系； 固定的情況下，和之間的相關關系；在固定的情況下，和之間的相關關系。與不同，考慮了變量對變量Y和的影響。雖然，對Y都有影響，但是我們想知道的是在固定的情況下，對Y的影響?？梢酝ㄟ^以下的方法得到。1） 求出說明變量對被說明變量Y的變化解釋不了的那個部分，；2） 求出說明變量對被說明變量 的變化解釋不了的那個部分，；3） 計算偏相關系數(shù)，就是中的相關系數(shù)， 用行列表示多重回歸 其中， ， ， 。 預測方程為 ： 模型的假設（1） ； - ； ；（4） ；（5） 之間無明確的線性關系； - ；（6） - 。假設（5）的說明： 情況1 if ，then would be equal to , ； 情況2 如果，那么和對被說明變量Y的說明能力完全一樣（注意：它們都是矢量），因此可以簡化為 ； 情況3 如果與之間的夾角介于和之間的時候，回歸模型實際上是盡可能地用說明變量去解釋,用不能解釋的部分再嘗試用去解釋。參數(shù)的最小二乘估計 其中， 。簡化為， = 回歸平面：Y 1-2 主要結果(1) 的最小二乘估計量和方差 其中，； 其中，代表說明變量的相關系數(shù)。 上一章單變量回歸中，參數(shù)估計的方差是。 為了使的估計精度更高，我們一般盡可能地讓說明變量在較大范圍內(nèi)變動，達到使增大，進而達到使減少的目的。對于有兩個說明變量的多重回歸模型來說，同樣可以達到目的。減?。ㄕf明變量的相關系數(shù)），我們就可以增大，從而達到減小和的目的。當，說明變量線性無關的情況，多重回歸所得到的參數(shù)估計以及其方差與單變量回歸所得到的參數(shù)的估計值以及方差是完全一致的。盡可能地減少兩個說明變量的相關，就能達到提高參數(shù)估計的精度。（2）隨機誤差項方差的估計量 這里 假設 ，于是，。 于是，。其中， 的不偏估計 誤差項的方差是個未知的參數(shù)，它是由殘差來推定的。殘差有三個制約條件：， ， 。所以n個殘差要損失3個自由空間，即自由度為3。因此的不偏估計為 。參數(shù)估計量的性質：無偏性；最小方差 (3) 參數(shù)估計值的方差的不偏推定 (4) 多重決定系數(shù) （Multiple Coefficient of Determination） 在一元回歸模型中，用決定系數(shù)來判斷樣本回歸直線的擬合程度，也就是說，決定系數(shù)給出了說明變量X對被說明變量的說明程度或解釋程度。在多元回歸中，決定系數(shù)反映的是說明變量一起對被說明變量的解釋程度。 在雙變量多重回歸的情況下， 所以這時的決定系數(shù)為 叫多重相關系數(shù) (multiple correlation coefficient) 。用自由度修正過的決定系數(shù)（coefficient of determination adjusted for the degree of freedom）在計量分析中，我們總希望決定系數(shù)越大越好。但是決定系數(shù)的大小與說明變量的個數(shù)有關，說明變量的個數(shù)越多，決定系數(shù)也就越大，即決定系數(shù)是說明變量個數(shù)的遞增函數(shù)。 為了達到可比的目的，我們根據(jù)模型中說明變量的個數(shù)對決定系數(shù)進行修正，得到修整的決定系數(shù)（adjusted ）, ； 其中，k為說明變量的個數(shù)， 隨機變量的樣本方差的無偏估計； 被說明變量的樣本方差。修正的決定系數(shù)的性質：1） 時，有。隨著模型中的說明變量的增加，會越來越小于；2） 我們總有， 而卻不一定能夠保證， 。一般，統(tǒng)計軟件中都會給出。可以使我們對被說明變量相同，說明變量個數(shù)不同的回歸模型的擬合程度進行比較。 =， 如果，那么，說明是一個比較小的數(shù)。=與比較 意味著 如果 - 說明即使，也是按的大小判斷模型擬合的好壞。(5) 的特性和樣本分布 多重回歸所得到的 與單回歸得到的 具有同樣的性質。樣本分布：（6） 顯著性檢驗與置信區(qū)間顯著性檢驗： 在一定的顯著性水平下，從總體上對模型中被解釋變量與解釋變量之間的關系是否顯著成立而進行的一種統(tǒng)計檢驗。檢驗方法 ：F 檢驗法總體上把握顯著性的有無步驟1 建立原假設和備擇假設 步驟2 計算檢驗統(tǒng)計量 步驟3 查F分布表， 得到 ；步驟4 比較與的大小， 如果， 拒絕原假設，也就是意味著說明變量與被說明變量之間存在顯著的線性關系。單個參數(shù)顯著性檢驗：t檢驗。步驟1 建立原假設和備擇假設 步驟2 計算檢驗統(tǒng)計量 步驟3 查t分布表， 得到 ；步驟4 比較與的大小， 如果，或者 拒絕原假設，也就是這個說明變量與被說明變量之間存在顯著的線性關系。參數(shù)的置信區(qū)間由 ， 得到 。（7）預測點預測 區(qū)間預測：因為人們更希望得到一個以相當大的可能性包含被說明變量的真實值的區(qū)間。這個區(qū)間就是數(shù)理統(tǒng)計學的置信區(qū)間，我們稱之為預測區(qū)間。置信度為的預測區(qū)間： ；其中， ， - 歷史數(shù)據(jù)1-3 用Excel 進行多元回歸分析步驟1 計算偏差。具體，；步驟2 計算二次項。 具體， 。步驟3 計算D , , .步驟4 計算。 具體， ， 。例題： 2 多重共線性 multicolllinearity2-1 多重共線現(xiàn)象現(xiàn)象1 決定系數(shù)很高，t值卻很低；現(xiàn)象2 參數(shù)估計的符號與理論上的符號不一致 ;現(xiàn)象3 參數(shù)估計對樣本的依賴性太大。樣本的數(shù)量稍有所變化，會導致參數(shù)估計發(fā)生很大的變化。 在多重回歸，當說明變量之間的相關程度比較高的時候，參數(shù)估計的精度將大大降低。舉個例子來說明一下多重共線的現(xiàn)象：對模型 來說，如果說明變量完全相關的話，它們可用下面方程式來表示，。如果完全相關，即，我們知道 =0， 所以 這三個參數(shù)都將無法估計。進一步，我們把代入到雙變量多重回歸模型中，得到，雙變量的多重回歸實際上就變成了單變量的回歸。在新的單變量回歸模型中，我們只能估計和這兩個參數(shù)。雖然我們可以通過將第二個說明變量消去得到一個新的單變量的回歸模型，但是我們卻無法估計原來多重回歸模型中的參數(shù)。還有一種情況是完全不相關，即，這時，只要被說明變量分別對說明變量作回歸，然后分別估計相應的參數(shù)即可。其結果與單變量的回歸一樣。 更多的情況是說明變量之間具有相關性，但不是完全相關，即。 實際上，時間系列數(shù)據(jù)中經(jīng)常發(fā)生說明變量之間具有高度的相關性。2-2 后果 在多重回歸，當說明變量之間的相關程度比較高的時候，參數(shù)估計的精度將大大降低。2-3 多重共線的檢驗 方差擴大要因的VIF （Variance Inflation Factor） VIF的定義： 為什么VIF可以測量方差擴大的程度？ 前面提到的參數(shù)估計 當說明變量之間的相關性越強，VIF越大，參數(shù)估計的方差就越大。當VIF=1的時候，；當VIF=10的時候，；當VIF=20的時候，。大體上，我們認為的時候，就有多重共線的擔心。 因為存在多重共線，參數(shù)估計的精度變壞這一點，我們可以通過確認參數(shù)的信賴區(qū)間隨著VIF而變大得到證實。 的信賴區(qū)間是，信賴區(qū)間的大小是當說明變量之間無關時，VIF=1；當說明變量之間存在線性相關時，參數(shù)估計的信賴區(qū)間將擴大倍。2-4 解決辦法方法1. 什么也不做。 因為多重共線問題既不是理論模型建得不對，也不是誤差項的假設有誤，而是現(xiàn)實中的問題，所以如果我們估計的參數(shù)的大小，符號與經(jīng)濟理論不發(fā)生矛盾的話，如果相應的t統(tǒng)計量也時有意義的話，決定系數(shù)也時有意義的話，即使方差擴大要因VIF較大，也可以。這就是我們所謂的什么也不做。舉個例子說明一下如何看待這種方法。例如,方法2. 有沒有可以追加的情報。 例如，增加數(shù)據(jù)的數(shù)量，（延長數(shù)據(jù)采集的時期，把年次數(shù)據(jù)變?yōu)榘肽昶跀?shù)據(jù)，季度數(shù)據(jù)，月度數(shù)據(jù)，或每周的數(shù)據(jù)，或者每日的數(shù)據(jù)等等） 有時候隨著情報的豐富，多重共線現(xiàn)象可以得到回避。有時候用年報數(shù)據(jù)來估計理論模型時，各種估計可能不是很理想，這時我們?nèi)绻麚Q成季報數(shù)據(jù)或月報數(shù)據(jù)的話，隨著數(shù)據(jù)的增加，情報的豐富，有可能回避多重共線現(xiàn)象。 例如，方法3. 嘗試改變函數(shù)的形式。 例如，先做階差，或者比率后再進行多重回歸分析。方法4. 把VIF較大的說明變量從系統(tǒng)因素中去掉。方法5. 用Ridge進行估計。 出現(xiàn)多重共線現(xiàn)象時，最小二乘估計（OLS）已經(jīng)不再是最好的不偏線性估計量。這時，我們可以改用其它的估計方法進行推定估計。比如，Ridge Estimation(RE) 。有關RE的具體方法請參考 Draper,N. and Smith, Applied Regression Analysis (2nd ed. John Wiley & Sons,1981)2-5 案例3 要因分解4 虛擬變量 (dummy variable)4-1 需要對像性別，人種，戰(zhàn)爭的前后，地震，以及制度的變化等等不能量化的質的屬性進行回歸的時候，有必要使用代理變量。一般，在（1）數(shù)據(jù)中出現(xiàn)異常值；（2）觀察到的經(jīng)濟發(fā)生結構性變化；（3）需要對不能量化的質的變量進行回歸分析；的時候，我們用虛擬變量來處理。4-2 種類情況1. 一次性的虛擬變量 如想把因地震，臺風，洪水，干旱等自然災害，張戰(zhàn)爭，內(nèi)亂，罷工等突發(fā)事件而帶來的異常值(outlier)也考慮到模型中，這時我們一般采用一次性代理變量的方法處理。具體，對模型 其中，代表一次性的虛擬變量。當有可能出現(xiàn)兩個異常值的時候，我們可以其中，注意：在使用虛擬變量是，一定要有理由根據(jù)，單純的為了可以更好地描述數(shù)據(jù)的目的是絕對禁止使用虛擬變量的。案例：情況2. 季節(jié)虛擬變量如 其中，代表第一季度的虛擬變量，即如果是第一季度的數(shù)據(jù)的話，否則；代表第一季度的虛擬變量，即如果是第二季度的數(shù)據(jù)的話，否則；代表第一季度的虛擬變量，即如果是第三季度的數(shù)據(jù)的話，否則。第四季度是用來表示，所以四個季度的定數(shù)項分別為：第一季度： ； 第二季度： ；第三季度： ； 第四季度： 。用同樣的方法，我們也可以改變各個不同季度的斜率。注意：季度的時候，我們只需要使用三個虛擬變量即可；月報數(shù)據(jù)的時候，我們需要使用11個虛擬變量就可以。案例分析 ： 用于吃方面的消費（食品，飲料，香煙等）與國內(nèi)家庭消費支出總額之間關系的回歸分析。具體數(shù)據(jù)可以參考數(shù)據(jù)dummy-season-1.xls“dummy-season-1.xls”用于吃方面的消費與國內(nèi)家庭消費支出單位： 兆元編號年季度吃方面的消費國內(nèi)家庭消費支出11990110.153.5221154.43312.256.44413.360.651991110.254.7621155.47312.357.68413.262.491992110.556.510211.156.411312.358.312413.462.6131993110.456.714211.256.815312.258.916413.463.7171994110.458.2 作散點圖，看線性關系。方法1 用最小二乘法進行回歸分析Coefficients標準誤差t StatIntercept-8.342063.087959-2.70148國內(nèi)家庭消費支出0.345860.0533316.485126R Square0.737104Adjusted R Square0.719578 方法2 用虛擬變量最小二乘法進行回歸分析季度吃的消費國內(nèi)家庭消費支出110.153.510021154.4010312.256.4001413.360.6000110.254.710021155.4010312.357.6001413.262.4000110.556.5100211.156.4010312.358.3001413.462.6000110.456.7100211.256.8010312.258.9001413.463.7000110.458.2100結果Coefficientst StatIntercept9.6627269.247487國內(nèi)家庭消費支出0.0587613.507754D（1）-2.62864-21.6694D（2）-1.86365-14.8781D（3）-0.80911-8.38783 R Square0.996286Adjusted R Square0.995049 具體模型第一季度 ： ，第二季度 ： ，第三季度 ： ， 第四季度 ： 。預測情況 情況3. 質的虛擬變量的處理案例分析 ：月工資與性別，年代，學歷和企業(yè)規(guī)模大小的關系。 數(shù)據(jù)請參考數(shù)據(jù)dummy-2.xls“dummy-2.xls”工資水平與性別，年代，學歷和企業(yè)規(guī)模的關系編號工資額性別年代學歷企業(yè)規(guī)模125女40中學小226男30中學小328女40高中小430女40高中小531男30中學中632男30高中小734女30大學中836男30高中中939女30大學大1040男30高中中1143男30大學小1246男30大學中1352男40中學大1454女40大學大1555男40高中大性別年代學歷企業(yè)規(guī)模編號工資額D1D2D3D4D5D6125011010226101010328010110430010110531101001632100110734000001836100101939000000104010010111431000101246100001135211100014540100001555110100結果R Square0.983316Adjusted R Square0.970802Coefficients標準誤差t StatIntercept39.991531.52781726.1756D114.384761.23876111.61222D212.642521.5196078.319597D3-15.8731.466859-10.8211D4-10.79021.369502-7.87894D5-12.15241.326189-9.1634D6-6.608651.560523-4.2349 其中， ； ； ； ； ； 。情況4. 分析對象發(fā)生了結構性變化的時候 其中，案例分析 1973年石油危機以前和之后，能源需要量與實質GDP的關系。 數(shù)據(jù)參考數(shù)據(jù)dummy-3.xls“dummy-3.xls”能源需要量與實質GDP的關系編號年代能源需求量實質GDP119651001002196610610831967115117419681221235196912913261970136141719711411458197214315491973114150101974117156111975121161121976123169131977129174141978130177151979134183結果1）R Square0.98566Adjusted R Square0.98175 Coefficients標準誤差t StatIntercept15.949154.3023683.7