多元線性回歸模型

1、第四章 多元線性回歸模型在一元線性回歸模型中，解釋變量只有一個(gè)。但在實(shí)際問(wèn)題中，影響因變量的變量可能不止一個(gè)，比如根據(jù)經(jīng)濟(jì)學(xué)理論，人們對(duì)某種商品的需求不僅受該商品市場(chǎng)價(jià)格的影響，而且受其它商品價(jià)格以及人們可支配收入水平的制約；影響勞動(dòng)力勞動(dòng)供給意愿（用勞動(dòng)參與率度量）的因素不僅包括經(jīng)濟(jì)形勢(shì)（用失業(yè)率度量），而且包括勞動(dòng)實(shí)際工資；根據(jù)凱恩斯的流動(dòng)性偏好理論，影響人們貨幣需求的因素不僅包括人們的收入水平，而且包括利率水平等。當(dāng)解釋變量的個(gè)數(shù)由一個(gè)擴(kuò)展到兩個(gè)或兩個(gè)以上時(shí)，一元線性回歸模型就擴(kuò)展為多元線性回歸模型。本章在理論分析中以二元線性回歸模型為例進(jìn)行。一、預(yù)備知識(shí)（一）相關(guān)概念對(duì)于一個(gè)三變量總體

2、，若由基礎(chǔ)理論，變量和變量之間存在因果關(guān)系，或的變異可用來(lái)解釋的變異。為檢驗(yàn)變量和變量之間因果關(guān)系是否存在、度量變量對(duì)變量影響的強(qiáng)弱與顯著性、以及利用解釋變量去預(yù)測(cè)因變量，引入多元回歸分析這一工具。將給定條件下的均值 （4.1）定義為總體回歸函數(shù)（Population Regression Function,PRF）。定義為誤差項(xiàng)（error term）,記為，即，這樣，或 （4.2）（4.2）式稱為總體回歸模型或者隨機(jī)總體回歸函數(shù)。其中，稱為解釋變量（explanatory variable）或自變量（independent variable）；稱為被解釋變量（explained varia

3、ble）或因變量（dependent variable）；誤差項(xiàng)解釋了因變量的變動(dòng)中不能完全被自變量所解釋的部分。在總體回歸模型（4.2）中參數(shù)是未知的，是不可觀察的，統(tǒng)計(jì)計(jì)量分析的目標(biāo)之一就是估計(jì)模型的未知參數(shù)。給定一組隨機(jī)樣本，對(duì)（4.1）式進(jìn)行估計(jì)，若的估計(jì)量分別記為，則定義（4.3）式為樣本回歸函數(shù) （） （4.3）注意，樣本回歸函數(shù)隨著樣本的不同而不同，也就是說(shuō)是隨機(jī)變量，它們的隨機(jī)性是由于的隨機(jī)性（同一組可能對(duì)應(yīng)不同的）、各自的變異、以及之間的相關(guān)性共同引起的。定義為殘差項(xiàng)（residual term）,記為，即，這樣，或 （） （4.4）（4.4）式稱為樣本回歸模型或者隨機(jī)樣本回

4、歸函數(shù)。樣本回歸模型中殘差項(xiàng)可視為總體回歸模型中誤差項(xiàng)的估計(jì)量。（二）多元線性回歸模型的矩陣表示多元線性回歸模型的參數(shù)估計(jì)比一元線性回歸模型要復(fù)雜得多，為了便于計(jì)算和分析，便于將結(jié)果由三變量總體推廣到一般的多變量總體，引入矩陣這一工具簡(jiǎn)化計(jì)算和分析。設(shè)是取自總體的一組隨機(jī)樣本。在該組樣本下，總體回歸模型（4.2）式可以寫成方程組的形式 利用矩陣運(yùn)算，可表示為 （4.5）記，,則在該組樣本下，總體回歸模型的矩陣表示為 （4.6）記,則樣本回歸模型的矩陣表示為 （4.7）（三）模型假定假定1 回歸模型是參數(shù)線性的，并且是設(shè)定正確的。假定2 隨機(jī)誤差項(xiàng)與解釋變量不相關(guān)。即，。如果解釋變量是非隨機(jī)的，

5、則該假設(shè)自動(dòng)滿足。假定3 零均值假定。即，假定4 同方差假定。即，假定5 無(wú)自相關(guān)假定。即兩個(gè)誤差項(xiàng)之間不相關(guān) ，假定6 解釋變量與之間不存在完全共線性，即兩個(gè)解釋變量之間無(wú)確切的的線性關(guān)系。假定7 正態(tài)性假定。即，（四）參數(shù)估計(jì)與估計(jì)量的分布系數(shù)向量的OLS估計(jì)為 （4.8）其中，為的轉(zhuǎn)置矩陣。在隨機(jī)誤差項(xiàng)服從正態(tài)分布的假定下，系數(shù)向量的估計(jì)量也服從正態(tài)分布，即 （4.9）記的第j個(gè)主對(duì)角元素為，則 （4.10）有了系數(shù)估計(jì)量的分布，就可以對(duì)總體參數(shù)做假設(shè)檢驗(yàn)。與雙變量總體相同，總體誤差是不可觀察的，因而其方差是未知的。若用的無(wú)偏估計(jì)量代替，則OLS估計(jì)量服從自由度為的t分布，而不是正態(tài)分布

6、，即 （4.11）其中，。（五）預(yù)測(cè)原理回歸分析的目的之一是利用回歸模型預(yù)測(cè)因變量。假設(shè)三變量總體的回歸模型為（4.2），即 （4.2）在一組隨機(jī)樣本下，利用OLS求得樣本回歸函數(shù)為（4.3） （） （4.3）給定樣本外一點(diǎn)，則因變量的點(diǎn)預(yù)測(cè)為 （4.12）點(diǎn)預(yù)測(cè)的標(biāo)準(zhǔn)誤為 （4.13）因變量的置信度為的區(qū)間預(yù)測(cè)為 , （4.14）二、案例案例1 Woody餐館的選址分析Woody餐館是一家價(jià)位適中、24小時(shí)營(yíng)業(yè)的家庭連鎖店，公司邀請(qǐng)你決策下一家連鎖店的選址問(wèn)題。你決定建立一個(gè)回歸模型來(lái)解釋每一家連鎖餐館的毛銷售額Y（the gross sales volume）,通過(guò)文獻(xiàn)的閱讀，你認(rèn)為以下變

7、量對(duì)毛銷售額的影響較大，N =競(jìng)爭(zhēng)變量：餐館位置半徑2里以內(nèi)市場(chǎng)直接競(jìng)爭(zhēng)者的數(shù)量；P=人口： 餐館位置半徑3里以內(nèi)人口的數(shù)量；I=收入： 餐館位置半徑3里以內(nèi)家庭平均收入。并且通過(guò)調(diào)研，你獲得了33家Woody餐館連鎖店的數(shù)據(jù)。案例2 經(jīng)濟(jì)形勢(shì)和實(shí)際工資對(duì)人們工作意愿的影響在第三章，我們根據(jù)勞動(dòng)經(jīng)濟(jì)學(xué)理論，分析了經(jīng)濟(jì)形勢(shì)對(duì)人們工作意愿的影響存在兩種效應(yīng)：受挫工人效應(yīng)和增加工人效應(yīng)；并且利用1980-2002年的數(shù)據(jù)實(shí)證了受挫工人效應(yīng)占主導(dǎo)地位。但根據(jù)勞動(dòng)經(jīng)濟(jì)學(xué)理論，影響人們工作意愿的因素，除了經(jīng)濟(jì)形勢(shì)以外，還有實(shí)際的工資水平。從理論上說(shuō)，實(shí)際工資增加對(duì)勞動(dòng)供給具有兩種效應(yīng)：替代效應(yīng)與收入效應(yīng)。

8、替代效應(yīng)趨于使勞動(dòng)供給增加，而收入效應(yīng)則趨于使勞動(dòng)供給降低，兩種效應(yīng)的相對(duì)影響取決于家庭的偏好（參考文獻(xiàn)4，p49）。本案例考察實(shí)際工資對(duì)人們工作意愿是否有影響，以及在有影響的情況下，那種效應(yīng)占優(yōu)。數(shù)據(jù)見表3.1。三、實(shí)驗(yàn)?zāi)康陌咐? Woody餐館的選址分析1、繪制Y對(duì)N、P、I的散點(diǎn)圖，并在散點(diǎn)圖中附加回歸線。2、建立Y對(duì)N、P、I的線性回歸模型，并定性分析解釋變量N、P、I對(duì)Y的影響。3、利用樣本數(shù)據(jù)及OLS法對(duì)回歸模型進(jìn)行估計(jì)，并報(bào)告回歸結(jié)果。4、觀察回歸系數(shù)的顯著性和方程的顯著性，并解釋回歸系數(shù)的含義。案例2 經(jīng)濟(jì)形勢(shì)和實(shí)際工資對(duì)人們工作意愿的影響1、繪制clfpr對(duì)ahe82的散點(diǎn)圖

9、，并附回歸線，觀察城市勞動(dòng)參與率與實(shí)際工資之間的線性關(guān)系。2、建立clfpr對(duì)ahe82的一元線性回歸模型，利用1980-2002年的數(shù)據(jù)估計(jì)模型，并觀察回歸系數(shù)的顯著性和方程的顯著性。3、同時(shí)考慮經(jīng)濟(jì)形勢(shì)與實(shí)際工資對(duì)人們工作意愿的影響，建立二元線性回歸模型，利用1980-2002年的數(shù)據(jù)估計(jì)模型，觀察回歸系數(shù)的顯著性和方程的顯著性，并解釋回歸系數(shù)的經(jīng)濟(jì)含義。4、對(duì)上面（2）與（3）中估計(jì)結(jié)果的差別進(jìn)行解釋。5、模型的選擇問(wèn)題，在以下三個(gè)模型之間，哪個(gè)模型更好呢？ （） （） （）四、實(shí)驗(yàn)原理五、實(shí)驗(yàn)步驟案例1 Woody餐館的選址分析圖4-1 Y對(duì)N、P、I的散點(diǎn)圖1、打開Eviews工作文

10、件Woody.wfl，按住Ctrl鍵，點(diǎn)擊工作文件目錄中的序列Y、N、P、I圖標(biāo)，點(diǎn)擊鼠標(biāo)右鍵，點(diǎn)擊Open/as Group，出現(xiàn)包含序列Y、N、P、I的組對(duì)象窗口。點(diǎn)擊組對(duì)象窗口工具欄的View按鈕，選擇Graph，在Specifi選項(xiàng)中選擇Scatter，在Fit lines中選擇Regression Line，在Multiple中選擇Multiple graphs-First vs.All,設(shè)定完畢后點(diǎn)擊確定按鈕，則出現(xiàn)Y對(duì)N、P、I的三張散點(diǎn)圖，點(diǎn)擊鼠標(biāo)右鍵，選擇Copy，將散點(diǎn)圖復(fù)制到Word文檔中，如圖4-1所示。2、Y對(duì)N、P、I的線性回歸模型為 （4.15）一般來(lái)說(shuō)，人口越多

11、，餐館的毛銷售額越大；人們的收入水平越高，餐館的毛銷售額越大；競(jìng)爭(zhēng)者的數(shù)量越多，餐館的毛銷售額越低。即P和I對(duì)Y有正的影響，N對(duì)Y有負(fù)的影響，從而的預(yù)期符號(hào)為正，的預(yù)期符號(hào)為負(fù)。圖4-1散點(diǎn)圖中回歸線的斜率與理論的預(yù)期是一致的。3、在文件窗口點(diǎn)擊object/new object,在出現(xiàn)的對(duì)象類型中選擇equation,在對(duì)象名中填寫eq1,點(diǎn)擊OK，出現(xiàn)對(duì)話框圖4.2圖4.2 回歸方程的設(shè)定在估計(jì)方法中選擇最小二乘法，樣本范圍填寫1到30。設(shè)定完畢后點(diǎn)擊確定。出現(xiàn)圖4.3圖4.3 方程估計(jì)的輸出根據(jù)圖4.3，報(bào)告估計(jì)結(jié)果如下Y = 102192.4 - 9074.67*N + 0.35*P

12、+ 1.29*I （2052.67） （0.073） （0.54） t= -4.42 4.87 2.37 =0.584、從估計(jì)輸出結(jié)果可知，回歸系數(shù)的符號(hào)方向（正、負(fù)）和大小均與理論分析一致，t統(tǒng)計(jì)量的值顯示也在0.05的顯著性水平下顯著（這一點(diǎn)也可以從邊際概率值觀察到），F(xiàn)統(tǒng)計(jì)量的值為15.64（相應(yīng)的概率值為0.000003），表明三個(gè)解釋變量對(duì)被解釋變量聯(lián)合顯著。多元回歸系數(shù)的含義為，當(dāng)其他變量（控制變量）不變時(shí)，該變量對(duì)因變量的邊際影響。對(duì)于本例各系數(shù)的含義為，收入增加一個(gè)單位會(huì)使餐館的銷售收入增加1.29個(gè)單位；人口增加一個(gè)單位會(huì)使餐館的銷售收入增加0.35個(gè)單位；競(jìng)爭(zhēng)者的數(shù)量增加一

13、個(gè)單位將使餐館的銷售數(shù)量減少9074.67個(gè)單位。案例2 經(jīng)濟(jì)形勢(shì)和實(shí)際工資對(duì)人們工作意愿的影響在以下操作中，假設(shè)包含clfpr、 ahe82和cunr三個(gè)序列的Eviews工作文件clfpr.wfl已經(jīng)存在。1、打開Eviews工作文件clfpr.wfl，建立包括序列ahe82和clfpr的組對(duì)象，點(diǎn)擊組對(duì)象窗口工具欄的View按鈕，選擇Graph，在Specifi選項(xiàng)中選擇Scatter，在Fit lines中選擇Regression Line，設(shè)定完畢后點(diǎn)擊確定按鈕，出現(xiàn)圖4.4。圖4.4 clfpr對(duì)ahe82的散點(diǎn)圖由散點(diǎn)圖可見，clfpr與ahe82之間存在非常弱的線性關(guān)系，回歸線

14、斜率為負(fù)，且接近于水平線。2、建立一元線性回歸模型如下： （4.16）用1980-2002年的數(shù)據(jù)估計(jì)上述模型，估計(jì)結(jié)果如圖4.5所示圖4.5 clfpr對(duì)ahe82回歸的估計(jì)結(jié)果從圖4.5的t統(tǒng)計(jì)量和概率值均可知，實(shí)際工資對(duì)勞動(dòng)參與率沒有顯著影響，擬合優(yōu)度（0.024118）很低，調(diào)整的擬合優(yōu)度更是為負(fù)值，F(xiàn)統(tǒng)計(jì)量和概率值也顯示方程常數(shù)項(xiàng)和解釋變量（ahe82）對(duì)因變量（clfpr）的聯(lián)合影響不顯著?；貧w的結(jié)果與理論分析相悖。3、同時(shí)考慮經(jīng)濟(jì)形勢(shì)與實(shí)際工資對(duì)人們工作意愿的影響，建立二元線性回歸模型如下 （4.17）利用1980-2002年的數(shù)據(jù)估計(jì)模型，估計(jì)結(jié)果如圖4.6所示圖4.6 clf

15、pr對(duì)ahe82和cunr回歸的估計(jì)結(jié)果由圖4.6中間部分的t統(tǒng)計(jì)量和概率值可知，解釋變量ahe82和cunr均在0.05的水平上對(duì)clfpr有顯著影響；調(diào)整的擬合優(yōu)度為0.750205，擬合度較高；F統(tǒng)計(jì)量的值為34.03611，相應(yīng)的概率值為0.000000，表明ahe82和cunr對(duì)clfpr的聯(lián)合影響顯著。解釋變量ahe82和cunr的回歸系數(shù)分別為-1.41和-0.67，它們的經(jīng)濟(jì)含義為，在cunr保持不變的條件下，實(shí)際小時(shí)工資增加1美元，勞動(dòng)參與率降低1.41個(gè)百分點(diǎn)，表明實(shí)際工資對(duì)勞動(dòng)供給影響的收入效應(yīng)占優(yōu)，即收入效應(yīng)大于替代效應(yīng)；在ahe82保持不變的條件下，失業(yè)率上升1個(gè)百分

16、點(diǎn)，勞動(dòng)參與率降低0.67個(gè)百分點(diǎn)，表明在剔除了實(shí)際工資對(duì)勞動(dòng)供給的影響之后，失業(yè)率對(duì)勞動(dòng)供給的影響依然是受挫效應(yīng)占優(yōu)。4、在（2）的一元回歸模型中，估計(jì)的結(jié)果表明，ahe82對(duì)勞動(dòng)參與率沒有顯著的影響，但在引入的解釋變量cunr后，即在（3）中的二元回歸模型中，ahe82對(duì)勞動(dòng)參與率的影響在0.05的水平下卻是顯著的，為什么會(huì)出現(xiàn)這種差別呢？為了解釋一元回歸估計(jì)結(jié)果與多元回歸結(jié)果的差別，現(xiàn)來(lái)觀察clfpr、ahe82與cunr的相關(guān)系數(shù)矩陣(顯示組對(duì)象相關(guān)系數(shù)矩陣的Eviews操作見第二章)，如圖4.7所示。圖4.7 clfpr、ahe82與cunr的相關(guān)系數(shù)矩陣由圖4.7可知，cunr和ahe82與clfpr的相關(guān)系數(shù)分別為-0.155299和-0.843967，均為負(fù)相關(guān)。在（2）中的一元回歸模型中，ahe82的回歸系數(shù)-0.884518中包含了cunr通過(guò)ahe82對(duì)clfpr的間接影響，這種間接的影響是正方向的，使得ahe82對(duì)clfpr的影響被高估；而在（3）中的多元回歸模型中，因?yàn)樘蕹诉@種正方向的間接影響，使得ahe82對(duì)clfpr的直接影響增加為-1.41，并且影響由不顯著到顯著。另外，也可注意到在（3）中的多元回歸模型中，cunr的回歸系數(shù)-0.671631與clfpr對(duì)cunr的一元回歸系數(shù)（見第三章案例1）-