計(jì)量課件第三章-多元線性回歸模型

1第三章多元線性回歸模型一元線性回歸模型的推廣2

1、研究中國的GDP增長

a.影響GDP增長的因素有哪些（投資、消費(fèi)、出口、貨幣供應(yīng)量等）？

b.GDP與各種因素關(guān)系的性質(zhì)是什么？（增、減）

c.各影響因素與GDP的具體的數(shù)量關(guān)系？

d.所作數(shù)量分析結(jié)果的可靠性如何？

e.今后的發(fā)展趨勢怎么樣？32、中國股票價(jià)格的波動(dòng)●股票價(jià)格變動(dòng)的情況怎樣（股價(jià)指數(shù)）？●影響股票價(jià)格變動(dòng)的因素是什么（資金、政策、利率等）？●股價(jià)與各種因素的關(guān)系是什么（利空、利多）？●各種因素影響的具體數(shù)量規(guī)律是什么？●所得結(jié)果可不可靠？●今后的發(fā)展趨勢怎樣？43、中國家庭汽車的市場●汽車市場狀況如何（銷售量）？●影響汽車銷量的主要因素是什么（收入、價(jià)格、道路狀況等）？●各種因素對汽車銷量影響的性質(zhì)怎樣（正、負(fù)、無）？●各種因素影響汽車銷量的具體數(shù)量程度？●以上分析所得結(jié)論是否可靠●今后發(fā)展趨勢怎樣？5

很明顯，只用一個(gè)解釋變量已很難分析,還需要尋求有更多個(gè)解釋變量情況的回歸分析方法。

6多元線性回歸分析：研究因變量（被解釋變量）與兩個(gè)或兩個(gè)以上自變量（解釋變量）之間的回歸問題，稱為多元回歸分析。線性回歸自變量個(gè)數(shù)大于等于2多元線性回歸7第三章多元線性回歸模型第一節(jié)多元線性回歸模型概述第二節(jié)多元線性回歸模型的參數(shù)估計(jì)第三節(jié)多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)第四節(jié)非線性模型的線性化小結(jié)8一、多元線性模型

i=1,2,…,n

在這個(gè)模型中，Y由X1,X2,…XK所解釋，其中，“斜率”βj的含義是其它變量不變的情況下，Xj改變一個(gè)單位對因變量所產(chǎn)生的影響，也稱為偏回歸系數(shù)。第一節(jié)多元線性回歸模型及古典假定9二元線性回歸模型（總體）樣本回歸模型10與簡單線性回歸分析一樣，多元線性回歸分析要解決的主要問題仍是：根據(jù)觀測樣本估計(jì)模型中的各個(gè)參數(shù)；對估計(jì)的參數(shù)及回歸方程進(jìn)行統(tǒng)計(jì)檢驗(yàn)；利用回歸模型進(jìn)行預(yù)測和經(jīng)濟(jì)分析。11假定1：零均值假定假定2和假定3：同方差和無序列相關(guān)假定假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)假定5:無多重共線性假定(多元中)

假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測值之間線性無關(guān)。假定6：正態(tài)性假定up二、多元線性回歸模型的基本假定12第二節(jié)

多元線性回歸模型的參數(shù)估計(jì)本節(jié)基本內(nèi)容:

●普通最小二乘法（OLS）●OLS估計(jì)式的性質(zhì)●隨機(jī)誤差項(xiàng)方差的估計(jì)

思考題

up13一、普通最小二乘法（OLS）最小二乘原則剩余平方和最?。?/p>

求偏導(dǎo),令其為0:14151617P47【經(jīng)典實(shí)例】up18二、OLS估計(jì)式的性質(zhì)

OLS估計(jì)式仍具有

1.線性性:2.無偏性:3.

最小方差性結(jié)論：在古典假定下，多元線性回歸的OLS估計(jì)式是最佳線性無偏估計(jì)式

up19

三、隨機(jī)誤差項(xiàng)方差的估計(jì)

多元回歸中的無偏估計(jì)為：

T分布變換為變換：

up20P58練習(xí)題3

建立高新技術(shù)企業(yè)銷售額的計(jì)量經(jīng)濟(jì)模型：2122

（23.1525）（11.3088）（0.8191）t=(4.6783)(4.7781)(-3.6378)

23

思考一元線性回歸模型與多元線性回歸模型的基本假定是否相同？24

已知含有截距項(xiàng)的三元線性回歸模型估計(jì)的殘差平方和，樣本容量為n=24，則隨機(jī)誤差項(xiàng)的方差估計(jì)量為()。A.33.33B.40C.38.09D.36.36

up25第三節(jié)

多元線性回歸模型的檢驗(yàn)本節(jié)基本內(nèi)容:

●擬合優(yōu)度檢驗(yàn)●回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）●變量的顯著性檢驗(yàn)（t檢驗(yàn)）up26

對于雙變量線性模型

其中，=殘差平方和我們有第一節(jié)擬合優(yōu)度一、多重可決系數(shù)R227對于多元線性模型我們可用同樣的方法定義，稱為多重可決系數(shù)：對于多元線性模型28

殘差平方和的一個(gè)特點(diǎn)是，每當(dāng)模型增加一個(gè)解釋變量，并用改變后的模型重新進(jìn)行估計(jì)，殘差平方和的值會(huì)減小。由此可以推論，擬合優(yōu)度是一個(gè)與解釋變量的個(gè)數(shù)有關(guān)的量：

解釋變量個(gè)數(shù)增加

減小

R2

增大也就是說，人們總是可以通過增加模型中解釋變量的方法來增大R2

的值。因此，用R2

來作為擬合優(yōu)度的測度，不是十分令人滿意的。為此，我們定義修正可決系數(shù)

29

二、

修正的可決系數(shù)

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。K為解釋變量個(gè)數(shù)。30如果模型增加一個(gè)沒有解釋能力的解釋變量，模型的殘差平方和RSS不會(huì)有多大的減小，卻使模型待估參數(shù)的個(gè)數(shù)增加，此時(shí)修正的可決系數(shù)不會(huì)增加，反而減小了。而只有當(dāng)模型引入有解釋能力的解釋變量時(shí)，修正的可決系數(shù)才會(huì)增加。31

變差來源平方和自由度歸于回歸模型歸于剩余總變差方差分析表32

可決系數(shù)必定非負(fù)，但修正的可決系數(shù)可能為負(fù)值，這時(shí)規(guī)定

此外：

<三與可決系數(shù)的關(guān)系：33P47經(jīng)典實(shí)例表3-1地產(chǎn)評估房產(chǎn)評估地產(chǎn)評估房產(chǎn)評估房地產(chǎn)編號銷售價(jià)格Y（元/m2）（萬元）（萬元）159008103912247509002935340507304012440008003168597002000585164550800234574090800208986890596449794850900278010555095031441162001000395912116501800728313450085027321438008002986158300

2300477534回歸結(jié)果VariableCoefficientStd.Errort-StatisticProb.C-32.27321569.4897-0.0566700.9557X11.3223620.5382232.4569050.0302X21.2052610.1990816.0541260.0001R-squared0.912514Meandependentvar5918.667AdjustedR-squared0.897932S.D.dependentvar2320.344S.E.ofregression741.3040Akaikeinfocriterion16.23156Sumsquaredresid6594379.Schwarzcriterion16.37317Loglikelihood-118.7367F-statistic62.58202Durbin-Watsonstat1.038164Prob(F-statistic)0.00000035求修正的可決系數(shù)36例.設(shè)n=20,k=3,R2=0.70求解：

下面改變n的值，看一看的值如何變化。我們有若n=10，則=0.55

若n=5，則=-0.2037思考多大才算通過擬合優(yōu)度檢驗(yàn)？up38

在多元回歸中有多個(gè)解釋變量，需要說明所有解釋變量聯(lián)合起來對應(yīng)變量影響的總顯著性,或整個(gè)方程總的聯(lián)合顯著性。對回歸方程總顯著性檢驗(yàn)需要在方差分析的基礎(chǔ)上進(jìn)行F檢驗(yàn)。39二、回歸方程的顯著性檢驗(yàn)(F檢驗(yàn))

方程的顯著性檢驗(yàn)，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。

1、回歸方程顯著性的F檢驗(yàn)

即檢驗(yàn)?zāi)Ｐ?/p>

Yi=

0+1X1i+2X2i++kXki+uii=1,2,,n中的參數(shù)j是否顯著不為0。

可提出如下原假設(shè)與備擇假設(shè)：

H0：

1==k=0H1：

j不全為040

F檢驗(yàn)的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個(gè)比值較大，則X的聯(lián)合體對Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此,可通過該比值的大小對總體線性關(guān)系進(jìn)行推斷。41

根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的知識(shí)，在原假設(shè)H0成立的條件下，統(tǒng)計(jì)量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平

，可得到臨界值F

(k,n-k-1)，由樣本求出統(tǒng)計(jì)量F的數(shù)值，通過

F

F

(k,n-k-1)或F

F

(k,n-k-1)來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。

42

F

(k,n-k-1)

F檢驗(yàn)示意圖up43P53【相關(guān)鏈接】根據(jù)表3-1，可計(jì)算出：TSS=75375973ESS=68781594RSS=6594379給定一個(gè)顯著性水平=0.05，查分布表，得到一個(gè)臨界值3.89。顯然有F=62.5820＞3.89，所以拒絕原假設(shè)，可以認(rèn)為地產(chǎn)評估價(jià)值和房產(chǎn)評估價(jià)值對房屋銷售價(jià)格的共同影響是顯著的。44P57練習(xí)：課后習(xí)題三、計(jì)算分析題1452、關(guān)于擬合優(yōu)度檢驗(yàn)與方程顯著性檢驗(yàn)關(guān)系的討論

由可推出：與或F和R2同方向變化：當(dāng)R2=0時(shí)，F(xiàn)=0

R2越大時(shí)，F(xiàn)值也就越大R2=1時(shí)，F(xiàn)為無窮大46

因此，F(xiàn)檢驗(yàn)時(shí)所估計(jì)回歸的總顯著性的一個(gè)度量，也是R2的一個(gè)顯著性檢驗(yàn)。也就是檢驗(yàn)H0：

1=2==k=0等價(jià)于:R2=0回答了前面的問題：

R2多大才能通過擬合優(yōu)度檢驗(yàn)up47根據(jù)某國19年進(jìn)口貿(mào)易總額Yt（單位億元）與個(gè)人消費(fèi)支出X2、進(jìn)口價(jià)格/國內(nèi)價(jià)格X3的數(shù)據(jù)，得到下面的回歸結(jié)果：Yt=-58.9+0.2X2-0.1X3SE(0.0092)(0.0840)=0.96，=0.95其中SE為參數(shù)估計(jì)量的標(biāo)準(zhǔn)差。（1）解釋X2和X3系數(shù)的意義；（2）Y的總離差中被回歸方程解釋的部分所占比重，未被回歸方程解釋的部分所占的比重；（3）對回歸方程進(jìn)行整體顯著性檢驗(yàn)（4）對各參數(shù)進(jìn)行顯著性檢驗(yàn)，并解釋檢驗(yàn)結(jié)果。48一、偏回歸系數(shù)的顯著性檢驗(yàn)檢驗(yàn)假設(shè)步驟:1.原假設(shè):2.給出檢驗(yàn)統(tǒng)計(jì)量;3.根據(jù)數(shù)據(jù)計(jì)算統(tǒng)計(jì)量值和根據(jù)表查理論值;4.比較理論值與實(shí)際值,做出結(jié)論

三、變量的顯著性檢驗(yàn)(t檢驗(yàn))

49P54【相關(guān)鏈接】VariableCoefficientStd.Errort-StatisticProb.C-32.27321569.4897-0.0566700.9557X11.3223620.5382232.4569050.0302X21.2052610.1990816.0541260.0001R-squared0.912514Meandependentvar5918.667AdjustedR-squared0.897932S.D.dependentvar2320.344S.E.ofregression741.3040Akaikeinfocriterion16.23156Sumsquaredresid6594379.Schwarzcriterion16.37317Loglikelihood-118.7367F-statistic62.58202Durbin-Watsonstat1.038164Prob(F-statistic)0.00000050對各個(gè)回歸參數(shù)作假設(shè)檢驗(yàn)提出假設(shè)H0：

1=0H1：

1不等于0構(gòu)造t統(tǒng)計(jì)量T=2.4569>t0.025(12)=2.179拒絕原假設(shè)，說明

1不等于0同理2不等于051注意:在一元回歸中F檢驗(yàn)與t檢驗(yàn)等價(jià),

一元中：F檢驗(yàn)：H0：

1=0

t檢驗(yàn)：H0：

1=0但在多元回歸中F檢驗(yàn)與t檢驗(yàn)作用不同。521、將某公司的廣告費(fèi)用(X)與銷售額(Y)的建立起一元線性回歸模型，計(jì)算的相關(guān)指標(biāo)見表：變差平方和數(shù)值自由度回歸平方和ESS（）（）殘差平方和RSS1540（）總體平方和TSS6604219請回答以下問題：(1)樣本個(gè)數(shù)是多少？(2)求ESS？(3)ESS和RSS的自由度分別是多少？(4)求可決系數(shù)，并說明代表的含義(5)檢驗(yàn)假設(shè)：X對Y無影響，你用什么假設(shè)檢驗(yàn)？在＝0.05的顯著性水平下，請檢驗(yàn)。(6)估計(jì)隨機(jī)誤差項(xiàng)的方差？53練習(xí)P57練習(xí)：課后習(xí)題三、計(jì)算分析題254補(bǔ)充習(xí)題55完成以下問題：1．寫出需求量對消費(fèi)者平均收入、商品價(jià)格的線性回歸估計(jì)方程。2．解釋偏回歸系數(shù)的經(jīng)濟(jì)含義。3．對該模型做經(jīng)濟(jì)意義檢驗(yàn)。4．估計(jì)調(diào)整的可決系數(shù)。5．在95%的置信度下對方程整體顯著性進(jìn)行檢驗(yàn)。6．在95%的置信度下檢驗(yàn)偏回歸系數(shù)(斜率)的顯著