應(yīng)用回歸分析何曉群劉文卿課后習(xí)題答案

第二章一元線性回歸分析

思考與練習(xí)參考答案

一元線性回歸有哪些基本假定

答：假設(shè)1、解釋變量X是確定性變量，Y是隨機(jī)變量；

假設(shè)2、隨機(jī)誤差項(xiàng)e具有零均值、同方差和不序列相關(guān)性:

E(ei)=0i=l,2,???,/?

Var(￡i)=Ji=l,2,n

Cov(St,￡y)=0iWji,j=1,2,■-,n

假設(shè)3、隨機(jī)誤差項(xiàng)￡與解釋變量X之間不相關(guān)：

Cov(Xt,￡)=0i=l,2,…，n

假設(shè)4、￡服從零均值、同方差、零協(xié)方差的正態(tài)分布

￡(0,2)i=l,2,…，n

考慮過原點(diǎn)的線性回歸模型

Yi=B\X：+￡ii=l,2,…，n

誤差￡i(i=l,2,???,〃)仍滿足基本假定。求⑶的最小二乘估計(jì)

解

:。一力（匕—￡）2=力（匕/0）2

1=11=1

堂=一2次（匕-2占/,.=0

Opy/=1

力(玨)

A=-----

二1〃

得:七(X」)

證明（式），e,=0e遙=0o

證明：

其中：B=A+6X,

e^Y-Y,QQDQ

萌）羽

即：6j=0f巳％=0

回歸方程E（口=￡/￡/的參數(shù)￡”總的最小二乘估計(jì)與最大似然估計(jì)在什

么條件下等價(jià)給出證明。

答：由于一?為0,2）1=1,2,…,77

所以匕=￡。+￡$+￡i~NQB°+B\Xi,2）

最大似然函數(shù)：

1〃

〃人，回,〃）=口3力（匕）=（2叩2）“2€中_Z［匕-3。+//。,匕）］2}

2bi=i

nin

Ln（〃色血,/）}=一奉n（2叩2）-￡［匕一（萬。+四四,X,.）］2

22bi=i

使得Ln（L）最大的氐，總就是￡。，⑶的最大似然估計(jì)值。

同時(shí)發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小，

上式恰好就是最小二乘估計(jì)的目標(biāo)函數(shù)相同。值得注意的是：最大似然估

計(jì)是在￡」N（0,2）的假設(shè)下求得，最小二乘估計(jì)則不要求分布假設(shè)。

所以在2）的條件下，參數(shù)⑸”⑻的最小二乘估計(jì)與最大

似然估計(jì)等價(jià)。

證明A是員的無偏估計(jì)。

1〃〃V_V

證明：E(J3O)=E(Y-AX)=E[-￡r(-Yi)

"i—1i—lL'x

n-ty_y〃[y__v

=E[七(L-X-^)y,.]=E[X(--^+B\X,+4)1

MnLxxMnLxx

〃1Y_YaiV_Y

=E[￡°+S(--^-7X]=A+L(--^-7)E(e,.)=pn

i=l〃^xxi=l〃Lxx

證明

Var(樂)=d+-一-----)<T2=cr2(-+))

〃￡(x,.-x)2n%

證明:i=l

XX

l2

加&…喇一""匕］=居"—------)Var(/3()4-BiXj+J)]

4才

22

=±l(-)-2X^^+(X^^)匕2=[工+22

篙?〃LX工LxxnLxx

證明平方和分解公式：SST=SSE+SSR

證明:

2

SST=力(y,-y)2=X[(y,-y,)+(E—F)J

1=1

=￡(z-n+2力(匕-z)代-可+力(匕-z)丫

i=l/=1/=1

=力&-寸+為&-幻丫=SSR+SSE

i=li=l

驗(yàn)證三種檢驗(yàn)的關(guān)系，即驗(yàn)證:

⑴y年⑵*SSR/1」

22

71-rSSE/(n-2)a

證明：(1)

t_84^_3_廠,％//__Jn-2r_y/n-2r

‘一G一g——JSSEKL式n-2)「JSS氤n-2「{SSEISST.人一產(chǎn)

SSR=汽此一歹尸=之(尺+6%一歹尸=汽。+a(七一均一切2=汽(6(七_(dá)刃尸=

i=li=\i=li=\

.F=SSR/1J；L7

…SSE/(n-2)a2

2

驗(yàn)證()式：Var(ef)=(1--^^-^~~^—)a

nLxx

證明：

var@)=var(j,-j.)=var(y.)+var(y.)-2cov(j.,y.)

=var(y,)+var(3o+/向)-2cov(%,歹+￡(七一君)

…4丁一七+"立］

”2

〃L.

AA

x

Cov(y；,y+ftx(x,.-x))=Cov{y.,J)+Cov(j,.,A(,~^))

其中:=Cov(yJ力y,)+(巧-土)加(兄.,力坊~^R)

〃i=li=lLxx

22

12(X,--X)2Z1(X,.-X)2

=-oH---------<J=(—l---------)cr

nLxxnLxx

用第9題證明是2的無偏估計(jì)量

證明：

1n1n

EQ2)=；tE(?—2E(e；)

n-27Z7n-2TZi

1S1-J(玉一亍產(chǎn)

=------(n-2)cr2=(y~

n-2

驗(yàn)證決定系數(shù)與F值之間的關(guān)系式

/=二-

F+n-2

證明：

2_鄴_SSR_]

'-SST-SSR+SSE~1+SSE/SSR

1

-1+------------------------

SSR/(SSE/(〃-2))

1F

?*"-2F+/1-2

為了調(diào)查某廣告對銷售收入的影響，某商店記錄了5個(gè)月的銷售收入y（萬

元）和廣告費(fèi)用x（萬元），數(shù)據(jù)見表，要求用手工計(jì)算：

表

月份12345

X12345

Y1010202040

（1）畫散點(diǎn)圖（略）

（2）X與Y是否大致呈線性關(guān)系

答：從散點(diǎn)圖看，X與Y大致呈線性關(guān)系。

（3）用最小二乘法估計(jì)求出回歸方程。

計(jì)算表

A

22(x.-x)(y-n人-1

XY(X.-X)(匕_F);匕(%-y)2(D

1104100206(-14)2(-4)2

21011001013(-7)2(3)2

3200002000

420100277272

54044004034142(-6)2

和15100和Lxx=10Lyy=600和Lxy=70和100SSR=490SSE=110

均3均20均20

/V4——

A=—=7,^=y-AX=20-3x7="1.

匚一0

回歸:方程為:?=自+自X=-1+7X

(4)求回歸標(biāo)準(zhǔn)誤差

先求SSR(Qe)見計(jì)算表。

(5)發(fā)3。布\的置信度為95%的區(qū)間估計(jì)；

由于(卜)的置信度的置信區(qū)間是2+%XS.)

12Pi1-2Pi

查表可得ta/2(n-2)=小25⑶=3.182

所的95%的區(qū)間估計(jì)為：(*,-1+*),

即(，)。兒的置信區(qū)間包含0,表示尸0不顯著。

(6)計(jì)算x和y的決定系數(shù)

SSRSSR490A?！?/p>

R2=------=------=——=0.817

SSTLyy600

說明回歸方程的擬合優(yōu)度高。

(7)對回歸方程作方差分析

方差分析表

方差來源平方和自由度均方F值

SSR4901490

SSE1103

SST6004

F值=>(l,3)=(當(dāng)n/=l,n2=8時(shí)，a=查表得對應(yīng)的值為，所以拒絕原

假設(shè)，說明回歸方程顯著。

(8)做回歸系數(shù)"的顯著性檢驗(yàn)H0:3=0

t=8/Sg=7/1.915=3.656

t值=>2(3)=,所以拒絕原假設(shè)，說明x對Y有顯著的影響。

(8)做相關(guān)系數(shù)R的顯著性檢驗(yàn)

R=/R1==70.817=0.904

VSST

R值=乂3)=,所以接受原假設(shè)，說明x和Y有顯著的線性關(guān)系。

(9)對回歸方程作殘差圖并作相應(yīng)的分析

殘差圖（略）.從殘差圖上看出，殘差是圍繞e=0在一個(gè)固定的帶子里

隨機(jī)波動(dòng)，基本滿足模型的假設(shè)2）但由于樣本量太少，

所以誤差較大.

（10）求廣告費(fèi)用為萬元時(shí)，銷售收入將達(dá)到多少并給出置信度為95%的

置信區(qū)間.

解：當(dāng)X0=時(shí),

匕=A+/1X。=-1+7x4.2=28.4

所以廣告費(fèi)用為萬元時(shí)，銷售收入將達(dá)到萬元.

由于置信度為1-a時(shí)，Y。估計(jì)值的置信區(qū)間為：

r-11.44、

=J36.667(1H----1-------)

\510

所以求得Y。的95%的置信區(qū)間為：[,]

預(yù)測誤差較大.

一家保險(xiǎn)公司十分關(guān)心其總公司營業(yè)部加班的制度，決定認(rèn)真調(diào)查一下現(xiàn)狀。

經(jīng)過十周時(shí)間，收集了每周加班工作時(shí)間的數(shù)據(jù)和簽發(fā)的新保單數(shù)目，x為每

周新簽發(fā)的保單數(shù)目，y為每周加班工作時(shí)間（小時(shí)）。見表。

表2..7

周序號12345678910

X825215107055048092013503256701215

Y

1、畫散點(diǎn)圖

2、由散點(diǎn)圖可以看出，x與y之間大致呈線性關(guān)系。

3、用最小二乘法求出回歸系數(shù)

由表可知：P0=0.118^0.00359

回歸方程為：y-0.118+0.00359x

4、求回歸標(biāo)準(zhǔn)誤差6

由方差分析表可以得到:SSE=

故回歸標(biāo)準(zhǔn)誤差二=坐，

〃—2

5、給出回歸系數(shù)的置信度為95%的區(qū)間估計(jì)

由回歸系數(shù)顯著性檢驗(yàn)表可以看出，當(dāng)置信度為95%時(shí)：

九的預(yù)測區(qū)間為[,],4的預(yù)測區(qū)間為[,].

為的置信區(qū)間包含0,表示以。不拒絕為零的假設(shè)。

6、決定系數(shù)

由模型概要表得到?jīng)Q定系數(shù)為接近于1,說明模型的擬合優(yōu)度高。

7.對回歸方程作方差分析

由方差分析表可知：

F值=＞（當(dāng)n,=l,n2=8時(shí)，查表得對應(yīng)的值為

P值~0,所以拒絕原假設(shè)，說明回歸方程顯著。

8、對從的顯著性檢驗(yàn)

從上面回歸系數(shù)顯著性檢驗(yàn)表可以得到用的t統(tǒng)計(jì)量為t=,所對

應(yīng)的P值近似為0,通過t檢驗(yàn)。說明每周簽發(fā)的新保單數(shù)目x對每周

加班工作時(shí)間y有顯著的影響。

9.做相關(guān)系數(shù)顯著性檢驗(yàn)

相關(guān)系數(shù)達(dá)到，說明X與y顯著線性相關(guān)。

10、對回歸方程作殘差圖并作相應(yīng)分析

從殘差圖上看出，殘差是圍繞e=0隨即波動(dòng)，滿足模型的基本假設(shè)。

11、該公司預(yù)計(jì)下一周簽發(fā)新保單X0=1000張,需要的加班時(shí)間是多

少

當(dāng)xo=iooo張時(shí)，y=0.118+0.00359*1000-3.7032小時(shí)

12、給出Y。的置信水平為95%的預(yù)測區(qū)間

通過SPSS運(yùn)算得到Y(jié)。的置信水平為95%的預(yù)測區(qū)間為：

（,）O

13給出E（Y。）的置信水平為95%的預(yù)測區(qū)間

通過SPSS運(yùn)算得到Y(jié)。的置信水平為95%的預(yù)測區(qū)間為：（,）o

表是1985年美國50個(gè)州和哥倫比亞特區(qū)公立學(xué)校中教師的人均年工資y（美

元）和學(xué)生的人均經(jīng)費(fèi)投入x（美元）.

序號yX序號yX序號yX

11958333461820816305935195382642

22026331141918095296736204603124

32032535542020939328537214192752

42680045422122644391438251603429

52947046692224624451739224823947

62661048882327186434940209692509

73067857102433990502041272245440

82717055362523382359442258924042

92585341682620627282143226443402

102450035472722795336644246402829

112427431592821570292045223412297

122717036212922080298046256102932

133016837823022250373147260153705

142652542473120940285348257884123

152736039823221800253349291323608

162169035683322934272950414808349

172197431553418443230551258453766

解答：(1)繪制y對x的散點(diǎn)圖，可以用直線回歸描述兩者之間的關(guān)系嗎

由上圖可以看出y與x的散點(diǎn)分布大致呈直線趨勢。

(2)建立y對x的線性回歸。

利用SPSS進(jìn)行y和x的線性回歸，輸出結(jié)果如下：

表1模型概要

RR調(diào)整后的片隨機(jī)誤差項(xiàng)的標(biāo)準(zhǔn)差估計(jì)值

表2方差分析表

和

平

模型平方和自由度均F值P值

1回1.000d

歸

平

方

和

殘49

差

平

方

和

總50

平

方

和

表3系數(shù)表

非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)化系數(shù)

模型B標(biāo)準(zhǔn)差回歸系數(shù)t值P值

1常數(shù).000

對學(xué)生的人均經(jīng)費(fèi)投入.312.835.000

1）由表1可知，x與y決定系數(shù)為產(chǎn)=0.697,說明模型的擬合效果一般。

x與y線性相關(guān)系數(shù)R=,說明x與y有較顯著的線性關(guān)系。

2）由表2（方差分析表中）看到，F(xiàn)=,顯著性*0.000,說明回歸方程顯

著。

3）由表3可見對回的顯著性t檢驗(yàn)P值近似為零，故用顯著不為0,說

明x對y有顯著的線性影響。

4）綜上，模型通過檢驗(yàn)，可以用于預(yù)測和控制。

x與y的線性回歸方程為：

j=12112.629+3.314*x

（3）繪制標(biāo)準(zhǔn)殘差的直方圖和正態(tài)概率圖

圖1標(biāo)準(zhǔn)殘差的直方圖

圖2標(biāo)準(zhǔn)殘差的正態(tài)概率P-P圖

理論正

太珈:或

由圖1可見標(biāo)準(zhǔn)化后殘差近似服從正態(tài)分布，由圖2可見正態(tài)概率圖中的

各個(gè)散點(diǎn)都分布在45°線附近，所以沒有證據(jù)證明誤差項(xiàng)服從同方差的正態(tài)分

布的假定是不真實(shí)的，即殘差通過正態(tài)性檢驗(yàn)，滿足模型基本假設(shè)。

觀測值概率

第3章多元線性回歸

思考與練習(xí)參考答案

討論樣本容量n與自變量個(gè)數(shù)p的關(guān)系，它們對模型的參數(shù)估計(jì)有

何影響

答：在多元線性回歸模型中，樣本容量n與自變量個(gè)數(shù)p的關(guān)系

是：n?po如果n〈=p對模型的參數(shù)估計(jì)會帶來很嚴(yán)重的影響。因

為：

1.在多元線性回歸模型中，有P+1個(gè)待估參數(shù)B,所以樣本容量的

個(gè)數(shù)應(yīng)該大于解釋變量的個(gè)數(shù)，否則參數(shù)無法估計(jì)。

2.解釋變量X是確定性變量，要求m成（X）=p+1<〃，表明設(shè)計(jì)矩陣

X中的自變量列之間不相關(guān)，即矩陣X是一個(gè)滿秩矩陣。若

rank（X）<p+\,則解釋變量之間線性相關(guān)，（XX尸是奇異陣,則

夕的估計(jì)不穩(wěn)定。

證明a?=SSE/（〃_p哪誤差項(xiàng)的方差2的無偏估計(jì)。

證明：

<T2=-----SSE------------（e'e）-------------Ve；,

n-p-\n-p-\〃_p_］理

???E（Z婷）=Z0（4）=Z/（1-％）=〃Z（1-%）=/5-Z4）=〃（〃-p-l）

i=li=li=l/=!/=1

.??麗）=―「2象；）=/

n-p-li=i

一個(gè)回歸方程的復(fù)相關(guān)系數(shù)R=,樣本決定系數(shù)R2=,我們能判斷這

個(gè)回歸方程就很理想嗎

答：不能斷定這個(gè)回歸方程理想。因?yàn)椋?/p>

1.在樣本容量較少，變量個(gè)數(shù)較大時(shí)，決定系數(shù)的值容易接近1,

而此時(shí)可能F檢驗(yàn)或者關(guān)于回歸系數(shù)的t檢驗(yàn)，所建立的回歸方

程都沒能通過。

2.樣本決定系數(shù)和復(fù)相關(guān)系數(shù)接近于1只能說明Y與自變量

X1,X2,…,Xp整體上的線性關(guān)系成立，而不能判斷回歸方程和每

個(gè)自變量是顯著的，還需進(jìn)行F檢驗(yàn)和t檢驗(yàn)。

3.在應(yīng)用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增

加解釋變量必定使得自由度減少，使得片往往增大，因此增加

解釋變量（尤其是不顯著的解釋變量）個(gè)數(shù)引起的R2的增大與擬

合好壞無關(guān)。

驗(yàn)證

證明：多元線性回歸方程模型的一般形式為:

其經(jīng)驗(yàn)回歸方程式為5=A+ax+ax2++As,

乂氐=9一6%一32%2-一BpXp，

故$=5+方Qi_工）+A（七一吊）++后,（4一%），

中心化后，則有無一9=6&-%）+?（乙一元2）++Bp（Xp-*p），

左右同時(shí)除以"7=（y-歹了，

令LjjWg-#=12,"，/=L2,,p

/=1

y>-y.o（與一看）、，孤,o（如一元2）、,國.

兀一四飛7百色F~瓜

yy

樣本數(shù)據(jù)標(biāo)準(zhǔn)化的公式為

Xij.當(dāng)*_

Xij，j-=1,2,，"，j=12,p

w=RLyy

則上式可以記為

y*=Axxi\+Axxa++Pxxi

\JLyyy]yyP'?P

=AXX；+彳；XX；2++B*pX*p

則有

囪，P

A/yy

驗(yàn)證決定系數(shù)R2與F值之間的關(guān)系式:R2

F+(〃-p—1)/p

證明:

SSR/p

SSEZ(n-p-l)

FSSE

SSR=xp

n-p-\

FSSE

-----------xp

2_SSR_SSR_n-p-1_Fxp_F

~~SST~SSR+SSE~FSSE~Fxp+n—p-l~F^(n-p-l)/p

x〃十Okjxiz

n-p-1

研究貨運(yùn)總量y（萬噸）與工業(yè)總產(chǎn)值xl（億元）、農(nóng)業(yè)總產(chǎn)值

x2（億元）、居民非商品支出x3（億元）的關(guān)系。數(shù)據(jù)見表

（略）。

（1）計(jì)算出y,xl,x2,x3的相關(guān)系數(shù)矩陣。

SPSS輸出如下：

1.0000.5560.7310.724

0.5561.0000.1130.398

則相關(guān)系數(shù)矩陣為：”0.7310.1131.0000.547

0.7240.3980.5471.000

（2）求出y與xl,x2,x3的三元回歸方程。

對數(shù)據(jù)利用SPSS做線性回歸，得到回歸方程為

y=-348.38+3.754玉+7.101x2+l2.447x3

（3）對所求的方程作擬合優(yōu)度檢驗(yàn)。

由上表可知，調(diào)整后的決定系數(shù)為，說明回歸方程對樣本觀測值的

擬合程度較好。

(4)對回歸方程作顯著性檢驗(yàn)；

原假設(shè):H。邙\=%=&=。

F統(tǒng)計(jì)量服從自由度為(3,6)的F分布，給定顯著性水平查表

得居3(3.6)=4.76,由方查分析表得，F(xiàn)值，p值=,拒絕原假設(shè)兒，

由方差分析表可以得到尸=8.283/=0.015<0.05,說明在置信水平為

95%下，回歸方程顯著。

(5)對每一個(gè)回歸系數(shù)作顯著性檢驗(yàn)；

做t檢驗(yàn)：設(shè)原假設(shè)為，

統(tǒng)計(jì)量服從自由度為n-pT=6的t分布，給定顯著性水平，查得單

側(cè)檢驗(yàn)臨界值為，XI的t值=〈，處在否定域邊緣。

X2的t值=>。拒絕原假設(shè)。

由上表可得，在顯著性水平。=0?()5時(shí)-，只有它的P值〈，通過檢驗(yàn)，即

只有乙的回歸系數(shù)較為顯著；其余自變量的P值均大于，即xl,x2

的系數(shù)均不顯著。

(6)如果有的回歸系數(shù)沒有通過顯著性檢驗(yàn)，將其剔除，重新建立

回歸方程，并作回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)。

解：用后退法對數(shù)據(jù)重新做回歸分析，結(jié)果如下：

選擇模型二，重新建立的回歸方程為:

2-459.624+4.676%+8.971々

對新的回歸方程做顯著性檢驗(yàn)：

原假設(shè)：

F服從自由度為（2,7）的F分布，給定顯著性水平夕=,查表得，由

方差分析表得，F(xiàn)值=＞,p值=,拒絕原假設(shè)％.

認(rèn)為在顯著性水平=下，xl,x2整體上對y有顯著的線性影響，即

回歸方程是顯著的。

對每一個(gè)回歸系數(shù)做顯著性檢驗(yàn)：

做t檢驗(yàn)：設(shè)原假設(shè)為，統(tǒng)計(jì)量服從自由度為n-pT=7的t分

布，給定顯著性水平，查得單側(cè)檢驗(yàn)臨界值為，XI的1:值=＞，拒絕

原假設(shè)。故顯著不為零，自變量XI對因變量y的線性效果顯著；

同理B2也通過檢驗(yàn)。同時(shí)從回歸系數(shù)顯著性檢驗(yàn)表可知：X1,X2的

P值都小于，可認(rèn)為對xl,x2分別對y都有顯著的影響。

（7）求出每一個(gè)回歸系數(shù)的置信水平為955D置信區(qū)間

由回歸系數(shù)表可以看到，B1置信水平為95%的置信區(qū)間[,],

B2置信水平為95%的置信區(qū)間[,]

（8）求標(biāo)準(zhǔn)化回歸方程

由回歸系數(shù)表（上表）可得，標(biāo)準(zhǔn)化后的回歸方程為：

夕*=0.479%*+0.676"

（9）求當(dāng)x0i=75,X02=42,X（＞3=時(shí)的y的預(yù)測值$o，給定置信水平

95%,用SPSS軟件計(jì)算精確置信區(qū)間，用手工計(jì)算近似預(yù)測區(qū)間；

由SPSS輸出結(jié)果可知，當(dāng)%=75,%2=42,私=3.1時(shí),%=267.829（見

上表），的置信度為95%的精確預(yù)測區(qū)間為（，）（見下表），的置

信度為95%的近似預(yù)測區(qū)間為泌±23）,手工計(jì)算得：（，）。

（10）結(jié)合回歸方程對問題做一些簡單分析。

答：由回歸方程

亍=-459.624+4.676%+8.97lx2

可知農(nóng)業(yè)總產(chǎn)值固定的時(shí)候，工業(yè)總產(chǎn)值每增加1億元，貨運(yùn)總量

增加萬噸；工業(yè)總產(chǎn)值固定的時(shí)候，農(nóng)業(yè)總產(chǎn)值每增加1億元，貨

運(yùn)總量增加萬噸。而居民非商品支出對貨運(yùn)總量沒有顯著的線性影

響。由標(biāo)準(zhǔn)化回歸方程9=0479%*+0.676"可知：

工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值與Y都是正相關(guān)關(guān)系，比較回歸系數(shù)的大

小可知農(nóng)業(yè)總產(chǎn)值X2對貨運(yùn)總量Y的影響程度大一些。

第4章違背基本假設(shè)的情況

思考與練習(xí)參考答案

試舉例說明產(chǎn)生異方差的原因。

答：例：截面資料下研究居民家庭的儲蓄行為

Yi=0+lXi+￡i

其中：〃表示第』?個(gè)家庭的儲蓄額，為表示第，個(gè)家庭的可支配收入。

由于高收入家庭儲蓄額的差異較大，低收入家庭的儲蓄額則更有規(guī)律性，差異

較小，所以巴的方差呈現(xiàn)單調(diào)遞增型變化。

例：以某一行業(yè)的企業(yè)為樣本建立企業(yè)生產(chǎn)函數(shù)模型

123￡7

KjLie

被解釋變量：產(chǎn)出量匕解釋變量：資本（勞動(dòng)￡、技術(shù)4那么每個(gè)企業(yè)所

處的外部環(huán)境對產(chǎn)出量的影響被包含在隨機(jī)誤差項(xiàng)中。由于每個(gè)企業(yè)所處的外

部環(huán)境對產(chǎn)出量的影響程度不同，造成了隨機(jī)誤差項(xiàng)的異方差性。這時(shí)，隨機(jī)

誤差項(xiàng)￡的方差并不隨某一個(gè)解釋變量觀測值的變化而呈規(guī)律性變化，呈現(xiàn)復(fù)

雜型。

異方差帶來的后果有哪些

答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計(jì)模型參數(shù)，會產(chǎn)生下列

不良后果：

1、參數(shù)估計(jì)量非有效

2、變量的顯著性檢驗(yàn)失去意義

3、回歸方程的應(yīng)用效果極不理想

總的來說，當(dāng)模型出現(xiàn)異方差性時(shí)，參數(shù)OLS估計(jì)值的變異程度增大，從

而造成對Y的預(yù)測誤差變大，降低預(yù)測精度，預(yù)測功能失效。

簡述用加權(quán)最小二乘法消除一元線性回歸中異方差性的思想與方

法。

答：普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個(gè)

平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相

關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無偏估計(jì)。然而在

異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的

項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸

線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程

度就差。由OLS求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。

所以就是：對較大的殘差平方賦予較小的權(quán)數(shù)，對較小的殘差平方賦予較大的

權(quán)數(shù)。這樣對殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計(jì)的精

度。

加權(quán)最小二乘法的方法：

NN

=X叱（V-1）2=Z嗎（y,-A-自巧）2

i=lNi=l

人￡叫（巧一心）（耳一人）

=——N----------：-------------

￡（芍-%W）2

Fl

—八一

6,、.=vxw

簡述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方

法。

答：運(yùn)用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與一元線性

回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù)

明，以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為：

2（夕°，笈,…，4）=宜嗎（必-4-￡/八----B/ip）。（2）

i=l

加權(quán)最小二乘估計(jì)就是尋找參數(shù)片,笈,…,4的估計(jì)值氐w,6w,限使式

（2）的離差平方和2,達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做

yw=篇+A“囚+…+瓦司，（3）

多元回歸模型加權(quán)最小二乘法的方法：

首先找到權(quán)數(shù)Wi,理論上最優(yōu)的權(quán)數(shù)叱為誤差項(xiàng)方差的倒數(shù)，

wi=—（4）

誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用；誤

差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方和中的作用。由（2）式求出的

加權(quán)最小二乘估計(jì)說，瓦,，…，吼就是參數(shù)幾，笈，…，4的最小方差線性無偏估

計(jì)。

一個(gè)需要解決的問題是誤差項(xiàng)的方差是未知的，因此無法真正按照式

（4）選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差b；通常與自變量的水平有關(guān)（如誤差

項(xiàng)方差b；隨著自變量的增大而增大），可以利用這種關(guān)系確定權(quán)數(shù)。例如區(qū)2與

第J.個(gè)自變量取值的平方成比例時(shí)，即芯時(shí)，

叱=二（5）

Xij

更一般的情況是誤差項(xiàng)方差b：與某個(gè)自變量町（與|e』的等級相關(guān)系數(shù)最

大的自變量）取值的易函數(shù)引成比例，即或"引，其中勿是待定的未知參數(shù)。

此時(shí)權(quán)數(shù)為

這時(shí)確定權(quán)數(shù)叱的問題轉(zhuǎn)化為確定暴參數(shù)力的問題，可以借助SPSS軟件解

決。（）式一元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。

證明：。一七N嗎⑵一獷二七嗎N⑵一局一人自人七了

,1=11=1

由軍=。絲=。

得：明。明

￡叫（芭一。）（凡?一九）

?】〃

-七）2

<=1

A=幾-2品

驗(yàn)證（）式多元加權(quán)最小二乘回歸系數(shù)估計(jì)公式。

證明：對于多元線性回歸模型y=Xp+￡,（1）

3￡（￡）=0,COV（E,E,）=（T2W,即存在異方差。設(shè)

W=DD；

/歷0、

D=

<0

用Di左乘（1）式兩邊，得到一個(gè)新的的模型:

D'y=D*Xp+D*￡,即y*=X*0+￡*。

因?yàn)橘鞥E')=￡(DT￡￡'D-I')=D-'￡(EE,)D-1Z=D-i/WD*=cr2I,

故新的模型具有同方差性，故可以用廣義最小二乘法估計(jì)該模型，得

,1，1~|,1，1,,

pw=(X^XT'X'y*=(XD"D-X)XD-D-y=(XWX)-'XWy

原式得證。

有同學(xué)認(rèn)為當(dāng)數(shù)據(jù)存在異方差時(shí)，加權(quán)最小二乘回歸方程與普通最

小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，兩者之間

的差異就越大。你是否同意這位同學(xué)的觀點(diǎn)說明原因。

答：不同意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)(WLS)只是普通最

小二乘估計(jì)(OLS)的改進(jìn)，這種改進(jìn)可能是細(xì)微的，不能理解為WLS一定會得

到與OLS截然不同的方程來，或者大幅度的改進(jìn)。實(shí)際上可以構(gòu)造這樣的數(shù)

據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS與OLS的結(jié)果一樣。加權(quán)最小二乘法

不會消除異方差，只是消除異方差的不良影響，從而對模型進(jìn)行一點(diǎn)改進(jìn)。

對例的數(shù)據(jù)，用公式6加.=歷,“.計(jì)算出加權(quán)變換殘差6加.，繪制加權(quán)

變換殘差圖，根據(jù)繪制出的圖形說明加權(quán)最小二乘估計(jì)的效果。

解：用公式計(jì)算出加權(quán)變換殘差e；,.,分別繪制加權(quán)最小二乘估計(jì)后

的殘差圖和加權(quán)變換殘差圖(見下圖)。

根據(jù)繪制出的兩個(gè)圖形可以發(fā)現(xiàn)加權(quán)最小二乘估計(jì)沒有消除異方差，只是對原

OLS的殘差有所改善，而經(jīng)過加權(quán)變換后的殘差不存在異方差。

參見參考文獻(xiàn)[2],表(P.)是用電高峰每小時(shí)用電量y與每月總

用電量x的數(shù)據(jù)。

(1)用普通最小二乘法建立y與x的回歸方程，并畫出殘差散點(diǎn)圖。

解:SPSS輸出結(jié)果如下:

由上表可得回歸方程為:

y=-0.831+0.004%

殘差圖為：

(2)診斷該問題是否存在異方差；

解：a由殘差散點(diǎn)圖可以明顯看出存在異方差，誤差的方差隨著x的增加而增

大。

b用SPSS做等級相關(guān)系數(shù)的檢驗(yàn)，結(jié)果如下表所示：

得到等級相關(guān)系數(shù)G=6318,p值=,認(rèn)為殘差絕對值回與自變量七顯著相

關(guān)，存在異方差。

(3)如果存在異方差，用塞指數(shù)型的權(quán)函數(shù)建立加權(quán)最小二乘回歸方程；

解：SPSS輸出結(jié)果如圖：

Coefficientsb

UnstandardizedStandardized

CoefficientsCoefficients

Mode1BStd.ErrorBetatSig.

1(Constant).298.026

X.004.000.812.000

a.DependentVariable:y

b.WeightedLeastSquaresRegression-WeightedbyWeightforyfromWLS,M0D_2

x**

由上述表可得，在m=1.5時(shí)對數(shù)似然函數(shù)達(dá)到最大，則基指數(shù)的最優(yōu)取值為

m=\.5Q加權(quán)后的回歸方程為：x,,=-0.683+0.004XO

計(jì)算加權(quán)后的殘差，并對殘差絕對值和自變量做等級相關(guān)系數(shù)分析，結(jié)果如下

表所示：

《=0.321,p值為＜,即加權(quán)最小二乘法沒有消除異方差，只是消除異方差的

不良影響，從而對模型進(jìn)行一點(diǎn)改進(jìn)。

Correlations

Xabseiw

Spearman*srhoxCorrelationCoefficien.321*

Sig.(2-tailed).019

N5353

abseiwCorrelationCoefficien..321*

Sig.(2-tailed).019

N5353

*.Correlationissignificantatthelevel(2-tailed).

（4）用方差穩(wěn)定變換消除異方差。

解：對應(yīng)變量做方差穩(wěn)定變換（y'=4y）后，用最小二乘法做回歸，SPSS結(jié)

果如下表：

Coefficient^

UnstandardizedStandardized

CoefficientsCoefficients

ModelBStd.ErrorBetaiSig.

1(Constant).582.130.000

X.001.000.805.000

a.DependentVariable:sqrty

則回歸方程為：7=0.5822+0.0009529%o

保存預(yù)測值月，計(jì)算出殘差的絕對值后，計(jì)算等級相關(guān)系數(shù)，見下表:

其中a=0.160,P值=〉，說明異方差已經(jīng)消除。

試舉一可能產(chǎn)生隨機(jī)誤差項(xiàng)序列相關(guān)的經(jīng)濟(jì)例子。

答：例如，居民總消費(fèi)函數(shù)模型：

ct=0#\Yt+￡tt=l,2,…,n

由于居民收入對消費(fèi)影響有滯后性，而且今年消費(fèi)水平受上年消費(fèi)水平影

響，則可能出現(xiàn)序列相關(guān)性。另外由于消費(fèi)習(xí)慣的影響被包含在隨機(jī)誤差項(xiàng)

中，則可能出現(xiàn)序列相關(guān)性（往往是正相關(guān)）。

4.11序列相關(guān)性帶來的嚴(yán)重后果是什么

答：直接用普通最小二乘法估計(jì)隨機(jī)誤差項(xiàng)存在序列相關(guān)性的線性回歸模型未

知參數(shù)時(shí)，會產(chǎn)生下列一些問題：

1.參數(shù)估計(jì)量仍然是無偏的，但不具有有效性，因?yàn)橛凶韵嚓P(guān)性時(shí)參數(shù)估

計(jì)值的方差大于無自相關(guān)性時(shí)的方差。

2.均方誤差MSE可能嚴(yán)重低估誤差項(xiàng)的方差

3.變量的顯著性檢驗(yàn)失去意義：在變量的顯著性檢驗(yàn)中，統(tǒng)計(jì)量是建立在

參數(shù)方差正確估計(jì)基礎(chǔ)之上的，當(dāng)參數(shù)方差嚴(yán)重低估時(shí)，容易導(dǎo)致t值和F值

偏大，即可能導(dǎo)致得出回歸參數(shù)統(tǒng)計(jì)檢驗(yàn)和回歸方程檢驗(yàn)顯著，但實(shí)際并不顯

著的嚴(yán)重錯(cuò)誤結(jié)論。

4.當(dāng)存在序列相關(guān)時(shí)，P仍然是￡的無偏估計(jì)，但在任一特定的樣本

中，6可能嚴(yán)重歪曲的真實(shí)情況，即最小二乘法對抽樣波動(dòng)變得非常敏感

5.模型的預(yù)測和結(jié)構(gòu)分析失效。

4.12總結(jié)DW檢驗(yàn)的優(yōu)缺點(diǎn)。

答：優(yōu)點(diǎn)：1.應(yīng)用廣泛，一般的計(jì)算機(jī)軟件都可以計(jì)算出DW值；

2.適用于小樣本；

3.可用于檢驗(yàn)隨機(jī)擾動(dòng)項(xiàng)具有一階自回歸形式的序列相關(guān)問題。

缺點(diǎn)：1.DW檢驗(yàn)有兩個(gè)不能確定的區(qū)域，一旦DW值落入該區(qū)域，就無法判

斷。此時(shí)，只有增大樣本容量或選取其他方法；

統(tǒng)計(jì)量的上、下界表要求n>15,這是由于樣本如果再小，利用殘差就很難對

自相關(guān)性的存在做出比較正確的診斷；

檢驗(yàn)不適應(yīng)隨機(jī)項(xiàng)具有高階序列相關(guān)性的檢驗(yàn)。

表中是某軟件公司月銷售額數(shù)據(jù)，其中，X為總公司的月銷售額

（萬元）；丫為某分公司的月銷售額（萬元）。

（1）用普通最小二乘法建立y與X的回歸方程；

由上表可知：用普通二乘法建立的回歸方程為y=-1.435+0.176x

（2）用殘差圖及DW檢驗(yàn)診斷序列的相關(guān)性;

1.以自變量x為橫軸，普通殘差為縱軸畫殘差圖如下：

從圖中可以看到，殘差有規(guī)律的變化，呈現(xiàn)大致反W形狀，說明隨機(jī)誤差項(xiàng)存

在自相關(guān)性。

2.以e“（殘差1）為橫坐標(biāo)，e,（殘差）為縱坐標(biāo)，繪制散點(diǎn)圖如下：

由殘差圖可見大部分的點(diǎn)落在第一、三象限內(nèi)，表明隨機(jī)擾動(dòng)項(xiàng)?存在著正的

序列相關(guān)；

3.從下表

可知DW值為，查DW表，n=20,k=2,顯著性水平a=,得4=,會=，由于〈，知DW值落

入正相關(guān)區(qū)域，即殘差序列存在正的自相關(guān)。

（3）用迭代法處理序列相關(guān)，并建立回歸方程。

自相關(guān)系數(shù)P?l-|x0.663=0.6685

令演=%-四_1，然后用y,對x,作普通最小二乘回歸可得輸

出結(jié)果如下：

可看到新的回歸方程的DW=.且*,因而DW檢驗(yàn)落入不確定區(qū)域此時(shí)，一步迭代

誤差項(xiàng)的標(biāo)準(zhǔn)差為，小于￡,的標(biāo)準(zhǔn)差

y：對J的回歸方程為少'=+x：,將/=%*,/氣小代人，還原為原始變

量的方程少=+＞一+%》1由于一步迭代的口1丫檢驗(yàn)落入不確定區(qū)域，因而可以考

慮對數(shù)據(jù)進(jìn)行二步迭代，也就是對七'和y；重復(fù)以上迭代過程。進(jìn)行回歸結(jié)果如

下：

此時(shí)DW的值為，查DW表，n=18,k=2,顯著性水平a=,得d產(chǎn)，

冊=,DW值大于小于2,落入無自相關(guān)區(qū)域。誤差標(biāo)準(zhǔn)項(xiàng)，略小于一步迭

代的標(biāo)準(zhǔn)差。

但是在檢驗(yàn)都通過的情況下，由于一步迭代的r2值和F值均大于兩步迭代后的

值，且根據(jù)取模型簡約的原則，最終選擇一步迭代的結(jié)果，即：

只=+＞一+再X-(4)用一階差分的方法處理數(shù)據(jù)，建立回歸方程；

先計(jì)算差分,Ar,=%,-%,_!,然后用Ay,對Ax,做過原點(diǎn)的最小二乘回

歸，結(jié)果如下：

由上面表，可知皿值為＞=〃,，即DW落入不相關(guān)區(qū)域，可知?dú)埐钚蛄衑；不存在自

相關(guān)，一階差分法成功地消除了序列自相關(guān)。同時(shí)得到回歸方程為

次=必，

將Ax,=x,-x,_(,代人，還原原始變量的方程

%=--1+"x-)

(5)比較普通最小二乘法所得的回歸方程和迭代法、一階差分法所建立回歸

方程的優(yōu)良性。

答：本題中自相關(guān)系數(shù)力。，不接近于1,不適宜用差分法，另外由迭代法的F

值及/都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二

乘法的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差為，大于迭代的隨機(jī)誤差項(xiàng)標(biāo)準(zhǔn)差，所以迭代的效果

要優(yōu)于普通最小二乘法，所以本題中一次迭代法最好。

某樂隊(duì)經(jīng)理研究其樂隊(duì)CD盤的銷售額(y),兩個(gè)有關(guān)的影響變量

是每周出場次xl和樂隊(duì)網(wǎng)站的周點(diǎn)擊率x2,數(shù)據(jù)見表。

(1)用普通最小二乘法建立y與xl、x2的回歸方程，用殘差圖及DW檢驗(yàn)診

斷序列的自相關(guān)性；

解：將數(shù)據(jù)輸入SPSS,經(jīng)過線性回歸得到結(jié)果如下:

ModelSummary(b)

Std.Error

AdjustedRofthe

ModelRRSquareSquareEstimateDurbin-Watson

1.541(a).293.264.745

aPredictors:(Constant),x2,xl

bDependentVariable:y

ANOVA(b)

Sumof

ModelSquaresdfMeanSquareFSig.

1Regressio

2.000(a)

n

Residual49

Total51

aPredictors:(Constant),x2,xl

bDependentVariable:y

由以上3個(gè)表可知普通最小二乘法建立y與xl、x2的回歸方程，通過了r、F、t檢

驗(yàn)，說明回歸方程顯著。y與xl、x2的回歸方程為：

y=++

殘差圖ei(ej~ei1(et-i)為:

從殘差圖可以看出殘差集中在1、3象限，說明隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。

DW=

查表得dl=du=,0<DW<dl,所以隨機(jī)誤差項(xiàng)存在一階正自相關(guān)。

(2)用迭代法處理序列相關(guān)，并建立回歸方程。

P==

做變換：Xlt'=Xlt-PXl(t-I),X2t'=X2t—PX2(t-1)

yt=yt-Pyt-i

,