應(yīng)用統(tǒng)計(jì)學(xué)：第8章 相關(guān)與回歸分析

1第8章相關(guān)與回歸分析

相關(guān)系數(shù)的含義和計(jì)算一元線性回歸多元線性回歸可化為線性回歸的曲線回歸28.1相關(guān)分析當(dāng)一個(gè)變量取一定數(shù)值時(shí)，另一個(gè)變量有確定值與之相對應(yīng)，這種關(guān)系稱為函數(shù)關(guān)系。當(dāng)一個(gè)變量取一定數(shù)值時(shí)，與之相對應(yīng)的另一變量的數(shù)值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化，這種關(guān)系稱為相關(guān)關(guān)系。

對相關(guān)關(guān)系的分析是統(tǒng)計(jì)學(xué)的重要研究內(nèi)容。主要研究方法：相關(guān)分析和與回歸分析。3相關(guān)分析與回歸分析相關(guān)分析（CorrelationAnalysis）研究變量之間相關(guān)的方向和相關(guān)的程度，但無法給出變量間相互關(guān)系的具體形式，因而無法從一個(gè)變量推測另一個(gè)變量?；貧w分析（Regression)可以確定變量之間相互關(guān)系的具體形式（回歸方程），確定一個(gè)變量對另一個(gè)變量的影響程度，并根據(jù)回歸方程進(jìn)行預(yù)測。4

相關(guān)關(guān)系分類相關(guān)程度：完全相關(guān)、不完全相關(guān)和不相關(guān)；相關(guān)方向：正相關(guān)、負(fù)相關(guān)；相關(guān)形式：線性相關(guān)和非線性相關(guān)；變量多少：單相關(guān)、復(fù)相關(guān)和偏相關(guān)。5散點(diǎn)圖ScatterDiagram散點(diǎn)圖是觀察兩個(gè)變量之間的相關(guān)程度和類型最直觀的方法。散點(diǎn)圖是在直角坐標(biāo)系中用相對應(yīng)的兩個(gè)變量值作為圖中一個(gè)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)描點(diǎn)得到的圖形。如果兩個(gè)變量中一個(gè)變量是另一個(gè)變量變化的結(jié)果，那么代表原因的變量稱為自變量[Independent(Explanatory)Variable]，代表結(jié)果的變量稱為因變量[Dependent(Response)Variable]。在散點(diǎn)圖中習(xí)慣上把因變量繪制在縱軸上。6用散點(diǎn)圖觀察變量之間的相關(guān)關(guān)系

不相關(guān)

負(fù)線性相關(guān)

正線性相關(guān)

非線性相關(guān)

完全負(fù)線性相關(guān)完全正線性相關(guān)

7案例Ace制造公司的總經(jīng)理最近比較關(guān)心公司員工的缺勤情況。為此，公司的人事經(jīng)理著手對這一問題進(jìn)行研究。一篇文章中指出員工的年齡可能會(huì)影響員工的出勤情況。因此，人事經(jīng)理收集了15個(gè)人的年齡和在過去一年中缺勤天數(shù)的資料來研究這一問題。如果發(fā)現(xiàn)兩個(gè)變量之間的關(guān)系顯著，他會(huì)重新抽取一個(gè)樣本容量在200-300的樣本進(jìn)行預(yù)測。數(shù)據(jù)見data8-1.xls。8散點(diǎn)圖缺勤天數(shù)年齡32543674142733533153574195612608515336372312299

相關(guān)系數(shù)的計(jì)算及其檢驗(yàn)相關(guān)系數(shù)（CoefficientofCorrelation）是用來衡量變量之間相關(guān)程度的指標(biāo)，根據(jù)變量的多少和屬性可以有多種不同的計(jì)算方法。衡量兩個(gè)定量變量之間線性相關(guān)程度的常用指標(biāo)是皮爾遜（Pearson）相關(guān)系數(shù)。通常以ρ表示總體的相關(guān)系數(shù)，以R表示樣本的相關(guān)系數(shù)。

10總體相關(guān)系數(shù)的定義式是：樣本相關(guān)系數(shù)的定義公式是：或簡化為

相關(guān)系數(shù)的計(jì)算及其檢驗(yàn)11相關(guān)系數(shù)r的特征沒有單位，取值介于－1與1之間。當(dāng)r=0時(shí)，只是表明兩個(gè)變量之間不存在線性關(guān)系，它并不意味著X與Y之間不存在其他類型的相關(guān)關(guān)系。當(dāng)r＞0時(shí)，X與Y為正相關(guān)；當(dāng)r＜0時(shí)，X與Y為負(fù)相關(guān)。當(dāng)r＝1時(shí)，稱為完全正相關(guān)，而r＝－1時(shí)，稱為完全負(fù)相關(guān)。

12相關(guān)系數(shù)的顯著性檢驗(yàn)1、提出假設(shè)：H0：

；H1：

02、計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：3、確定顯著性水平，并作出決策若t>t

，拒絕H0

或者：若p值<a

，拒絕H0相關(guān)系數(shù)非常高的樣本也有可能來自無相關(guān)關(guān)系的總體。為了排除這種情況，需要對相關(guān)系數(shù)進(jìn)行假設(shè)檢驗(yàn)。檢驗(yàn)的步驟是：

13在Excel中計(jì)算：使用函數(shù)CORREL或分析工具庫。計(jì)算結(jié)果：t檢驗(yàn)值為在Excel單元格中輸入“=TDIST(8.905,13,2)”

可知p值等于6.7889E-07。年齡和缺勤天數(shù)的相關(guān)系數(shù)

缺勤天數(shù)年齡缺勤天數(shù)1年齡0.92691114注意：相關(guān)關(guān)系≠因果關(guān)系！

典型的錯(cuò)誤推斷：慶祝生日有利于健康。統(tǒng)計(jì)

分析表明，慶祝生日次數(shù)越

多的人越長壽。學(xué)生穿的鞋越大，他的識(shí)字

水平就越高：對小學(xué)各年級學(xué)生的抽樣調(diào)查表明，學(xué)生的識(shí)字水平與他們鞋子的尺寸高度正相關(guān)。思考問題：如何證明兩個(gè)變量之間存在因果關(guān)系？

158．2一元線性回歸分析總體回歸函數(shù)、樣本回歸函數(shù)一元線性回歸模型的估計(jì)一元線性回歸模型的檢驗(yàn)16回歸模型的類型回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸17一元線性回歸模型描述因變量y如何依賴于自變量x和隨機(jī)誤差項(xiàng)ε

的方程稱為回歸函數(shù)?？傮w回歸函數(shù)的形式如下：

總體截距項(xiàng)總體斜率系數(shù)隨機(jī)誤差項(xiàng)因變量自變量

一元線性回歸方程：18樣本回歸函數(shù)是對總體回歸函數(shù)的一個(gè)樣本估計(jì)結(jié)果。樣本經(jīng)驗(yàn)回歸方程樣本截距項(xiàng)樣本斜率系數(shù)殘差，Residual

一元線性經(jīng)驗(yàn)回歸方程：19總體回歸方程與經(jīng)驗(yàn)回歸方程YX20一元線性回歸模型的估計(jì)總體回歸直線是未知的，它只有一條；而樣本回歸直線則是根據(jù)樣本數(shù)據(jù)擬合的，每抽取一組樣本，便可以擬合一條樣本回歸直線。在總體參數(shù)未知的情況下，如何保證樣本回歸系數(shù)盡可能接近總體參數(shù)的真實(shí)值？在回歸分析中最常用的估計(jì)方法是最小二乘法。21最小二乘估計(jì)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾通過使殘差平方和

達(dá)到最小來求得。22注意的符號與相關(guān)系數(shù)r是一致的。最小二乘估計(jì)將Q對和求偏導(dǎo)數(shù)并令其等于零，可以得到一個(gè)方程組。解這個(gè)方程組可得：23最小二乘估計(jì)手工計(jì)算太復(fù)雜了吧？！還是讓計(jì)算機(jī)算比較好！24以下是用Excel的分析工具庫中的“回歸”模塊得到的部分結(jié)果：回歸方程：

缺勤天數(shù)=-4.2769+0.2538*年齡

根據(jù)回歸結(jié)果，年齡每增加1歲，平均缺勤天數(shù)增加0.2538天。注意在很多回歸分析中常數(shù)項(xiàng)并沒有實(shí)際意義，不能機(jī)械地解釋。案例：用Excel估計(jì)缺勤天數(shù)的回歸方程

Coefficients標(biāo)準(zhǔn)誤差tStatP-valueIntercept-4.27691.1164-3.8310.002082年齡0.25380.02858.9056.79E-0725在滿足一系列假設(shè)條件的情況下，最小二乘估計(jì)量是方差最小的無偏估計(jì)量。需要的基本假設(shè)條件包括：1、2、對于所有的x，

的方差

相等3、與X之間不相關(guān)4、之間不相關(guān)5、服從正態(tài)分布一元線性回歸模型的基本假定*26如果這些假設(shè)條件得不到滿足，就不能直接使用最小二乘方法進(jìn)行參數(shù)估計(jì)。在實(shí)際應(yīng)用中這些假設(shè)條件能夠同時(shí)得到滿足的情況不多見。因此，對這些假設(shè)條件的檢驗(yàn)以及采取相應(yīng)的補(bǔ)救措施就成為回歸分析的核心任務(wù)之一。有關(guān)內(nèi)容在“計(jì)量經(jīng)濟(jì)學(xué)”中都會(huì)深入講解，在這門課中我們不再展開分析。一元線性回歸模型的基本假定*27一元線性回歸方程的評價(jià)和檢驗(yàn)擬合優(yōu)度決定系數(shù)估計(jì)標(biāo)準(zhǔn)誤差顯著性檢驗(yàn)

F檢驗(yàn)

t檢驗(yàn)28可決系數(shù)回歸直線與各觀測數(shù)據(jù)的接近程度稱為回歸直線的擬合優(yōu)度（goodnessoffit）。度量回歸直線的擬合優(yōu)度最常用的指標(biāo)是可決系數(shù)（

coefficientofdetermination，又稱可決系數(shù)、判定系數(shù)）。該指標(biāo)是建立在對總離差平方和進(jìn)行分解的基礎(chǔ)之上的。

29離差分解圖xyy{}}

離差分解圖30離差平方和的分解兩端平方后求和有總離差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{31可決系數(shù)的取值R2的取值范圍是[0，1]。R2越接近于1，表明回歸平方和占總離差平方和的比例越大，回歸直線與各觀測點(diǎn)越接近，回歸直線的擬合程度就越好。在一元線性回歸中，相關(guān)系數(shù)r的平方等于判定系數(shù)，符號與自變量x的系數(shù)一致。因此可以根據(jù)回歸結(jié)果求出相關(guān)系數(shù)。

所有的回歸程序都會(huì)給出R2的值.32估計(jì)標(biāo)準(zhǔn)誤差估計(jì)標(biāo)準(zhǔn)誤差（standarderrorofestimate）是對各觀測數(shù)據(jù)在回歸直線周圍分散程度的一個(gè)度量值，它是對誤差項(xiàng)ε的標(biāo)準(zhǔn)差σ的估計(jì)。估計(jì)標(biāo)準(zhǔn)誤差反映了用估計(jì)的回歸方程擬合因變量Y時(shí)平均誤差的大小。各觀測數(shù)據(jù)越靠近回歸直線，sy就越小，回歸直線對各觀測數(shù)據(jù)的代表性就越好。與R2不同的是，估計(jì)標(biāo)準(zhǔn)誤差是一個(gè)有單位的絕對數(shù)。33缺勤天數(shù)回歸方程的擬合優(yōu)度Excel的輸出結(jié)果：回歸統(tǒng)計(jì)MultipleR0.92691016RSquare0.85916245AdjustedRSquare0.84832879標(biāo)準(zhǔn)誤差1.10806794觀測值15RSquare正的平方根！34回歸分析中的顯著性檢驗(yàn)回歸分析中的顯著性檢驗(yàn)包括兩方面的內(nèi)容：一是對單個(gè)自變量回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）；二是對整個(gè)回歸方程（所有自變量回歸系數(shù)）顯著性的整體檢驗(yàn)（F檢驗(yàn)）在一元線性回歸模型中，由于只有一個(gè)解釋變量X，因此，對β1＝0的t檢驗(yàn)與對整個(gè)方程的F檢驗(yàn)是等價(jià)的。

35單個(gè)回歸系數(shù)顯著性的t檢驗(yàn)第1步：提出假設(shè)。一般為對于一些具體問題也可能需要進(jìn)行單側(cè)檢驗(yàn)。第2步：確定檢驗(yàn)的統(tǒng)計(jì)量?？梢宰C明在回歸模型的基本假設(shè)成立時(shí)，如果零假設(shè)正確，則有36單個(gè)回歸系數(shù)的顯著性檢驗(yàn)第3步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量的樣本觀測值和/或p值。第4步：進(jìn)行決策：根據(jù)顯著性水平a和自由度df＝n－2確定檢驗(yàn)統(tǒng)計(jì)量的臨界值，

t>t

時(shí)拒絕H0；或者p值<a時(shí)拒絕H0。統(tǒng)計(jì)軟件都會(huì)給出相關(guān)計(jì)算結(jié)果。37單個(gè)回歸系數(shù)的顯著性檢驗(yàn)：例子缺勤情況的回歸結(jié)果（Excel):

Coefficients標(biāo)準(zhǔn)誤差tStatP-valueIntercept-4.27691.1164-3.8310.002082年齡0.25380.02858.9056.786E-07雙側(cè)檢驗(yàn)時(shí)的p值t02.16-2.16.025RejectReject.02538單個(gè)回歸系數(shù)的顯著性檢驗(yàn)：幾點(diǎn)說明為什么要檢驗(yàn)回歸系數(shù)是否等于0？？如果總體中的回歸系數(shù)等于零，說明相應(yīng)的自變量對y缺乏解釋能力，在這種情況下我們可能需要回歸方程中去掉這個(gè)自變量。我們也可以對常數(shù)項(xiàng)進(jìn)行t檢驗(yàn)，但大部分情況下我們并不關(guān)心常數(shù)項(xiàng)的檢驗(yàn)結(jié)果。通常情況下即使常數(shù)項(xiàng)在模型中不顯著，我們也會(huì)在模型中保留常數(shù)項(xiàng)，去掉常數(shù)項(xiàng)可能會(huì)對模型帶來不利影響。39第1步：提出假設(shè)。在一元回歸為第2步：確定檢驗(yàn)統(tǒng)計(jì)量：第3步：計(jì)算檢驗(yàn)統(tǒng)計(jì)量的樣本觀測值和/或p值。方程整體顯著性的F檢驗(yàn)

40整個(gè)方程的的顯著性檢驗(yàn)第4步：進(jìn)行決策：根據(jù)顯著性水平a和自由度1，n－2確定檢驗(yàn)統(tǒng)計(jì)量的臨界值Fa

，F(xiàn)>F

時(shí)拒絕H0；或者p值<a時(shí)拒絕H0，如果不能拒絕零假設(shè)，則說明所有自變量作為一個(gè)整體對因變量都沒有解釋能力。注意這里F檢驗(yàn)是右側(cè)檢驗(yàn)！FαFa41F檢驗(yàn)：例子缺勤天數(shù)回歸模型的F檢驗(yàn)。很多統(tǒng)計(jì)軟件的F檢驗(yàn)都是以一個(gè)方差分析表的形式給出的，方差分析表可以清楚地說明F統(tǒng)計(jì)量的計(jì)算過程：

dfSSMSFSignificanceF回歸分析197.371797.371779.30496.786E-07

殘差1315.96161.2278總計(jì)14113.3333

p值42利用回歸模型進(jìn)行預(yù)測*均值預(yù)測與個(gè)值預(yù)測均值預(yù)測(meanprediction)：對于給定的X值，預(yù)測Y的平均值。例如，對于所有年齡=40的員工，其平均缺勤天數(shù)等于多少？個(gè)值預(yù)測(individualprediction):張三的年齡為40歲，其缺勤天數(shù)=？均值和個(gè)值預(yù)測的點(diǎn)估計(jì)值相同：對于x的一個(gè)給定值x0，預(yù)測值都等于根據(jù)回歸方程得到y(tǒng)的估計(jì)值。43均值預(yù)測的置信區(qū)間對于一個(gè)給定的x值x0

，y的均值E(y0)的置信區(qū)間。這一區(qū)間有時(shí)簡稱為置信區(qū)間。(confidenceinterval)。

E(y0)在1-

置信水平下的置信區(qū)間為44對于一個(gè)給定的x值x0

，y

的一個(gè)個(gè)別值的估計(jì)區(qū)間。這一區(qū)間常稱為預(yù)測區(qū)間（predictioninterval)。y0在1-

置信水平下的預(yù)測區(qū)間為手工計(jì)算置信區(qū)間和預(yù)測區(qū)間幾乎是不可能的，但統(tǒng)計(jì)軟件都可以直接給出計(jì)算結(jié)果（但Excel不能直接計(jì)算）。個(gè)值預(yù)測的置信區(qū)間（預(yù)測區(qū)間）45預(yù)測區(qū)間與置信區(qū)間XYX-barX0Y0預(yù)測下限預(yù)測上限置信上限置信下限

從圖中可以看出，需要預(yù)測的值越接近x的均值，預(yù)測誤差越小。用回歸模型進(jìn)行外推預(yù)測可能會(huì)有較大的誤差，因此必須小心使用！46缺勤天數(shù)模型的置信區(qū)間和預(yù)測區(qū)間

x=40時(shí)SPSS計(jì)算的缺勤天數(shù)的點(diǎn)估計(jì)值為5.87，置信區(qū)間為（5.24，6.51），預(yù)測區(qū)間為（3.40，8.35）。置信區(qū)間預(yù)測區(qū)間478．3多元線性回歸多元線性回歸模型多元線性回歸方程的參數(shù)估計(jì)回歸方程的擬合優(yōu)度顯著性檢驗(yàn)

48多元線性回歸模型總體回歸函數(shù)：樣本回歸方程：49多元線性回歸方程的參數(shù)估計(jì)

利用與一元回歸類似的最小二乘法可以得到總體參數(shù)的估計(jì)量和估計(jì)值。雖然計(jì)算過程要復(fù)雜一些，但用計(jì)算機(jī)很容易得到計(jì)算結(jié)果。在多元回歸中對回歸系數(shù)的解釋有所不同。例如變量x1的回歸系數(shù)應(yīng)解釋為：當(dāng)x2，x3，…，xp不變時(shí)，x1每變動(dòng)一個(gè)單位因變量y的平均變動(dòng)量。

50多元線性回歸模型的基本假設(shè)*在多元回歸中除了要求一元回歸中的基本假設(shè)條件外，還需要假設(shè)自變量之間不存在完全的多重共線性，否則無法估計(jì)回歸模型。完全的多重共線性：一個(gè)自變量可以表示為其他自變量和常數(shù)項(xiàng)的線性函數(shù)，例如x1=2x2+x3+5。51多元線性回歸：澳大利亞的啤酒需求為了研究澳大利亞啤酒需求的影響因素，研究人員收集了1955-1996如下資料（數(shù)據(jù)見data8-2.xls）：ConsBeer：人均啤酒消費(fèi)量（升）Pbeer:啤酒的價(jià)格（澳元／升）Pwine:葡萄酒的價(jià)格（澳元／升）Psprits：白酒的價(jià)格（澳元／升）Income:人均收入，澳元根據(jù)數(shù)據(jù)擬合多元線性回歸模型。52多元線性回歸：澳大利亞的啤酒需求部分?jǐn)?shù)據(jù)：YearConsBeerPbeerPwinePspiritsIncome1955105.980.320.743.96750.561956100.450.370.793.96783.071957100.660.370.833.96803.82………………199299.53.556.6943.0614406.291993983.676.9944.1914901.15199496.93.787.3545.6715840.58199595.33.997.7346.9216728.52199694.74.17.8748.6217184.0153回歸結(jié)果ConsBeer＝89.2811-68.2395Pbeer

+41.9225Pwine

+2.6519Pspirits

-0.0100Income

Coefficients標(biāo)準(zhǔn)誤差tStatP-valueIntercept89.28113.420126.10500.00000Pbeer-68.239513.0868-5.21440.00001Pwine41.92252.685215.61260.00000Pspirits2.65190.97612.71670.00997Income-0.01000.0039-2.60530.0131554多元回歸方程的檢驗(yàn)擬合優(yōu)度修正的多重決定系數(shù)估計(jì)標(biāo)準(zhǔn)誤差顯著性檢驗(yàn)

F檢驗(yàn)

t檢驗(yàn)55多元回歸模型的決定系數(shù)

我們同樣可以用決定系數(shù)來衡量多元回歸模型的擬合效果，在多元回歸中也稱為多重決定系數(shù)（multiplecoefficientofdetermination）。R2的正的平方根稱為復(fù)相關(guān)系數(shù)，它度量了因變量同p個(gè)自變量的相關(guān)程度。

56修正的判定系數(shù)在多元回歸中，比較自變量個(gè)數(shù)不同的方程的擬合效果時(shí)多使用修正的判定系數(shù)（adjustedmultiplecoefficientofdetermination）：57多元線性回歸模型的估計(jì)標(biāo)準(zhǔn)誤多元線性回歸中的估計(jì)標(biāo)準(zhǔn)誤差也是對誤差項(xiàng)ε的方差σ2的一個(gè)估計(jì)值含義：根據(jù)自變量x1，x2，…，xP來預(yù)測因變量y時(shí)的平均預(yù)測誤差。

58多元回歸中t檢驗(yàn)和F檢驗(yàn)的步驟與一元回歸類似，相應(yīng)t的檢驗(yàn)統(tǒng)計(jì)量為F檢驗(yàn)的統(tǒng)計(jì)量為注意這里F檢驗(yàn)與t檢驗(yàn)不再等價(jià)，其零假設(shè)和備擇假設(shè)分別為H0：

1

2

p=0H1：

1，

2，，

p至少有一個(gè)不等于0多元回歸中的t檢驗(yàn)和F檢驗(yàn)59多元線性回歸：澳大利亞的啤酒需求回歸統(tǒng)計(jì)MultipleR0.9432RSquare0.8896AdjustedRSquare0.8777標(biāo)準(zhǔn)誤差4.6630觀測值42修正的決定系數(shù)復(fù)相關(guān)系數(shù)60澳大利亞的啤酒需求：方差分析表

dfSSMSFSignificanceF回歸分析46482.321620.5874.530.0000殘差37804.5121.74總計(jì)417286.83