統(tǒng)計(jì)學(xué)課件 復(fù)件 2015財(cái)管70

第七章

相關(guān)與回歸分析第一節(jié)相關(guān)分析第二節(jié)一元線性回歸分析第三節(jié)線性回歸的顯著性檢驗(yàn)與回歸預(yù)測第四節(jié)多元線性回歸分析第一節(jié)相關(guān)分析一、函數(shù)關(guān)系與相關(guān)關(guān)系

變量之間的依存關(guān)系是嚴(yán)格的，它們的關(guān)系是固定不變的，對(duì)于某一種變量的取值，另一變量都有一完全確定的值與之相對(duì)應(yīng)；這種關(guān)系，我們稱之為函數(shù)關(guān)系。

確定性的函數(shù)關(guān)系Y=f(X)

在這種關(guān)系中，變量之間的關(guān)系值是隨機(jī)的，當(dāng)一個(gè)（或幾個(gè)）變量的值確定以后，另一變量的值雖然與它（們）有關(guān)，但卻不能完全確定。然而，它們

之間又遵循一定的統(tǒng)計(jì)規(guī)律。不確定性的統(tǒng)計(jì)關(guān)系

—相關(guān)關(guān)系

Y=f（X）+ε

(ε為隨機(jī)變量)

相關(guān)關(guān)系的例子商品的消費(fèi)量(y)與居民收入(x)

之間的關(guān)系商品銷售額(y)與廣告費(fèi)支出(x)

之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系父親身高(y)與子女身高(x)之間的關(guān)系

二、相關(guān)關(guān)系的種類

1、按相關(guān)的方向分為正相關(guān)和負(fù)相關(guān)

若相關(guān)關(guān)系表現(xiàn)為因變量與自變量的數(shù)量變動(dòng)方向一致，稱為正相關(guān)(positiveassociation)；反之，如果相關(guān)關(guān)系表現(xiàn)為因變量與自變量的數(shù)量變動(dòng)方向相反，就稱為負(fù)相關(guān)(negativeassociation)。2、按研究變量多少分為單相關(guān)和復(fù)相關(guān)

單相關(guān)即一元相關(guān)，亦稱簡單相關(guān)，是指一個(gè)因變量與一個(gè)自變量之間的依存關(guān)系。復(fù)相關(guān)又稱多元相關(guān)，是指一個(gè)因變量與兩個(gè)或兩個(gè)以上自變量之間的復(fù)雜依存關(guān)系。3、按相關(guān)形式分為線性相關(guān)和非線性相關(guān)

從相關(guān)圖上觀察：觀察的樣本點(diǎn)的分布近似表現(xiàn)為直線形式，即觀察點(diǎn)近似地分布于一直線的兩邊，則稱此種相關(guān)為直線相關(guān)或線性相關(guān)。如果這些樣本點(diǎn)近似地表現(xiàn)為一條曲線，則稱這種相關(guān)為曲線相關(guān)或非線性相關(guān)(curvedrelationship).

4、按相關(guān)性質(zhì)可分為真實(shí)相關(guān)和虛假相關(guān)相關(guān)關(guān)系的圖示不相關(guān)負(fù)線性相關(guān)正線性相關(guān)非線性相關(guān)完全負(fù)線性相關(guān)完全正線性相關(guān)三、相關(guān)分析與回歸分析回歸的古典意義：

高爾頓遺傳學(xué)的回歸概念

父母身高與子女身高的關(guān)系:

無論高個(gè)子或低個(gè)子的子女都有向人的平均身高回歸的趨勢回歸的來由

“回歸”這個(gè)術(shù)語是英國著名統(tǒng)計(jì)學(xué)家FrancisGalton在19世紀(jì)末期研究孩子及他們的父母的身高時(shí)提出來的。Galton發(fā)現(xiàn)身材高的父母，他們的孩子較高。但是這些孩子平均起來并不象他們的父母那樣高。對(duì)于比較矮的父母情形也類似：他們的孩子比較矮，但這些孩子的平均身高要比他們的父母的平均身高高。正是因?yàn)樽哟纳砀哂谢氐礁篙吰骄砀叩倪@種趨勢，才使人類的身高在一定時(shí)間內(nèi)相對(duì)穩(wěn)定，沒有出現(xiàn)父輩個(gè)子高其子女更高，父輩個(gè)子矮其子女更矮的兩極分化現(xiàn)象。

這個(gè)規(guī)律解決了為何天才無法全部遺傳給其后代的問題..

這個(gè)規(guī)律是公正的：無論好的方面還是壞的方面的遺傳都會(huì)打相同的折扣。如果它使一些有天賦的父母期待其子女也很有天賦的愿望化為泡影，那么它同樣也會(huì)使另一些父母減少擔(dān)心，因?yàn)樗麄兊淖优瑯右膊粫?huì)全部繼承他們的缺陷和疾病。正是為了描述這種有趣的現(xiàn)象，F(xiàn).Galton引進(jìn)了“回歸(regression)”這個(gè)詞來描述父輩身高X與子代身高Y的關(guān)系，他發(fā)展的研究兩個(gè)數(shù)值變量的方法稱為回歸分析

回歸的現(xiàn)代意義一個(gè)因變量對(duì)若干解釋變量依存關(guān)系的研究回歸的目的（實(shí)質(zhì)）：由固定的自變量去估計(jì)因變量的平均值樣本總體自變量固定值估計(jì)因變量平均值什么是回歸分析？

從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來預(yù)測或控制另一個(gè)特定變量的取值，并給出這種預(yù)測或控制的精確程度（一）回歸分析與相關(guān)分析的關(guān)系

回歸分析與相關(guān)分析是研究現(xiàn)象之間相互關(guān)系的兩種基本方法。聯(lián)系：

1、回歸和相關(guān)都是研究兩個(gè)變量相互關(guān)系的分析方法?；貧w分析和相關(guān)分析是互相補(bǔ)充、密切聯(lián)系的。

2、相關(guān)分析需要回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則應(yīng)該建立在相關(guān)分析的基礎(chǔ)上，依靠相關(guān)分析表明現(xiàn)象的數(shù)量變化具有密切相關(guān)，進(jìn)行回歸分析求其相關(guān)的具體形式才有意義。在相關(guān)程度很低的情況下，回歸函數(shù)的表達(dá)式代表性就很差區(qū)別：

1、相關(guān)分析研究兩個(gè)變量之間相關(guān)的方向和相關(guān)的密切程度。但是相關(guān)分析不能指出兩變量相互關(guān)系的具體形式，也無法從一個(gè)變量的變化來推測另一個(gè)變量的變化關(guān)系。

回歸方程則是通過一定的數(shù)學(xué)方程來反映變量之間相互關(guān)系的具體形式，以便從一個(gè)已知量來推測另一個(gè)未知量。為估算預(yù)測提供一個(gè)重要的方法。

2、相關(guān)分析不必確定兩變量中誰是自變量，誰是因變量。而回歸分析是研究兩變量具有因果關(guān)系的數(shù)學(xué)形式，因此回歸分析必須事先確定變量中自變量與因變量的地位。

3、計(jì)算相關(guān)系數(shù)的兩變量是對(duì)等的，可以都是隨機(jī)變量，各自接受隨機(jī)因素的影響，改變兩變量的地位并不影響相關(guān)系數(shù)的數(shù)值。在回歸分析中因變量是隨機(jī)的，自變量是可控制的解釋變量，不是隨機(jī)變量。因此回歸分析只能用自變量來估計(jì)因變量，而不允許由因變量來推測自變量。（二）相關(guān)表與相關(guān)圖

相關(guān)表：將某一變量按其取值大小排列，將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列而成的統(tǒng)計(jì)表。

相關(guān)圖（散點(diǎn)圖scatterplot）：將兩個(gè)變量間相對(duì)應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量間相關(guān)關(guān)系的圖形。編號(hào)銷售額利潤額1239235153473046530587456953571105081327691506010176801118010012195110（三）相關(guān)與回歸分析的主要內(nèi)容

1、確定現(xiàn)象間有無關(guān)系存在，若有關(guān)系，計(jì)算其相關(guān)程度，并進(jìn)行檢驗(yàn)

2、確定相關(guān)關(guān)系的表現(xiàn)形式及其技術(shù)模型

3、判斷因變量一般值的代表

4、顯著性檢驗(yàn)

5、回歸預(yù)測第二節(jié)簡單線性相關(guān)與回歸分析一、簡單線性相關(guān)系數(shù)及檢驗(yàn)二、總體回歸函數(shù)與樣本回歸函數(shù)三、回歸系數(shù)的估計(jì)四、簡單線性回歸模型的檢驗(yàn)五、簡單線性回歸模型預(yù)測

一、簡單線性相關(guān)系數(shù)及檢驗(yàn)

●總體相關(guān)系數(shù)（參數(shù)）

對(duì)于所研究的總體，表示兩個(gè)相互聯(lián)系變量相關(guān)程度的總體相關(guān)系數(shù)為：

總體相關(guān)系數(shù)反映總體兩個(gè)變量X和Y的線性相關(guān)程度。

特點(diǎn)：對(duì)于特定的總體來說，X和Y的數(shù)值是既定的

總體相關(guān)系數(shù)是客觀存在的特定數(shù)值。

（一）相關(guān)系數(shù)(correlation)的定義一般用表示總體相關(guān)系數(shù)，用r表示樣本相關(guān)系數(shù)。樣本相關(guān)系數(shù)是用協(xié)方差進(jìn)行定義與計(jì)算的，其公式如下：

實(shí)際計(jì)算時(shí)，相關(guān)系數(shù)r也可采用下列等價(jià)公式計(jì)算：相關(guān)系數(shù)具有如下性質(zhì)：

（1）當(dāng)=1時(shí)，x與y完全線性相關(guān)，y與x之間存在著確定的函數(shù)關(guān)系。（2）當(dāng)時(shí)，表示y與x之間存在著一定的線性相關(guān)關(guān)系。的數(shù)值愈大，愈接近于1時(shí)，表示y與x之間的線性相關(guān)程度愈高；反之，的數(shù)值愈小，愈接近于0時(shí)，表示y與x之間的線性相關(guān)的程度愈低。

通常，判斷的標(biāo)準(zhǔn)是：

，稱為微弱相關(guān)；

，稱為低度相關(guān)；

，稱為顯著相關(guān)；

，稱為高度相關(guān)。

（3）當(dāng)r=0時(shí)，表示y與x之間沒有直接的線性相關(guān)關(guān)系，即y與x的變化無關(guān)。

（4）從定性上講，r＞0表示y與x為正相關(guān)，即兩者變化方向相同；r＜0表示y與x之間是負(fù)相關(guān)，兩者變化方向相反。使用相關(guān)系數(shù)的注意事項(xiàng)：▲X和Y都是相互對(duì)稱的隨機(jī)變量，所以▲相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不能說明非線性相關(guān)關(guān)系?！嚓P(guān)系數(shù)不能確定變量的因果關(guān)系，也不能說明相關(guān)關(guān)系具體接近于哪條直線。

例題1:

經(jīng)驗(yàn)表明：商場利潤額與其銷售額之間存在相關(guān)關(guān)系。下表為某市12家百貨公司的銷售額與利潤額統(tǒng)計(jì)表，試計(jì)算其相關(guān)系數(shù)。編號(hào)銷售額利潤額1239235153473046530587456953571105081327691506010176801118010012195110銷售額x利潤額yxy23920752981351552512252254730141022099006530195042259008745391575692025953533259025122511050550012100250013276100321742457761506090002250036001768014080309766400180100180003240010000195110214503802512100合計(jì)12956408939417820745732

練習(xí)1：

家庭儲(chǔ)蓄與家庭收入之間有一定關(guān)系。現(xiàn)從某城市家庭中抽取12個(gè)家庭，所得月收入與月儲(chǔ)蓄的樣本數(shù)據(jù)如下表：計(jì)算其相關(guān)系數(shù)。家庭編號(hào)月收入（百元）月儲(chǔ)蓄（百元）193213531544176518762697228820792310102811113010123312xyxy9327819135651692515460225161761022893618712632449269234676812281764846420714040049231023052910028113087841213010300900100331239610891442549221645950794

在研究我國人均消費(fèi)水平的問題中，把全國人均消費(fèi)額記為y，把人均國民收入記為x。我們收集到1981～1993年的樣本數(shù)據(jù)(xi

，yi)，i=1,2,…，13，數(shù)據(jù)見表，計(jì)算相關(guān)系數(shù)。練習(xí)2:

我國人均國民收入與人均消費(fèi)金額數(shù)據(jù)單位:元年份人均國民收入人均消費(fèi)金額年份人均國民收入人均消費(fèi)金額1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148

解：根據(jù)樣本相關(guān)系數(shù)的計(jì)算公式有

故：人均國民收入與人均消費(fèi)金額之間的相關(guān)系數(shù)為0.99891. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系2.采用t檢驗(yàn)3.檢驗(yàn)的步驟為提出假設(shè)：H0：；H1：0

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：

確定顯著性水平，并作出決策

若t>t，拒絕H0

若t<t，接受H0（二）相關(guān)系數(shù)的顯著性檢驗(yàn)對(duì)前例計(jì)算的相關(guān)系數(shù)進(jìn)行顯著性檢(0.05)1.提出假設(shè)：H0：；H1：02.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3.根據(jù)顯著性水平＝0.05，查t分布表得t(n-2)=2.201由于t=64.9809>t(13-2)=2.201，拒絕H0，人均消費(fèi)金額與人均國民收入之間的相關(guān)關(guān)系顯著

思考：

若相關(guān)系數(shù)通過顯著性檢驗(yàn)，且數(shù)值很大，意味著兩變量之間的關(guān)系很強(qiáng)，從散點(diǎn)圖和趨勢線看，希望找到一條直線近似代替二者之間的關(guān)系，于是引入回歸方程（模型）回歸模型的類型：一個(gè)自變量兩個(gè)及兩個(gè)以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸二、標(biāo)準(zhǔn)的一元線性回歸模型

（簡單線性回歸模型）（一）總體回歸函數(shù)：

是回歸系數(shù)是隨機(jī)誤差項(xiàng)總體回歸直線：（二）樣本回歸函數(shù)

根據(jù)樣本數(shù)據(jù)擬合的直線，稱為樣本回歸直線：

樣本回歸函數(shù)：

稱為殘差(residual)

樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系

●

樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸函數(shù)的函數(shù)形式一致?！窈褪菍?duì)總體回歸函數(shù)參數(shù)的估計(jì)?！袷菍?duì)總體條件期望的估計(jì)●殘差e在概念上類似總體回歸函數(shù)中的隨機(jī)誤差u。回歸分析的目的：用樣本回歸函數(shù)去估計(jì)總體回歸函數(shù)。

三、回歸系數(shù)的估計(jì)回歸系數(shù)估計(jì)的思想：為什么只能對(duì)未知參數(shù)作估計(jì)?

參數(shù)是未知的、不可直接觀測的、不能精確計(jì)算的,能夠得到的只是變量的樣本觀測值結(jié)論:只能通過變量樣本觀測值選擇適當(dāng)方法去近似地估計(jì)回歸系數(shù)。前提:

u是隨機(jī)變量其分布性質(zhì)不確定，必須作某些假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才可進(jìn)行。原則:

使參數(shù)估計(jì)值“盡可能地接近”總體參數(shù)真實(shí)值（一）簡單線性回歸的基本假定：假定1：零均值假定。假定2：同方差假定。假定3：無自相關(guān)假定。

假定4：隨機(jī)擾動(dòng)與自變量不相關(guān)。假定5：正態(tài)性假定

(二）回歸系數(shù)的估計(jì)

（最小平方法）（least-squaresregressionestimation)

通常采用殘差平方和作為衡量總偏差的尺度。樣本回歸方程：通常我們使用最小二乘法估計(jì)，即使殘差平方和：達(dá)到最??！樣本回歸模型：最小二乘法

（圖示）xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾使Q值最小，只需對(duì)上式的求偏導(dǎo)數(shù)，并令其為零解上式(1)，得到參數(shù)的估計(jì)值：

根據(jù)練習(xí)2中的數(shù)據(jù)，配合人均消費(fèi)金額對(duì)人均國民收入的回歸方程根據(jù)和的求解公式得：樣本回歸方程：

人均消費(fèi)金額對(duì)人均國民收入的回歸方程為：y=54.22289+0.52638x^

例題2:

經(jīng)驗(yàn)表明，商場利潤額與其銷售額之間存在相關(guān)關(guān)系。下表為某市12家百貨公司的銷售額與利潤額統(tǒng)計(jì)表，試以銷售額為自變量，利潤額為因變量建立直線回歸模型。編號(hào)銷售額利潤額1239235153473046530587456953571105081327691506010176801118010012195110合計(jì)1295640

所求回歸直線方程為：

回歸直線方程表明，百貨公司的銷售額為零時(shí)，利潤額為-0.371萬元；百貨公司的銷售額每增加1萬元，利潤額就增加0.5286萬元.

練習(xí)1：

家庭儲(chǔ)蓄與家庭收入之間有一定關(guān)系?，F(xiàn)從某城市家庭中抽取12個(gè)家庭，所得月收入與月儲(chǔ)蓄的樣本數(shù)據(jù)如下表：

擬合居民家庭月儲(chǔ)蓄與家庭月收入的直線方程，并解釋回歸系數(shù)的意義。

家庭編號(hào)月收入（百元）月儲(chǔ)蓄（百元）193213531544176518762697228820792310102811113010123312xyxy9327811356516915460225176102289187126324269234676228176484207140400231023052928113087843010300900331239610892549221645950合計(jì)

其回歸系數(shù)的意義為家庭月收入為零時(shí)，家庭月儲(chǔ)蓄將減少0.328百元;家庭月收入每增加1百元，居民家庭月儲(chǔ)蓄就增加0.3777百元。

檢驗(yàn)包括：擬合優(yōu)度的檢驗(yàn)回歸方程是否顯著(是否有效)回歸系數(shù)是否顯著(是否有效)四、線性回歸模型的檢驗(yàn)（一）擬合程度的檢驗(yàn)：

先對(duì)離差平方和的進(jìn)行分解計(jì)算可決系數(shù)（判定系數(shù)）---測定擬合程度離差平方和分解圖示：xyy{}}離差分解圖離差平方和的分解：總變差平方和：可以分解為：TSS=RSS+ESS回歸平方和：殘差平方和：三個(gè)平方和的意義

總平方和(TSS)反映因變量的n個(gè)觀察值與其均值的總離差

回歸平方和(RSS)反映自變量x的變化對(duì)因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和

殘差平方和(ESS)反映除x以外的其他因素對(duì)y取值的影響，也稱為不可解釋的平方和或剩余平方和

分析:

若各個(gè)樣本觀察點(diǎn)與樣本回歸直線靠得越緊,則RSS在TSS中所占的比例越大,因此可定義這一比例為可決系數(shù),記為

顯然,可決系數(shù)越高,回歸模型擬合程度越高,表明回歸方程中的自變量可以解釋因變量的大部分波動(dòng).反之,擬合程度越差,自變量不能解釋因變量的波動(dòng).

可決系數(shù)的特點(diǎn)：

（1）非負(fù)性（2）取值范圍：0-1

（3）是一個(gè)隨機(jī)變量（4）是相關(guān)系數(shù)的平方（證明略）

另注：相關(guān)系數(shù)符號(hào)與回歸系數(shù)符號(hào)一致。注意三個(gè)容易混淆的概念：相關(guān)系數(shù)、回歸系數(shù)、可決系數(shù)（判定系數(shù)）

參見教材（三）回歸系數(shù)的顯著性檢驗(yàn)：檢驗(yàn)統(tǒng)計(jì)量的選擇:

樣本回歸直線中是對(duì)總體回歸直線中進(jìn)行估計(jì)的估計(jì)量,其概率分布(抽樣分布）為:

見教材最小二乘估計(jì)的性質(zhì)當(dāng)總體方差未知,且樣本量較小時(shí),只能用代替,此時(shí)抽樣分布服從自由度為(n-2)的T分布,故檢驗(yàn)統(tǒng)計(jì)量選擇T統(tǒng)計(jì)量.顯著性檢驗(yàn)的步驟：提出假設(shè)H0:b

=0(無線性關(guān)系)H1:b

0

(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，接受H0檢驗(yàn)統(tǒng)計(jì)量及其計(jì)算：其中：回歸的估計(jì)標(biāo)準(zhǔn)誤差：例題1：以前例題2的資料為例計(jì)算利潤額依銷售額變動(dòng)的估計(jì)標(biāo)準(zhǔn)誤：

進(jìn)一步進(jìn)行回歸系數(shù)顯著性水平為0.05的檢驗(yàn)：

注:

一元回歸分析中的回歸系數(shù)檢驗(yàn)和回歸方程的檢驗(yàn)實(shí)際是一回事，但這只是巧合。在多元回歸時(shí)，回歸方程的檢驗(yàn)和回歸系數(shù)的檢驗(yàn)是不相同的?；貧w系數(shù)的檢驗(yàn)是用來檢驗(yàn)自變量x是否對(duì)因變量y有顯著影響。五、一元線性回歸模型預(yù)測