第十九章 直線相關(guān)與回歸分析 蔡泳

1、直線相關(guān)的概念直線相關(guān)的概念 當(dāng)所研究的兩個(gè)事物或現(xiàn)象之當(dāng)所研究的兩個(gè)事物或現(xiàn)象之間，既存在著密切的數(shù)量關(guān)系，間，既存在著密切的數(shù)量關(guān)系，又不象函數(shù)關(guān)系那樣，能以一個(gè)又不象函數(shù)關(guān)系那樣，能以一個(gè)變量的數(shù)值精確地求出另一個(gè)變變量的數(shù)值精確地求出另一個(gè)變量的數(shù)值，我們稱(chēng)這類(lèi)變量之間量的數(shù)值，我們稱(chēng)這類(lèi)變量之間的關(guān)系為相關(guān)關(guān)系，簡(jiǎn)稱(chēng)相關(guān)。的關(guān)系為相關(guān)關(guān)系，簡(jiǎn)稱(chēng)相關(guān)。直線相關(guān)直線相關(guān)(linear correlation)(linear correlation)又稱(chēng)簡(jiǎn)單相關(guān)，用于雙變量正態(tài)又稱(chēng)簡(jiǎn)單相關(guān)，用于雙變量正態(tài)分布資料分布資料 相關(guān)關(guān)系并不一定是因果關(guān)系。相關(guān)關(guān)系并不一定是因果關(guān)系。相關(guān)分析的任

2、務(wù)就是對(duì)相關(guān)關(guān)相關(guān)分析的任務(wù)就是對(duì)相關(guān)關(guān)系給以定量的描述系給以定量的描述 相關(guān)系數(shù)的意義相關(guān)系數(shù)的意義 相關(guān)系數(shù)相關(guān)系數(shù)(correlation (correlation coefficient)coefficient)又稱(chēng)積差相關(guān)系數(shù)又稱(chēng)積差相關(guān)系數(shù)(coefficient of product-moment (coefficient of product-moment correlation)correlation)，以符號(hào)，以符號(hào)r r表示。它是表示。它是說(shuō)明具有直線關(guān)系的兩個(gè)變量間，說(shuō)明具有直線關(guān)系的兩個(gè)變量間，相關(guān)關(guān)系的密切程度與相關(guān)方向的相關(guān)關(guān)系的密切程度與相關(guān)方向的指標(biāo)指標(biāo) yy

3、xxxylllYYXXYYXXr22)()()(nYXXYlxy)(nXXlxx22)(nYYlyy22)(相關(guān)系數(shù)沒(méi)有單位，其值為相關(guān)系數(shù)沒(méi)有單位，其值為-1 -1 r r 1 1 r0r0：正相關(guān)，：正相關(guān)，r0r2.228t=3.582.228，P0.05P0.576r=0.74950.576，P0.05P0.05，按，按=0.05=0.05水準(zhǔn)，拒絕水準(zhǔn)，拒絕H H0 0，接受，接受H H1 1，故可以認(rèn)為一年級(jí)女大學(xué)生體重故可以認(rèn)為一年級(jí)女大學(xué)生體重與肺活量間呈正的直線相關(guān)與肺活量間呈正的直線相關(guān)進(jìn)行相關(guān)分析時(shí)的注意事項(xiàng)進(jìn)行相關(guān)分析時(shí)的注意事項(xiàng)1.1.線性相關(guān)表示兩個(gè)變量之間線性相關(guān)

4、表示兩個(gè)變量之間的關(guān)系是雙向的，當(dāng)散點(diǎn)圖出的關(guān)系是雙向的，當(dāng)散點(diǎn)圖出現(xiàn)直線趨勢(shì)時(shí)，再作分析現(xiàn)直線趨勢(shì)時(shí)，再作分析2.2.相關(guān)系數(shù)的計(jì)算只適用于兩相關(guān)系數(shù)的計(jì)算只適用于兩個(gè)變量都服從正態(tài)分布的資料個(gè)變量都服從正態(tài)分布的資料3.3.樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的一個(gè)估計(jì)值，與總體相關(guān)系數(shù)之一個(gè)估計(jì)值，與總體相關(guān)系數(shù)之間存在著抽樣誤差，必須作假設(shè)間存在著抽樣誤差，必須作假設(shè)檢驗(yàn)檢驗(yàn)4.4.相關(guān)分析是用相關(guān)系數(shù)來(lái)描述兩相關(guān)分析是用相關(guān)系數(shù)來(lái)描述兩個(gè)變量間相互關(guān)系的密切程度和個(gè)變量間相互關(guān)系的密切程度和方向，相關(guān)關(guān)系不一定是因果關(guān)方向，相關(guān)關(guān)系不一定是因果關(guān)系系直線回歸的概念直

5、線回歸的概念 在描述肺活量與體重的依存關(guān)系中，在描述肺活量與體重的依存關(guān)系中，習(xí)慣上將體重作為自變量習(xí)慣上將體重作為自變量(independent variable)(independent variable)，用，用X X表表示，肺活量是應(yīng)變量示，肺活量是應(yīng)變量(dependent (dependent variable)variable)用用Y Y表示。表示。直線回歸直線回歸 由上圖可見(jiàn)，肺活量由上圖可見(jiàn)，肺活量Y Y 有隨體重有隨體重X X增加而增大的趨勢(shì)，且散點(diǎn)呈直線增加而增大的趨勢(shì)，且散點(diǎn)呈直線趨勢(shì)，但并非趨勢(shì)，但并非1212個(gè)點(diǎn)子恰好全都在個(gè)點(diǎn)子恰好全都在一直線上。這與兩變量間嚴(yán)格

6、對(duì)應(yīng)一直線上。這與兩變量間嚴(yán)格對(duì)應(yīng)的函數(shù)關(guān)系不同，稱(chēng)為直線回歸的函數(shù)關(guān)系不同，稱(chēng)為直線回歸(1(1inearinearregression)regression)，又稱(chēng)簡(jiǎn)單，又稱(chēng)簡(jiǎn)單回歸回歸(simple regression)(simple regression)。為了。為了區(qū)別于一般函數(shù)方程，我們將它稱(chēng)區(qū)別于一般函數(shù)方程，我們將它稱(chēng)為直線回歸方程。為直線回歸方程。直線回歸方程的求法直線回歸方程的求法 直線回歸方程的一般表達(dá)式為直線回歸方程的一般表達(dá)式為 ：bXaYa a 為 回 歸 直 線 在為 回 歸 直 線 在 Y Y 軸 上 的 截 距軸 上 的 截 距( (intercept)in

7、tercept)。a a0 0：直線與縱軸的交點(diǎn)在原點(diǎn)的：直線與縱軸的交點(diǎn)在原點(diǎn)的上方上方a aO O：交點(diǎn)在原點(diǎn)的下方：交點(diǎn)在原點(diǎn)的下方a a0 0：回歸線通過(guò)原點(diǎn)：回歸線通過(guò)原點(diǎn) b b 為 回 歸 系 數(shù)為 回 歸 系 數(shù) ( r e g r e s s i o n ( r e g r e s s i o n coefficient)coefficient)，即直線的斜率，即直線的斜率( (slope)slope) b b0 0：表示直線從左下方走向右上：表示直線從左下方走向右上方，方， 即即Y Y隨隨X X增大而增大增大而增大 b bO O：表示直線從左上方走向右下：表示直線從左上方走

8、向右下方，即方，即y y隨隨X X增大而減少增大而減少b b0 0：表示直線與：表示直線與X X軸平行，即軸平行，即X X與與Y Y無(wú)直線關(guān)系無(wú)直線關(guān)系b b的統(tǒng)計(jì)學(xué)意義是的統(tǒng)計(jì)學(xué)意義是X X每增每增( (減減) )一一個(gè)單位，個(gè)單位，Y Y平均改變平均改變b b個(gè)單位個(gè)單位 根據(jù)數(shù)學(xué)上的最小二乘法根據(jù)數(shù)學(xué)上的最小二乘法(least (least square method)square method)原理（即保證各實(shí)原理（即保證各實(shí)測(cè)點(diǎn)至直線的縱向距離的平方和最測(cè)點(diǎn)至直線的縱向距離的平方和最?。?，可導(dǎo)出小），可導(dǎo)出a a、b b的算式如下：的算式如下：xxxyllXXYYXXb2)()(Xb

9、YanXXnYY就上例試求女大學(xué)生肺活量就上例試求女大學(xué)生肺活量Y Y對(duì)對(duì)體重體重X X的直線回歸方程的直線回歸方程 ：058826. 06667.30604.18xxxyllb3333.4912592nXX9025. 21283.34nYY000419. 03333.49058826. 09025. 2XbYa回歸方程：回歸方程： XbXaY058826. 0000419. 0直線回歸方程的圖示直線回歸方程的圖示 在自變量在自變量X X的實(shí)測(cè)全距范圍內(nèi)任取的實(shí)測(cè)全距范圍內(nèi)任取相距較遠(yuǎn)且易讀數(shù)的兩相距較遠(yuǎn)且易讀數(shù)的兩X X值，代入值，代入上式。如上例取上式。如上例取X X=42=42，得，得Y

10、 Y=2.47=2.47；取；取X X5858，得，得Y Y=3.41=3.41。在圖上確定在圖上確定(42(42，2.47)2.47)和和(58(58，3.41)3.41)兩個(gè)點(diǎn)，以直線連接，即得兩個(gè)點(diǎn)，以直線連接，即得直線式直線式 Y=0.000419+0.058826XY=0.000419+0.058826X的的圖形圖形 注意：所繪直線必然通過(guò)點(diǎn)注意：所繪直線必然通過(guò)點(diǎn)( ( ， ) )，若縱坐標(biāo)、，若縱坐標(biāo)、橫坐標(biāo)無(wú)折斷號(hào)時(shí)，將此線左橫坐標(biāo)無(wú)折斷號(hào)時(shí)，將此線左端延長(zhǎng)與縱軸相交，交點(diǎn)的縱端延長(zhǎng)與縱軸相交，交點(diǎn)的縱坐標(biāo)必等于截距坐標(biāo)必等于截距a a YX回歸系數(shù)的假設(shè)檢驗(yàn)回歸系數(shù)的假設(shè)檢驗(yàn)

11、 回歸方程是否成立，即回歸方程是否成立，即x x、y y是否有是否有直線關(guān)系，是回歸分析要考慮的首直線關(guān)系，是回歸分析要考慮的首要問(wèn)題。即使要問(wèn)題。即使x x、y y的總體回歸系數(shù)的總體回歸系數(shù)為零，由于抽樣誤差，其樣本回為零，由于抽樣誤差，其樣本回歸系數(shù)歸系數(shù)b b也不一定為零，因此需作也不一定為零，因此需作是否為零的假設(shè)檢驗(yàn)，可用方差是否為零的假設(shè)檢驗(yàn)，可用方差分析或分析或t t檢驗(yàn)檢驗(yàn) （一）方差分析（一）方差分析1. Y1. Y的離均差平方和的離均差平方和l lYYYY的分析的分析式中式中S Sb b為樣本回歸系數(shù)的標(biāo)準(zhǔn)誤，為樣本回歸系數(shù)的標(biāo)準(zhǔn)誤，S Sy y.x.x為剩余標(biāo)準(zhǔn)差為剩余

12、標(biāo)準(zhǔn)差(standard (standard deviation of Y for fixed X)deviation of Y for fixed X)，是當(dāng)是當(dāng)X X的影響被扣除后的影響被扣除后Y Y方面的變方面的變異指標(biāo)異指標(biāo) （二）（二）t t檢驗(yàn)檢驗(yàn)xxXYblSbSbt.0 xxxyyyxylllXXYYXXYYYYnYYs222222.2直線直線回歸方程的應(yīng)用回歸方程的應(yīng)用 1. 1. 描述兩變量間的依存關(guān)系描述兩變量間的依存關(guān)系2. 2. 利 用 回 歸 方 程 進(jìn) 行 預(yù) 測(cè)利 用 回 歸 方 程 進(jìn) 行 預(yù) 測(cè)( (forecast)forecast)3. 3. 利用回歸方

13、程進(jìn)行統(tǒng)計(jì)控制利用回歸方程進(jìn)行統(tǒng)計(jì)控制( (statistical control) statistical control) 4. 4. 應(yīng)用直線回歸應(yīng)注意的問(wèn)題應(yīng)用直線回歸應(yīng)注意的問(wèn)題（1 1）作回歸分析要有實(shí)際意義，）作回歸分析要有實(shí)際意義，不能把毫無(wú)關(guān)聯(lián)的兩種現(xiàn)象不能把毫無(wú)關(guān)聯(lián)的兩種現(xiàn)象作回歸分析，必須對(duì)兩種現(xiàn)作回歸分析，必須對(duì)兩種現(xiàn)象間的內(nèi)在聯(lián)系有所認(rèn)識(shí)象間的內(nèi)在聯(lián)系有所認(rèn)識(shí)（2 2）在進(jìn)行直線回歸分析之前，）在進(jìn)行直線回歸分析之前，應(yīng)繪制散點(diǎn)圖，當(dāng)觀察點(diǎn)的分布應(yīng)繪制散點(diǎn)圖，當(dāng)觀察點(diǎn)的分布有直線趨勢(shì)時(shí)，才適宜作直線回有直線趨勢(shì)時(shí)，才適宜作直線回歸分析，如散點(diǎn)圖明顯呈曲線趨歸分析，如散

14、點(diǎn)圖明顯呈曲線趨勢(shì)，使之直線化再行分析勢(shì)，使之直線化再行分析 （3 3）直線回歸方程的適用范圍一般以）直線回歸方程的適用范圍一般以自變量的取值范圍為限，在此范自變量的取值范圍為限，在此范圍內(nèi)求出的估計(jì)值，一般稱(chēng)為內(nèi)圍內(nèi)求出的估計(jì)值，一般稱(chēng)為內(nèi)插。超過(guò)自變量取值范圍所計(jì)算插。超過(guò)自變量取值范圍所計(jì)算的值稱(chēng)為外延。若無(wú)充分理由證的值稱(chēng)為外延。若無(wú)充分理由證明超過(guò)自變量取值范圍外還是直明超過(guò)自變量取值范圍外還是直線，應(yīng)該避免外延線，應(yīng)該避免外延 直線回歸與相關(guān)的區(qū)別和聯(lián)系直線回歸與相關(guān)的區(qū)別和聯(lián)系 1. 1. 區(qū)別區(qū)別（1 1）在應(yīng)用上，說(shuō)明變量間的相）在應(yīng)用上，說(shuō)明變量間的相關(guān)關(guān)系用相關(guān)，可以表達(dá)

15、相關(guān)關(guān)系用相關(guān)，可以表達(dá)相關(guān)得密切程度和方向。關(guān)得密切程度和方向。 說(shuō)明兩變量間依存變化的數(shù)量說(shuō)明兩變量間依存變化的數(shù)量關(guān)系用回歸關(guān)系用回歸相關(guān)要求兩個(gè)變量X、Y服從雙變量正態(tài)分布。這種資料若進(jìn)行回歸分析稱(chēng)為型回歸。可以計(jì)算兩個(gè)回歸方程。由X推Y的回歸方程： XbaYxyxy.由Y推X的回歸方程： YbaXyxyx.該兩個(gè)方程中，回歸系數(shù)各不相同，但是相關(guān)系數(shù)相同。且21bbr （2 2）兩事物或現(xiàn)象間存在相關(guān)關(guān)）兩事物或現(xiàn)象間存在相關(guān)關(guān)系，不一定是因果關(guān)系，可系，不一定是因果關(guān)系，可能只是伴隨關(guān)系，而一旦兩能只是伴隨關(guān)系，而一旦兩事物或現(xiàn)象間存在因果關(guān)系，事物或現(xiàn)象間存在因果關(guān)系，則必然相關(guān)。則必然相關(guān)。（3 3）在資料要求上若因變量）在資料要求上若因變量Y Y服服從正態(tài)分布（隨機(jī)變量）；從正態(tài)分布（隨機(jī)變量）；X X是可是可以精確測(cè)量和嚴(yán)格控制的變以精確測(cè)量和嚴(yán)格控制的變量量,(,(也稱(chēng)非隨機(jī)變量），那么該也稱(chēng)非隨機(jī)變量），那么該資料一般只能進(jìn)行回歸分析而不資料一般只能進(jìn)行回歸分析而不宜作相關(guān)分析。該類(lèi)回歸也被稱(chēng)宜作相關(guān)分析。該類(lèi)回歸也被稱(chēng)為為I I型回歸。型回歸。2. 2. 聯(lián)系聯(lián)系（1 1）對(duì)一組數(shù)據(jù)若同時(shí)計(jì)算）對(duì)一組數(shù)據(jù)若同時(shí)計(jì)算r r與與b b，它們的正負(fù)號(hào)是一致的。它們的正負(fù)號(hào)是一致的。r r為正為正號(hào)說(shuō)明兩變量間的相互關(guān)系是號(hào)說(shuō)明兩