《回歸與相關(guān)分析》PPT課件.ppt

1、第七章 回歸與相關(guān)分析,（針對(duì)兩個(gè)變量的相互關(guān)系進(jìn)行分析） 第一節(jié) 直線回歸 第二節(jié) 直線相關(guān) 第三節(jié) 多項(xiàng)式回歸 第四節(jié) 協(xié)方差分析*,第七章要點(diǎn)提示,本章對(duì)兩個(gè)變量的相互關(guān)系進(jìn)行分析，是多元統(tǒng)計(jì)分析的基石。學(xué)習(xí)時(shí)首先要求區(qū)分“回歸”術(shù)語(yǔ)古今含義的不同之處，充分認(rèn)識(shí)一元線性回歸與相關(guān)分析的基礎(chǔ)地位； 熟悉回歸關(guān)系與相關(guān)關(guān)系的本質(zhì)區(qū)別及兩者在統(tǒng)計(jì)表述方法上的聯(lián)系（如r與b在數(shù)學(xué)意義上的統(tǒng)一性）和各自的側(cè)重點(diǎn)； 重點(diǎn)掌握直線回歸與相關(guān)分析的顯著性檢驗(yàn)方法和雙變量回歸模型的協(xié)方差分析技術(shù)，以便將統(tǒng)計(jì)控制手段與試驗(yàn)控制手段一起綜合運(yùn)用到試驗(yàn)設(shè)計(jì)和統(tǒng)計(jì)分析中去。 涉及教材內(nèi)容：第八章，第九章第四節(jié)，第

2、十章。 作業(yè)布置：教材第九章一、二、三節(jié)內(nèi)容自習(xí)；教材P1175 T4、 T5、 T6 ； P210 T4 、T5 。,第一節(jié) 直線回歸,一、回歸的含義 “回歸”原文為regression，該術(shù)語(yǔ)最先由英國(guó)的F.Galton于1886年左右研究人類(lèi)身高遺傳的規(guī)律時(shí)所作的“高爾頓解釋”中使用，詳情如右圖所示： 高爾頓對(duì)此所作的解釋是：大自然有 一種約束機(jī)制，使人類(lèi)身高分布保持某種穩(wěn)定形態(tài)而不作兩極分化，也就是有回歸于中心的作用，這個(gè)中心值即該種族身高在一定歷史時(shí)期的平均值。 現(xiàn)在就“回歸”所作的定義是： 如果兩個(gè)變量X和Y，總是Y隨著X的變化而變化，且這種變化關(guān)系不可逆，則稱(chēng)X和Y為回歸關(guān)系。其

3、中： X叫自變量dependent variable；Y叫因變量或依變量independent variable。,高：xg 71 72 g (69) 64 a 矮：xa 67 調(diào)查n 1074個(gè)家庭，統(tǒng)計(jì)結(jié)果： X 68英寸 69英寸 得： X 1 (1英寸2.54cm) 但分組統(tǒng)計(jì)的結(jié)果卻并非如此 父母為高個(gè)子組時(shí)，g 721 父母為矮個(gè)子組時(shí)， a 641 走向指回歸的本意 走向指回歸的今義,第一節(jié) 直線回歸,二、建立直線回歸方程 例7.1 在四川白鵝的生產(chǎn)性能研究中，得到如下一組n = 12（只）關(guān)于雛鵝重（g）與70日齡重（10g）的關(guān)系的數(shù)據(jù)，其結(jié)果如下表，試予分析。 解 描散點(diǎn)圖

4、 本例已知雛鵝70日齡重隨雛鵝重的變化而變化，且不可逆；又據(jù)散點(diǎn)圖反映的趨勢(shì)來(lái)看，在80120g的重量范圍， 70日齡重隨雛鵝重呈上升的線性變化關(guān)系。 故可假定直線回歸方程為： y a bx 讀作“Y依直線回歸”,70 90 110 130,y a bx,340 300 260 220,第一節(jié) 直線回歸,數(shù)據(jù)整理 由原始數(shù)據(jù)算出一級(jí)數(shù)據(jù)6個(gè)： X1182 Y32650 XY3252610 X 2118112 Y 2896696700 n12 再由一級(jí)數(shù)據(jù)算出二級(jí)數(shù)據(jù)5個(gè)： SSX X 2 (X) 2 /n1685.00 SSY Y 2 (Y ) 2 /n 831491.67 SP XY X Y

5、 /n 36585.00 XX/n 98.5 Y/n 2720.8333 計(jì)算三級(jí)數(shù)據(jù) b SP/ SSX 21.7122 365851685 a bX582.1816 2720.8333 21.712298.5 得所求直線回歸方程為： y 582.1816 + 21.7122 x,80 100 120,y a bx,320 280 240 200,80,120,第一節(jié) 直線回歸,三、直線回歸關(guān)系的顯著性檢驗(yàn) 將a bx 代入Y a bx 得： y b(xx )及 y b(xx ) 于是由因變量離均差的兩個(gè)線性分量： (Y )2(Yy )( y ) 2 可推導(dǎo)出因變量總SS的如下分解公式： (

6、Y )2(Yy ) 2 ( y ) 2 簡(jiǎn)寫(xiě)成：SSY SSR SSr 分別叫“離回歸平方和”與“回歸平方和” 其計(jì)算公式及本例分解結(jié)果： SSRSP2/ SSX365852 / 1685 794339.6 SSrSSY SSR 37152.07 831491.67 794339.6 故 F MSR / MSr 213.81* (F0.01, 1, 1010.04) (794339.6 1)/(37152.0710) 表明雙變量直線回歸關(guān)系極顯著,所得方程 y 582.1816 + 21.7122 x可用于預(yù)測(cè)。,也可對(duì)回歸系數(shù)進(jìn)行t-test來(lái)證實(shí)。 只是要利用分子df1時(shí)，F(xiàn)t2的關(guān)系 推

7、導(dǎo)出回歸系數(shù)的標(biāo)準(zhǔn)誤SbSe/SSX 其中，Se2SSr/dfr3715.21 37152.0710 于是t-test的步驟如下： H0: = 0(為回歸系數(shù)b的真值) Sb Se2/ SSX 1.4849 3715.211685 t (b)Sb 21.71221.484914.62 (3) 按自由度dfr 10 查得兩尾 t0.01 = 3.169 (4) 推斷： t t0.01 H0 不成立。 可見(jiàn)t-test與F-test的效果完全一致。 若顯著性檢驗(yàn)結(jié)果不顯著,則三選一： Y與X沒(méi)有回歸關(guān)系； Y與X有回歸關(guān)系，但不是直線回歸； Y與X有回歸關(guān)系，但不是簡(jiǎn)單回歸， 而是多元回歸。,第二

8、節(jié) 直線相關(guān),一、相關(guān)的含義 如果兩個(gè)變量X和Y，總是X和Y 相互制約、平行變化，則稱(chēng)X和Y為相關(guān)關(guān)系。 此時(shí)，X和Y沒(méi)有嚴(yán)格意義上的自變量和因變量之分，既可以說(shuō)Y隨著X的變化而變化， 也可以講X隨著Y 的變化而變化。即不存在誰(shuí)決定誰(shuí)或誰(shuí)依賴(lài)誰(shuí)的問(wèn)題。 如人或動(dòng)物的胸圍和體重，作物的生物產(chǎn)量和經(jīng)濟(jì)產(chǎn)量，樹(shù)干的胸徑與材積等。 可見(jiàn)，相關(guān)關(guān)系以雙向、平行為特征。 但相關(guān)關(guān)系如果僅從數(shù)學(xué)角度看，和回歸關(guān)系是統(tǒng)一的，因?yàn)槠潆p變量變化規(guī)律如果是線性關(guān)系的話，也可以由根據(jù)“最小二乘法”原理得出的直線方程來(lái)表述，所以有些文獻(xiàn)不區(qū)分回歸關(guān)系和相關(guān)關(guān)系，將二者籠統(tǒng)地稱(chēng)之“回歸”或者“相關(guān)”。 從統(tǒng)計(jì)上講，相關(guān)分

9、析的側(cè)重點(diǎn)和回歸分析不完全一樣。,二、相關(guān)系數(shù) 前已述及，具有線性回歸關(guān)系的雙變量中，Y變量的總變異量分解為： SSY SSr SSR 對(duì)于具有線性相關(guān)關(guān)系的雙變量， Y變量的總平方和也可以分解成同樣的兩個(gè)分量，只是分別改稱(chēng)為“非相關(guān)平方和”與“相關(guān)平方和”于是有： r SSR / SSY SP/ SSX SSY “ r ”叫相關(guān)系數(shù)，其絕對(duì)值越大， SSR所占的比重就越大，在散點(diǎn)圖上就表現(xiàn)為各散點(diǎn)越靠近直線；反之， 即SSr所占的比重越大，各散點(diǎn)越遠(yuǎn)離直線。并且有以下性質(zhì)： r 的正負(fù)和b一樣取決于SP的正負(fù)； r0，正相關(guān)；r0，負(fù)相關(guān) r1，1或r（1，1）； 決定系數(shù) r 2bb 或

10、r bb,第二節(jié) 直線相關(guān),三、相關(guān)分析舉例 例7.2 為研究綿羊胸圍（cm）和體重（kg）的相互關(guān)系，調(diào)查了10只綿羊胸圍和體重的對(duì)應(yīng)觀察值X和Y， 所得結(jié)果如下表，試予分析。 解 描散點(diǎn)圖 本例已知綿羊胸圍（X）和體重（Y）為相關(guān)關(guān)系，散點(diǎn)圖也顯示兩者的變化規(guī)律呈線性正相關(guān)，SP0。 故可假定直線相關(guān)方程為： y a bx 或 x a b y 后一個(gè)方程也可寫(xiě)成：y a b x,y a bx,80 74 68 62 56 50,第二節(jié) 直線相關(guān),數(shù)據(jù)整理 由原始數(shù)據(jù)算出一級(jí)數(shù)據(jù)6個(gè)： X720 Y680 XY49123 X 251904 Y 246818 n10 再由一級(jí)數(shù)據(jù)算出二級(jí)數(shù)據(jù)5

11、個(gè)： SSX X 2 (X) 2 /n64 SSY Y 2 (Y ) 2 /n 578 SP XY X Y /n 163 XX/n 72 Y/n 68 計(jì)算三級(jí)數(shù)據(jù) b SP/ SSX 16364 2.547 a 72 2.54768 115.4 b SP/ SSY 163578 0.282 a 68 0.282 72 52.82 即所求相關(guān)方程可以有兩個(gè)(如右圖) r SP/ SSX SSY 0.8475 r 2bb2. 547 0.2820.7192,y 52.82 0.282 x,76 72 68,40 50 60 70 80,80 70 60 50,y 2.547x115.4,第二節(jié)

12、直線相關(guān),、直線相關(guān)關(guān)系的顯著性檢驗(yàn) 和直線回歸關(guān)系的顯著性檢驗(yàn)原理一樣，直線相關(guān)關(guān)系的雙變量也可導(dǎo)出Y變量總SS的如下分解公式： (Y )2(Yy ) 2 ( y ) 2 簡(jiǎn)寫(xiě)成：SSY SSR SSr 分別叫“非相關(guān)平方和”與“相關(guān)平方和” 其計(jì)算公式引用三級(jí)數(shù)據(jù)后簡(jiǎn)化為： SSY (1 r 2 )SSY r 2 SSY 或者 SSX (1 r 2 )SSX r 2 SSX SSR r 2 SSY0.7182 578 415 SSr (1 r 2 ) SSY 0.2818 578 163 故 F MSR / MSr 20.4* (F0.01, 1, 811.26) (n 2 ) r 2 /

13、 (1 r 2 ) 表明雙變量直線相關(guān)關(guān)系極其顯著, 所得兩個(gè)直線相關(guān)方程都可用于預(yù)測(cè)。,也可對(duì)回歸系數(shù)進(jìn)行t-test來(lái)證實(shí)。 只是要利用df(分子)1時(shí)，F(xiàn)t2的關(guān)系 推導(dǎo)出相關(guān)系數(shù)的標(biāo)準(zhǔn)誤： Sr (1 r 2 ) / (n 2 ) 并且 Se2SSr/dfr 1638 20.4 于是t-test的步驟如下： H0: = 0(為相關(guān)系數(shù) r 的真值) Sr 0.28188 0.1877 t(r )Sr0.84750.18774.516 (3) 按自由度dfr 8 查得兩尾 t0.01 = 3.355 (4) 推斷： t t0.01 H0 不成立。 可見(jiàn)t-test與F-test的效果完全

14、一致。 若顯著性檢驗(yàn)結(jié)果不顯著,則三選一： Y與X沒(méi)有相關(guān)關(guān)系； Y與X有相關(guān)關(guān)系，但不是直線相關(guān)； Y與X有相關(guān)關(guān)系，但不是簡(jiǎn)單相關(guān)， 而是復(fù)相關(guān)。,第二節(jié) 直線相關(guān),四、回歸與相關(guān)關(guān)系的統(tǒng)一性 既然相關(guān)關(guān)系和回歸關(guān)系的顯著性檢驗(yàn)原理一樣，那么，不論回歸還是相關(guān)關(guān)系，其檢驗(yàn)都可用“相關(guān)系數(shù)” r 進(jìn)一步簡(jiǎn)化如下：即由 t2 F (n 2 ) r 2 / (1 r 2 ) 解得： r t2 / ( n 2 t2 ) 于是利用這一關(guān)系將各個(gè)自由度下的 t 臨界值t0.05和 t0.01換算出相關(guān)系數(shù)r的臨界值r0.05和 r0.01，從而得到直接用于檢驗(yàn)回歸或者是相關(guān)關(guān)系顯著性的臨界值表(附表8

15、)。 如從教材P309查得M2，dfr8時(shí) r0.05 0.632， r0.01 0.765 今得 r 0.8475* r0.01 再由例7.1從P309查得M2，dfr10時(shí) r0.05 0.576， r0.01 0.708 算得 “ r ” 0.9774* r0.01 檢驗(yàn)效果與F-test或者是t-test完全一樣。,例7.2關(guān)于體重(Y)的ANOVA表： SOV DF SSY MS F F 0.01 相關(guān) 1 415 415 20.4* 11.26 非相關(guān) 8 163 20.4 總 9 578 也可針對(duì)胸圍(X)做ANOVA表： SOV DF SSX MS F F 0.01 相關(guān) 1

16、46 46 20.4* 11.26 非相關(guān) 8 18 2.25 總 9 64 例7.1只針對(duì)70日齡重(Y)做ANOVA表： SOV DF SSY MS F 回歸 1 794339.6 794339.6 213.81* 離回歸 10 37152.07 3725.21 總 11 831491.67,第三節(jié) 多項(xiàng)式回歸,例7.3 給動(dòng)物口服某種藥物1000mg，每間隔1小時(shí)（時(shí)長(zhǎng)X）測(cè)定血液濃度Y（g/ml），每5頭供試動(dòng)物的平均血液濃度整理結(jié)果如下，試就其數(shù)量變化特點(diǎn)建立多項(xiàng)式回歸方程并予以分析。 解 先描散點(diǎn)圖； 初步判斷為二次多項(xiàng)式 通常稱(chēng)之為拋物線； 這種變化關(guān)系在農(nóng)業(yè)和 動(dòng)物科學(xué)領(lǐng)域普遍

17、存在； 完成這類(lèi)實(shí)例分析的方 法是將曲線單回歸的問(wèn)題通 過(guò)變量代換轉(zhuǎn)化為二元線性 回歸的問(wèn)題來(lái)解決，這也是 完成更高次多項(xiàng)式回歸分析 的基本點(diǎn)。,y2ab1xb2x2的圖象,一、確定多項(xiàng)式方程次數(shù)的方法,b2 0,b2 0,當(dāng)兩個(gè)變數(shù)間的曲線關(guān)系很難確定時(shí)，可以使用多項(xiàng)式去逼近，稱(chēng)為多項(xiàng)式回歸（polynomial regression )。 最簡(jiǎn)單的多項(xiàng)式是二次多項(xiàng)式，其方程為：y2 ab1xb2x2 它的圖象是拋物線。當(dāng)b20時(shí)，曲線凹向上，有一個(gè)極小值；b2 0時(shí)，曲線凸向上，有一個(gè)極大值，見(jiàn)右圖。 本例(x, y)的散點(diǎn)圖呈單鋒趨勢(shì)，沒(méi)有明顯的其它凹凸變化，故預(yù)期可用二次式配合。 但多

18、項(xiàng)式回歸方程通常只能用于描述試驗(yàn)范圍內(nèi)Y依X的變化關(guān)系，外推一般不可靠，這一點(diǎn)首先必須明確。,三次多項(xiàng)式的方程為：y3ab1xb2xb3x3 它的圖形是具有兩個(gè)彎曲(一個(gè)極大值和 一個(gè)極小值)和一個(gè)拐點(diǎn)的曲線。當(dāng)b30時(shí)， 這類(lèi)曲線由凸向上轉(zhuǎn)為凹向上；當(dāng)b3 0時(shí)， 這類(lèi)曲線由凹向上轉(zhuǎn)為凸向上，見(jiàn)右圖。 多項(xiàng)式方程的一般形式： yab1xb2x2. bkxk 這是k-1個(gè)具有個(gè)彎曲(k-1個(gè)極值)和k-2 個(gè)拐點(diǎn)的曲線；兩個(gè)變數(shù)的n對(duì)觀察值最多可 配到 k n 1 次多項(xiàng)式；k越大，包含的 統(tǒng)計(jì)數(shù)越多，計(jì)算和解釋越復(fù)雜；一個(gè)多項(xiàng)式 回歸方程應(yīng)取多少次為宜，可根據(jù)資料的散點(diǎn) 圖作出初步選擇；散點(diǎn)

19、圖趨勢(shì)所表現(xiàn)的曲線的 峰數(shù)谷數(shù)1，即為多項(xiàng)式回歸方程次數(shù)。 散點(diǎn)波動(dòng)較大或峰谷兩側(cè)不對(duì)稱(chēng)，可再高一次。,一、確定多項(xiàng)式方程次數(shù)的方法,b30,b30,y3 = a+b1x+b2x2+b3x3 的圖象,二、建立多項(xiàng)式回歸方程,變量代換（代換得到的變量個(gè)數(shù)以m表示） 設(shè)例7.3的二次多項(xiàng)式方程為：y2 ab1xb2x2 令x1 x ，x2x 2 ； 則方程線性化為： y2 ab1x1b2x2 數(shù)據(jù)整理 由原始數(shù)據(jù)算出一級(jí)數(shù)據(jù)9個(gè)： X1 X 45 Y419.65 X1Y XY 1930.45 X2 X 2285 Y 224426.5833 X1 X2 X3 2025 n9 X2 2 X 4 153

20、33 X2Y X2Y10452.11 再由一級(jí)數(shù)據(jù)算出二級(jí)數(shù)據(jù)9個(gè)： SS1 X 2 (X) 2 /n60 SS2 X2 2 (X2) 2 /n6308 SP10 X1Y X1 Y /n 167.8 SP20 X2Y X2 Y /n 2836.8067 SP12 SP21 X1 X2 X1 X2 /n 600 SSY 4859.2364 Y/n 46.6278 x1 X1 /n 5 x2 X2 /n 31.6667 仍按“最小二乘方”原理計(jì)算三級(jí)數(shù)據(jù)bi 例7.1已知 a bx，則二次多項(xiàng)式可類(lèi)推，即：a b1x1 b2x2 也就是列方程組求算各回歸系數(shù)時(shí)，不必把常數(shù)項(xiàng)列為未知數(shù)求解，這樣 一

21、來(lái)，就可用階數(shù)更少的矩陣運(yùn)算來(lái)減少解方程的工作量。,二、建立多項(xiàng)式回歸方程,1、 只將bi 列為未知數(shù)求解的方法； 對(duì)于任意次多項(xiàng)式， yab1xb2x2. bkxk 若令x1x，x2x2，,xkxk， 則該式可化為： ykab1x1b2x2. bkxk 這時(shí)多元線性方程采用矩陣方法只需求 m = k 元方程組的解。 SS11 SP12 SP1k b1 SP10 SP21 SS22 SP1k b2 SP20 A . . . ， b . Z . SPm1 SPm2 SSmk bk SPm0 也就是說(shuō)，以二級(jí)數(shù)據(jù)為元素構(gòu)建的矩陣 AbZ 階數(shù)只有 mm 。 求得A-1，并由bA-1 Z 可獲得相應(yīng)

22、的多項(xiàng)式回歸方程中 k 個(gè)回歸 系數(shù)bi的解，本例 m = k = 2，求解過(guò)程如下： A SS11 SP12 60.0000 600.0000 ，Z SP10 -167.8000 SP21 SS22 600.0000 6308.0000 SP20 -2836.8067,二、建立多項(xiàng)式回歸方程,1、 只將bi 列為未知數(shù)求解的方法； 采用矩陣方法求解的關(guān)鍵在于求逆矩陣，這屬于線性代數(shù)范圍的知識(shí)， 教材分別在P203和P204提示了逆矩陣求算方法，本例用二級(jí)數(shù)據(jù)構(gòu)建兩個(gè)矩 陣后簡(jiǎn)化了計(jì)算，只需對(duì)二階矩陣求逆(Cij叫高斯乘數(shù))，結(jié)果如下： A -1 SS11 SP12 -1 0.341349 -

23、0.032468 C11 C12 SP21 SS22 -0.032468 0.003247 C21 C22 bA-1 Z 0.341349 -0.032468 -167.8000 34.8271 -0.032468 0.003247 -2836.8067 -3.7630 于是獲得多項(xiàng)式回歸方程中兩個(gè)回歸系數(shù)：b134.8271，b2-3.763 a b1x1 b2x2 -8.3459 46.627834.82715(3.763)31.6667 IA-1 A 1.000140 0.000120 1 0 (單位矩陣) 0.001376 1.002652 0 1,二、建立多項(xiàng)式回歸方程,2、 把常數(shù)

24、項(xiàng) a 列為未知數(shù)求解的方法； 對(duì)于任意次多項(xiàng)式， yab1xb2x2. bkxk 若令x1x，x2x2，,xkxk， 則該式可化為： ykab1x1b2x2. bkxk 一般的多元線性方程，采用矩陣方法需求 m+1 元方程組的解。 1 x12 x22 xk2 1 x12 x122 x12k y1 1 x11 x21 xk1 1 x11 x112 x11k y2 X . . . . . . . . ， Y . 1 x1n x2n xkn 1 x1n x1n2 x1n yn 求得XX, XY和(XX)-1，并由b(XX)-1 (XY) 獲得相應(yīng)的 多項(xiàng)式回歸方程中k個(gè)回歸系數(shù) bi 和一個(gè)常數(shù)項(xiàng)

25、 a 的解。 教材從直線回歸的內(nèi)容開(kāi)始就介紹了利用矩陣計(jì)算三級(jí)數(shù)據(jù) a 和 b 并 進(jìn)行顯著性檢驗(yàn)的方法，以此作為用矩陣進(jìn)行多元回歸與相關(guān)分析的鋪墊。 這在當(dāng)今電腦普及的時(shí)代意義非同小可，因?yàn)橛镁仃囘M(jìn)行回歸與相關(guān)分析可 一石三鳥(niǎo)：更容易理解計(jì)算機(jī)解方程的程序；其中的m+1階(或 m=k 階) 逆矩陣可驗(yàn)證所得方程組的解是否正確包括其精度是否足夠；該逆矩陣的 對(duì)角線上的元素用于檢驗(yàn)回歸與相關(guān)關(guān)系的顯著性非常方便。,圖71 服藥時(shí)間與血液濃度的關(guān)系,至此即獲得了二元線性回歸方程： Y -8.345934.8271x13.763x2 y = -8.3459 34.8271x3.763x2,二、建立多項(xiàng)式回歸方程,多項(xiàng)式回歸分析中，Y 變量的總平方和SSY 亦可分解為回歸和離回歸 兩部分,即：SSY SSR SSr 上式中， SSR為 k 次多項(xiàng)式的總回歸效應(yīng)平方和，即 Y 變量總變異 中能被 X 的 k 次多項(xiàng)式所說(shuō)明的部分，計(jì)算過(guò)程用