十章節(jié)多元回歸和相關(guān)ppt課件

1、第十章 多元回歸和相關(guān)n第一節(jié) 多元回歸n第二節(jié) 多元相關(guān)和偏相關(guān)本章主要內(nèi)容有：n 確定各個(gè)自變數(shù)對依變數(shù)的各自效應(yīng)和綜合效應(yīng)，即建立由各個(gè)自變數(shù)描畫和預(yù)測依變數(shù)反響量的多元回歸方程；n對上述綜合效應(yīng)和各自效應(yīng)的顯著性進(jìn)展檢驗(yàn)，并在大量自變數(shù)中選擇僅對依變數(shù)有顯著效應(yīng)的自變數(shù)，建立最優(yōu)多元回歸方程；n評定各個(gè)自變數(shù)對依變數(shù)的相對重要性，以便研討者抓住關(guān)鍵，能動(dòng)地調(diào)控依變數(shù)的呼應(yīng)量。 第一節(jié) 多元回歸n一、多元回歸方程n二、多元回歸的假設(shè)檢驗(yàn)n三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇n四、自變數(shù)的相對重要性一、多元回歸方程多元回歸或復(fù)回歸(multiple regression)：依變數(shù)依兩個(gè)或兩個(gè)

2、以上自變數(shù)的回歸。 (一) 多元回歸的線性模型和多元回歸方程式假設(shè)依變數(shù)Y 同時(shí)遭到m 個(gè)自變數(shù)X1、X2、Xm 的影響，且這m 個(gè)自變數(shù)皆與Y 成線性關(guān)系，那么這m+1個(gè)變數(shù)的關(guān)系就構(gòu)成m 元線性回歸。 n一個(gè)m元線性回歸總體的線性模型為：n n 其中， N( 0， )。n一個(gè)m元線性回歸的樣本察看值組成為：n jmjmjjjXXXXY210021j2jmjmjjjexbxbxbby21021(101)(102)n一個(gè)m元線性回歸方程可給定為：n b0是x1、x2、xm 都為0時(shí)y 的點(diǎn)估計(jì)值；b1是by123m 的簡寫，它是在x2，x3，xm 皆堅(jiān)持一定時(shí)，x1 每添加一個(gè)單位對y的效應(yīng)，

3、稱為x2，x3，xm 不變(取常量)時(shí)x1 對y 的偏回歸系數(shù)(partial regression coefficient) 。 mmxbxbxbby22110(103)(二) 多元回歸統(tǒng)計(jì)數(shù)的計(jì)算n(102) 用矩陣表示為： n n即 Y=Xb+e (104)nmmnmmnneeebbbxxxxxxyyy2110211121121 11 1n其中n(三) 多元回歸方程的估計(jì)規(guī)范誤n Qy/12m 稱為多元離回歸平方和或多元回歸剩余平方和，它反映了回歸估計(jì)值和實(shí)測值y之間的差別。n 最小 n自在度： = n-(m+1) YXXXb 1)(2) (yyQ(105) sy/12m1)(/12mn

4、Qmy106二、多元回歸的假設(shè)檢驗(yàn)n(一) 多元回歸關(guān)系的假設(shè)檢驗(yàn)n檢驗(yàn) m 個(gè)自變數(shù)的綜合對 Y 的效應(yīng)能否顯著。假設(shè)令回歸方程中b1、b2、bm 的總體回歸系數(shù)為 、 、 、 ，那么這一檢驗(yàn)所對應(yīng)的假設(shè)為H0： n 0 對HA： 不全為0。 12mm21in由于多元回歸下 SSy 可分解為 Uy/12m 和 Qy/12m 兩部分，Uy/12m由 x1、x2、xm的不同所引起，具有 = m；Qy/12m與 x1、x2、xm的不同無關(guān)，具有 =n-(m+1)，由之構(gòu)成的F 值：n )( /1/1212 mnQmUFmymy(108 (二) 偏回歸關(guān)系的假設(shè)檢驗(yàn) n偏回歸系數(shù)的假設(shè)檢驗(yàn)，就是檢驗(yàn)

5、各個(gè)偏回歸系數(shù)bi(i=1，2,，m)來自 =0的總體的概率，所作的假設(shè)為H0： =0對HA： 0，檢驗(yàn)方法有兩種。n1t 檢驗(yàn) iiin n n n n服從 的 t 分布，可檢驗(yàn) bi 的顯著性。 23332312322211312112222 212022110120100/123/1)()(yxybbbbbbbbbbbbbbbscccccccccsXXbVibs1)1)(iic ibiisbt) 1( mn(109)=sy/12m(1010)(1011)n 2. F 檢驗(yàn) n (1012)n 就是y對xi的偏回歸平方和， 。n (1013) 1)1)(2iiiPcbUi1)(/12 mn

6、QUFmyPiiPU1三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇n剔除不顯著自變數(shù)的過程稱為自變數(shù)的統(tǒng)計(jì)選擇，所得的僅包含顯著自變數(shù)的多元回歸方程，叫做最優(yōu)的多元線性回歸方程。n逐漸回歸(stepwise regression)：為了獲得最優(yōu)方程，回歸計(jì)算就要一步一步做下去，直至一切不顯著的自變數(shù)皆被剔除為止。n自變數(shù)統(tǒng)計(jì)選擇的詳細(xì)步驟為：n第一步：m個(gè)自變數(shù)的回歸分析，不斷進(jìn)展到偏回歸的假設(shè)檢驗(yàn)。 n第二步：m-1個(gè)自變數(shù)的回歸分析，也是不斷進(jìn)展到 偏回歸的假設(shè)檢驗(yàn)。n第三步：m-2個(gè)自變數(shù)的回歸分析，又不斷進(jìn)展到偏回歸的假設(shè)檢驗(yàn)。 n如此反復(fù)進(jìn)展，直至留下的一切自變數(shù)的偏回歸都顯著，即得最優(yōu)多元線

7、性回歸方程。四、自變數(shù)的相對重要性n偏回歸系數(shù)bi本身并不能反映自變數(shù)的相對重要性，其緣由有二：nbi是帶有詳細(xì)單位的，單位不同那么無從比較；n即使單位一樣，假設(shè)Xi的變異度不同，也不能比較。n通徑系數(shù)(path coefficient，記作pi)：即對bi進(jìn)展規(guī)范化，在分子和分母分別除以Y 和Xi的規(guī)范差，從而消除單位和變異度不同的影響，獲得一個(gè)表示Xi 對Y 相對重要性的統(tǒng)計(jì)數(shù)。n通徑系數(shù) pi 統(tǒng)計(jì)意義是：假設(shè) Xi 添加一個(gè)規(guī)范差單位，Y 將添加(pi0)或減少(pi0)pi 個(gè)規(guī)范差單位。yxixyiiSSSSbnSSnSSbpii1)/(1/1)/(1/(1014)第二節(jié) 多元相關(guān)

8、和偏相關(guān)n一、多元相關(guān)n二、偏相關(guān)n三、偏相關(guān)和簡單相關(guān)的關(guān)系一、 多元相關(guān)n多元相關(guān)或復(fù)相關(guān)(multiple correlation)：在M=m+1個(gè)變數(shù)中，m個(gè)變數(shù)的綜合和1個(gè)變數(shù)的相關(guān)。n偏相關(guān)(partial correlation)：在其他M-2個(gè)變數(shù)皆固定時(shí)，指定的兩個(gè)變數(shù)間的相關(guān)。 n(一) 多元相關(guān)系數(shù)n在m個(gè)自變數(shù)和1個(gè)依變數(shù)的多元相關(guān)中，多元相關(guān)系數(shù)記作 Ry12m ，讀作依變數(shù)y和m個(gè)自變數(shù)的多元相關(guān)系數(shù)。 n Ry12m= 1015 ymyymySSQSSU/12/121n多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。nRy12m的存在區(qū)間為0，1。n (二

9、) 多元相關(guān)系數(shù)的假設(shè)檢驗(yàn)n令總體的多元相關(guān)系數(shù)為 ，那么對多元相關(guān)系數(shù)的假設(shè)檢驗(yàn)為H0： 對HA： ， 00n F 檢驗(yàn) ：n n其中的 =m， =n-(m+1)，R2為 的簡寫。 )(12122RRF122 myR121016二、偏相關(guān)n(一) 偏相關(guān)系數(shù)n偏相關(guān)系數(shù)：表示在其它M-2個(gè)變數(shù)都堅(jiān)持一定時(shí)，指定的兩個(gè)變數(shù)間相關(guān)的親密程度。n偏相關(guān)系數(shù)以r 帶右下標(biāo)表示。如有X1、X2、X3 3個(gè)變數(shù)，那么r123表示X3變數(shù)堅(jiān)持一定時(shí)，X1和X2變數(shù)的偏相關(guān)系數(shù)； n假設(shè)有M 個(gè)變數(shù)，那么偏相關(guān)系數(shù)共有M(M-1)/2個(gè)。n偏相關(guān)系數(shù)的取值范圍是-1，1。n偏相關(guān)系數(shù)解法是：由簡單相關(guān)系數(shù)rij(i，j=1，2，M )組成的相關(guān)矩陣： MMMMMMMMijrrrrrrrrrr212222111211)(Rn求得其逆矩陣：n令xi 和xj 的偏相關(guān)系數(shù)為rij ，解得 后即有n rij 1018MMMMMMMMijcccccccccc2122221112111)(Rijcjjiiijcccn矩陣以主對角線為軸而對稱，即rij =rji。逆陣 R-1中 n 的元素也是以主對角線為軸而對稱的 。n(二) 偏相關(guān)系數(shù) 的假設(shè)檢驗(yàn)n可檢驗(yàn)H0：