多元回歸和相關(guān)

多元回歸和相關(guān)第一頁，共二十七頁，2022年，8月28日本章主要內(nèi)容有：

①確定各個自變數(shù)對依變數(shù)的各自效應(yīng)和綜合效應(yīng)，即建立由各個自變數(shù)描述和預(yù)測依變數(shù)反應(yīng)量的多元回歸方程；②對上述綜合效應(yīng)和各自效應(yīng)的顯著性進行測驗，并在大量自變數(shù)中選擇僅對依變數(shù)有顯著效應(yīng)的自變數(shù)，建立最優(yōu)多元回歸方程；③評定各個自變數(shù)對依變數(shù)的相對重要性，以便研究者抓住關(guān)鍵，能動地調(diào)控依變數(shù)的響應(yīng)量。

第二頁，共二十七頁，2022年，8月28日第一節(jié)多元回歸一、多元回歸方程二、多元回歸的假設(shè)測驗三、最優(yōu)多元線性回歸方程的統(tǒng)計選擇四、自變數(shù)的相對重要性第三頁，共二十七頁，2022年，8月28日一、多元回歸方程多元回歸或復(fù)回歸(multipleregression)：依變數(shù)依兩個或兩個以上自變數(shù)的回歸。

(一)多元回歸的線性模型和多元回歸方程式若依變數(shù)Y同時受到m個自變數(shù)X1、X2、…、Xm的影響，且這m個自變數(shù)皆與Y成線性關(guān)系，則這m+1個變數(shù)的關(guān)系就形成m元線性回歸。

第四頁，共二十七頁，2022年，8月28日一個m元線性回歸總體的線性模型為：

其中，～N(0，)。一個m元線性回歸的樣本觀察值組成為：

(10·1)(10·2)第五頁，共二十七頁，2022年，8月28日一個m元線性回歸方程可給定為：

b0是x1、x2、…、xm都為0時y的點估計值；b1是by1·23…m的簡寫，它是在x2，x3，…，xm皆保持一定時，x1每增加一個單位對y的效應(yīng)，稱為x2，x3，…，xm不變(取常量)時x1對y的偏回歸系數(shù)(partialregressioncoefficient)

。

(10·3)第六頁，共二十七頁，2022年，8月28日(二)多元回歸統(tǒng)計數(shù)的計算(10·2)

用矩陣表示為：

即Y=Xb+e

(10·4)第七頁，共二十七頁，2022年，8月28日其中(三)多元回歸方程的估計標(biāo)準(zhǔn)誤

Qy/12…m

稱為多元離回歸平方和或多元回歸剩余平方和，它反映了回歸估計值和實測值y之間的差異。

最小

自由度：

=n-(m+1)

(10·5)

sy/12…m（10·6）第八頁，共二十七頁，2022年，8月28日二、多元回歸的假設(shè)測驗(一)多元回歸關(guān)系的假設(shè)測驗測驗m個自變數(shù)的綜合對Y的效應(yīng)是否顯著。若令回歸方程中b1、b2、…、bm的總體回歸系數(shù)為、、…

、，則這一測驗所對應(yīng)的假設(shè)為H0：

0對HA：不全為0。

第九頁，共二十七頁，2022年，8月28日由于多元回歸下SSy可分解為Uy/12…m和Qy/12…m兩部分，Uy/12…m由x1、x2、…、xm的不同所引起，具有=m；Qy/12…m與x1、x2、…、xm的不同無關(guān)，具有=n-(m+1)，由之構(gòu)成的F值：

(10·8）第十頁，共二十七頁，2022年，8月28日(二)偏回歸關(guān)系的假設(shè)測驗

偏回歸系數(shù)的假設(shè)測驗，就是測驗各個偏回歸系數(shù)bi(i=1，2,…，m)來自=0的總體的概率，所作的假設(shè)為H0：=0對HA：≠0，測驗方法有兩種。1．t測驗

第十一頁，共二十七頁，2022年，8月28日

服從的t分布，可測驗bi的顯著性。

(10·9)=sy/12…m(10·10)(10·11)第十二頁，共二十七頁，2022年，8月28日2.F測驗

(10·12)

就是y對xi的偏回歸平方和，。

(10·13)

第十三頁，共二十七頁，2022年，8月28日三、最優(yōu)多元線性回歸方程的統(tǒng)計選擇剔除不顯著自變數(shù)的過程稱為自變數(shù)的統(tǒng)計選擇，所得的僅包含顯著自變數(shù)的多元回歸方程，叫做最優(yōu)的多元線性回歸方程。第十四頁，共二十七頁，2022年，8月28日逐步回歸(stepwiseregression)：為了獲得最優(yōu)方程，回歸計算就要一步一步做下去，直至所有不顯著的自變數(shù)皆被剔除為止。自變數(shù)統(tǒng)計選擇的具體步驟為：第一步：m個自變數(shù)的回歸分析，一直進行到偏回歸的假設(shè)測驗。

第十五頁，共二十七頁，2022年，8月28日第二步：m-1個自變數(shù)的回歸分析，也是一直進行到偏回歸的假設(shè)測驗。第三步：m-2個自變數(shù)的回歸分析，又一直進行到偏回歸的假設(shè)測驗。

……如此重復(fù)進行，直至留下的所有自變數(shù)的偏回歸都顯著，即得最優(yōu)多元線性回歸方程。第十六頁，共二十七頁，2022年，8月28日四、自變數(shù)的相對重要性偏回歸系數(shù)bi本身并不能反映自變數(shù)的相對重要性，其原因有二：①bi是帶有具體單位的，單位不同則無從比較；②即使單位相同，若Xi的變異度不同，也不能比較。通徑系數(shù)(pathcoefficient，記作pi)：即對bi進行標(biāo)準(zhǔn)化，在分子和分母分別除以Y和Xi的標(biāo)準(zhǔn)差，從而消除單位和變異度不同的影響，獲得一個表示Xi對Y相對重要性的統(tǒng)計數(shù)。第十七頁，共二十七頁，2022年，8月28日通徑系數(shù)pi統(tǒng)計意義是：若Xi增加一個標(biāo)準(zhǔn)差單位，Y將增加(pi＞0)或減少(pi＜0)pi個標(biāo)準(zhǔn)差單位。(10·14)第十八頁，共二十七頁，2022年，8月28日第二節(jié)多元相關(guān)和偏相關(guān)一、多元相關(guān)二、偏相關(guān)三、偏相關(guān)和簡單相關(guān)的關(guān)系第十九頁，共二十七頁，2022年，8月28日一、多元相關(guān)多元相關(guān)或復(fù)相關(guān)(multiplecorrelation)：在M=m+1個變數(shù)中，m個變數(shù)的綜合和1個變數(shù)的相關(guān)。偏相關(guān)(partialcorrelation)：在其余M-2個變數(shù)皆固定時，指定的兩個變數(shù)間的相關(guān)。

第二十頁，共二十七頁，2022年，8月28日(一)多元相關(guān)系數(shù)在m個自變數(shù)和1個依變數(shù)的多元相關(guān)中，多元相關(guān)系數(shù)記作Ry·12…m，讀作依變數(shù)y和m個自變數(shù)的多元相關(guān)系數(shù)。

Ry·12…m=（10·15）

第二十一頁，共二十七頁，2022年，8月28日多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。Ry·12…m的存在區(qū)間為[0，1]。

(二)

多元相關(guān)系數(shù)的假設(shè)測驗令總體的多元相關(guān)系數(shù)為，則對多元相關(guān)系數(shù)的假設(shè)測驗為H0：對HA：，第二十二頁，共二十七頁，2022年，8月28日F測驗：

其中的=m，=n-(m+1)，R2為的簡寫。

（10·16）第二十三頁，共二十七頁，2022年，8月28日二、偏相關(guān)(一)偏相關(guān)系數(shù)偏相關(guān)系數(shù)：表示在其它M-2個變數(shù)都保持一定時，指定的兩個變數(shù)間相關(guān)的密切程度。偏相關(guān)系數(shù)以r帶右下標(biāo)表示。如有X1、X2、X33個變數(shù)，則r12·3表示X3變數(shù)保持一定時，X1和X2變數(shù)的偏相關(guān)系數(shù)；

第二十四頁，共二十七頁，2022年，8月28日若有M個變數(shù)，則偏相關(guān)系數(shù)共有M(M-1)/2個。偏相關(guān)系數(shù)的取值范圍是[-1，1]。偏相關(guān)系數(shù)解法是：由簡單相關(guān)系數(shù)rij(i，j=1，2，…，M)組成的相關(guān)矩陣：

第二十五頁，共二十七頁，2022年，8月28日求得其逆矩陣：令xi和xj的偏相關(guān)系數(shù)為rij·

，解得后即有

rij·