多元回歸與多元相關(guān)分析

關(guān)于多元回歸與多元相關(guān)分析12第一節(jié)：多元回歸分析一、多元線性回歸模型多元線性回歸：是指具有兩個(gè)或兩個(gè)以上自變量，且各自變量均為一次項(xiàng)的回歸。多元回歸跟一元回歸在很多方面是相同的，只是多元回歸方法更復(fù)雜些，計(jì)算量相當(dāng)大，一般通過計(jì)算機(jī)程序來完成計(jì)算。第2頁(yè),共30頁(yè)，2024年2月25日，星期天3設(shè)因變量Y與自變量x1,x2,…xm有關(guān)系式：Y=a+b1x1+b2x2+…+bmxm+ε其中ε是隨機(jī)項(xiàng)?，F(xiàn)有n組數(shù)據(jù)：（y1；x11，x21，…xm1）（y2；x12，x22，…xm2）

………..

（yn；x1n，x2n，…xmn）其中，xij是自變量xi的第j個(gè)值，yj是Y的第j個(gè)觀測(cè)值。第3頁(yè),共30頁(yè)，2024年2月25日，星期天4假定：其中a,b1,…bm是待估參數(shù)；而ε1，ε2,…，εn相互獨(dú)立且服從相同的分布N（0，σ2

）第4頁(yè),共30頁(yè)，2024年2月25日，星期天5樣本多元回歸方程為：第5頁(yè),共30頁(yè)，2024年2月25日，星期天6二．多元線性回歸方程的建立同直線回歸一樣，用最小二乘法要使Q達(dá)到最小，就必須使Q的偏微分方程皆等于0，即有：第6頁(yè),共30頁(yè)，2024年2月25日，星期天7………..………..整理得：第7頁(yè),共30頁(yè)，2024年2月25日，星期天8其中：該方程組用矩陣表示為：第8頁(yè),共30頁(yè)，2024年2月25日，星期天9若系數(shù)矩陣用A表示，未知項(xiàng)矩陣用b表示，常數(shù)矩陣用K表示，則可寫為：Ab=K(13.8)為了求解b，一般應(yīng)先求出A的逆矩陣A-1，令：A-1是一個(gè)m階的對(duì)稱矩陣，即有cij=cji第9頁(yè),共30頁(yè)，2024年2月25日，星期天10A-1A=I式12.8兩邊同乘以A-1，可得b=A-1K即：例13.1第10頁(yè),共30頁(yè)，2024年2月25日，星期天11三、多元回歸的假設(shè)檢驗(yàn)和置信區(qū)間（一）

多元線性回歸方程的估計(jì)標(biāo)準(zhǔn)誤其中：Sy/12…m——多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤；Qy/12…m——多元回歸方程的離回歸平方和（剩余平方和）；df=n-(m+1)=n-m-1，因?yàn)樵谟?jì)算多元回歸方程時(shí)，已用去a,b1,b2,…,bm共m+1個(gè)統(tǒng)計(jì)數(shù)。第11頁(yè),共30頁(yè)，2024年2月25日，星期天12與直線回歸分析類似，多元回歸中因變量y的總平方和也可分解為離回歸平方和（剩余平方和）與回歸平方和（Uy/12…m）即：例13.2第12頁(yè),共30頁(yè)，2024年2月25日，星期天13（二）多元線性回歸方程的假設(shè)檢驗(yàn)多元線性回歸關(guān)系假設(shè)檢驗(yàn)的原理和方法與直線回歸關(guān)系的假設(shè)檢驗(yàn)是一樣的。其假設(shè)為;HA:不全為0?？赏ㄟ^F檢驗(yàn)來實(shí)現(xiàn)：式中：分子自由度df1=m，分母自由度df2=n-(m+1)第13頁(yè),共30頁(yè)，2024年2月25日，星期天14這里應(yīng)注意兩個(gè)問題：

1）多元線性回歸關(guān)系顯著不排斥有更合理的多元非線性回歸方程的存在；

2）多元線性回歸關(guān)系顯著也不排斥其中存在著與因變量y無線性關(guān)系的自變量，因此有必要對(duì)各偏回歸系數(shù)逐個(gè)進(jìn)行假設(shè)檢驗(yàn)，以便發(fā)現(xiàn)和剔除β=0的自變量。一般說來，只有當(dāng)多元回歸方程的自變量的偏回歸系數(shù)均達(dá)到顯著時(shí)，多元回歸檢驗(yàn)的F值才有確定意義。例13.3第14頁(yè),共30頁(yè)，2024年2月25日，星期天15（三）偏回歸系數(shù)的假設(shè)檢驗(yàn)偏回歸系數(shù)的假設(shè)檢驗(yàn)是逐個(gè)分別計(jì)算各偏回歸系數(shù)bi來自βi=0的總體的概率。所作的假設(shè)為：偏回歸系數(shù)的假設(shè)檢驗(yàn)有t檢驗(yàn)和F檢驗(yàn)兩種。t檢驗(yàn)和F檢驗(yàn)結(jié)果是完全一樣的（F=t2）,實(shí)際應(yīng)用時(shí)可任選一種。第15頁(yè),共30頁(yè)，2024年2月25日，星期天16（1）t檢驗(yàn)偏回歸系數(shù)bi的標(biāo)準(zhǔn)誤為：符合df=n-(m+1)的t分布，故在H0:βi=0的假設(shè)下，由可知bi抽自βi的總體的概率。第16頁(yè),共30頁(yè)，2024年2月25日，星期天17（2）F檢驗(yàn)Upi——y在xi上的偏回歸平方和可確定bi來自βi=0的總體的概率。例13.4第17頁(yè),共30頁(yè)，2024年2月25日，星期天18（四）多元線性回歸的區(qū)間估計(jì)多元線性回歸中因變量y的估計(jì)一般有兩種。

1）對(duì)各變量的一組取值所對(duì)應(yīng)的y總體平均數(shù)μy/12…m的估計(jì)；

2）對(duì)各變量的一組取值所對(duì)應(yīng)的單個(gè)y的估計(jì)（觀測(cè)值y）μy/12…m的置信區(qū)間為：第18頁(yè),共30頁(yè)，2024年2月25日，星期天19單個(gè)y的置信區(qū)間可用下式估計(jì)：例13.5第19頁(yè),共30頁(yè)，2024年2月25日，星期天20第二節(jié)多元相關(guān)分析一．多元相關(guān)分析多元相關(guān)或復(fù)相關(guān):是指m個(gè)自變量和因變量的總相關(guān)。用多元相關(guān)系數(shù)Ry/12…m來表示m個(gè)自變量與因變量y總的密切程度。（13.32）第20頁(yè),共30頁(yè)，2024年2月25日，星期天21Ry/12…m的取值區(qū)間為[0，1]，接近1，相關(guān)程度高，多元相關(guān)系數(shù)的假設(shè)檢驗(yàn)用F檢驗(yàn)，而不能用t檢驗(yàn)。假設(shè)H0：ρ=0；對(duì)HA：ρ≠0，其F值為：（13.33）式中，df1=m,df2=n-m-1,R2=R2y/12…m多元相關(guān)系數(shù)的顯著性與多元回歸方程的顯著性一致，即Ry/12…m顯著，多元回歸方程必顯著。第21頁(yè),共30頁(yè)，2024年2月25日，星期天22對(duì)同一資料，多元相關(guān)與多元回歸的假設(shè)檢驗(yàn)只需要進(jìn)行一種。由于在df1=m,df2=n=m-1一定時(shí)，給定顯著水平α的F值也一定，所以將式12.47移項(xiàng)整理，可得顯著水平為α?xí)r臨界R值：（13.34）R與比較，R>相關(guān)按自由度df=n-m-1和變量個(gè)數(shù)M=m+1查附表14，而不必直接計(jì)算。第22頁(yè),共30頁(yè)，2024年2月25日，星期天23

稱決定系數(shù)它是多元回歸平方和占y的總變異平方和的比率。即有x%可由自變量的變異決定。例13.6P247第23頁(yè),共30頁(yè)，2024年2月25日，星期天24二、偏相關(guān)偏相關(guān)系數(shù):在其他變量都保持一定時(shí)，表示指定的兩個(gè)變量之間相關(guān)密切程度的量值稱為偏相關(guān)系數(shù)。偏相關(guān)系數(shù)用r加下標(biāo)表示。如三個(gè)變量x1,x2,x3則r12,3表示x3保持一定時(shí)，x1與x2的偏相關(guān)系數(shù)。偏相關(guān)系數(shù)的取值范圍和簡(jiǎn)單相關(guān)系數(shù)一樣，也是[-1，1]。第24頁(yè),共30頁(yè)，2024年2月25日，星期天25（一）偏相關(guān)系數(shù)的一般解法第一步：計(jì)算由簡(jiǎn)單相關(guān)系數(shù)構(gòu)成的相關(guān)矩陣R(xi,xj,y)：第二步：求其逆矩陣R-1第25頁(yè),共30頁(yè)，2024年2月25日，星期天26第三步：計(jì)算偏相關(guān)系數(shù)rij.:例13.7第26頁(yè),共30頁(yè)，2024年2月25日，星期天27（二）偏相關(guān)系數(shù)的間接解法當(dāng)只有三個(gè)變量時(shí)，可用簡(jiǎn)單相關(guān)系數(shù)間接計(jì)算偏相關(guān)系數(shù)。設(shè)三個(gè)變量為xi,xj,xk,則當(dāng)xk保持一定時(shí)，xi和xj間的偏相關(guān)系數(shù)為：

（13.36）例13.8P250四個(gè)變量略。第27頁(yè),共30頁(yè)，2024年2月25日，星期天28（三）偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)偏相關(guān)系數(shù)假設(shè)檢驗(yàn)可采用t檢驗(yàn)，同簡(jiǎn)單相關(guān)系數(shù)的假設(shè)檢驗(yàn)相類似，檢驗(yàn)的假設(shè)為H0:ρij=0,HA:ρij≠0其t值為：（13.39）它服從自由度為n-M的t分布。若|t|>tα為顯著，在實(shí)踐中，不需計(jì)算此t值，而是將rij.與一定顯著水平α下的臨界rij.

值相比較。第