多元回歸和多元相關(guān)分析

1、關(guān)于多元回歸與多元相關(guān)分析第一張，PPT共三十頁，創(chuàng)作于2022年6月1第一節(jié)：多元回歸分析一、多元線性回歸模型多元線性回歸：是指具有兩個或兩個以上自變量，且各自變量均為一次項(xiàng)的回歸。多元回歸跟一元回歸在很多方面是相同的，只是多元回歸方法更復(fù)雜些，計算量相當(dāng)大，一般通過計算機(jī)程序來完成計算。第二張，PPT共三十頁，創(chuàng)作于2022年6月2設(shè)因變量Y與自變量x1,x2,xm有關(guān)系式：Y=a+b1x1+b2x2+bmxm+其中是隨機(jī)項(xiàng)。現(xiàn)有n組數(shù)據(jù)： （y1；x11 ，x21 ， xm1） （y2 ；x12 ，x22 ， xm2） . （yn ；x1n ，x2n ， xmn）其中，xij是自變量xi

2、的第j個值，yj是Y的第j個觀測值。第三張，PPT共三十頁，創(chuàng)作于2022年6月3假定：其中a,b1,bm是待估參數(shù)；而1，2,，n相互獨(dú)立且服從相同的分布N（0，2 ）第四張，PPT共三十頁，創(chuàng)作于2022年6月4樣本多元回歸方程為：第五張，PPT共三十頁，創(chuàng)作于2022年6月5二多元線性回歸方程的建立同直線回歸一樣，用最小二乘法要使Q達(dá)到最小，就必須使Q的偏微分方程皆等于0，即有：第六張，PPT共三十頁，創(chuàng)作于2022年6月6 . 整理得：第七張，PPT共三十頁，創(chuàng)作于2022年6月7其中：該方程組用矩陣表示為：第八張，PPT共三十頁，創(chuàng)作于2022年6月8若系數(shù)矩陣用A表示，未知項(xiàng)矩陣用

3、b表示，常數(shù)矩陣用K表示，則可寫為：Ab=K (13.8)為了求解b，一般應(yīng)先求出A的逆矩陣A-1，令：A-1是一個m階的對稱矩陣，即有cij=cji第九張，PPT共三十頁，創(chuàng)作于2022年6月9A-1A=I式12.8兩邊同乘以A-1，可得b= A-1K即：例13.1 第十張，PPT共三十頁，創(chuàng)作于2022年6月10三、多元回歸的假設(shè)檢驗(yàn)和置信區(qū)間（一） 多元線性回歸方程的估計標(biāo)準(zhǔn)誤其中：Sy/12m多元回歸方程的估計標(biāo)準(zhǔn)誤；Qy/12m多元回歸方程的離回歸平方和（剩余平方和）；df=n-(m+1)=n-m-1，因?yàn)樵谟嬎愣嘣貧w方程時，已用去a,b1,b2,bm共m+1 個統(tǒng)計數(shù)。第十一張，

4、PPT共三十頁，創(chuàng)作于2022年6月11與直線回歸分析類似，多元回歸中因變量y的總平方和 也可分解為離回歸平方和（剩余平方和）與回歸平方和（Uy/12m）即：例13.2第十二張，PPT共三十頁，創(chuàng)作于2022年6月12（二）多元線性回歸方程的假設(shè)檢驗(yàn)多元線性回歸關(guān)系假設(shè)檢驗(yàn)的原理和方法與直線回歸關(guān)系的假設(shè)檢驗(yàn)是一樣的。其假設(shè)為 ; HA : 不全為0?？赏ㄟ^F檢驗(yàn)來實(shí)現(xiàn)：式中：分子自由度df1=m，分母自由度df2=n-(m+1)第十三張，PPT共三十頁，創(chuàng)作于2022年6月13這里應(yīng)注意兩個問題： 1）多元線性回歸關(guān)系顯著不排斥有更合理的多元非線性回歸方程的存在； 2）多元線性回歸關(guān)系顯著也

5、不排斥其中存在著與因變量y無線性關(guān)系的自變量，因此有必要對各偏回歸系數(shù)逐個進(jìn)行假設(shè)檢驗(yàn)，以便發(fā)現(xiàn)和剔除=0的自變量。一般說來，只有當(dāng)多元回歸方程的自變量的偏回歸系數(shù)均達(dá)到顯著時，多元回歸檢驗(yàn)的F值才有確定意義。例13.3第十四張，PPT共三十頁，創(chuàng)作于2022年6月14（三）偏回歸系數(shù)的假設(shè)檢驗(yàn)偏回歸系數(shù)的假設(shè)檢驗(yàn)是逐個分別計算各偏回歸系數(shù)bi來自i=0的總體的概率。所作的假設(shè)為：偏回歸系數(shù)的假設(shè)檢驗(yàn)有t檢驗(yàn)和F檢驗(yàn)兩種。t檢驗(yàn)和F檢驗(yàn)結(jié)果是完全一樣的（F=t2）,實(shí)際應(yīng)用時可任選一種。第十五張，PPT共三十頁，創(chuàng)作于2022年6月15（1）t檢驗(yàn)偏回歸系數(shù)bi的標(biāo)準(zhǔn)誤為： 符合df=n-(m

6、+1)的t分布，故在H0:i=0的假設(shè)下，由 可知bi抽自i的總體的概率。第十六張，PPT共三十頁，創(chuàng)作于2022年6月16（2）F檢驗(yàn)Upiy在xi上的偏回歸平方和可確定bi來自i=0的總體的概率。例13.4第十七張，PPT共三十頁，創(chuàng)作于2022年6月17（四）多元線性回歸的區(qū)間估計多元線性回歸中因變量y的估計一般有兩種。 1）對各變量的一組取值所對應(yīng)的y總體平均數(shù)y/12m的估計； 2）對各變量的一組取值所對應(yīng)的單個y的估計（觀測值y）y/12m的置信區(qū)間為：第十八張，PPT共三十頁，創(chuàng)作于2022年6月18單個y的置信區(qū)間可用下式估計：例13.5 第十九張，PPT共三十頁，創(chuàng)作于202

7、2年6月19第二節(jié) 多元相關(guān)分析一多元相關(guān)分析多元相關(guān)或復(fù)相關(guān): 是指m個自變量和因變量的總相關(guān)。用多元相關(guān)系數(shù)Ry/12m來表示m個自變量與因變量y總的密切程度。 （13.32） 第二十張，PPT共三十頁，創(chuàng)作于2022年6月20Ry/12m的取值區(qū)間為0，1，接近1，相關(guān)程度高，多元相關(guān)系數(shù)的假設(shè)檢驗(yàn)用F檢驗(yàn)，而不能用t檢驗(yàn)。假設(shè)H0：=0；對HA：0，其F值為： （13.33） 式中，df1=m, df2=n-m-1, R2=R2y/12m多元相關(guān)系數(shù)的顯著性與多元回歸方程的顯著性一致，即Ry/12m顯著，多元回歸方程必顯著。 第二十一張，PPT共三十頁，創(chuàng)作于2022年6月21對同一資

8、料，多元相關(guān)與多元回歸的假設(shè)檢驗(yàn)只需要進(jìn)行一種。由于在df1=m,df2=n=m-1一定時，給定顯著水平的F值也一定，所以將式12.47移項(xiàng)整理，可得顯著水平為時臨界R值： （13.34）R與 比較，R 相關(guān)按自由度df=n-m-1和變量個數(shù)M=m+1查附表14，而不必直接計算 。第二十二張，PPT共三十頁，創(chuàng)作于2022年6月22 稱決定系數(shù)它是多元回歸平方和占y的總變異平方和的比率。即有x%可由自變量的變異決定。例13.6 P247第二十三張，PPT共三十頁，創(chuàng)作于2022年6月23二、偏相關(guān)偏相關(guān)系數(shù): 在其他變量都保持一定時，表示指定的兩個變量之間相關(guān)密切程度的量值稱為偏相關(guān)系數(shù)。偏相

9、關(guān)系數(shù)用r加下標(biāo)表示。如三個變量x1,x2,x3則r12,3表示x3保持一定時，x1與x2的偏相關(guān)系數(shù)。偏相關(guān)系數(shù)的取值范圍和簡單相關(guān)系數(shù)一樣，也是-1，1。第二十四張，PPT共三十頁，創(chuàng)作于2022年6月24（一）偏相關(guān)系數(shù)的一般解法第一步：計算由簡單相關(guān)系數(shù)構(gòu)成的相關(guān)矩陣R(xi,xj,y)：第二步：求其逆矩陣R-1第二十五張，PPT共三十頁，創(chuàng)作于2022年6月25第三步：計算偏相關(guān)系數(shù)rij. :例13.7第二十六張，PPT共三十頁，創(chuàng)作于2022年6月26（二）偏相關(guān)系數(shù)的間接解法當(dāng)只有三個變量時，可用簡單相關(guān)系數(shù)間接計算偏相關(guān)系數(shù)。設(shè)三個變量為xi,xj,xk,則當(dāng)xk保持一定時，xi和xj間的偏相關(guān)系數(shù)為： （13.36）例13.8 P250四個變量略。第二十七張，PPT共三十頁，創(chuàng)作于2022年6月27（三）偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)偏相關(guān)系數(shù)假設(shè)檢驗(yàn)可采用t檢驗(yàn)，同簡單相關(guān)系數(shù)的假設(shè)檢驗(yàn)相類似，檢驗(yàn)的假設(shè)為H0:ij=0,HA:ij0其t值為： （13.39）它服從自由度為n-M的t分布。若|t|t為顯著，在實(shí)踐中，不需計算此t值，而是將rij.與一定顯著水平下的臨界rij. 值相比較。 第二十八張，PPT