SPC統(tǒng)計(jì)相關(guān)與回歸分析

1、 SPC統(tǒng)計(jì)相關(guān)與回歸分析課時(shí)安排排本章的特特點(diǎn)描述統(tǒng)計(jì)計(jì)與推斷斷統(tǒng)計(jì)中中相關(guān)回回歸分析析的差別別第一節(jié)相相關(guān)關(guān)與回歸歸分析的的基本概概念(1學(xué)時(shí)時(shí))第二節(jié)一一元元線性回回歸分析析(4學(xué)時(shí)時(shí))第三節(jié)多多元元線性回回歸分析析(2學(xué)時(shí)時(shí))第四節(jié)非非線線性回歸歸分析(1學(xué)時(shí)時(shí))第五節(jié)相相關(guān)關(guān)分析(1學(xué)時(shí)時(shí))本章的特特點(diǎn)與以往的的統(tǒng)計(jì)學(xué)學(xué)原理教教科書不不同，本本章從推推斷統(tǒng)計(jì)計(jì)的角度度講解相相關(guān)分析析與回歸歸分析。這是因因?yàn)樵谟杏嘘P(guān)現(xiàn)實(shí)實(shí)經(jīng)濟(jì)和和管理問問題的定定量分析析中，作作為推斷斷統(tǒng)計(jì)的的相關(guān)分分析與回回歸分析析更加具具有廣泛泛的應(yīng)用用價(jià)值。描述統(tǒng)計(jì)計(jì)與推斷斷統(tǒng)計(jì)中中相關(guān)回回歸分析析的差別別描述統(tǒng)

2、計(jì)計(jì):不需要對(duì)對(duì)隨機(jī)誤誤差項(xiàng)作作出各種種假定,各種參參數(shù)估計(jì)計(jì)值是具具體數(shù)值值,是對(duì)對(duì)總體存存在的相相關(guān)關(guān)系系的描述述,不存存在顯著著性檢驗(yàn)驗(yàn).推斷統(tǒng)計(jì)計(jì):需要對(duì)隨隨機(jī)誤差差項(xiàng)作出出各種假假定,各各種參數(shù)數(shù)估計(jì)量量是隨機(jī)機(jī)變量,抽取的的樣本不不同時(shí),得到的的估計(jì)值值也不同同.可以以用來推推斷總體體.需要要進(jìn)行各各種檢驗(yàn)驗(yàn).第一節(jié)相相關(guān)關(guān)與回歸歸分析的的基本概概念一、函函數(shù)關(guān)系系與相關(guān)關(guān)關(guān)系二、相關(guān)關(guān)關(guān)系的的種類三、相關(guān)關(guān)分析與與回歸分分析四、相關(guān)關(guān)表和相相關(guān)圖一、函函數(shù)關(guān)系系與相關(guān)關(guān)關(guān)系當(dāng)一個(gè)或或幾個(gè)變變量取一一定的值值時(shí)，另另一個(gè)變變量有確確定值與與之相對(duì)對(duì)應(yīng)，稱稱這種關(guān)關(guān)系為確確定性的的函

3、數(shù)關(guān)關(guān)系。當(dāng)一個(gè)或或幾個(gè)相相互聯(lián)系系的變量量取一定定數(shù)值時(shí)時(shí)，與之之相對(duì)應(yīng)應(yīng)的另一一變量的的值雖然然不確定定，但它它仍按某某種規(guī)律律在一定定的范圍圍內(nèi)變化化。變變量間的的這種相相互關(guān)系系，稱為為具有不不確定性性的相關(guān)關(guān)關(guān)系。變量之間間的函數(shù)數(shù)關(guān)系和和相關(guān)關(guān)關(guān)系，在在一定條條件下是是可以互互相轉(zhuǎn)化化的.二、相關(guān)關(guān)關(guān)系的的種類按相關(guān)的的程度可可分為完完全相關(guān)關(guān)、不完完全相關(guān)關(guān)和不相相關(guān)。一一般的相相關(guān)現(xiàn)象象是不完完全相關(guān)關(guān)。按相關(guān)的的方向可可分為正正相關(guān)和和負(fù)相關(guān)關(guān)。按相關(guān)的的形式可可分為線線性相關(guān)關(guān)和非線線性相關(guān)關(guān)。按變量多多少可分分為單相相關(guān)、復(fù)復(fù)相關(guān)和和偏相關(guān)關(guān)。一個(gè)個(gè)變量對(duì)對(duì)另一變變量的相

4、相關(guān)關(guān)系系，稱為為單相關(guān)關(guān)。一個(gè)個(gè)變量對(duì)對(duì)兩個(gè)以以上變量量的相關(guān)關(guān)關(guān)系時(shí)時(shí)，稱為為復(fù)相關(guān)關(guān)。在某某一現(xiàn)象象與多種種現(xiàn)象相相關(guān)的場(chǎng)場(chǎng)合，當(dāng)當(dāng)假定其其他變量量不變時(shí)時(shí)，其中中兩個(gè)變變量的相相關(guān)關(guān)系系稱為偏偏相關(guān)。按相關(guān)的的性質(zhì)可可分為“真實(shí)相相關(guān)”和和“虛假假相關(guān)”。判斷斷什么是是“真實(shí)實(shí)相關(guān)”什么是是虛假相相關(guān)，必必須依靠靠實(shí)質(zhì)性性科學(xué)三、相關(guān)關(guān)分析與與回歸分分析相關(guān)分析析是用一一個(gè)指標(biāo)標(biāo)來表明明現(xiàn)象間間依存關(guān)關(guān)系的密密切程度度。回歸分析析是用數(shù)數(shù)學(xué)模型型近似表表達(dá)變量量間的平平均變化化關(guān)系。相關(guān)分析析可以不不必確定定變量中中哪個(gè)是是自變量量，哪個(gè)個(gè)是因變變量，其其所涉及及的變量量都是隨隨機(jī)變量

5、量?；貧w分析析必須事事先確定定具有相相關(guān)關(guān)系系的變量量中哪個(gè)個(gè)為自變變量，哪哪個(gè)為因因變量。一般地地說，回回歸分析析中因變變量是隨隨機(jī)的，而把自自變量作作為研究究時(shí)給定定的非隨隨機(jī)變量量。一定要始始終注意意把定性性分析和和定量分分析結(jié)合合起來，在定性性分析的的基礎(chǔ)上上開展定定量分析析。四、相關(guān)關(guān)表和相相關(guān)圖相關(guān)表是是一種反反映變量量之間相相關(guān)關(guān)系系的統(tǒng)計(jì)計(jì)表。將將某一變變量按其其取值的的大小排排列，然然后再將將與其相相關(guān)的另另一變量量的對(duì)應(yīng)應(yīng)值平行行排列，便可得得到簡(jiǎn)單單的相關(guān)關(guān)表。相關(guān)圖又又稱散點(diǎn)點(diǎn)圖。它它是以直直角坐標(biāo)標(biāo)系的橫橫軸代表表變量X，縱軸軸代表變變量Y,將兩個(gè)個(gè)變量間間相對(duì)應(yīng)應(yīng)的

6、變量量值用坐坐標(biāo)點(diǎn)的的形式描描繪出來來，用來來反映兩兩變量之之間相關(guān)關(guān)關(guān)系的的圖形。根據(jù)表表8-2的資料料繪制的的相關(guān)圖圖如下：第二節(jié)一一元元線性回回歸分析析一、標(biāo)準(zhǔn)準(zhǔn)的一元元線性回回歸模型型二、一元元線性回回歸模型型的估計(jì)計(jì)三、一元元線性回回歸模型型的檢驗(yàn)驗(yàn)四 、一一元線性性回歸模模型預(yù)測(cè)測(cè)一、標(biāo)準(zhǔn)準(zhǔn)的一元元線性回回歸模型型(一)總總體回歸歸函數(shù)t12tut（8.1）ut是隨機(jī)誤誤差項(xiàng)，又稱隨隨機(jī)干擾擾項(xiàng)，它它是一個(gè)個(gè)特殊的的隨機(jī)變變量，反反映未列列入方程程式的其其他各種種因素對(duì)對(duì)的影影響。(二)樣樣本回歸歸函數(shù):，.nt稱為殘差差，在概概念上，t與總體誤誤差項(xiàng)ut相互對(duì)應(yīng)應(yīng)；是是樣本的的容

7、量。總體回歸歸線與隨隨機(jī)誤差差項(xiàng)（t）12tXYtY。ut 樣本回歸歸函數(shù)與與總體回回歸函數(shù)數(shù)區(qū)別總體回歸歸線是未未知的，只有一一條。樣樣本回歸歸線是根根據(jù)樣本本數(shù)據(jù)擬擬合的，每抽取取一組樣樣本，便便可以擬擬合一條條樣本回回歸線?？傮w回歸歸函數(shù)中中的1和2是未知的的參數(shù)，表現(xiàn)為為常數(shù)。而樣本本回歸函函數(shù)中的的是是隨機(jī)機(jī)變量，其具體體數(shù)值隨隨所抽取取的樣本本觀測(cè)值值不同而而變動(dòng)?？傮w回歸歸函數(shù)中中的ut是t與未知的的總體回回歸線之之間的縱縱向距離離，它是是不可直直接觀測(cè)測(cè)的。而而樣本回回歸函數(shù)數(shù)中的t是t與樣本回回歸線之之間的縱縱向距離離，當(dāng)根根據(jù)樣本本觀測(cè)值值擬合出出樣本回回歸線之之后，可可以

8、計(jì)算算出t的具體數(shù)數(shù)值。誤差項(xiàng)的的標(biāo)準(zhǔn)假假定假定：（ut）假定：Var(ut)（）假定： Cov(utus)（utus）假定：自變量量是給定定變量，與誤差差項(xiàng)線性性無關(guān)。假定：隨機(jī)誤誤差項(xiàng)服服從正態(tài)態(tài)分布。滿足以上上標(biāo)準(zhǔn)假假定的一一元線性性回歸模模型，稱稱為標(biāo)準(zhǔn)準(zhǔn)的一元元線性回回歸模型型。二、一元元線性回回歸模型型的估計(jì)計(jì)（一）回回歸系數(shù)數(shù)的估計(jì)計(jì)最小二乘乘法設(shè)將對(duì)求求偏導(dǎo)數(shù)數(shù)，并令令其等于于零，可可得:加以整理理后有： 回歸系數(shù)數(shù)的最小小二乘估估計(jì)量以上方程程組稱為為正規(guī)方方程組或或標(biāo)準(zhǔn)方方程組，式中的的是樣樣本容量量。求解這一一方程組組可得：（二）總總體方差差的估計(jì)計(jì)上式中，分母是是自由度

9、度，其中中是樣樣本觀測(cè)測(cè)值的個(gè)個(gè)數(shù)，是一元元線性回回歸方程程中回歸歸系數(shù)的的個(gè)數(shù)。在一元元線性回回歸模型型中，殘殘差t必須滿足足因而失去去了兩個(gè)個(gè)自由度度，所以以其自由由度為。2的正平方方根又叫叫做回歸歸估計(jì)的的標(biāo)準(zhǔn)誤誤差。S2 ； 證明:殘差平方方和計(jì)算算一般采用用以下公公式計(jì)算算殘差平平方和：（三）最最小二乘乘估計(jì)量量的性質(zhì)質(zhì)最小二乘乘估計(jì)量量是隨機(jī)機(jī)變量。在標(biāo)準(zhǔn)假假定能夠夠得到滿滿足的條條件下，回歸系系數(shù)的最最小二乘乘估計(jì)量量的期望望值等于于其真值值，即有有：（）1（）2其方差為為：（）（） 估計(jì)量性性質(zhì)的數(shù)數(shù)學(xué)證明明(一)線線性估計(jì)計(jì)量將12u代入估計(jì)計(jì)量，得得：=最小二乘乘估計(jì)量量可

10、表現(xiàn)現(xiàn)為所要要估計(jì)的的參數(shù)的的真值與與隨機(jī)誤誤差項(xiàng)的的線性組組合推導(dǎo)用的的恒等式式令 最小二乘乘估計(jì)量量期望值值和方差差的推導(dǎo)導(dǎo)（）2（u）2（u）（根據(jù)標(biāo)標(biāo)準(zhǔn)假定定）2（根據(jù)據(jù)標(biāo)準(zhǔn)假假定）2（）（2u）（u）2（根據(jù)標(biāo)標(biāo)準(zhǔn)假定定、）（根據(jù)據(jù)標(biāo)準(zhǔn)假假定）有效性證證明：設(shè)為為任意無無偏線性性估計(jì)量量，則有有約束條條件：按照與上上面同樣樣的方法法，可推推導(dǎo)出Var()=比較（）與與Var()的的大小，有： Var()Var（）以上第二二步到第第三步之之所以成成立，是是因?yàn)椋憾们扒懊骊P(guān)于于線性無無偏估計(jì)計(jì)量的約約束條件件，可有有：三、一元元線性回回歸模型型的檢驗(yàn)驗(yàn)（一）回回歸模模型檢驗(yàn)驗(yàn)的種類類

11、回歸模型型的檢驗(yàn)驗(yàn)包括理理論意義義檢驗(yàn)、一級(jí)檢檢驗(yàn)和二二級(jí)檢驗(yàn)驗(yàn)。（二）擬擬合程度度的評(píng)價(jià)價(jià)總離差平平方和的的分解（8.28）是是總離差差平方和和；是回回歸平方方和；是是殘差平平方和。可決系數(shù)數(shù)：2=1（8.30）可決系數(shù)數(shù)的特性性（三）顯顯著性檢檢驗(yàn)1提出出假設(shè)。2.確定定顯著水水平。3.計(jì)算算回歸系系數(shù)的值。=（8.36）4.確定定臨界值值。雙側(cè)檢驗(yàn)驗(yàn)查分分布表所所確定的的臨界值值是（-2）和和（2）；單側(cè)檢檢驗(yàn)所確確定的臨臨界值是是（）。5.做出出判斷。四 、一一元線性性回歸模模型預(yù)測(cè)測(cè)（一）簡(jiǎn)簡(jiǎn)單回回歸預(yù)測(cè)測(cè)的基本本公式：（8.38）回歸預(yù)測(cè)測(cè)是一種種有條件件的預(yù)測(cè)測(cè)，在進(jìn)進(jìn)行回歸歸預(yù)

12、測(cè)時(shí)時(shí)，必須須先給出出f的具體數(shù)數(shù)值。內(nèi)內(nèi)插檢驗(yàn)驗(yàn)或事后后預(yù)測(cè)。外推預(yù)預(yù)測(cè)或事事前預(yù)測(cè)測(cè)。（二）預(yù)預(yù)測(cè)誤差差發(fā)生預(yù)測(cè)測(cè)誤差的的原因。預(yù)測(cè)誤差差ar（f）2（8.42）（三）區(qū)間間預(yù)測(cè)f的（）的置信區(qū)區(qū)間為：f2(n-2)f回歸預(yù)測(cè)測(cè)的置信信區(qū)間的的特點(diǎn)?；貧w預(yù)測(cè)測(cè)的置信信區(qū)間第三節(jié)多多元線線性回歸歸分析一、標(biāo)準(zhǔn)準(zhǔn)的多元元線性回回歸模型型二、多元元線性回回歸模型型的估計(jì)計(jì)三、多元元線性回回歸模型型的檢驗(yàn)驗(yàn)和預(yù)測(cè)測(cè)四、多元元線性回回歸預(yù)測(cè)測(cè)一、標(biāo)準(zhǔn)準(zhǔn)的多元元線性回回歸模型型多元線性性回歸模模型總體體回歸函函數(shù)的一一般形式式(8.48)多元線性性回歸模模型的樣樣本回歸歸函數(shù)(8.49)多元線性性回歸

13、分分析的標(biāo)標(biāo)準(zhǔn)假定定除了包包括上一一節(jié)中已已經(jīng)提出出的的假假定外，還要追追加一條條假定。這就是是回歸模模型所包包含的自自變量之之間不能能具有較較強(qiáng)的線線性關(guān)系系。二、多元元線性回回歸模型型的估計(jì)計(jì)（一）回回歸系數(shù)數(shù)的估計(jì)計(jì)(XX)1XY(8.55)（二）總總體方差差的估計(jì)計(jì)2(8.56)（三）最最小二乘乘估計(jì)量量的性質(zhì)質(zhì)標(biāo)準(zhǔn)的多多元線性性回歸模模型中，高斯.馬爾可可夫定理理同樣成成立。三、多元元線性回回歸模型型的檢驗(yàn)驗(yàn)和預(yù)測(cè)測(cè)（一）擬擬合程度度的評(píng)價(jià)價(jià)修正自由由度的可可決系數(shù)數(shù)（理由由）。(8.61)（2）(8.62)式中，是樣本本容量；是模模型中回回歸系數(shù)數(shù)的個(gè)數(shù)數(shù)。修正自由由度的可可決系數(shù)

14、數(shù)的的特特點(diǎn)。(二)顯顯著性檢檢驗(yàn)1回歸歸系數(shù)的的顯著性性檢驗(yàn)j=1,2,k(8.63)式中，S是是的的標(biāo)準(zhǔn)差差的估計(jì)計(jì)值。按按下式式計(jì)算：(8.64)式中，是是(XX)-1的第個(gè)個(gè)對(duì)角線線元素，2是隨機(jī)誤誤差項(xiàng)方方差的估估計(jì)值。(8.63)式的統(tǒng)統(tǒng)計(jì)量的的原假設(shè)設(shè)是0：j，因因此的的絕對(duì)值值越大表表明j為的可可能性越越小，即即表明相相應(yīng)的自自變量對(duì)對(duì)因變量量的影響響是顯著著的。2回歸歸方程的的顯著性性檢驗(yàn)具體的方方法步驟驟回歸模型型方差分分析表（3）統(tǒng)計(jì)量量離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE= n-kSSE/(n-k)總離差平方和SST=四、多

15、元元線性回回歸預(yù)測(cè)測(cè)基本公式式：(8.66)式中，Xjf(j=2,3,k)是給給定的Xj在預(yù)測(cè)期期的具體體數(shù)值；是是已估估計(jì)出的的樣本回回歸系數(shù)數(shù)；是是Xj給定時(shí)的預(yù)測(cè)測(cè)值。第四節(jié)非非線性性回歸分分析一、非線線性回歸歸分析的的意義二、非線線性函數(shù)數(shù)形式的的確定確定函數(shù)數(shù)形式的的原則實(shí)際分析析中較常常用的幾幾種非線線性函數(shù)數(shù)的特點(diǎn)點(diǎn)三、非線線性回歸歸模型的的估計(jì)幾種線性性變換方方法實(shí)際應(yīng)用用時(shí)要注注意：第一、比比較復(fù)雜雜的非線線性函數(shù)數(shù)，需綜綜合利用用上述的的幾種方方法。第二、變變換得到到的方程程式中的的變量不不允許包包含未知知的參數(shù)數(shù)。第三、當(dāng)當(dāng)變換后后的新模模型中包包含的誤誤差項(xiàng)能能夠滿足足

16、標(biāo)準(zhǔn)假假定時(shí)，新模型型中回歸歸系數(shù)最最小二乘乘估計(jì)量量的理想想性質(zhì)才才能成立立。第四、嚴(yán)嚴(yán)格地說說，線性性變換方方法只是是適用于于變量為為非線性性的函數(shù)數(shù)。第五、并并不是是所有的的非線性性函數(shù)都都可以通通過變換換得到與與原方程程完全等等價(jià)的線線性方程程。第五節(jié)相相關(guān)關(guān)分析一、單相相關(guān)系數(shù)數(shù)及其檢檢驗(yàn)二、等級(jí)級(jí)相關(guān)系系數(shù)及其其檢驗(yàn)四、復(fù)相相關(guān)系數(shù)數(shù)和偏相相關(guān)系數(shù)數(shù)六、相關(guān)關(guān)指數(shù)一、單相相關(guān)系數(shù)數(shù)及其檢檢驗(yàn)（一）相相關(guān)系數(shù)數(shù)的定義義（8.86）樣本相關(guān)關(guān)系數(shù)的的定義還還可從另另一個(gè)角角度給出出。設(shè)倚和和倚的樣本本回歸方方程為：（8.87）（8.88）樣本相關(guān)關(guān)系數(shù)可可定義為為樣本回回歸系數(shù)數(shù)的乘積

17、積的開方方，即:（8.89）上式中的符號(hào)號(hào)應(yīng)與回回歸系數(shù)數(shù)的符號(hào)號(hào)一致。（二）相相關(guān)系數(shù)數(shù)與可決決系數(shù)簡(jiǎn)單線性性回歸模模型中相相關(guān)系數(shù)數(shù)的平平方等于于可決系系數(shù)2。樣本相關(guān)關(guān)系數(shù)的的特點(diǎn)：（三）單單相關(guān)系系數(shù)的檢檢驗(yàn)二、等級(jí)級(jí)相關(guān)系系數(shù)及其其檢驗(yàn)（一）等等級(jí)相關(guān)關(guān)系數(shù)的的定義和和計(jì)算s=(8.92)式中，和和分分別是兩兩個(gè)變量量按大小?。ɑ騼?yōu)優(yōu)劣）排排位的等等級(jí)，n是樣本的的容量。推導(dǎo)通常的單單相關(guān)系系數(shù)為：si=1,2,n(9.121)注意到和和是是等級(jí)變變量，其其可能的的取值范范圍均為為：1，2，3，n。利用有有關(guān)數(shù)列列求和的的公式可可得：(9.122)(9.123)(9.124)(9.125)=整理后，可得:(9.126)將(9.124)、（9.125）和(9.126)式代入（9.121）式，便便可導(dǎo)出出等級(jí)相相關(guān)系數(shù)數(shù)的計(jì)算算公式(9.120)式。（二）等等級(jí)相關(guān)關(guān)系數(shù)檢檢驗(yàn)四、復(fù)相相關(guān)系數(shù)數(shù)和偏相相關(guān)系數(shù)數(shù)（一）復(fù)復(fù)相關(guān)系系數(shù)(8.94)實(shí)際計(jì)算算復(fù)相關(guān)關(guān)系數(shù)時(shí)時(shí)，一般般是先計(jì)計(jì)算出可可決系數(shù)數(shù)，然后后再求可可決系數(shù)數(shù)的平方方根。復(fù)復(fù)相關(guān)系系數(shù)只取取正值。（二）偏偏相關(guān)系系數(shù)計(jì)算偏相相關(guān)系數(shù)數(shù)時(shí)，需需要掌握握多個(gè)變變量的數(shù)數(shù)據(jù)，一一方面考考慮多個(gè)個(gè)變量之之間可能能產(chǎn)生的的影響，一方面面又用一一定的方