SC統(tǒng)計相關(guān)知識之回歸

SPC統(tǒng)計相關(guān)與回歸分析

課時安排本章的特點描述統(tǒng)計與推斷統(tǒng)計中相關(guān)回歸分析的差別第一節(jié)相關(guān)與回歸分析的基本概念(1學時)第二節(jié)一元線性回歸分析(4學時)第三節(jié)多元線性回歸分析(2學時)第四節(jié)非線性回歸分析(1學時)第五節(jié)相關(guān)分析(1學時)本章的特點與以往的統(tǒng)計學原理教科書不同，本章從推斷統(tǒng)計的角度講解相關(guān)分析與回歸分析。這是因為在有關(guān)現(xiàn)實經(jīng)濟和管理問題的定量分析中，作為推斷統(tǒng)計的相關(guān)分析與回歸分析更加具有廣泛的應(yīng)用價值。描述統(tǒng)計與推斷統(tǒng)計中相關(guān)回歸分析的差別描述統(tǒng)計:不需要對隨機誤差項作出各種假定,各種參數(shù)估計值是具體數(shù)值,是對總體存在的相關(guān)關(guān)系的描述,不存在顯著性檢驗.推斷統(tǒng)計:需要對隨機誤差項作出各種假定,各種參數(shù)估計量是隨機變量,抽取的樣本不同時,得到的估計值也不同.可以用來推斷總體.需要進行各種檢驗.

第一節(jié)相關(guān)與回歸分析的基本概念

一、函數(shù)關(guān)系與相關(guān)關(guān)系二、相關(guān)關(guān)系的種類三、相關(guān)分析與回歸分析四、相關(guān)表和相關(guān)圖一、函數(shù)關(guān)系與相關(guān)關(guān)系當一個或幾個變量取一定的值時，另一個變量有確定值與之相對應(yīng)，稱這種關(guān)系為確定性的函數(shù)關(guān)系。當一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之相對應(yīng)的另一變量的值雖然不確定，但它仍按某種規(guī)律在一定的范圍內(nèi)變化。變量間的這種相互關(guān)系，稱為具有不確定性的相關(guān)關(guān)系。變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系，在一定條件下是可以互相轉(zhuǎn)化的.二、相關(guān)關(guān)系的種類

按相關(guān)的程度可分為完全相關(guān)、不完全相關(guān)和不相關(guān)。一般的相關(guān)現(xiàn)象是不完全相關(guān)。按相關(guān)的方向可分為正相關(guān)和負相關(guān)。按相關(guān)的形式可分為線性相關(guān)和非線性相關(guān)。按變量多少可分為單相關(guān)、復(fù)相關(guān)和偏相關(guān)。一個變量對另一變量的相關(guān)關(guān)系，稱為單相關(guān)。一個變量對兩個以上變量的相關(guān)關(guān)系時，稱為復(fù)相關(guān)。在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合，當假定其他變量不變時，其中兩個變量的相關(guān)關(guān)系稱為偏相關(guān)。按相關(guān)的性質(zhì)可分為“真實相關(guān)”和“虛假相關(guān)”。判斷什么是“真實相關(guān)”什么是虛假相關(guān)，必須依靠實質(zhì)性科學三、相關(guān)分析與回歸分析相關(guān)分析是用一個指標來表明現(xiàn)象間依存關(guān)系的密切程度?；貧w分析是用數(shù)學模型近似表達變量間的平均變化關(guān)系。相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量都是隨機變量?；貧w分析必須事先確定具有相關(guān)關(guān)系的變量中哪個為自變量，哪個為因變量。一般地說，回歸分析中因變量是隨機的，而把自變量作為研究時給定的非隨機變量。一定要始終注意把定性分析和定量分析結(jié)合起來，在定性分析的基礎(chǔ)上開展定量分析。四、相關(guān)表和相關(guān)圖

相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到簡單的相關(guān)表。相關(guān)圖又稱散點圖。它是以直角坐標系的橫軸代表變量X，縱軸代表變量Y,將兩個變量間相對應(yīng)的變量值用坐標點的形式描繪出來，用來反映兩變量之間相關(guān)關(guān)系的圖形。根據(jù)表8-2的資料繪制的相關(guān)圖如下：第二節(jié)一一元元線性回回歸分析析一、標準準的一元元線性回回歸模型型二、一元元線性回回歸模型型的估計計三、一元元線性回回歸模型型的檢驗驗四、一一元線性性回歸模模型預(yù)測測一、標準準的一元元線性回回歸模型型(一)總總體回歸歸函數(shù)Ｙt＝β1＋β2Ｘt＋ut（8.1）ut是隨機誤誤差項，，又稱隨隨機干擾擾項，它它是一個個特殊的的隨機變變量，反反映未列列入方程程式的其其他各種種因素對對Ｙ的影影響。(二)樣樣本回歸歸函數(shù):ｔ＝１，，２，...nｅt稱為殘差差，在概概念上，，ｅt與總體誤誤差項ut相互對應(yīng)應(yīng)；ｎ是是樣本的的容量。?？傮w回歸歸線與隨隨機誤差差項Ｅ（Ｙt）＝β1＋β2ＸtXYtY。。。。。。ut樣本回歸歸函數(shù)與與總體回回歸函數(shù)數(shù)區(qū)別總體回歸歸線是未未知的，，只有一一條。樣樣本回歸歸線是根根據(jù)樣本本數(shù)據(jù)擬擬合的，，每抽取取一組樣樣本，便便可以擬擬合一條條樣本回回歸線。?？傮w回歸歸函數(shù)中中的β1和β2是未知的的參數(shù)，，表現(xiàn)為為常數(shù)。。而樣本本回歸函函數(shù)中的的是是隨機機變量，，其具體體數(shù)值隨隨所抽取取的樣本本觀測值值不同而而變動。?？傮w回歸歸函數(shù)中中的ut是Ｙt與未知的的總體回回歸線之之間的縱縱向距離離，它是是不可直直接觀測測的。而而樣本回回歸函數(shù)數(shù)中的ｅｅt是Ｙt與樣本回回歸線之之間的縱縱向距離離，當根根據(jù)樣本本觀測值值擬合出出樣本回回歸線之之后，可可以計算算出ｅt的具體數(shù)數(shù)值。誤差項的的標準假假定假定１：：ＥＥ（（ut）＝０假定２：：Var(ut)＝Ｅ（（））＝＝假定３：：Cov(utus)＝Ｅ（（utus）＝０ｔｔ≠≠ｓ假定４：：自變量量是給定定變量，，與誤差差項線性性無關(guān)。。假定５：：隨機誤誤差項服服從正態(tài)態(tài)分布。。滿足以上上標準假假定的一一元線性性回歸模模型，稱稱為標準準的一元元線性回回歸模型型。二、一元元線性回回歸模型型的估計計（一）回回歸系數(shù)數(shù)的估計計最小二乘乘法設(shè)將Ｑ對求求偏導數(shù)數(shù)，并令令其等于于零，可可得:加以整理理后有：：回歸系數(shù)數(shù)的最小小二乘估估計量以上方程程組稱為為正規(guī)方方程組或或標準方方程組，，式中的的ｎ是樣樣本容量量。求解這一一方程組組可得：：（二）總總體方差差的估計計上式中，，分母是是自由度度，其中中ｎ是樣樣本觀測測值的個個數(shù)，２２是一元元線性回回歸方程程中回歸歸系數(shù)的的個數(shù)。。在一元元線性回回歸模型型中，殘殘差ｅt必須滿足足因而失去去了兩個個自由度度，所以以其自由由度為ｎｎ－２。。Ｓ2的正平方方根又叫叫做回歸歸估計的的標準誤誤差。S2＝＝０；＝０證明:殘差平方方和計算算一般采用用以下公公式計算算殘差平平方和：：（三）最最小二乘乘估計量量的性質(zhì)質(zhì)最小二乘乘估計量量是隨機機變量。。在標準假假定能夠夠得到滿滿足的條條件下，，回歸系系數(shù)的最最小二乘乘估計量量的期望望值等于于其真值值，即有有：Ｅ（））＝β1Ｅ（））＝＝β2其方差為為：Ｖａｒ（（））＝Ｖａｒ（（））＝估計量性性質(zhì)的數(shù)數(shù)學證明明(一)線線性估計計量將Ｙｔ＝β1＋β2Ｘｔ＋uｔ代入估計計量，得得：===最小二乘乘估計量量可表現(xiàn)現(xiàn)為所要要估計的的參數(shù)的的真值與與隨機誤誤差項的的線性組組合推導用的的恒等式式＝０＝Ｘｔ＝令最小小二二乘乘估估計計量量期期望望值值和和方方差差的的推推導導Ｅ（（））＝＝β2＋ＥＥ（（∑∑ｗｗｔuｔ）＝ββ2＋∑∑ｗｗｔｔＥＥ（（uｔ）（根根據(jù)據(jù)標標準準假假定定４４））＝β2＋∑∑ｗｗｔ×０（（根根據(jù)據(jù)標標準準假假定定１１））＝β2Ｖａａｒｒ（（））＝＝ＶＶａａｒｒ（（β2＋∑ｗｗｔuｔ）＝ＥＥ（（∑ｗｗｔuｔ）2＝（（根根據(jù)據(jù)標標準準假假定定４４、、３３））＝（（根根據(jù)據(jù)標標準準假假定定２２））＝有效效性性證證明明：：設(shè)＝＝為為任任意意無無偏偏線線性性估估計計量量，，則則有有約約束束條條件件：：按照照與與上上面面同同樣樣的的方方法法，，可可推推導導出出Var()=比較較ＶＶａａｒｒ（（））與與Var()的的大大小小，，有有：：Var()－－Var（（））＝＝－－＝））＝以上上第第二二步步到到第第三三步步之之所所以以成成立立，，是是因因為為：：而利利用用前前面面關(guān)關(guān)于于線線性性無無偏偏估估計計量量的的約約束束條條件件，，可可有有：：三、、一一元元線線性性回回歸歸模模型型的的檢檢驗驗（一一））回回歸歸模模型型檢檢驗驗的的種種類類回歸歸模模型型的的檢檢驗驗包包括括理理論論意意義義檢檢驗驗、、一一級級檢檢驗驗和和二二級級檢檢驗驗。。（二二））擬擬合合程程度度的的評評價價總離離差差平平方方和和的的分分解解ＳＳＳＴＴ＝＝ＳＳＳＳＲＲ＋＋ＳＳＳＳＥＥ（（8.28））ＳＳＳＴＴ是是總總離離差差平平方方和和；；ＳＳＳＳＲＲ是是回回歸歸平平方方和和；；ＳＳＳＳＥＥ是是殘殘差差平平方方和和。。可決決系系數(shù)數(shù)：：ｒ2＝=1－－（（8.30））可決決系系數(shù)數(shù)的的特特性性（三三））顯顯著著性性檢檢驗驗1．．提提出出假假設(shè)設(shè)。。2.確確定定顯顯著著水水平平αα。。3.計計算算回回歸歸系系數(shù)數(shù)的的ｔｔ值值。。=（（8.36））4.確確定定臨臨界界值值。。雙側(cè)側(cè)檢檢驗驗查查ｔｔ分分布布表表所所確確定定的的臨臨界界值值是是（（-ｔｔα／2））和和（（ｔｔα／2））；；單單側(cè)側(cè)檢檢驗驗所所確確定定的的臨臨界界值值是是（（ｔｔα）。。5.做做出出判判斷斷。。四、、一一元元線線性性回回歸歸模模型型預(yù)預(yù)測測（一一））簡簡單單回回歸歸預(yù)預(yù)測測的的基基本本公公式式：：（8.38）回歸歸預(yù)預(yù)測測是是一一種種有有條條件件的的預(yù)預(yù)測測，，在在進進行行回回歸歸預(yù)預(yù)測測時時，，必必須須先先給給出出ＸＸf的具具體體數(shù)數(shù)值值。。內(nèi)內(nèi)插插檢檢驗驗或或事事后后預(yù)預(yù)測測。。外外推推預(yù)預(yù)測測或或事事前前預(yù)預(yù)測測。。（二二））預(yù)預(yù)測測誤誤差差發(fā)生生預(yù)預(yù)測測誤誤差差的的原原因因。。預(yù)測測誤誤差差ＶＶar（（ｅｅf）＝＝σσ2（8.42））（三三））區(qū)區(qū)間間預(yù)預(yù)測測Ｙf的（（１１－－αα））的的置置信信區(qū)區(qū)間間為為：：ＹＹf±ｔｔα／／2(n-2)××ＳＳｅｅf回歸歸預(yù)預(yù)測測的的置置信信區(qū)區(qū)間間的的特特點點。。回歸歸預(yù)預(yù)測測的的置置信信區(qū)區(qū)間間第三三節(jié)節(jié)多多元元線線性性回回歸歸分分析析一、、標標準準的的多多元元線線性性回回歸歸模模型型二、、多多元元線線性性回回歸歸模模型型的的估估計計三、、多多元元線線性性回回歸歸模模型型的的檢檢驗驗和和預(yù)預(yù)測測四、、多多元元線線性性回回歸歸預(yù)預(yù)測測一、、標標準準的的多多元元線線性性回回歸歸模模型型多元元線線性性回回歸歸模模型型總總體體回回歸歸函函數(shù)數(shù)的的一一般般形形式式(8.48)多元元線線性性回回歸歸模模型型的的樣樣本本回回歸歸函函數(shù)數(shù)(8.49)多元元線線性性回回歸歸分分析析的的標標準準假假定定除除了了包包括括上上一一節(jié)節(jié)中中已已經(jīng)經(jīng)提提出出的的的的假假定定外外，，還還要要追追加加一一條條假假定定。。這這就就是是回回歸歸模模型型所所包包含含的的自自變變量量之之間間不不能能具具有有較較強強的的線線性性關(guān)關(guān)系系。。二、、多多元元線線性性回回歸歸模模型型的的估估計計（一一））回回歸歸系系數(shù)數(shù)的的估估計計＝(X'X)－1X'Y(8.55)（二二））總總體體方方差差的的估估計計Ｓ2＝(8.56)（三三））最最小小二二乘乘估估計計量量的的性性質(zhì)質(zhì)標準準的的多多元元線線性性回回歸歸模模型型中中，，高高斯斯.馬馬爾爾可可夫夫定定理理同同樣樣成成立立。。三、、多多元元線線性性回回歸歸模模型型的的檢檢驗驗和和預(yù)預(yù)測測（一一））擬擬合合程程度度的的評評價價修正正自自由由度度的的可可決決系系數(shù)數(shù)（（理理由由））。。＝１１－－(8.61)＝１１－－（（１１－－Ｒ2）(8.62)式中中，，ｎｎ是是樣樣本本容容量量；；ｋｋ是是模模型型中中回回歸歸系系數(shù)數(shù)的的個個數(shù)數(shù)。。修正正自自由由度度的的可可決決系系數(shù)數(shù)的的特特點點。。(二二)顯顯著著性性檢檢驗驗1．．回回歸歸系系數(shù)數(shù)的的顯顯著著性性檢檢驗驗ｔ＝＝j(luò)=1,2,……,k(8.63)式中中，，S是是的的標標準準差差的的估估計計值值。。按按下下式式計計算算：：Ｓ＝＝(8.64)式中中，，是是(X'X)-1的第第ｊｊ個個對對角角線線元元素素，，ＳＳ2是隨隨機機誤誤差差項項方方差差的的估估計計值值。。(8.63)式的的ｔｔ統(tǒng)統(tǒng)計計量量的的原原假假設(shè)設(shè)是是ＨＨ0：ββj＝００，，因因此此ｔｔ的的絕絕對對值值越越大大表表明明ββj為００的的可可能能性性越越小小，，即即表表明明相相應(yīng)應(yīng)的的自自變變量量對對因因變變量量的的影影響響是是顯顯著著的的。。2．．回回歸歸方方程程的的顯顯著著性性檢檢驗驗具體體的的方方法法步步驟驟回歸歸模模型型方方差差分分析析表表（3））ＦＦ統(tǒng)統(tǒng)計計量量Ｆ＝＝離差名稱平方和自由度方差回歸平方和SSR=k-1SSR/(k-1)殘差平方和SSE=

n-kSSE/(n-k)總離差平方和SST=四、多元線線性回歸預(yù)預(yù)測基本公式：：(8.66)式中，Xjf(j=2,3,………k)是給給定的Xj在預(yù)測期的的具體數(shù)值值；是是已估計計出的樣本本回歸系數(shù)數(shù)；是是Xj給定時Ｙ的的預(yù)測值。。第四節(jié)非非線性回歸歸分析一、非線性性回歸分析析的意義二、非線性性函數(shù)形式式的確定確定函數(shù)形形式的原則則實際分析中中較常用的的幾種非線線性函數(shù)的的特點三、非線性性回歸模型型的估計幾種線性變變換方法實際應(yīng)用時時要注意：：第一、比較較復(fù)雜的非非線性函數(shù)數(shù)，需綜合合利用上述述的幾種方方法。第二、變換換得到的方方程式中的的變量不允允許包含未未知的參數(shù)數(shù)。第三、當變變換后的新新模型中包包含的誤差差項能夠滿滿足標準假假定時，新新模型中回回歸系數(shù)最最小二乘估估計量的理理想性質(zhì)才才能成立。。第四、嚴格格地說，線線性變換方方法只是適適用于變量量為非線性性的函數(shù)。。第五、并并不是所有有的非線性性函數(shù)都可可以通過變變換得到與與原方程完完全等價的的線性方程程。第五節(jié)相相關(guān)分析析一、單相關(guān)關(guān)系數(shù)及其其檢驗二、等級相相關(guān)系數(shù)及及其檢驗四、復(fù)相關(guān)關(guān)系數(shù)和偏偏相關(guān)系數(shù)數(shù)六、相關(guān)指指數(shù)一、單相關(guān)關(guān)系數(shù)及其其檢驗（一）相關(guān)關(guān)系數(shù)的定定義ｒ＝（（8.86））樣本相關(guān)系系數(shù)的定義義還可從另另一個角度度給出。設(shè)設(shè)Ｙ倚Ｘ和和Ｘ倚Ｙ的的樣本回歸歸方程為：：（8.87）（8.88）樣本相關(guān)系系數(shù)可定義義為樣本回回歸系數(shù)的的乘積的開開方，即:ｒ＝±（8.89）上式中ｒ的的符號應(yīng)與與回歸系數(shù)數(shù)的符號一一致。（二）相關(guān)關(guān)系數(shù)與可可決系數(shù)簡單線性回回歸模型中中相關(guān)系數(shù)數(shù)ｒ的平方方等于可決決系數(shù)ｒ2。樣本相關(guān)系系數(shù)的特點點：（三）單相相關(guān)系數(shù)的的檢驗二、等級相相關(guān)系數(shù)及及其檢驗（一）等級級相關(guān)系數(shù)數(shù)的定義和和計算ｒs=(8.92)式中，，，和和分分別別是兩個變變量按大小?。ɑ騼?yōu)劣劣）排位的的等級，n是樣本的容容量。推導通常的單相相關(guān)系數(shù)為為：ｒs＝i=1,2,……n