第八章-相關(guān)與回歸分析

第八章相關(guān)與回歸分析第一節(jié)相關(guān)與回歸分析的基本概念第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第四節(jié)非線性回歸分析

——可化為線性回歸的曲線回歸學習目標1. 掌握一元線性回歸的基本原理和參數(shù)的最小二乘估計方法2.掌握回歸方程的顯著性檢驗利用回歸方程進行預測掌握多元線性回歸分析的基本方法了解可化為線性回歸的曲線回歸掌握相關(guān)系數(shù)的含義、計算方法和應用用Excel進行回歸分析相關(guān)與回歸分析的基本概念一、函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系的例子某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為

y=p

x(p為單價是常量)圓的面積(S)與半徑之間的關(guān)系可表示為S=R2

企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)

、單位產(chǎn)量消耗(x2)

、原材料價格(x3)之間的關(guān)系可表示為y=x1x2x3

客觀現(xiàn)象的數(shù)量聯(lián)系

（函數(shù)關(guān)系）（一元線性函數(shù)關(guān)系）兩個變量是一一對應的確定關(guān)系設有兩個變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當變量x取某個數(shù)值時，

y依確定的關(guān)系取相應的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點落在一條線上

xy客觀現(xiàn)象的數(shù)量聯(lián)系

（相關(guān)關(guān)系）相關(guān)關(guān)系的例子商品的消費量(y)與居民收入(x)之間的關(guān)系商品銷售額(y)與廣告費支出(x)之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系父親身高(y)與子女身高(x)之間的關(guān)系（簡單線性相關(guān)關(guān)系）變量間關(guān)系不能用函數(shù)關(guān)系精確表達一個變量的取值不能由另一個變量唯一確定當變量x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍

xy函數(shù)關(guān)系與相關(guān)關(guān)系的聯(lián)系由于存在測量誤差，函數(shù)關(guān)系在現(xiàn)實中往往表現(xiàn)為相關(guān)關(guān)系。函數(shù)關(guān)系是相關(guān)分析的工具。相關(guān)分析需要借助函數(shù)來近似描述具有相關(guān)關(guān)系的變量之間的數(shù)量聯(lián)系。相關(guān)關(guān)系的類型按變量多少按相關(guān)形式按相關(guān)程度按相關(guān)方向簡單相關(guān)關(guān)系的圖示不相關(guān)負線性相關(guān)正線性相關(guān)非線性相關(guān)完全負線性相關(guān)完全正線性相關(guān)二、相關(guān)分析與回歸分析相關(guān)分析（概念）

相關(guān)分析是分析研究變量之間相關(guān)關(guān)系的一種統(tǒng)計分析方法。廣義的相關(guān)分析包括兩個方面的主要內(nèi)容：一是測定變量之間相關(guān)關(guān)系的密切程度；二是尋找一個合適的數(shù)學關(guān)系式來描述相關(guān)的變量之間的數(shù)值變化關(guān)系。一般所說的相關(guān)分析是指通過統(tǒng)計指標來測定變量之間相關(guān)關(guān)系密切程度的統(tǒng)計分析方法?；貧w分析（概念）回歸分析也是分析研究變量之間相關(guān)關(guān)系的統(tǒng)計分析方法。其主要目的是：建立合適的數(shù)學模型（或數(shù)學表達式，回歸方程），來近似描述變量之間的數(shù)量變化關(guān)系，以便通過已知的自變量來估計或預測未知的因變量值。一個自變量兩個及兩個以上自變量回歸分析多元回歸析一元回歸線性回歸非線性回歸線性回歸非線性回歸回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，所有變量處于平等的地位；回歸分析中，必須確定哪個變量為因變量，需要用其它變量解釋，哪個或哪些變量稱為自變量，用于解釋或預測因變量的變化相關(guān)分析中所涉及的變量都是隨機變量；回歸分析中，因變量是隨機變量，把自變量作為給定的非隨機的確定變量對待相關(guān)分析主要是描述兩個變量之間相關(guān)關(guān)系的密切程度；回歸分析的目的在于揭示自變量對因變量變化的影響大小，以便進行預測和控制三、相關(guān)系數(shù)及其計算相關(guān)關(guān)系的測度

（相關(guān)系數(shù)）對變量之間關(guān)系密切程度的度量對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù)若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，記為r相關(guān)關(guān)系的測度

（相關(guān)系數(shù)）

樣本相關(guān)系數(shù)的計算公式或化簡為相關(guān)關(guān)系的測度

（相關(guān)系數(shù)取值及其意義）

r

的取值范圍是[-1,1]|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負正相關(guān)

r=0，不存在線性相關(guān)關(guān)系-1r<0，為負相關(guān)0<r1，為正相關(guān)|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切相關(guān)關(guān)系的測度

（相關(guān)系數(shù)取值及其意義）-1.0+1.00-0.5+0.5完全負相關(guān)無線性相關(guān)完全正相關(guān)負相關(guān)程度增加r正相關(guān)程度增加相關(guān)關(guān)系的測度

（相關(guān)系數(shù)計算例）【例】居民收入與消費水平數(shù)據(jù)見下表（單位：百元），計算相關(guān)系數(shù)。相關(guān)關(guān)系的測度

（計算結(jié)果）解：根據(jù)樣本相關(guān)系數(shù)的計算公式有家庭人均消費支出與人均可支配收入之間的相關(guān)系數(shù)為0.9878相關(guān)系數(shù)的顯著性檢驗

（概念要點）

1. 檢驗兩個變量之間是否存在線性相關(guān)關(guān)系采用t檢驗檢驗的步驟為提出假設：H0：；H1：0

計算檢驗的統(tǒng)計量：

確定顯著性水平，并作出決策若t>t，拒絕H0

若t<t，接受H0相關(guān)系數(shù)的顯著性檢驗

（實例）

對前例計算的相關(guān)系數(shù)進行顯著性檢(0.05)提出假設：H0：；H1：0計算檢驗的統(tǒng)計量3.根據(jù)顯著性水平＝0.05，查t分布表得t(n-2)=2.201由于t=17.9113>t(13-2)=2.201，拒絕H0，人均消費支出與可支配收入之間的相關(guān)關(guān)系顯著第二節(jié)一元線性回歸一.一元線性回歸模型參數(shù)的最小二乘估計回歸方程的顯著性檢驗預測及應用回歸模型與回歸方程一元線性回歸模型

（概念要點）描述因變量如何依賴于自變量和隨機誤差項的數(shù)學表達式稱為回歸模型當模型中只涉及一個自變量時稱為一元回歸模型，若因變量y與自變量x之間為線性關(guān)系時稱為一元線性回歸回歸模型中隨機誤差項的均值為0，也就是說因變量的數(shù)學期望是自變量的函數(shù)，該函數(shù)稱為因變量對自變量的回歸函數(shù)（或回歸方程）。“回歸”一詞的由來（高爾頓的例子）一元線性回歸模型

（概念要點）

對于只涉及一個自變量的簡單線性回歸模型可表示為

y=b1+b2x+u模型中，y是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項u是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性1和2稱為模型的參數(shù)一元線性回歸模型

（基本假定）誤差項u是一個期望值為0的隨機變量，即E(u)=0。對于一個給定的x值，y的期望值為E(y)=1+

2x誤差項u的方差σ2為常數(shù)誤差項u之間不存在序列相關(guān)自變量是給定的變量，與隨機誤差項不相關(guān)隨機誤差項服從正態(tài)分布，即u~N(0,σ2)總體回歸方程描述y的平均值或期望值如何依賴于x的參數(shù)方程稱為總體回歸方程簡單線性回歸方程的形式如下

E(y)=1+2x方程的圖示是一條直線，因此也稱為直線回歸方程1是回歸直線在y軸上的截距，是當x=0時y的期望值2是直線的斜率，稱為回歸系數(shù)，表示當x每變動一個單位時，y的平均變動值估計(經(jīng)驗)的回歸方程

（樣本回歸方程）

簡單線性回歸中樣本回歸方程為總體回歸方程中包含未知的回歸系數(shù)，必須通過樣本進行估計，當回歸參數(shù)用樣本的估計量替代時所得到的方程稱為樣本回歸方程。參數(shù)1和2的最小二乘估計最小二乘法使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小最小二乘法

（圖示）最小二乘法

（

和的計算公式）

根據(jù)最小二乘法的要求，可得求解和的標準方程如下最小二乘估計的性質(zhì)無偏性線性性方差最小性估計方程的求法

（實例）【例】根據(jù)例8.1中的數(shù)據(jù)，配合人均月食品支出對人均月收入的回歸方程

根據(jù)和的求解公式得估計(經(jīng)驗)方程估計方程的求法

（Excel的輸出結(jié)果）回歸方程的顯著性檢驗離差平方和的分解因變量y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示離差平方和的分解

（圖示）xyy{}}離差分解圖離差平方和的分解

（三個平方和的關(guān)系）2.兩端平方后求和有從圖上看有SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{離差平方和的分解

（三個平方和的意義）總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和樣本決定系數(shù)

（判定系數(shù)r2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝(r)2回歸方程的顯著性檢驗

（線性關(guān)系的檢驗

）檢驗自變量和因變量之間的線性關(guān)系是否顯著具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系回歸方程的顯著性檢驗

（檢驗的步驟）提出假設H0：線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若FF,拒絕H0；若F<F,接受H0回歸方程的顯著性檢驗

（方差分析表）（續(xù)前例）Excel

輸出的方差分析表平方和均方估計標準誤差Sy

(總體方差的估計）實際觀察值與回歸估計值離差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況從另一個角度說明了回歸直線的擬合程度計算公式為注：上例的計算結(jié)果為1.8286回歸系數(shù)的顯著性檢驗

（要點）2.在一元線性回歸中，等價于回歸方程的顯著性檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著回歸系數(shù)的顯著性檢驗

（樣本統(tǒng)計量的分布）

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布由于無未知，需用其估計量Sy來代替得到的估計的標準差回歸系數(shù)的顯著性檢驗

（步驟）提出假設H0:b2=0(沒有線性關(guān)系)H1:b2

0(有線性關(guān)系)計算檢驗的統(tǒng)計量

確定顯著性水平，并進行決策t>t，拒絕H0；t<t，接受H0回歸系數(shù)的顯著性檢驗

（實例）提出假設H0：b2=0人均收入與人均食品之間無線性關(guān)系H1：b2

0人均收入與人均食品之間有線性關(guān)系計算檢驗的統(tǒng)計量

t=10.07>t

（13）=2.160，拒絕H0，表明人均收入與人均食品支出之間有線性關(guān)系對前例的回歸系數(shù)進行顯著性檢驗(＝0.05)預測及應用利用回歸方程進行預測根據(jù)自變量x

的取值估計或預測因變量y的取值估計或預測的類型點估計或點預測y的平均值的點估計y的個別值的點估計區(qū)間估計（區(qū)間預測）y的平均值的區(qū)間估計y的個別值的區(qū)間估計利用回歸方程進行預測

（點估計）2.點估計值有y的平均值的點估計y的個別值的點估計3.在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0

，根據(jù)回歸方程得到因變量y的一個估計值利用回歸方程進行預測

（點估計）

y的平均值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計人均收入為200元時，所有家庭人均食品支出的平均值，就是平均值的點估計。根據(jù)估計的回歸方程得利用回歸方程進行預測

（點估計）

y的個別值的點估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計值，就是個別值的點估計2.比如，如果我們只是想知道某家庭人均收入為200元時的人均食品支出是多少，則屬于個別值的點估計。根據(jù)估計的回歸方程得利用回歸方程進行預測

（區(qū)間估計）點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量x的一個給定值x0，根據(jù)回歸方程得到因變量y0

的平均值或y0的一個估計區(qū)間（前者通常稱為區(qū)間估計問題，后者通常稱為預測問題）利用回歸方程進行預測

（置信區(qū)間估計）

y的平均值的置信區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值E(y0)的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間

E(y0)

在1-置信水平下的置信區(qū)間為式中：Sy為估計標準誤差利用回歸方程進行預測

（置信區(qū)間估計:算例）【例】根據(jù)前例，求出人均收入為200元時，人均食品支出的95%的置信區(qū)間解：根據(jù)前面的計算結(jié)果＝46.03，Sy=1.8286，t(15-2)＝2.160，n=15

置信區(qū)間為=46.032.160×1.83=46.03±3.9528人均食品支出的95%的置信區(qū)間為42.0772

元~49.9828元之間利用回歸方程進行預測

（預測區(qū)間估計）

y的個別值的預測區(qū)間估計利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值y0的估計區(qū)間，這一區(qū)間稱為預測區(qū)間

y0在1-置信水平下的預測區(qū)間為利用回歸方程進行估計和預測

（置預測區(qū)間估計:算例）【例】根據(jù)前例，求出人均收入為200元時，人均食品支出的95%的預測區(qū)間解：根據(jù)前面的計算結(jié)果有＝46.03，Sy=14.95，t(15-2)＝2.160，n=15

置信區(qū)間為=46.032.16×2.5852人均食品支出的95%的預測區(qū)間為40.45元~51.61元之間影響區(qū)間寬度的因素1. 置信水平(1-)區(qū)間寬度隨置信水平的增大而增大2. 數(shù)據(jù)的離散程度(s)區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預測的x與x的差異程度區(qū)間寬度隨x與x的差異程度的增大而增大置信區(qū)間、預測區(qū)間、回歸方程第三節(jié)多元線性回歸一.多元線性回歸模型回歸參數(shù)的估計回歸方程的顯著性檢驗回歸系數(shù)的顯著性檢驗多元線性回歸的預測多元線性回歸模型多元線性回歸模型

（概念要點）對于n組實際觀察數(shù)據(jù)(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……多元線性回歸模型

（基本假定）自變量x1，x2，…，xp是確定性變量，不是隨機變量,且自變量之間不存在多重共線性隨機誤差項ε的期望值為0，且方差σ2都相同。誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,σ2)，且相互獨立。多元線性回歸方程

（概念要點）描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

pxpb1，b2，，bp稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當xi

每變動一個單位時，y的平均變動值多元線性回歸方方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}多元線性回歸的估計(經(jīng)驗)方程總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計用樣本統(tǒng)計量代替回歸方程中的未知參數(shù)

即得到估計的回歸方程

是估計值是y

的估計值參數(shù)的最小二乘估計參數(shù)的最小二乘法

（要點）根據(jù)最小二乘法的要求，可得求解各回歸參數(shù)的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即回歸方程的顯著性檢驗多重樣本決定系數(shù)

（多重判定系數(shù)R2

）回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差等于多重相關(guān)系數(shù)（復相關(guān)系數(shù)R）的平方，即

R2=(R)2修正的多重樣本決定系數(shù)

（修正的多重判定系數(shù)R2

）由于增加自變量將影響到因變量中被估計的回歸方程所解釋的變異性的數(shù)量，為避免高估這一影響，需要用自變量的數(shù)目去修正R2的值用n表示觀察值的數(shù)目，p表示自變量的數(shù)目，修正的多元判定系數(shù)的計算公式可表示為回歸方程的顯著性檢驗

（步驟）提出假設H0：12p=0線性關(guān)系不顯著H1：1，2，，p至少有一個不等于02.計算檢驗統(tǒng)計量F3.確定顯著性水平和分子自由度p、分母自由度n-p-1找出臨界值F4.作出決策：若FF，拒絕H0；若F<F，接受H0回歸系數(shù)的顯著性檢驗

（要點）如果F檢驗已經(jīng)表明了回歸模型總體上是顯著的，那么回歸系數(shù)的檢驗就是用來確定每一個單個的自變量xi

對因變量y的影響是否顯著對每一個自變量都要單獨進行檢驗應用t

檢驗在多元線性回歸中，回歸方程的顯著性檢驗不再等價于回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗

（步驟）提出假設H0：bi=0(自變量xi與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi與

因變量y有線性關(guān)系)計算檢驗的統(tǒng)計量t

確定顯著性水平，并進行決策tt，拒絕H0；t<t，接受H0一個二元線性回歸的例子銷售額、人口數(shù)和年人均收入數(shù)據(jù)地區(qū)編號銷售額（萬元）y人口數(shù)(萬人)x1年人均收入(元)x21234567891033.335.527.630.431.953.135.629.035.134.532.429.126.331.229.240.729.823.028.226.91250165014501310131015801490152016201570【例】一家百貨公司在10個地區(qū)設有經(jīng)銷分公司。公司認為商品銷售額與該地區(qū)的人口數(shù)和年人均收入有關(guān)，并希望建立它們之間的數(shù)量關(guān)系式，以預測銷售額。有關(guān)數(shù)據(jù)如下表。試確定銷售額對人口數(shù)和年人均收入的線性回歸方程，并分析回歸方程的擬合程度，對線性關(guān)系和回歸系數(shù)進行顯著性檢驗(=0.05)。一個二元線性回歸的例子

(Excel輸出的結(jié)果)一個二元線性回歸的例子

(計算機輸出結(jié)果解釋)銷售額與人口數(shù)和年人均收入的二元回歸方程為

多重判定系數(shù)R2=0.9373；調(diào)整后的R2=0.9194

回歸方程的顯著性檢驗F=52.3498F>F0.05(2,7)=4.74，回歸方程顯著回歸系數(shù)