本科《統(tǒng)計學(xué)》課件NO8

1、第八章 相關(guān)與回歸分析熟悉相關(guān)關(guān)系和函數(shù)關(guān)系的概念與區(qū)別，熟悉相關(guān)關(guān)系的分類，了解相關(guān)分析的內(nèi)容；熟悉相關(guān)表、相關(guān)圖，掌握相關(guān)系數(shù)；學(xué)習(xí)目標(biāo)了解回歸分析的概念、步驟及其與相關(guān)分析的關(guān)系，掌握一元線性回歸模型的擬合優(yōu)度，掌握利用回歸方程進行估計和預(yù)測的方法；了解多元線性回歸模型及其估計和檢驗方法；了解非線性回歸分析的模型。目錄第一節(jié) 相關(guān)分析概述第二節(jié) 相關(guān)關(guān)系的描述與測度第三節(jié) 一元線性回歸分析第四節(jié) 多元線性回歸分析第五節(jié) 非線性回歸分析第一節(jié) 相關(guān)分析概述 一、 函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系是指現(xiàn)象之間存在的一種十分嚴(yán)格的數(shù)量依存關(guān)系。也就是說，當(dāng)一個或幾個變量取一定的數(shù)值時，另一個變量都有

2、唯一確定的數(shù)值與之相對應(yīng)。變量之間的這種關(guān)系為確定性的函數(shù)關(guān)系。這種關(guān)系可以用函數(shù)表達式來反映。一、 函數(shù)關(guān)系與相關(guān)關(guān)系當(dāng)一個或若干個變量x取一定值時，與之相對應(yīng)的另一個變量y的值雖然不確定，但按某種規(guī)律在一定范圍內(nèi)變化，變量之間的這種關(guān)系稱為不確定的統(tǒng)計關(guān)系或相關(guān)關(guān)系，一般可表示為y=f(x，u)。其中，u為隨機變量。相關(guān)關(guān)系可表現(xiàn)為因果關(guān)系和非因果關(guān)系。因果關(guān)系是指某一現(xiàn)象或若干現(xiàn)象的變化是由另一現(xiàn)象的變化引起的。前者的取值因為不確定而被稱為因變量；后者的取值是可控制的、給定的，通常將其稱為自變量。一、 函數(shù)關(guān)系與相關(guān)關(guān)系變量之間的函數(shù)關(guān)系和相關(guān)關(guān)系并無嚴(yán)格的界限。在一定條件下，兩者可以相

3、互轉(zhuǎn)化。當(dāng)存在觀測誤差、測量誤差及各種隨機因素的干擾時，原本的函數(shù)關(guān)系往往只能以相關(guān)關(guān)系的形式表現(xiàn)出來。如果人們對具有相關(guān)關(guān)系的變量之間的聯(lián)系有深刻的認識，并且能夠把影響因變量變動的因素全部納入方程，這時的相關(guān)關(guān)系也可能轉(zhuǎn)化為函數(shù)關(guān)系。此外，相關(guān)關(guān)系也具有某種變動規(guī)律性，故而相關(guān)關(guān)系通?？梢杂靡欢ǖ暮瘮?shù)形式近似地描述。二、 相關(guān)關(guān)系的分類正相關(guān)是指變量之間有著一致的變化方向，即當(dāng)某一變量的數(shù)值增加，另一變量的數(shù)值也相應(yīng)地增加；反之，某一變量的數(shù)值下降，另一變量的數(shù)值也隨之下降。負相關(guān)是指變量之間具有不同的變化方向，即某一變量的數(shù)值增加時，另一變量的數(shù)值隨之減少；反之，某一變量的數(shù)值減少時，另一

4、變量的數(shù)值隨之增加。（一） 正相關(guān)和負相關(guān)二、 相關(guān)關(guān)系的分類當(dāng)一個變量變動時，另一個變量也隨之發(fā)生大致均等的變動，在直角坐標(biāo)系上其觀察值的分布近似地表現(xiàn)為一條直線，則稱這種相關(guān)關(guān)系為線性相關(guān)。當(dāng)一個變量變動時，另一個變量也隨之發(fā)生變動，但并不表現(xiàn)為直線的關(guān)系，而是近似于某種曲線形式的關(guān)系，則稱這種相關(guān)關(guān)系為非線性相關(guān)或曲線相關(guān)。（二） 線性相關(guān)和非線性相關(guān)二、 相關(guān)關(guān)系的分類完全相關(guān)也稱函數(shù)關(guān)系，是指具有相關(guān)關(guān)系的變量之間所呈現(xiàn)出來的完全確定的關(guān)系。不相關(guān)，也稱零相關(guān)，是指變量之間所表現(xiàn)出的變化方向無確定規(guī)律，即一種變量值變化與另一種變量值的可能變化互不影響，各自獨立。不完全相關(guān)是指變量之間

5、介于完全相關(guān)和不相關(guān)之間的相關(guān)關(guān)系。由于完全相關(guān)和不相關(guān)的數(shù)量關(guān)系是確定的或相互獨立的，都是比較理想的狀態(tài)，但現(xiàn)實中變量之間的關(guān)系多介于兩者之間，因此統(tǒng)計學(xué)中的相關(guān)分析主要是研究不完全相關(guān)。（三） 完全相關(guān)、不完全相關(guān)和不相關(guān)二、 相關(guān)關(guān)系的分類單相關(guān)是指兩個變量之間的相關(guān)關(guān)系。復(fù)相關(guān)又稱多元相關(guān)，是指三個或三個以上變量之間的相關(guān)關(guān)系。在復(fù)相關(guān)中，當(dāng)假設(shè)其他變量不變時，其中兩個變量之間的相關(guān)關(guān)系就稱為偏相關(guān)。（四） 單相關(guān)、復(fù)相關(guān)和偏相關(guān)二、 相關(guān)關(guān)系的分類所謂真實相關(guān)，就是指變量之間確實具有內(nèi)在的聯(lián)系，如居民消費支出與可支配收入之間的相關(guān)關(guān)系。所謂虛假相關(guān)，就是指變量之間只存在數(shù)量上的相關(guān)關(guān)

6、系，而實質(zhì)上并沒有內(nèi)在的聯(lián)系。（五） 真實相關(guān)和虛假相關(guān)三、 相關(guān)分析的內(nèi)容（一） 確定變量之間有無相關(guān)關(guān)系，以及相關(guān)關(guān)系的表現(xiàn)形式調(diào)查人員把實際調(diào)查取得的一系列成對的標(biāo)志值資料作為相關(guān)分析的原始數(shù)據(jù)，并利用其繪制相關(guān)表或相關(guān)圖，以確定變量之間的相關(guān)關(guān)系和表現(xiàn)形式。三、 相關(guān)分析的內(nèi)容（二） 確定相關(guān)關(guān)系的密切程度，計算相關(guān)系數(shù)對于不同形式的相關(guān)關(guān)系，其密切程度的判定方法是不同的。線性相關(guān)用相關(guān)系數(shù)計算，非線性相關(guān)用相關(guān)指數(shù)計算（限于本書的篇幅，本章只介紹相關(guān)系數(shù)的計算）。三、 相關(guān)分析的內(nèi)容（三） 對計算出的相關(guān)系數(shù)進行顯著性檢驗相關(guān)系數(shù)多是根據(jù)樣本數(shù)據(jù)計算出來的。其可用來推斷變量總體的相關(guān)

7、性。為了判別這種推斷的可靠程度，調(diào)查人員就需要對相關(guān)系數(shù)進行顯著性檢驗，以檢驗變量之間是否真的存在這樣的關(guān)系。第二節(jié) 相關(guān)關(guān)系的描述與測度一、 相關(guān)表 相關(guān)表是表現(xiàn)變量之間相關(guān)關(guān)系的一種表格。分析人員首先要通過實際調(diào)查取得一系列成對的數(shù)據(jù)，再將某一變量按其數(shù)值的大小順序排列，將與其相關(guān)的另一變量的對應(yīng)值平行排列，便可得到相關(guān)表，進而可對變量之間的關(guān)系進行分析。二、 相關(guān)圖 相關(guān)圖又稱散點圖，是指以直角坐標(biāo)系的橫軸代表變量x、以直角坐標(biāo)系的縱軸代表變量y，再將兩個變量相對應(yīng)的成對數(shù)據(jù)用坐標(biāo)點的形式描繪出來，用于反映兩個變量之間相關(guān)關(guān)系的圖形。三、 相關(guān)系數(shù) 相關(guān)系數(shù)有許多類型，具體可分為單相關(guān)系

8、數(shù)、等級相關(guān)系數(shù)、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)等。單相關(guān)系數(shù)用來判斷兩個變量之間是否存在線性相關(guān)關(guān)系；等級相關(guān)系數(shù)主要用來度量不表現(xiàn)為線性相關(guān)的兩個變量之間的關(guān)系或者許多難以用數(shù)字準(zhǔn)確計量的現(xiàn)象之間的關(guān)系；復(fù)相關(guān)系數(shù)用來反映一個變量與其他多個變量之間的線性相關(guān)程度；偏相關(guān)系數(shù)主要用來反映在對其他變量的影響進行控制的情況下，多個變量中某兩個變量之間的線性相關(guān)程度。（一） 相關(guān)系數(shù)的含義三、 相關(guān)系數(shù) 單相關(guān)是基本的相關(guān)關(guān)系，是復(fù)相關(guān)的基礎(chǔ)。單相關(guān)有線性相關(guān)和非線性相關(guān)兩種表現(xiàn)形式。由于測定線性相關(guān)系數(shù)的方法是最基本的相關(guān)分析，是測定其他相關(guān)系數(shù)方法的基礎(chǔ)，所以本章著重研究線性的單相關(guān)系數(shù)，即直線相關(guān)系

9、數(shù)（以下簡稱相關(guān)系數(shù)）。（一） 相關(guān)系數(shù)的含義三、 相關(guān)系數(shù)（二） 相關(guān)系數(shù)的計算如果相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，那么這個相關(guān)系數(shù)稱為總體相關(guān)系數(shù)，記為；如果相關(guān)系數(shù)是根據(jù)樣本數(shù)據(jù)計算的，那么這個相關(guān)系數(shù)稱為樣本相關(guān)系數(shù)，記為r?？傮w相關(guān)系數(shù)的計算公式如下：式中，xy為變量x與變量y的協(xié)方差；x為變量x的標(biāo)準(zhǔn)差；y為變量y的標(biāo)準(zhǔn)差。三、 相關(guān)系數(shù)總體相關(guān)系數(shù)反映了總體兩個變量x，y的線性相關(guān)程度。對于特定的總體來說，變量x和變量y的數(shù)值是既定的，總體相關(guān)系數(shù)是客觀存在的特定數(shù)值，表現(xiàn)為一個常數(shù)。然而，人們往往不可能去直接觀測總體的兩個變量x，y的全部數(shù)值，所以總體相關(guān)系數(shù)一般是未知的。通

10、常，人們可能做到的是從總體中隨機抽取一定容量的樣本，通過x和y的樣本觀測值去估計樣本相關(guān)系數(shù)。（二） 相關(guān)系數(shù)的計算三、 相關(guān)系數(shù)樣本相關(guān)系數(shù)的計算公式如下：（二） 相關(guān)系數(shù)的計算三、 相關(guān)系數(shù)樣本相關(guān)系數(shù)是根據(jù)樣本觀測值計算的。抽取的樣本不同，其具體的數(shù)值也會有所差異。容易證明，樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的一致估計值。人們利用上式計算r相當(dāng)煩瑣，于是在此基礎(chǔ)上利用代數(shù)推演法得到了許多計算相關(guān)系數(shù)的簡化公式。其中常用的一個簡化公式如下：（二） 相關(guān)系數(shù)的計算三、 相關(guān)系數(shù)（1) r的取值范圍為-1，1，即-1r1。（2） 若r0，則表明兩個變量正相關(guān)；若r0，則表明兩個變量負相關(guān)。（3） r的

11、數(shù)值越接近1，兩個變量之間的線性相關(guān)關(guān)系越強；r的數(shù)值越接近于0，兩個變量之間的線性相關(guān)關(guān)系越弱。當(dāng)r=1時，表示兩個變量為完全線性相關(guān)，即存在函數(shù)關(guān)系；當(dāng)r=0時，則表示兩個變量之間無線性相關(guān)關(guān)系。（三） 樣本相關(guān)系數(shù)的性質(zhì)三、 相關(guān)系數(shù)（4） 判斷兩個變量線性相關(guān)密切程度的具體標(biāo)準(zhǔn)如下：0r0.3,稱為微弱相關(guān)，由于其相關(guān)關(guān)系極弱，一般將其視為不相關(guān)；0.3r0.5，稱為低度相關(guān)；0.5r.8，稱為顯著相關(guān)；0.8r1，稱為高度相關(guān)。（三） 樣本相關(guān)系數(shù)的性質(zhì)三、 相關(guān)系數(shù)需要注意的是，r=0并不意味著兩個變量之間不存在任何關(guān)系，兩個變量之間仍可能存在非線性相關(guān)關(guān)系。所以，一個合理的建議是

12、在計算兩個變量的相關(guān)系數(shù)時，應(yīng)該先使用散點圖看看兩個變量之間關(guān)系的大致趨勢，然后再使用相關(guān)系數(shù)來測量這種相關(guān)關(guān)系的方向和程度。此外，兩變量線性相關(guān)系數(shù)還可運用一元線性回歸模型的判定系數(shù)來求解。（三） 樣本相關(guān)系數(shù)的性質(zhì)三、 相關(guān)系數(shù)樣本相關(guān)系數(shù)r的抽樣分布隨著總體相關(guān)系數(shù)和樣本容量n的變化而變化。當(dāng)樣本數(shù)據(jù)來自正態(tài)總體時，隨著n的增大，r 的抽樣分布趨于正態(tài)分布，尤其是在總體相關(guān)系數(shù)很小或接近零時，r的抽樣分布趨于正態(tài)分布的趨勢更加明顯。但是，當(dāng)遠離零時，除非n非常大，否則r的抽樣分布呈現(xiàn)一定的偏態(tài)。（四） 相關(guān)關(guān)系的顯著性檢驗1. r的抽樣分布三、 相關(guān)系數(shù)一般來說，當(dāng)越靠近1時，r的抽樣分

13、布越呈現(xiàn)左偏分布；當(dāng)越靠近-1時，r的抽樣分布越呈現(xiàn)右偏分布；當(dāng)接近零且樣本容量n很大時，可以認為r的抽樣分布是接近正態(tài)分布的。（四） 相關(guān)關(guān)系的顯著性檢驗1. r的抽樣分布三、 相關(guān)系數(shù)如果r服從正態(tài)分布的假設(shè)成立，那么完全可以應(yīng)用正態(tài)分布來檢驗r。但是，從上文對r抽樣分布的討論可以知道，對r的正態(tài)性假設(shè)具有很大的風(fēng)險。因此，通常情況下不采用正態(tài)檢驗，而是采用費希爾提出的t分布檢驗。t分布檢驗比正態(tài)分布檢驗更可靠，這是因為t分布檢驗既可適用于大樣本的情形，也可適用于小樣本的情形。（四） 相關(guān)關(guān)系的顯著性檢驗2. r的顯著性檢驗三、 相關(guān)系數(shù)第一步，提出原假設(shè)和備擇假設(shè)。假設(shè)樣本是從一個不相關(guān)

14、的總體中抽選出來的，原假設(shè)和備擇假設(shè)分別如下：H0：=0H1：0第二步，計算檢驗統(tǒng)計量。檢驗統(tǒng)計量如下：（四） 相關(guān)關(guān)系的顯著性檢驗2. r的顯著性檢驗三、 相關(guān)系數(shù)第三步，做出決策。根據(jù)給定的顯著性水平和自由度n-2查t分布表，查出臨界值t/2（n-2）。若t t/2（n-2），則拒絕原假設(shè)H0，表明總體的兩個變量之間存在著顯著的線性相關(guān)關(guān)系；若tt/2（n-2），則不能拒絕原假設(shè)H0，不能認為總體的兩個變量之間存在著顯著的線性相關(guān)關(guān)系。（四） 相關(guān)關(guān)系的顯著性檢驗2. r的顯著性檢驗第三節(jié) 一元線性回歸分析一、 回歸分析概述回歸分析就是對具有相關(guān)關(guān)系的變量之間數(shù)量變化的一般關(guān)系進行測定，確

15、定一個相關(guān)的數(shù)學(xué)表達式，以便進行估計或預(yù)測的統(tǒng)計分析方法。（一） 回歸分析的概念一、 回歸分析概述回歸分析的步驟如下：第一步，根據(jù)相關(guān)理論確定自變量和因變量，并分析它們之間的數(shù)學(xué)形式，建立回歸模型。第二步，利用樣本資料對回歸模型中的參數(shù)進行估計。第三步，對估計得到的回歸方程進行統(tǒng)計檢驗，判斷回歸模型的優(yōu)劣。第四步，在通過統(tǒng)計檢驗后，利用回歸方程進行分析和預(yù)測。（二） 回歸分析的步驟一、 回歸分析概述回歸分析和相關(guān)分析都是研究和度量變量之間相關(guān)關(guān)系的基本方法，兩者有著密切的聯(lián)系。它們不但具有共同的研究對象，而且在具體應(yīng)用時常常相互補充。在實際工作中，分析人員一般先進行相關(guān)分析，由相關(guān)系數(shù)的大小決

16、定是否需要進行回歸分析，然后在相關(guān)分析的基礎(chǔ)上建立回歸模型，以便進行推算、預(yù)測。（三） 回歸分析與相關(guān)分析的聯(lián)系與區(qū)別1. 回歸分析與相關(guān)分析的聯(lián)系一、 回歸分析概述相關(guān)分析需要回歸分析來表明相關(guān)變量之間相關(guān)關(guān)系的具體形式，而回歸分析則需要依靠相關(guān)分析來表明變量變化的相關(guān)程度。只有當(dāng)變量之間存在高度相關(guān)時，才有意義進行回歸分析，以尋求相關(guān)關(guān)系的具體形式。（三） 回歸分析與相關(guān)分析的聯(lián)系與區(qū)別1. 回歸分析與相關(guān)分析的聯(lián)系一、 回歸分析概述（1） 相關(guān)分析研究變量之間的依存關(guān)系，這些變量相互對應(yīng)，不分主與從或因與果，各變量必須都是隨機的?；貧w分析卻是在控制或給定一個或幾個變量條件下來觀察對應(yīng)的某

17、一變量的變化。給定的變量稱為自變量，不是隨機變量；被觀察的對應(yīng)的變量稱為因變量，是隨機變量。因此，回歸分析必須根據(jù)研究的目的和對象的性質(zhì)確定哪個是自變量，哪個是因變量。（三） 回歸分析與相關(guān)分析的聯(lián)系與區(qū)別2. 回歸分析與相關(guān)分析的區(qū)別一、 回歸分析概述（2） 相關(guān)分析主要是測定變量之間關(guān)系的密切程度和變量變化的方向，不能估計推算具體數(shù)值。而回歸分析則可以通過對具有相關(guān)關(guān)系的變量建立一個數(shù)學(xué)方程（回歸模型）來描述變量之間具體的變動關(guān)系，用自變量數(shù)值推算因變量的估計值。（三） 回歸分析與相關(guān)分析的聯(lián)系與區(qū)別2. 回歸分析與相關(guān)分析的區(qū)別二、 一元線性回歸模型一元線性回歸模型反映一個自變量與一個因

18、變量之間的線性關(guān)系。總體一元線性回歸模型用公式表示如下：y=+x+式中，x是自變量；y是因變量；和是模型的參數(shù)；是隨機誤差項?？梢?，y是由線性函數(shù)+x和誤差項兩部分組成的。線性函數(shù)+x是y的數(shù)學(xué)期望，即對應(yīng)于x的某一取值時y的平均值。誤差項是隨機變量，反映的是未列入方程式的其他各種因素對y的影響。（一） 總體回歸模型二、 一元線性回歸模型分析人員對這一模型需要做出如下假設(shè)：（1） 變量x和變量y之間具有線性關(guān)系。（2） 自變量x的取值是非隨機的。（3） 誤差項是一個期望值為0的隨機變量，即E()=0。由于模型中的和都是常數(shù)，它們的數(shù)學(xué)期望就是和。所以，對于一個給定的x值，y的期望值為E（y）=

19、+x。（一） 總體回歸模型二、 一元線性回歸模型（一） 總體回歸模型分析人員對這一模型需要做出如下假設(shè)：（4） 對于所有x的取值，的方差 都相同，即 =2。（5） 誤差項是一個服從正態(tài)分布的隨機變量且相互獨立，即N（0，2）。獨立性意味著對于一個特定的x值，它所對應(yīng)的與其他x值所對應(yīng)的不相關(guān)。因此，對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)。二、 一元線性回歸模型根據(jù)以上假設(shè)，y應(yīng)該服從期望值為+x、方差為2的正態(tài)分布；對于給定的每個x值，雖然y的取值可能不同，但是y的期望值卻是相同的。于是，得到下面的公式：E（y）=+x該式被稱為總體的回歸方程（直線），表明在x的值給定的

20、條件下，y的期望值是x的嚴(yán)密線性函數(shù)。其中，表示當(dāng)x=0時y的期望值；表示當(dāng)x每變動一個單位時y的平均變動值。（一） 總體回歸模型二、 一元線性回歸模型（二） 樣本回歸模型在實際工作中，許多客觀現(xiàn)象的總體單位數(shù)甚至是無限的，人們無法掌握總體的全部取值，自然也就無法知道總體回歸方程的兩個參數(shù)，的真實值。因此，人們需要通過抽樣，根據(jù)樣本資料計算樣本統(tǒng)計量與以代替回歸方程中的未知參數(shù) 和 ，這樣就構(gòu)造出了樣本的回歸方程：該式被稱為估計的一元線性回歸方程（直線），即E（y）的估計值。三、 一元線性回歸模型的參數(shù)估計利用最小二乘法求解 和 ，要求因變量的觀察值y與其估計值 之間的離差平方和最小，可用下式

21、表示：令 ，在給定了樣本數(shù)據(jù)后，Q是 和 的函數(shù)，且最小值總是存在的。三、 一元線性回歸模型的參數(shù)估計根據(jù)微分學(xué)中求極值的原理，要使Q取極小值，必須使Q對和 的偏導(dǎo)數(shù)等于0，于是得到三、 一元線性回歸模型的參數(shù)估計經(jīng)化簡得到 和 的標(biāo)準(zhǔn)方程組為解上述方程組，得當(dāng) ，y=y時，即回歸直線 通過點 。四、 一元線性回歸模型的擬合優(yōu)度判定系數(shù)又稱可決系數(shù)，是測定估計的回歸方程擬合優(yōu)度的一個重要指標(biāo)，一般用R2表示。（一） 判定系數(shù)四、 一元線性回歸模型的擬合優(yōu)度在回歸分析中，因變量y的取值是不同的。y取值的這種波動稱為離差。離差來自兩個方面：一方面是由自變量x的取值不同所造成的;另一方面是受除自變量

22、x以外的所有其他因素（如x對y的非線性影響、測量誤差等）的影響。（一） 判定系數(shù)四、 一元線性回歸模型的擬合優(yōu)度（一） 判定系數(shù)n次觀測值的總離差可由這些離差的平方和(總平方和)來表示，記為SST。其計算公式如下：從圖8-13可以看出，每個值的離差都可以進行如下分解：四、 一元線性回歸模型的擬合優(yōu)度判定系數(shù)（可決系數(shù)），一般用R2表示。其計算公式如下：（一） 判定系數(shù)四、 一元線性回歸模型的擬合優(yōu)度判定系數(shù)R2具有以下幾個特點：（1） 判定系數(shù)是非負的統(tǒng)計量。（2） 判定系數(shù)的取值范圍為0，1。（3） 判定系數(shù)是樣本觀測值的函數(shù)。判定系數(shù)是隨抽樣而變動的隨機變量。（4） 在一元線性回歸中，判定

23、系數(shù)在數(shù)值上是線性的單相關(guān)系數(shù)的平方：r=R2。因為容易證明，所以判定系數(shù)R2也可表示如下：（一） 判定系數(shù)四、 一元線性回歸模型的擬合優(yōu)度估計標(biāo)準(zhǔn)誤差就是度量各實際觀察值在回歸直線周圍散布狀況的一個統(tǒng)計量，通常用se表示。其計算公式如下：估計標(biāo)準(zhǔn)誤差se是對誤差項的標(biāo)準(zhǔn)差的估計。（二） 估計標(biāo)準(zhǔn)誤差四、 一元線性回歸模型的擬合優(yōu)度在實際工作中，估計標(biāo)準(zhǔn)誤差Se通常采用下列簡化公式：（二） 估計標(biāo)準(zhǔn)誤差五、 一元線性回歸模型的顯著性檢驗回歸系數(shù)是決定自變量x與因變量y依存關(guān)系形式的重要參數(shù)。如果回歸系數(shù)=0，就說明x與y不存在線性相關(guān)關(guān)系。因此，顯著性檢驗的目的是要檢驗自變量x對因變量y的影響

24、是否顯著。在一元線性回歸模型y=+x+中，如果回歸系數(shù)=0，那么回歸線是一條水平線，表明因變量y的取值不依賴于自變量x，即x與y不存在線性相關(guān)關(guān)系。如果回歸系數(shù)0，那么也不能肯定兩個變量之間存在線性相關(guān)關(guān)系，還要看這種關(guān)系在統(tǒng)計上是否顯著。回歸系數(shù)的顯著性檢驗就是要檢驗回歸系數(shù)是否等于0，這實際上就等于檢驗總體x和y的變量有沒有線性關(guān)系。（一） 一元線性回歸模型回歸系數(shù)的顯著性檢驗五、 一元線性回歸模型的顯著性檢驗（一） 一元線性回歸模型回歸系數(shù)的顯著性檢驗統(tǒng)計證明， 服從正態(tài)分布，其數(shù)學(xué)期望為 ，抽樣分布的標(biāo)準(zhǔn)差的計算公式如下：式中，為誤差項的標(biāo)準(zhǔn)差。五、 一元線性回歸模型的顯著性檢驗（一）

25、 一元線性回歸模型回歸系數(shù)的顯著性檢驗由于未知，用的估計量se代入上式，可得 的估計量，即 的估計標(biāo)準(zhǔn)差 。 的計算公式如下：五、 一元線性回歸模型的顯著性檢驗（一） 一元線性回歸模型回歸系數(shù)的顯著性檢驗根據(jù)以上分析，為檢驗原假設(shè)H0：=0是否成立，人們構(gòu)造出回歸系數(shù)的檢驗統(tǒng)計量如下：可見，變量Z服從均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布。五、 一元線性回歸模型的顯著性檢驗在大樣本條件下按此Z統(tǒng)計量對進行顯著性檢驗，分析人員可查標(biāo)準(zhǔn)正態(tài)分布表確定臨界值。如果是小樣本，則需要用t統(tǒng)計量進行如下分析：可見，t統(tǒng)計量服從自由度為n-2的t分布。分析人員可查t分布表確定臨界值。（一） 一元線性回歸模型回歸系

26、數(shù)的顯著性檢驗第一步，提出原假設(shè)和備擇假設(shè)。H0:=0H1:0 第二步，計算檢驗統(tǒng)計量。檢驗統(tǒng)計量的計算公式如下： 第三步，給定顯著性水平，查自由度為n-2的t分布表確定臨界值t/2(n-2)?；貧w系數(shù)顯著性檢驗的具體步驟如下：第四步，判斷檢驗結(jié)果。若tt/2（n-2），則拒絕原假設(shè)H0，接受備擇假設(shè)H1，認為自變量x對因變量y的線性影響是顯著的，兩個變量之間存在著顯著的線性相關(guān)關(guān)系。若tt/2（n-2），則不能拒絕原假設(shè)H0，沒有證據(jù)表明自變量x對因變量y的影響是顯著的，認為自變量x對因變量y不存在顯著的線性相關(guān)關(guān)系?；貧w系數(shù)顯著性檢驗的具體步驟如下：五、 一元線性回歸模型的顯著性檢驗回歸方

27、程的總顯著性檢驗是檢驗自變量x和因變量y之間的線性關(guān)系是否顯著，即自變量x和因變量y之間是否能夠用一個線性模型y=+x+來表示?；貧w方程的總顯著性檢驗通常會用到F-檢驗法。（二） 一元線性回歸模型回歸方程的總顯著性檢驗五、 一元線性回歸模型的顯著性檢驗（二） 一元線性回歸模型回歸方程的總顯著性檢驗F檢驗法是將總離差 進行分解的一種方法。為檢驗回歸方程總體的線性相關(guān)關(guān)系是否顯著，人們需要構(gòu)造用于檢驗的一個統(tǒng)計量。該統(tǒng)計量的構(gòu)造是以回歸平方和SSR及殘差平方和SSE為基礎(chǔ)的。其構(gòu)造如下：五、 一元線性回歸模型的顯著性檢驗將SSR除以相應(yīng)的自由度（由于一元線性回歸方程中自變量的個數(shù)為1，所以回歸平方

28、和的自由度為1）后的結(jié)果稱為均方回歸，記為MSR；將SSE除以其相應(yīng)的自由度（由于回歸方程有兩個參數(shù)，在利用最小二乘法求兩個參數(shù)時，有兩個方程相互制約，故殘差平方和應(yīng)該失去兩個自由度，其自由度為n-2）后的結(jié)果稱為均方殘差，記為MSE。那么，MSR/MSE 則服從第一自由度為1、第二自由度為n-2的F分布。（二） 一元線性回歸模型回歸方程的總顯著性檢驗第一步，提出假設(shè)。H0：=0(線性相關(guān)關(guān)系不顯著)第二步，計算檢驗統(tǒng)計量。檢驗統(tǒng)計量的計算公式如下：其中，F(xiàn)(1,n2)表示第一自由度為1、第二自由度為n-2的F分布。一元線性回歸方程的總顯著性檢驗的具體步驟如下:第三步，給定顯著性水平，并根據(jù)第

29、一自由度為1和第二自由度為n2查F分布表，確定臨界值F(1,n2)。第四步：做出決策。若FF(1,n2)，則拒絕H0，認為兩變量之間的線性相關(guān)關(guān)系顯著；若FF(1,n2)，則接受H0，認為兩變量之間的線性相關(guān)關(guān)系不顯著。一元線性回歸方程的總顯著性檢驗的具體步驟如下:（1） 在對回歸系數(shù)進行檢驗時，如果拒絕了H0，那么僅僅表明在變量x的樣本觀察值范圍內(nèi)，x和y之間存在線性相關(guān)關(guān)系。（2） 在一元線性回歸分析中，由于只有一個自變量，所以對各回歸系數(shù)的顯著性檢驗（t檢驗）與對回歸方程的總顯著性檢驗（F-檢驗）實際上是等價的。也就是說，如果H0被t檢驗拒絕，那么它也將被F-檢驗所拒絕。但是，在多元回歸

30、分析中，這兩種檢驗的意義是不同的，F(xiàn)-檢驗只是用來檢驗方程總體線性相關(guān)關(guān)系的顯著性，而t檢驗則是用來檢驗各個回歸系數(shù)的顯著性。分析人員在對一元線性回歸模型進行顯著性檢驗時需要注意以下兩點：六、 回歸預(yù)測所謂點估計，就是當(dāng)給定x=x0時，利用估計的回歸方程 求出相應(yīng)的因變量y的擬合值 ，以此作為因變量真實值y0的估計。（一） 點估計劃分另一種是特定值的點估計一種是平均值的點估計六、 回歸預(yù)測（一） 點估計給定x的一個值x0，利用估計的回歸方程求出y的平均值的一個估計值E(y0)，這就是平均值的點估計；給定x的一個值x0，利用估計的回歸方程求出y的一個個別值的估計值 ，這屬于特定值的點估計。六、

31、回歸預(yù)測（二） 區(qū)間估計由于抽樣的隨機性，點估計值 與相應(yīng)的真實值y0之間必然存在誤差，人們希望在一定概率下把握這一誤差的范圍，進而確定y0可能取值的波動范圍，這就是區(qū)間估計。類型另一種是y的特定值的區(qū)間估計一種是y的平均值的區(qū)間估計六、 回歸預(yù)測y的平均值的區(qū)間估計又稱置信區(qū)間估計，是指對于x的一個給定值x0，y的平均值的置信區(qū)間。（二） 區(qū)間估計1.y的平均值的區(qū)間估計六、 回歸預(yù)測y的特定值的區(qū)間估計又稱預(yù)測區(qū)間估計，是指對給定x的一個值x0，y的一個特定值或個別值的置信區(qū)間。（二） 區(qū)間估計2. y的特定值的區(qū)間估計第四節(jié) 多元線性回歸分析一、 多元線性回歸模型概述一般來說，多元線性回

32、歸模型可寫成如下形式：式中，0,1,2,，k為模型的參數(shù)；為隨機誤差項。一、 多元線性回歸模型概述多元線性回歸模型對隨機誤差項除有與一元線性回歸模型一樣的幾項基本假設(shè)外，由于多元線性回歸模型有兩個或兩個以上的自變量，因此還有其他的重要假設(shè)。其他假設(shè)如下：（1） 自變量 x1,x2,x3,xk和因變量y之間具有線性關(guān)系。（2） 自變量 x1,x2,x3,xk的取值是非隨機的。（3） 隨機誤差項是一個期望值為零的隨機變量，即E()=0。一、 多元線性回歸模型概述（6） 自變量 x1,x2,x3,xk相互之間不存在顯著相關(guān)，即無多重共線性的假設(shè)。由于已經(jīng)假設(shè)是一個期望值為零的服從正態(tài)分布的隨機變量，

33、因此，對于給定自變量 x1,x2,x3,xk的一組值，y的數(shù)學(xué)期望計算如下：E(y)=0+1x1+2x2+kxk （8-6）式（8-6）稱為總體的多元回歸方程。它描述了因變量y的期望值與自變量 x1,x2,x3,xk之間的關(guān)系。二、 多元線性回歸模型的估計由于回歸方程中的參數(shù)0,1,2,k是未知的，所以需要利用樣本數(shù)據(jù)去估計它們。當(dāng)人們用樣本統(tǒng)計量 去估計回歸方程中的未知參數(shù)0,1,2,k時，就得到了如下估計的多元回歸方程：式中， 為參數(shù)0,1,2,k的估計值，是偏回歸系數(shù)； 為變量y的估計值。 表示當(dāng)x2,x3，,xk不變時，x1每變動一個單位，因變量y的平均變動量； 表示當(dāng)x1,x3，,xk不變時，x2每變動一個單位，因變量y的平均變動量；以此類推。根據(jù)最小二乘法求得估計的回歸方程中的 使其殘差平方和最小。具體計算公式如下：對 分別求偏導(dǎo)數(shù)并令其為0，便可求得如下標(biāo)準(zhǔn)方程組： 二、 多元線性回歸模型的估計三、 多元線性回歸模型的顯著性檢驗（一） 多元線性回歸模型回歸系數(shù)的顯著性檢驗回歸系數(shù)顯著性檢驗的統(tǒng)計量公式如下：式中， 是回歸系數(shù) 抽樣分布的標(biāo)準(zhǔn)差的估計量。t的值越大，表明i為0的可能性越小，即相應(yīng)的自變量xi對因變量y的影響是顯著的。三、 多元線性回歸模型的顯著性檢驗第一步，提出原假設(shè)和備擇假設(shè)。H0:1=2=3=k=0H1:i至少有一個