第三章 回歸分析new

1、第三章第三章 回歸分析回歸分析1 1 一元線形回歸分析一元線形回歸分析2 2 多元線形回歸分析多元線形回歸分析3 3 非線性回歸分析非線性回歸分析一、建立模型一、建立模型 一元線性回歸模型：一元線性回歸模型： 01iiiybb x其中，其中， 0b1b是未知參數(shù)，是未知參數(shù)， i為剩余殘差項(xiàng)為剩余殘差項(xiàng)或稱隨機(jī)擾動(dòng)項(xiàng)?；蚍Q隨機(jī)擾動(dòng)項(xiàng)。 ，一元線形回歸一元線形回歸 用用最小二乘法最小二乘法進(jìn)行參數(shù)的估計(jì)時(shí)，要求進(jìn)行參數(shù)的估計(jì)時(shí)，要求i滿足一定的假設(shè)條件：滿足一定的假設(shè)條件： 是一個(gè)隨機(jī)變量；是一個(gè)隨機(jī)變量；i的均值為零，即的均值為零，即 i0iE在每一個(gè)時(shí)期中，在每一個(gè)時(shí)期中， i的方差為常量，

2、即的方差為常量，即 2iD各個(gè)各個(gè) 相互獨(dú)立；相互獨(dú)立； i與自變量無關(guān)。與自變量無關(guān)。 i 二、估計(jì)參數(shù)二、估計(jì)參數(shù) Karl GaussKarl Gauss的最小化圖的最小化圖用最小二乘法進(jìn)行參數(shù)估計(jì)用最小二乘法進(jìn)行參數(shù)估計(jì) ，得到的估計(jì)表，得到的估計(jì)表達(dá)式為：達(dá)式為：12xxyybxx01byb x 三、進(jìn)行檢驗(yàn)三、進(jìn)行檢驗(yàn)標(biāo)準(zhǔn)誤差標(biāo)準(zhǔn)誤差：估計(jì)值與因變量值間的平均平方：估計(jì)值與因變量值間的平均平方誤差。誤差。其計(jì)算公式為：其計(jì)算公式為： 22yySEn可決系數(shù)可決系數(shù)衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示衡量自變量與因變量關(guān)系密切程度的指標(biāo)，表示自變量解釋了因變量變動(dòng)的百分比。自變

3、量解釋了因變量變動(dòng)的百分比。其計(jì)算公式為：其計(jì)算公式為： 2222221xxyyyyRyyxxyy 可見，可決系數(shù)取值于可見，可決系數(shù)取值于0 0與與1 1之間，并取決之間，并取決于回歸模型所解釋的方差的百分比。于回歸模型所解釋的方差的百分比。相關(guān)系數(shù)相關(guān)系數(shù) 其計(jì)算公式為：其計(jì)算公式為： 22xxyyrxxyy 由公式可見，可決系數(shù)是相關(guān)系數(shù)的平方。由公式可見，可決系數(shù)是相關(guān)系數(shù)的平方。相關(guān)系數(shù)越接近相關(guān)系數(shù)越接近+1+1或或-1-1，因變量與自變量的擬，因變量與自變量的擬合程度就越好。合程度就越好。相關(guān)系數(shù)的性質(zhì)(取值及其意義的圖解) 相關(guān)系數(shù)測(cè)定變量之間的密切程度，可決相關(guān)系數(shù)測(cè)定變量之

4、間的密切程度，可決系數(shù)測(cè)定自變量對(duì)因變量的解釋程度。相關(guān)系系數(shù)測(cè)定自變量對(duì)因變量的解釋程度。相關(guān)系數(shù)有正負(fù)，可決系數(shù)只有正號(hào)。數(shù)有正負(fù)，可決系數(shù)只有正號(hào)。 正相關(guān)系數(shù)意味著因變量與自變量以相同正相關(guān)系數(shù)意味著因變量與自變量以相同的方向增減。的方向增減。 如果直線從左至右上升，則相關(guān)系數(shù)為正；如果直線從左至右上升，則相關(guān)系數(shù)為正； 如果直線從左至右下降，則相關(guān)系數(shù)為負(fù)。如果直線從左至右下降，則相關(guān)系數(shù)為負(fù)。 相關(guān)系數(shù)與可決系數(shù)的主要區(qū)別：相關(guān)系數(shù)與可決系數(shù)的主要區(qū)別：回歸系數(shù)顯著性檢驗(yàn)回歸系數(shù)顯著性檢驗(yàn)檢驗(yàn)假設(shè)：檢驗(yàn)假設(shè)： 01:0Hb 11:0Hb 其中其中2bSESxx檢驗(yàn)規(guī)則：檢驗(yàn)規(guī)則：給

5、定顯著性水平給定顯著性水平 ，若，若tt則回歸系數(shù)顯著。則回歸系數(shù)顯著。 檢驗(yàn)統(tǒng)計(jì)量：檢驗(yàn)統(tǒng)計(jì)量： 12bbtt nS 回歸模型的顯著性檢驗(yàn)回歸模型的顯著性檢驗(yàn) 檢驗(yàn)假設(shè)：檢驗(yàn)假設(shè)： 0:H回歸方程不顯著回歸方程不顯著 1:H回歸方程顯著回歸方程顯著 檢驗(yàn)統(tǒng)計(jì)量：檢驗(yàn)統(tǒng)計(jì)量： 222yyFyyn1,2Fn檢驗(yàn)規(guī)則：檢驗(yàn)規(guī)則：給定顯著性水平給定顯著性水平 ，若，若 1,2FFn則回歸方程顯著。則回歸方程顯著。 德賓德賓沃森統(tǒng)計(jì)量（沃森統(tǒng)計(jì)量（D DW W） 檢驗(yàn)檢驗(yàn) iu之間是否存在自相關(guān)關(guān)系。之間是否存在自相關(guān)關(guān)系。 21221niiiniiDW其中，其中，iiiyy查查 D-W D-W 表獲

6、得表獲得 dudu和和dldl值并與上面求得值比較。值并與上面求得值比較。D DW W的取值域在的取值域在0404之間。之間。統(tǒng)計(jì)量：統(tǒng)計(jì)量： 檢驗(yàn)法則：檢驗(yàn)法則：在在D DW W 小于等于小于等于2 2時(shí)，時(shí)， D DW W 檢驗(yàn)法則規(guī)定：檢驗(yàn)法則規(guī)定：如如LD Wd, ,認(rèn)為認(rèn)為iu存在正自相關(guān)存在正自相關(guān); ;如如UD Wd, ,認(rèn)為認(rèn)為iu無自相關(guān)無自相關(guān); ;在在D DW W 大于大于2 2時(shí)時(shí), , D DW W 檢驗(yàn)法則規(guī)定檢驗(yàn)法則規(guī)定: :如如4LD Wd, ,認(rèn)為認(rèn)為iu存在負(fù)自相關(guān)存在負(fù)自相關(guān); ;如如4UD Wd, ,認(rèn)為認(rèn)為iu無自相關(guān)無自相關(guān); ;如如4LUdD Wd

7、 , ,不能確定不能確定iu是否有自相關(guān)。是否有自相關(guān)。 四、進(jìn)行預(yù)測(cè)四、進(jìn)行預(yù)測(cè)小樣本情況下小樣本情況下, ,置信區(qū)間的常用公式：置信區(qū)間的常用公式： 置信區(qū)間置信區(qū)間= = ytSE預(yù)測(cè)區(qū)間預(yù)測(cè)區(qū)間= = 2201)()(1xxxxSEtyn2 2 多元線性回歸多元線性回歸 社會(huì)經(jīng)濟(jì)現(xiàn)象的變化往往受到多個(gè)因素社會(huì)經(jīng)濟(jì)現(xiàn)象的變化往往受到多個(gè)因素的影響，因此，一般要進(jìn)行多元變量相關(guān)性的影響，因此，一般要進(jìn)行多元變量相關(guān)性分析，我們把包括兩個(gè)或兩個(gè)以上自變量的分析，我們把包括兩個(gè)或兩個(gè)以上自變量的回歸稱為多元回歸?；貧w稱為多元回歸。1.1. 多元回歸與一元回歸類似，可以用最小二乘多元回歸與一元回

8、歸類似，可以用最小二乘法估計(jì)模型參數(shù)。也需對(duì)模型及模型參數(shù)進(jìn)法估計(jì)模型參數(shù)。也需對(duì)模型及模型參數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)。行統(tǒng)計(jì)檢驗(yàn)。2.2. 選擇合適的自變量是正確進(jìn)行多元回歸預(yù)測(cè)選擇合適的自變量是正確進(jìn)行多元回歸預(yù)測(cè)的前提之一，多元回歸模型自變量的選擇可的前提之一，多元回歸模型自變量的選擇可以利用變量之間的相關(guān)矩陣來解決。以利用變量之間的相關(guān)矩陣來解決。 一、建立模型（二元變量為例一、建立模型（二元變量為例 ）二元線性回歸模型：二元線性回歸模型：01 122iiybb xb x類似使用最小二乘法進(jìn)行參數(shù)估計(jì)。類似使用最小二乘法進(jìn)行參數(shù)估計(jì)。 二、擬合優(yōu)度指標(biāo)二、擬合優(yōu)度指標(biāo) 標(biāo)準(zhǔn)誤差：標(biāo)準(zhǔn)誤差：對(duì)對(duì)

9、y y 值與模型估計(jì)值之間的值與模型估計(jì)值之間的離差的一種度量。離差的一種度量。 其計(jì)算公式為：其計(jì)算公式為： 23yySEn可決系數(shù)：可決系數(shù)： 2221yyRyy 20R 21R 意味著回歸模型沒有對(duì)意味著回歸模型沒有對(duì) y y 的變差做的變差做出任何解釋；出任何解釋； 意味著回歸模型對(duì)意味著回歸模型對(duì) y y 的全部變差做的全部變差做出解釋。出解釋。 三、三、 置信范圍置信范圍置信區(qū)間的公式為：置信區(qū)間的公式為： 置信區(qū)間置信區(qū)間= = pyt SE統(tǒng)計(jì)量數(shù)值表統(tǒng)計(jì)量數(shù)值表t其中其中 是自由度為是自由度為 的的ptn kn是觀察值的個(gè)數(shù)，是觀察值的個(gè)數(shù)， k在內(nèi)的變量的個(gè)數(shù)在內(nèi)的變量的個(gè)

10、數(shù). . 中數(shù)值，中數(shù)值，是包括因變量是包括因變量四、自相關(guān)和多重共線性問題四、自相關(guān)和多重共線性問題自相關(guān)檢驗(yàn)自相關(guān)檢驗(yàn) ：21221niiiniiDW其中其中 ，iiiyy多重共線性檢驗(yàn)：多重共線性檢驗(yàn)： 由于各個(gè)自變量所提供的是各個(gè)不同因素由于各個(gè)自變量所提供的是各個(gè)不同因素的信息，因此假定各自變量同其他自變量之間的信息，因此假定各自變量同其他自變量之間是無關(guān)的。但是實(shí)際上兩個(gè)自變量之間可能存是無關(guān)的。但是實(shí)際上兩個(gè)自變量之間可能存在相關(guān)關(guān)系，這種關(guān)系會(huì)導(dǎo)致建立錯(cuò)誤的回歸在相關(guān)關(guān)系，這種關(guān)系會(huì)導(dǎo)致建立錯(cuò)誤的回歸模型以及得出使人誤解的結(jié)論。為了避免這個(gè)模型以及得出使人誤解的結(jié)論。為了避免這

11、個(gè)問題，有必要對(duì)自變量之間的相關(guān)與否進(jìn)行檢問題，有必要對(duì)自變量之間的相關(guān)與否進(jìn)行檢驗(yàn)。驗(yàn)。 任何兩個(gè)自變量之間的任何兩個(gè)自變量之間的相關(guān)系數(shù)相關(guān)系數(shù)為：為： 22xxyyrxxyy經(jīng)驗(yàn)法則認(rèn)為相關(guān)系數(shù)的絕對(duì)值小于經(jīng)驗(yàn)法則認(rèn)為相關(guān)系數(shù)的絕對(duì)值小于0.750.75，或者，或者0.5,0.5,這兩個(gè)自變量之間不存在多重共線性問題。這兩個(gè)自變量之間不存在多重共線性問題。若某兩個(gè)自變量之間高度相關(guān)，就有必要把其中的若某兩個(gè)自變量之間高度相關(guān)，就有必要把其中的一個(gè)自變量從模型中刪去。一個(gè)自變量從模型中刪去。3 3 非線性回歸法非線性回歸法 在社會(huì)現(xiàn)實(shí)經(jīng)濟(jì)生活中，很多現(xiàn)象之間在社會(huì)現(xiàn)實(shí)經(jīng)濟(jì)生活中，很多現(xiàn)象之

12、間的關(guān)系并不是線性關(guān)系，對(duì)這種類型現(xiàn)象的的關(guān)系并不是線性關(guān)系，對(duì)這種類型現(xiàn)象的分析預(yù)測(cè)一般要應(yīng)用非線性回歸預(yù)測(cè)，通過分析預(yù)測(cè)一般要應(yīng)用非線性回歸預(yù)測(cè)，通過變量代換，可以將很多的非線性回歸轉(zhuǎn)化為變量代換，可以將很多的非線性回歸轉(zhuǎn)化為線性回歸。因而，可以用線性回歸方法解決線性回歸。因而，可以用線性回歸方法解決非線性回歸預(yù)測(cè)問題。非線性回歸預(yù)測(cè)問題。 一、配曲線問題一、配曲線問題選配曲線通常分為以下選配曲線通常分為以下兩個(gè)步驟：兩個(gè)步驟：確定變量間函數(shù)的類型確定變量間函數(shù)的類型 變量間函數(shù)關(guān)系的類型有的可根據(jù)理論或過變量間函數(shù)關(guān)系的類型有的可根據(jù)理論或過去積累的經(jīng)驗(yàn)事前予以確定；去積累的經(jīng)驗(yàn)事前予以

13、確定； 不能根據(jù)理論或過去積累的經(jīng)驗(yàn)確定時(shí)，根不能根據(jù)理論或過去積累的經(jīng)驗(yàn)確定時(shí)，根 據(jù)實(shí)際資料作散點(diǎn)圖，從其分布形狀選擇適當(dāng)據(jù)實(shí)際資料作散點(diǎn)圖，從其分布形狀選擇適當(dāng)?shù)那€來配合。的曲線來配合。確定相關(guān)函數(shù)中的未知參數(shù)確定相關(guān)函數(shù)中的未知參數(shù) 最小二乘法是確定未知參數(shù)最常用的方法。最小二乘法是確定未知參數(shù)最常用的方法。二、一些常見的函數(shù)圖形二、一些常見的函數(shù)圖形 選擇合適的曲線類型不是一件輕而易選擇合適的曲線類型不是一件輕而易舉的工作，主要依靠專業(yè)知識(shí)和經(jīng)驗(yàn)，也舉的工作，主要依靠專業(yè)知識(shí)和經(jīng)驗(yàn)，也可以通過計(jì)算剩余均方差來確定?？梢酝ㄟ^計(jì)算剩余均方差來確定。 拋物線函數(shù)拋物線函數(shù)2yabxcx對(duì)

14、數(shù)函數(shù)對(duì)數(shù)函數(shù)lgyabxS S型函數(shù)型函數(shù)1xyabe常見的函數(shù)常見的函數(shù)冪函數(shù)冪函數(shù)指數(shù)函數(shù)指數(shù)函數(shù)byaxbxyae雙曲線雙曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法令：令：y y = 1/ = 1/y y，x x = 1/= 1/x x, , 則有則有y y = = + + x x 3.3. 圖像圖像冪函數(shù)曲線冪函數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法兩端取對(duì)數(shù)得：兩端取對(duì)數(shù)得：lg lg y y = lg= lg + + lglg x x令：令：y y = lg = lgy y，x x = lg = lg x x，則，則y y = =

15、 lglg + + x x3.3.圖像圖像對(duì)數(shù)曲線對(duì)數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法x x = ln= lnx x , , 則有則有y y = = + + x x3.3. 圖像圖像指數(shù)曲線指數(shù)曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法兩端取對(duì)數(shù)得：兩端取對(duì)數(shù)得：lnlny y = ln= ln + + x x令：令：y y = ln = lny y，則有，則有y y = = lnln + + x x3.3.圖像圖像S S 型曲線型曲線1.1. 基本形式：基本形式：2.2. 線性化方法線性化方法 令：令：y y = 1/ = 1/y y，x x = e= e- -x x,