《統(tǒng)計(jì)學(xué)》線性回歸模型

1、1 第八章回歸和相關(guān)分析第八章回歸和相關(guān)分析21 導(dǎo)言導(dǎo)言3 在自然界和人類社會(huì)中，經(jīng)常會(huì)遇到一些變量共處于一個(gè)統(tǒng)一體中，他們相互聯(lián)系，相互制約，在一定條件下相互轉(zhuǎn)化。社會(huì)經(jīng)濟(jì)現(xiàn)象尤其如此。例如某生產(chǎn)廠家的生產(chǎn)費(fèi)用由所生產(chǎn)的產(chǎn)品數(shù)量和各種生產(chǎn)投入要素的價(jià)格等因素所決定。 4 在社會(huì)經(jīng)濟(jì)現(xiàn)象中，變量之間的關(guān)系大致可以分為兩種： 1).函數(shù)關(guān)系 2).統(tǒng)計(jì)關(guān)系。5 函數(shù)關(guān)系：變量之間依一定的函數(shù)形式形成的一一對(duì)應(yīng)關(guān)系稱為函數(shù)關(guān)系。若兩個(gè)變量分別記作y和x，則當(dāng)y 與x之間存在函數(shù)關(guān)系時(shí)，x值一旦被指定，y值就是唯一確定的。函數(shù)關(guān)系可以用公式確切的反映出來，一般記為y=f(x)。6 例如，某種商品的

2、銷售額(y)與銷售量(x)之間的關(guān)系，在銷售價(jià)格(p)一定的條件下，只要給定一個(gè)商品銷售量，就有一個(gè)唯一確定的商品銷售額與之對(duì)應(yīng)，用公式表示為y=p(x)。 7 統(tǒng)計(jì)關(guān)系：兩個(gè)變量之間存在某種依存關(guān)系，但變量Y并不是由變量X唯一確定的，它們之間沒有嚴(yán)格的一一對(duì)應(yīng)關(guān)系。兩個(gè)變量之間的這種關(guān)系就是統(tǒng)計(jì)關(guān)系，也稱為相關(guān)關(guān)系。8 相關(guān)關(guān)系與函數(shù)關(guān)系有十分密切的聯(lián)系。在實(shí)際中，由于觀察和測(cè)量誤差等原因，函數(shù)關(guān)系往往是通過相關(guān)關(guān)系表現(xiàn)的，而在研究相關(guān)關(guān)系時(shí)，又常用函數(shù)關(guān)系作為工具，以相應(yīng)的函數(shù)關(guān)系數(shù)學(xué)表達(dá)式表現(xiàn)相關(guān)關(guān)系的一般數(shù)量關(guān)系。9 例如：同樣收入的家庭，用于食品的消費(fèi)支出往往并不相同。因?yàn)閷?duì)家庭食品

3、費(fèi)用的影響，不僅有家庭收入的多少，還有家庭人口，生活習(xí)慣等因素，所以，家庭食品費(fèi)用支出與家庭收入之間不是函數(shù)關(guān)系，而是相關(guān)關(guān)系。10 在含有變量的系統(tǒng)中，考察一些變量對(duì)另一些變量的影響，它們之間可能存在一種簡(jiǎn)單的函數(shù)關(guān)系，也可能存在一種非常復(fù)雜的函數(shù)關(guān)系。有些變量之間的關(guān)系是非確定性的關(guān)系，這種關(guān)系無(wú)法用一個(gè)精確的數(shù)學(xué)來表示。11 我們需要區(qū)分兩種主要類型的變量。一種變量相當(dāng)于通常函數(shù)關(guān)系中的自變量，它或者能控制或者雖不能控制但可觀測(cè)，這種變量稱為自變量。自變量的變化能波及另一些變量，這樣的變量稱為因變量。人們通常感興趣的問題是自變量的變化對(duì)因變量的取值有什么樣的影響。12 回歸分析正是研究自

4、變量的變動(dòng)對(duì)因變量的變動(dòng)的影響程度，其目的在于根據(jù)已知自變量的變化來估計(jì)或預(yù)測(cè)因變量的變化情況。13 回歸的內(nèi)容包括如何確定因變量與自變量之間的回歸模型；如何根據(jù)樣本觀測(cè)數(shù)據(jù)估計(jì)并檢驗(yàn)回歸模型及未知參數(shù)；在眾多的自變量中，判斷哪些變量對(duì)因變量的影響是顯著的，哪些變量的影響是不顯著的；根據(jù)自變量的已知值或給定值來估計(jì)和預(yù)測(cè)因變量的平均值等等。14 線性回歸分析是研究變量與變量之間的線性相關(guān)關(guān)系。從分析的內(nèi)容上看，線性回歸是建立變量間的擬合線性相關(guān)模型，主要用于估計(jì)和預(yù)測(cè)。線性回歸模型應(yīng)用領(lǐng)域極為廣泛，在許多領(lǐng)域里都有應(yīng)用非常成功的例子，它是現(xiàn)代應(yīng)用統(tǒng)計(jì)分析方法中的重要內(nèi)容之一。15 一元線性回歸

5、模型一元線性回歸模型168.2.1 一元線性回歸模型的數(shù)學(xué)表示式一元線性回歸模型的數(shù)學(xué)表示式 如果兩個(gè)變量之間存在相關(guān)關(guān)系，并且一個(gè)變量的變化會(huì)引起另一個(gè)變量按某一線性關(guān)系變化，則兩個(gè)變量間的關(guān)系可以用一元線性回歸模型描述。 17 其數(shù)學(xué)模型為： y= (8-1) 其中，y 為因變量， x為自變量， 為模型參數(shù)， 為回歸截距， 為回歸系數(shù) ， 為隨機(jī)誤差項(xiàng)，且N(0, ).x1021, 00118 在實(shí)際問題中，(8-1)中的模型參數(shù) 是未知的，通常只能在自變量的一些點(diǎn)上對(duì)因變量進(jìn)行觀測(cè)，得到一定量的數(shù)據(jù)，由數(shù)據(jù)出發(fā)對(duì)模型進(jìn)行推斷。1, 0198.2.2 回歸系數(shù)回歸系數(shù) 的最小二乘估計(jì)。的最

6、小二乘估計(jì)。 假定（ ）, （ ）, ,（ ）為n次獨(dú)立試驗(yàn)所得到的樣本觀測(cè)值，則有 ， i=1,2,n (8-2) 其中i ,i=1,2,n為隨機(jī)誤差項(xiàng)，對(duì)i ,i=1,2,n的基本假定是i ,i=1,2,n相互獨(dú)立，服從N(0, )分布。1, 011, yx22, yxnnyx ,iiixy10220 記 Q( )= Q( )是直線y= 對(duì)于所有數(shù)據(jù)點(diǎn)的偏差平方和。 取直線y= 使得 Q( )達(dá)到最小 即 Q( )=Q( )，z用y=來估計(jì)回歸直線，這種方法稱為最小二乘法最小二乘法。1, 0niiixy1210)(1, 0 x101,01, 01, 01, 0 x1021 為求與 分別對(duì)應(yīng)

7、的最小二乘估計(jì) ，注意到Q( )是 的非負(fù)二次函數(shù)，因此最小值點(diǎn)存在且唯一，應(yīng)滿足以下方程組：1, 01, 01, 01, 0niiiiniiixxyQxyQ110111000)(20)(222 求解方程組得： 其中 ， xyxxnyxyxnniniiininiiniiii1012121111)()(niiyny11niixnx11238.2.3利用最小二乘法所得到的估計(jì)量利用最小二乘法所得到的估計(jì)量 有如下性質(zhì)：有如下性質(zhì)： (1） 分別是 的無(wú)偏估計(jì)。（2） 和 的最小二乘估計(jì) 和 為“方差最小”線性無(wú)偏估計(jì)（3） 的無(wú)偏估計(jì)為 : 1, 01, 01, 0010122)(122nyysn

8、iii24 在實(shí)際中，方差 是未知的，因此，可用估計(jì)量 來估計(jì) 。222)(122nyyniii25 例題例題1、在某類企業(yè)中隨機(jī)抽取10個(gè)企業(yè)，搜集它們的產(chǎn)量和生產(chǎn)費(fèi)用情況，獲得數(shù)據(jù)如表1所示：26表1 企業(yè)產(chǎn)量和生產(chǎn)費(fèi)用 27 我們可作出散點(diǎn)圖，易看出變量x與y之間的關(guān)系近似可看作是線性關(guān)系，根據(jù)表1的數(shù)據(jù)，利用最小二乘法，求一元線性回歸方程， 28以下列出的為計(jì)算表29 30 = =134.7909+0.3978x為所求的一元回歸模型。7909.1347 .773978. 07 .1653978. 0)(10)(1010101210121011011011xyxxyxyxiiiiiiii

9、iiix10y 318.2.4 一元線性回歸模型的檢驗(yàn)一元線性回歸模型的檢驗(yàn) 我們根據(jù)樣本觀測(cè)值，利用最小二乘法建立起一元線性回歸模型 = ，該模型是否滿足回歸模型的基本假設(shè)，還需要進(jìn)行統(tǒng)計(jì)檢驗(yàn)。x10y 32 統(tǒng)計(jì)檢驗(yàn)應(yīng)包括兩方面的內(nèi)容：一是回歸方程的顯著性檢驗(yàn)，即反映回歸模型 = 對(duì)樣本觀測(cè)值的擬合程度如何;一是回歸系數(shù)的顯著性檢驗(yàn)，即檢驗(yàn)變量y與變量x之間是否能用線性關(guān)系來描述；以下介紹三種檢驗(yàn)的方法： y x1033（1）回歸模型的擬合程度的測(cè)度 變量y的各個(gè)觀測(cè)點(diǎn)聚集在回歸直線 = 周圍的緊密程度，稱為回歸直線對(duì)樣本數(shù)據(jù)點(diǎn)的擬合程度，常用可決系數(shù)R2來表示。y x1034 總的離差平

10、方和 SST= = = +2)( yyi2 ) ()(yyyyiii2 )()(yyyyiii2 )()(yyyyiii35 因?yàn)?=0 故 SST= 記 SSR= ，SSE= 則 SST=SSR+SSE (8-5) SSR稱為回歸平方和， SSE稱為殘差平方和)(yyyyiii22)()(yyyyiii2)(yyi2)(iiyy36 (8-5)可作如下解釋：因變量的總變化量（有SST表示）可分成兩部分之和，其中一部分是由自變量所引起的變化（由SSR刻畫），另一部分是隨機(jī)誤差所引起的變化（由SSE刻畫）。變量y的各個(gè)觀測(cè)值點(diǎn)與回歸直線越靠近，SSR在SST中所占的比重越大，可見，比值SSR/S

11、ST的大小，能反映回歸模型擬合程度的優(yōu)劣。37 由此，可定義統(tǒng)計(jì)量： R2= R2稱為“可決系數(shù)”,顯然，0R21。當(dāng)R2接近于1時(shí)，回歸平方和SSR在總的平方和SST中所占的比重大，說明自變量對(duì)因變量的影響較大；反之，當(dāng)R2接近與0時(shí)，回歸平方和SSR在總的平方和SST中所占的比重小，說明自變量對(duì)因變量的影響較小。綜上所述，R2越接近與1，說明模型越有效，R2越接近與0，說明模型越無(wú)效。應(yīng)該注意的是，R2通常只用于模型有效性的一個(gè)大致的判斷。SSTSSR38 R2稱為“可決系數(shù)”,顯然，0R21。當(dāng)R2接近于1時(shí)，回歸平方和SSR在總的平方和SST中所占的比重大，說明自變量對(duì)因變量的影響較大

12、；反之，當(dāng)R2接近與0時(shí)，回歸平方和SSR在總的平方和SST中所占的比重小，說明自變量對(duì)因變量的影響較小。綜上所述，R2越接近與1，說明模型越有效，R2越接近與0，說明模型越無(wú)效。應(yīng)該注意的是，R2通常只用于模型有效性的一個(gè)大致的判斷。39 可決系數(shù)R2只說明了回歸方程對(duì)樣本觀察值擬合程度的好壞，卻不能表示回歸直線估計(jì)值與變量y的各實(shí)際觀察值的絕對(duì)離差的數(shù)額。估計(jì)標(biāo)準(zhǔn)誤差則是反映回歸估計(jì)值與樣本實(shí)際觀察值的平均差異程度的指標(biāo)，用Syx表示估計(jì)標(biāo)準(zhǔn)誤差，其計(jì)算公式為： Syx = 2)(12nyyniii40 若估計(jì)標(biāo)準(zhǔn)誤差Syx小，表示各實(shí)際觀察值與回歸估計(jì)值平均差異小，實(shí)際觀察點(diǎn)靠近回歸直線

13、，回歸直線的擬合程度好，代表性高；若樣本觀察點(diǎn)全部落在直線上，則Syx=0，說明樣本實(shí)際值與估計(jì)值沒有差別。若Syx大，則說明回歸直線擬合不好，代表性差。41 估計(jì)標(biāo)準(zhǔn)誤差也可化簡(jiǎn)為 Syx = 2111102nyxyynininiiiii42（2）回歸系數(shù)的顯著性檢驗(yàn)一元線性回歸模型中，一次項(xiàng)系數(shù) 是一個(gè)關(guān)鍵的量，通過 可反映自變量x的變動(dòng)對(duì)因變量y的影響。若 =0意味著y不隨x變動(dòng)而變動(dòng)，因此y與x之間不存在線性關(guān)系；若 0，說明變量y與x之間存在線性關(guān)系；當(dāng) 0時(shí)，x對(duì)y的影響為正效應(yīng)；當(dāng) =) 2(2nt) 2(2nt46假設(shè)的檢驗(yàn)決策規(guī)則是： 若|t| , 則拒絕接受原假設(shè)H0; 若

14、|t| 時(shí)說明變量y與x之間存在線性關(guān)系；|t| , 則拒絕接受原假設(shè)H0;若|t| （1，n-2）時(shí)， 則拒絕接受原假設(shè)H0 若F （1，n-2）時(shí)，回歸方程的回歸效果是顯著的； F (1，8)=11.26， 所以，拒絕接受H0，即生產(chǎn)費(fèi)用和參量之間存在著十分顯著的線性關(guān)系。01. 0F01. 0F57825 一元線性回歸模型的應(yīng)用一元線性回歸模型的應(yīng)用 回歸模型在應(yīng)用領(lǐng)域里一項(xiàng)重要的研究?jī)?nèi)容是如何利用回歸模型進(jìn)行預(yù)測(cè)，預(yù)測(cè)就是在確定自變量的某一個(gè)值時(shí)，求相應(yīng)的因變量y的估計(jì)值，其中可分為點(diǎn)預(yù)測(cè)和區(qū)間預(yù)測(cè)。58 （1）點(diǎn)預(yù)測(cè) 點(diǎn)預(yù)測(cè)是將自變量的預(yù)測(cè)值代入回歸模型=，所得到的因變量y的值作為與

15、相對(duì)應(yīng)的的預(yù)測(cè)，不難驗(yàn)證，是無(wú)偏預(yù)測(cè)。59 （2）區(qū)間預(yù)測(cè) 類似于對(duì)參數(shù)作置信區(qū)間估計(jì)，可對(duì)預(yù)測(cè)作指定置信水平的預(yù)測(cè)區(qū)間，這樣可以以相當(dāng)大的概率保證預(yù)測(cè)的“方向”及精度。60 對(duì)于與 相對(duì)應(yīng)的值為 ，由于樣本的不得到的回歸模型的 ， 會(huì)不同，通過 = 預(yù)測(cè)的 ，這個(gè) 與 之間總存在一定的抽樣誤差，可證明 （ ) N0, nxny01y x101ny1ny1ny1ny1ny)()(11 (2212xxxxnin61 其中 ，因此， 的概率為1- 的 預(yù)測(cè)區(qū)間為ixnx11ny22121)()(11.xxxxntyinn62 因而，對(duì)于給定的置信水平1- ，有 , 為 的置信水平100(1 - )

16、%的預(yù)測(cè)區(qū)間。1ny22121)()(11.xxxxntyinn22121)()(11.xxxxntyinn63例題例題3、依據(jù)例題1中所建立的回歸模型，給定x0=50（千個(gè)）時(shí)，試預(yù)測(cè)y0,并求 =0.05時(shí)y0的預(yù)測(cè)區(qū)間。64解：當(dāng)x0=50時(shí)， =134.7909+0.397850=154.6809 （千元） = （8）=2.306 =26.3301 所以，（128.3607，181.0209）為y0的置信水平95%的預(yù)測(cè)區(qū)間。0 y) 2(205. 0nt205.0t220205. 0)()(1011. .xxxxti653 多元線性回歸模型及其應(yīng)用多元線性回歸模型及其應(yīng)用 一元線性回

17、歸將影響因變量的自變量限制在一個(gè)，但在實(shí)際中，社會(huì)經(jīng)濟(jì)現(xiàn)象的復(fù)雜性決定了某一現(xiàn)象的變動(dòng)往往受多種因素的影響。如某種產(chǎn)品單位成本的高低受產(chǎn)品原材料消耗量，原材料價(jià)格，產(chǎn)品產(chǎn)量等多種因素影響；企業(yè)的利潤(rùn)受產(chǎn)品銷售收入，產(chǎn)品銷售成本，期間費(fèi)用等因素影響，這就需要研究?jī)蓚€(gè)或兩個(gè)以上自變量對(duì)因變量的影響。一個(gè)因變量與多個(gè)自變量之間的線性相關(guān)關(guān)系稱為多元線性回歸。668.3.1多元線性回歸模型的數(shù)學(xué)表示式為多元線性回歸模型的數(shù)學(xué)表示式為： y= (8-6) 其中，y為因變量 ， ，i=1,2,n為自變 量. ，i=0，1，,k為回歸參數(shù)， 為隨機(jī)變量，且 kkxxx.22110ixi), 0 (2N678

18、.3.2 參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì) 實(shí)際上，回歸參數(shù) , , 通常是未知的，需要對(duì)其進(jìn)行估計(jì)。 假定對(duì)于自變量 , , +和因變量y已得到n次觀測(cè)，第i 次觀測(cè)值為（ ），i=1,2,n01k1xkxiikiyxx,.,168 于是有 = i=1,2,n 其中， 為相互獨(dú)立的隨機(jī)變量，且 。iyiikkiixxx.22110ii),0(2N69 回歸參數(shù) , , 常用最小二乘法來估計(jì)， 記 Q( , , )=01k01kniikkiixxy12110).(70 求它的最小值點(diǎn)（ ），即 Q( )= Q( , , ) 則 就是 , , 的最小二乘估計(jì)。k,.,10k,.,10k,.,

19、0min01kk,.,1001k71令 Q對(duì) , , 的一階偏導(dǎo)數(shù)為零，即可求出最小二乘估計(jì)。 (j=1,2,n)01k0).(211100niikkiixxyQ0).(21110ijniikkiijxxxyQ72將上述方程組整理可得到 (8-7)方程組（8-7）稱為“正規(guī)方程組”。iiikiiikikikikiikiiiiiikiikiiiiiikikiiixyxxxxxxyxxxxxyxxn.11011111011073記 nyyyY.21nknkkxxxxxxX.1.1.11221111k.10n.2174則模型（8-6）可表示為 Y=X +正規(guī)方程組（8-7）可表示為（XTX） =XT

20、Y75當(dāng)k+1階方陣XTX滿秩時(shí)，（即等價(jià)于r(X)=k+1）,可解出 的唯一最小二乘估計(jì)這樣就得到了y的估計(jì)式可以看出，最小二乘估計(jì)是y的觀測(cè)值的線性函數(shù)，且是 的無(wú)偏估計(jì)。YXXXTT1)(kkxxy.11076因?yàn)?E( )=(XTX)-1XTE(y) =(XTX)-1XTX = 類似于一元線性模型，可證明最小二乘估計(jì) 為 的“方差最小”線性無(wú)偏估計(jì)，“方差最小”可理解為：對(duì) 的每個(gè)分量，最小二乘估計(jì)的方差最小。778.3.3 多元線性回歸模型的檢驗(yàn)多元線性回歸模型的檢驗(yàn) 多元線性回歸模型的檢驗(yàn)包括兩個(gè)方面：對(duì)回歸模型的擬合程度的評(píng)價(jià)，和回歸線性相關(guān)關(guān)系的檢驗(yàn)，方法和一元線性回歸類同。7

21、88.3.4 多元線性回歸模型的應(yīng)用多元線性回歸模型的應(yīng)用 在多元線性回歸模型中，預(yù)測(cè)的方法與一元線性回歸模型的情況非常類似，建立了線性回歸模型 之后，便可用它對(duì)有關(guān)變量進(jìn)行預(yù)測(cè)。kkxxy.11079 給定 ， ， ， 對(duì)應(yīng)的因變量記為y0，則y0的點(diǎn)估計(jì)可由模型 求得。01x02x0kx001100.kkxxy80 若記 ，則 可證明 N 于是 N(0,1) 用 代替 ，便有 t(n-k-1),., 1 (002010kxxxx 00 xY )(00yy )(1 , 0(0102TTxxxxTTxxxxyy01000)(1TTxxxxyy01000)(181 對(duì)于給定的 ，的置信度為100

22、（1- ）%的置信區(qū)間為0yTTxxxxknty0100)(1) 1(2TTxxxxknty0100)(1) 1(282 4 回歸分析中的一些特殊問題回歸分析中的一些特殊問題83 前面我們介紹了線性回歸模型的建立和應(yīng)用，一元線性回歸分析在實(shí)際中應(yīng)用并不廣泛，而更多的是多元線性回歸模型，但在實(shí)際中，正確應(yīng)用線性回歸模型分析實(shí)際問題并不是一件容易的事。由于有多個(gè)自變量，以下我們來介紹回歸分析中的一些特殊問題。848.4.1 自變量的選擇問題自變量的選擇問題 在建立一個(gè)回歸模型時(shí)，我們要將所有可能對(duì)因變量產(chǎn)生影響的自變量考慮到模型中去，而通常在所有備選的自變量中，只有一部分真正對(duì)因變量有影響，這樣的變量稱為有效變量，而其它的則可能對(duì)因變量沒有影響，稱為無(wú)效變量。因此需要將有效變量保留在模型中，而無(wú)效變量應(yīng)從模型中去掉，這樣就產(chǎn)生了自變量的篩選問題，具體方法略。858.4.2多重共線型問題多重共線型問題 在許多場(chǎng)合，如社會(huì)研究，時(shí)常分析等領(lǐng)域中，自變量是隨機(jī)的，在這種情況下，自變量之間就會(huì)有很強(qiáng)的統(tǒng)計(jì)相關(guān)性，即多重共線性。由于樣本數(shù)據(jù)間存在著線性相關(guān)關(guān)系而產(chǎn)生的問題就稱為多重