一元回歸分析

回歸分析的目的：依靠觀察數(shù)據(jù)建立變量間的關(guān)系，分析數(shù)據(jù)規(guī)律?；貧w分析的內(nèi)容：

回歸分析

?本章內(nèi)容：線性回歸分析。參數(shù)回歸分析非參數(shù)回歸分析線性回歸分析非線性回歸分析第六章回歸分析回歸分析是描述數(shù)據(jù)處理方法的一門(mén)應(yīng)用學(xué)科，它是統(tǒng)計(jì)學(xué)者常用的工具，它理論完善，計(jì)算方法靈活巧妙，無(wú)論從事理論研究還是從事應(yīng)用的統(tǒng)計(jì)學(xué)者對(duì)此都很感興趣.本章對(duì)回歸分析的根底知識(shí)和應(yīng)用作簡(jiǎn)單介紹。主要包括一元線性回歸與多元線性回歸。介紹回歸分析中的參數(shù)估計(jì)，假設(shè)檢驗(yàn)以及預(yù)測(cè)等內(nèi)容

從浩瀚無(wú)垠的宇宙到微小的分子、原子，從無(wú)機(jī)界到有機(jī)界，從自然到社會(huì)，無(wú)一事物不處在與其他事物的聯(lián)系之中.事物之間不僅存在著相互聯(lián)系，而且還具有一定的內(nèi)部規(guī)律.例如,矩形的面積S和矩形的兩條邊長(zhǎng)a和b有關(guān)系:又如著名的歐姆定律指出,電壓V、電阻R與電流I之間有關(guān)系:S=a.babSV=I.R讓我們來(lái)看一下有聯(lián)系的變量之間的關(guān)系:以上兩例的共同點(diǎn)在于，三個(gè)量中任意兩個(gè)，其余一個(gè)就可以完全確定.也就是說(shuō)，變量之間存在著確定性的關(guān)系，并且可以用數(shù)學(xué)表達(dá)式來(lái)表示這種關(guān)系.

然而，在大量的實(shí)際問(wèn)題中，變量之間雖有某種關(guān)系，但這種關(guān)系很難找到一種精確的表示方法來(lái)描述.

例如,人的身高與體重之間有一定的關(guān)系,知道一個(gè)人的身高可以大致估計(jì)出他的體重,但并不能算出體重的精確值.

其原因在于人有較大的個(gè)體差異,因而身高和體重的關(guān)系,是既密切但又不能完全確定的函數(shù)關(guān)系.

類(lèi)似的變量間的關(guān)系在大自然和社會(huì)中屢見(jiàn)不鮮.

例如,小麥的穗長(zhǎng)與穗重的關(guān)系;某班學(xué)生最后一次考試分?jǐn)?shù)與第一次考試分?jǐn)?shù)的關(guān)系;溫度、降雨量與農(nóng)作物產(chǎn)量間的關(guān)系;人的年齡與血壓的關(guān)系;家庭收入與支出的關(guān)系等等.

從數(shù)量的角度去研究這種關(guān)系，是數(shù)理統(tǒng)計(jì)的一個(gè)任務(wù).這包括通過(guò)觀察和試驗(yàn)數(shù)據(jù)去判斷變量之間有無(wú)關(guān)系，對(duì)其關(guān)系大小作出數(shù)量上的估計(jì),對(duì)互有關(guān)系的變量通過(guò)其去推斷和預(yù)測(cè)其它,等等.

回歸分析就是研究相關(guān)關(guān)系的一種重要的數(shù)理統(tǒng)計(jì)方法.這種大量存在的變量間既互相聯(lián)系但又不是完全確定的關(guān)系，稱(chēng)為相關(guān)關(guān)系.回歸分析的根本思想是由英國(guó)著名生物學(xué)家兼統(tǒng)計(jì)學(xué)家F.高爾頓〔F.Galton：1822-1911〕在研究人類(lèi)遺傳問(wèn)題時(shí)提出的.他和他的學(xué)生、現(xiàn)代統(tǒng)計(jì)學(xué)的奠基者之一K.皮爾遜〔K.Pearson：1856-1936〕在研究父母親身高與其子女身高的遺傳關(guān)系時(shí),觀察了1078對(duì)夫婦,他們觀察的這1078對(duì)夫婦的平均身高為68英寸，而其成年兒子的平均身高為69英寸.

高爾頓對(duì)此進(jìn)行了深入研究.他們將觀察值在平面直角坐標(biāo)系上繪成散點(diǎn)圖,發(fā)現(xiàn)趨勢(shì)近乎一條直線,計(jì)算出的回歸直線方程為

在回歸分析中,當(dāng)變量只有兩個(gè)時(shí),稱(chēng)為一元回歸分析;當(dāng)變量在兩個(gè)以上時(shí),稱(chēng)為多元回歸分析.變量間成線性關(guān)系,稱(chēng)線性回歸,變量間不具有線性關(guān)系,稱(chēng)非線性回歸.如果與隨機(jī)變量y之間存在相關(guān)關(guān)系,ε——其它隨機(jī)因素的影響,通常假設(shè)ε是不可觀測(cè)的隨機(jī)誤差,它是一個(gè)隨機(jī)變量.——解釋變量

y

——被解釋變量多元線性回歸模型:多元線性回歸方程：第一節(jié)一元線性回歸一元線性回歸模型

一元線性回歸方程

通常假定

設(shè)是的一組觀測(cè)值,那么假設(shè)

觀測(cè)值相互獨(dú)立

相互獨(dú)立

相互獨(dú)立

假設(shè)

是確定性的變量,其值是可以精確測(cè)量和控制的.1.最小二乘估計(jì)

設(shè)是的一組觀測(cè)值,對(duì)每個(gè)樣本觀測(cè)值

考慮

與其回歸值

的離差綜合考慮每個(gè)離差值,定義離差平方和所謂最小二乘法,就是尋找參數(shù)的估計(jì)值，使得離差平方和到達(dá)極小值,即選擇使得滿(mǎn)足上式的稱(chēng)為回歸參數(shù)二乘估計(jì)。的最小由于的極小值總是存在的

因此應(yīng)滿(mǎn)足即整理得正規(guī)方程組

假設(shè)記由例1在鋼線碳含量x對(duì)于電阻效應(yīng)y的研究中,得到了以下數(shù)據(jù):碳含量〔%〕0.100.300.400.550.700.800.95電阻〔微歐〕1518192122.623.826假設(shè)對(duì)于給定的x,y為正態(tài)變量,且方差與x無(wú)關(guān).如果x,y滿(mǎn)足經(jīng)驗(yàn)公式

求線性回歸方程

解

設(shè)現(xiàn)在

所求的線性回歸方程為

的估計(jì)

定理1

從而的無(wú)偏估計(jì)為2.殘差/剩余平方和

－－因隨機(jī)因素引起的誤差Qe的計(jì)算例2

求例1中的無(wú)偏估計(jì).解由例1得

3．最小二乘估計(jì)量的性質(zhì)定理2

都是的線性組合定理3

的最小二乘估計(jì)都是無(wú)偏的,即

定理4

〔1〕回歸方程是否有意義?即自變量x的變化是否真的對(duì)因變量y有影響?因此,有必要對(duì)回歸效果作出檢驗(yàn).因此在獲得回歸方程后，通常要問(wèn)這樣的問(wèn)題:〔2〕如果方程真有意義，用它預(yù)測(cè)y時(shí)，預(yù)測(cè)值與真值的偏差能否估計(jì)？下面我們來(lái)討論這兩個(gè)問(wèn)題.

對(duì)任意兩個(gè)變量的一組觀察值因此需要考察y與x間是否確有線性相關(guān)關(guān)系,這就是回歸效果的檢驗(yàn)問(wèn)題.都可以用最小二乘法形式上求得y對(duì)x的回歸方程,如果y與x沒(méi)有線性相關(guān)關(guān)系,這種形式的回歸方程就沒(méi)有意義.(xi,yi)，i=1,2,…,n

4．線性回歸方程的顯著性檢驗(yàn)〔1〕t檢驗(yàn)檢驗(yàn)假設(shè)

由于,因此當(dāng)原假設(shè)成立時(shí),有

與且相互獨(dú)立=>該假設(shè)檢驗(yàn)問(wèn)題的拒絕域?yàn)?/p>

與相互獨(dú)立例3檢驗(yàn)例1中的線性回歸是否顯著.

解

檢驗(yàn)假設(shè)

拒絕域?yàn)?/p>

由例2得

=>拒絕

即認(rèn)為線性回歸顯著我們注意到只反映了x對(duì)y的影響，所以回歸值就是yi中只受xi影響的那一部分,而

則是除去xi的影響后,受其它種種因素影響的部分,故將

稱(chēng)為殘差.

F檢驗(yàn)于是觀測(cè)值yi可以分解為兩部分和,

并且也可分解為兩部分.因此,y1,y2,…,yn的總變差為:可以證明即可以分解為兩部分:回歸平方和與殘差平方和.反映了由于自變量x的變化引起的因變量y的差異，體現(xiàn)了x對(duì)y的影響；而反映了種種其它因素對(duì)y的影響,這些因素沒(méi)有反映在自變量中,它們可作為隨機(jī)因素看待.可見(jiàn),／為x的影響部分與隨機(jī)因素影響部分的相對(duì)比值.它的作用和隨機(jī)因素的作用相當(dāng),于是由數(shù)據(jù)得到的回歸方程就沒(méi)有什么意義.假設(shè)它不是顯著地大,說(shuō)明我們所選的x,并不是一個(gè)重要的因素.可見(jiàn),／為x的影響部分與隨機(jī)因素影響部分的相對(duì)比值.如果它顯著地大,說(shuō)明x的作用是顯著地比隨機(jī)因素大,這樣,方程就有意義.通常我們可假設(shè)y和x沒(méi)有線性相關(guān)關(guān)系，對(duì)回歸方程是否有意義進(jìn)行顯著性檢驗(yàn).定理6當(dāng)時(shí)檢驗(yàn)假設(shè)

選取統(tǒng)計(jì)量

對(duì)給定的顯著性水平

的拒絕域?yàn)?/p>

~F(1，n-2)我們可以用更簡(jiǎn)單的公式計(jì)算回歸平方和與殘差平方和：

越大，變量與之間的線性相關(guān)程度越強(qiáng)。（1）〔2〕時(shí)，〔3〕時(shí)，與有線性相關(guān)關(guān)系；與無(wú)線性相關(guān)關(guān)系；5．回歸系數(shù)的區(qū)間估計(jì)

6.預(yù)測(cè)

〔1〕單值預(yù)測(cè)設(shè)回歸方程為

〔2〕區(qū)間預(yù)測(cè)一元線性回歸模型

其線性回歸方程為

標(biāo)準(zhǔn)化后

又且相互獨(dú)立由t分布的定義那么回歸方程為例5求例1中當(dāng)碳含量為0.50時(shí),電阻的置信水平為0.95的置信區(qū)間

解

由例1和例2可得

上面，我們介紹了一元線性回歸.通過(guò)一個(gè)例子說(shuō)明如何建立一元線性回歸方程.介紹了有廣泛應(yīng)用的最小二乘法.在建立回歸方程后，需要對(duì)回歸方程是否確有意義進(jìn)行檢驗(yàn).當(dāng)檢驗(yàn)認(rèn)為回歸方程確有意義.那么可用來(lái)進(jìn)行預(yù)測(cè)或控制.在許多實(shí)際問(wèn)題中，兩個(gè)變量之間并不一定是線性關(guān)系，而是某種曲線關(guān)系，應(yīng)該用曲線來(lái)擬合.在有些情況下，可以進(jìn)行適當(dāng)?shù)淖兞看鷵Q，把它線性化，這樣就把一個(gè)非線性回歸問(wèn)題化為線性回歸問(wèn)題而得以解決.非線性回歸問(wèn)題可線性化的一元非線性回歸具體做法：

1〕根據(jù)樣本數(shù)據(jù)，在直角坐標(biāo)系中畫(huà)出散點(diǎn)圖2〕根據(jù)散點(diǎn)圖，推測(cè)出Y與x之間的函數(shù)關(guān)系3〕選擇適當(dāng)?shù)淖鴺?biāo)變換，使之變成線性關(guān)系4〕用線性回歸方法求出線性回歸方程5〕返回到原來(lái)的函數(shù)關(guān)系，得到要求的回歸方程7.可線性化的一元非線性回歸1.雙曲線:

2.冪函數(shù):

3.指數(shù)曲線:

4.倒指數(shù)曲線:取對(duì)數(shù)得取對(duì)數(shù)得5.對(duì)數(shù)曲線:

6、S型〔Logistic〕曲線令變形例1在彩色顯影中,根據(jù)以往經(jīng)驗(yàn),形成染料光學(xué)密度與析出銀的光學(xué)密度之間呈倒指數(shù)曲線關(guān)系:已測(cè)得11對(duì)數(shù)據(jù)見(jiàn)下表〔1〕求出經(jīng)驗(yàn)回歸曲線方程；〔2〕對(duì)回歸曲線的顯著性進(jìn)行檢驗(yàn).x0.050.060.070.100.140.200.250.310.380.430.47

y0.100.140.230.370.590.791.001.121.191.251.29

解〔1〕由令

經(jīng)計(jì)算得=>線性回歸方程為

=>曲線回歸方程為(2)檢驗(yàn)假設(shè)

拒絕域?yàn)楝F(xiàn)在n=11，取(2)=>拒絕原假設(shè)

=>y對(duì)x的回歸方程是顯著的.例2測(cè)定某肉雞的生長(zhǎng)過(guò)程，每?jī)芍苡涗浺淮坞u的重量，數(shù)據(jù)如下表x/周2468101214y/kg0.30.861.732.22.472.672.8由經(jīng)驗(yàn)知雞的生長(zhǎng)曲線為L(zhǎng)ogistic曲線，且極限生長(zhǎng)量為k=2.827，試求y對(duì)x的回歸曲線方程。解由題設(shè)可建立雞重y與時(shí)間x的相關(guān)關(guān)系為令那么有列表計(jì)算序號(hào)xyy'X2y'2xy'120.32.13144.5414.262240.860.827160.6843.309361.73-0.456360.208-2.733482.2-1.255641.576-10.0425