統(tǒng)計(jì)學(xué)課件第九章一元回歸分析報(bào)告

第九章

一元線形回歸變量間關(guān)系的度量一元線性回歸分析利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)殘差分析9.1

變量間關(guān)系的度量

某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為y=p

x(p為單價(jià))

企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)、單位產(chǎn)量消耗(x2)、原材料價(jià)格(x3)之間的關(guān)系可表示為y=x1

x2

x3糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系父親身高(y)與子女身高(x)之間的關(guān)系變量間的關(guān)系函數(shù)關(guān)系相關(guān)關(guān)系是一一對(duì)應(yīng)的確定關(guān)系變量y

隨變量x

一起變化，并完全依賴于x

， 當(dāng)變量x

取某個(gè)數(shù)值時(shí)，y

依確定的關(guān)系取相應(yīng)的值，則稱

y

是

x

的函數(shù)，記為

y=f

(x)，其中x

稱為自變量，y

稱為因變量各觀測(cè)點(diǎn)落在一條線上（1）函數(shù)關(guān)系（2）相關(guān)關(guān)系變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量x

取某個(gè)值時(shí)，變量y

的取值可能有 幾個(gè)各觀測(cè)點(diǎn)分布在直線周圍（3）相關(guān)關(guān)系的描述與測(cè)度散點(diǎn)圖相關(guān)系數(shù)相關(guān)系數(shù)：相關(guān)系數(shù)取值及其意義r

的取值范圍是[-1,1]|r|=1，為完全相關(guān)r

=1，為完全正相關(guān)r

=-1，為完全負(fù)正相關(guān)3.r

=0，不存在線性相關(guān)關(guān)系4.-15.0<rr<0，為負(fù)相關(guān)1，為正相關(guān)6.|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切相關(guān)系數(shù)的顯著性檢驗(yàn)檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系,等價(jià)于對(duì)回 歸系數(shù)b1的檢驗(yàn),采用t

檢驗(yàn)檢驗(yàn)的步驟為提出假設(shè)：H0：

；H1：0C.計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：D.確定顯著性水平，并作出決策:若t>t，拒絕H0，

若

t

<t，接受H0無(wú)謂相關(guān)及其他問(wèn)題解釋相關(guān)系數(shù)時(shí)要?jiǎng)?wù)必小心。很多相關(guān)系數(shù)在數(shù)值上既大且在以后要談的檢驗(yàn)中也被判為統(tǒng)計(jì)顯著的，卻未必包含什么實(shí)際信息。關(guān)于謬誤或無(wú)謂相關(guān)，我們特別喜歡舉的例子是由統(tǒng)計(jì)學(xué)家G·烏迪內(nèi)·尤樂(lè)在其1926年的一篇出色的論文中給出的。（１）尤樂(lè)用英格蘭和威爾士1866~1911年間人口死亡率的年數(shù)據(jù)與英格蘭所有結(jié)婚中到教堂舉行儀式所占的比例作回歸，發(fā)現(xiàn)其相關(guān)系數(shù)是+0.950。（２）普勞瑟和施沃特用1897～1958年間的年數(shù)據(jù)，發(fā)現(xiàn)美國(guó)名義收入的對(duì)數(shù)與積聚的太陽(yáng)黑子的對(duì)數(shù)相關(guān)系數(shù)達(dá)到+0.9l（３）韓德瑞也注意到，在英國(guó)，通貨膨脹率與年累計(jì)降雨量有很強(qiáng)的正變關(guān)系。９.２

一元線性回歸分析9.2.1

一元線性回歸模型:y

=

b0

+

b1

x

+

eA.模型中，y

是

x

的線性函數(shù)(部分)加上誤差項(xiàng)B.線性部分反映了由于

x

的變化而引起的

y

的變化,誤差項(xiàng)

是隨機(jī)變量,反映了除

x

和

y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影響,是不能由x和

y

之間的線性關(guān)系所解釋的變異性C.

稱為模型的參數(shù)9.2.2

一元線性回歸模型的基本假定誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(ε)=0。對(duì)于一個(gè)給定的x

值，y

的期望值為:E

(

y

)

=

0+

1

x對(duì)于所有的x

值，ε的方差σ2

都相同

誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即ε~N(0,σ2

)9.2.3

回歸方程描述y的平均值或期望值如何依賴于

x的方程稱為回歸方程.簡(jiǎn)單線性回歸方程的形式如下: E(

y

)

=

0+

1

x·

方程的圖示是一條直線，因此也稱為直線回歸方程·

0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值·

1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值9.2.4

估計(jì)(經(jīng)驗(yàn))的回歸方程總體回歸參數(shù) 本數(shù)據(jù)去估計(jì)用樣本統(tǒng)計(jì)量0

和

1

是未知的，必需利用樣和

代替回歸方程中的未知參數(shù)

0

和

1

，就得到了估計(jì)的回歸方程3.簡(jiǎn)單線性回歸中估計(jì)的回歸方程為:參數(shù)

0

和

1

的最小二乘估計(jì)1.使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來(lái)求得

和

的方法:離差平方和的分解兩端平方后求和有:SST

=

SSR

+

SSE9.2.5回歸方程的顯著性檢驗(yàn)平方和(SST):反映因變量的n個(gè)觀察值與其均 值的總離差平方和(SSR):反映自變量x的變化對(duì)因變量y 取值變化的影響，或者說(shuō)，是由于x與y

之間的線性關(guān)系引起的y的取值變化，也

稱為可解釋的平方和平方和(SSE):反映除x以外的其他因素對(duì)y取 值的影響，也稱為不可解釋的平方和或剩

余平方和樣本決定系數(shù)1.回歸平方和占總離差平方和的比例:反映回歸直線的擬合程度取值范圍在[0,1]之間

1，說(shuō)明回歸方程擬合的越好,回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方0，說(shuō)明估計(jì)標(biāo)準(zhǔn)誤差SyA.實(shí)際觀察值與回歸估計(jì)值離差平方和的均方根

B.反映實(shí)際觀察值在回歸直線周圍的分散狀況

C.從另一個(gè)角度說(shuō)明了回歸直線的擬合程度回歸方程的顯著性檢驗(yàn)（線性關(guān)系的檢驗(yàn)）A.檢驗(yàn)自變量和因變量之間的線性關(guān)系是否顯著B.具體方法是將回歸離差平方和(SSR)同剩余離差平方和

(SSE)加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著如果是顯著的，兩個(gè)變量之間存在線性關(guān)系如果不顯著，兩個(gè)變量之間不存在線性關(guān)系線性關(guān)系的檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)1.

檢驗(yàn)x與y之間是否具有線性關(guān)系，或者說(shuō)，檢驗(yàn)自變量x對(duì)因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布在一元線性回歸中，等價(jià)于回歸方程的顯著性 檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)（步驟）A.

提出假設(shè)H0:

b1

=

0H1:

b1

0B.

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量c.

確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，接受H09.3

利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量x的取值估計(jì)或預(yù)測(cè)因變量y的取值9.3.1

y

的平均值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y的平均值的一個(gè)估計(jì)值E(y0)，就是平均值的點(diǎn)估計(jì)9.3.2 y的個(gè)別值的點(diǎn)估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)值

，就是個(gè)別值的點(diǎn)估計(jì)9.3.3

區(qū)間估計(jì)點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí) 際值之間是有誤差的，因此需要進(jìn)行區(qū)間 估計(jì)對(duì)于自變量x的一個(gè)給定值x0，根據(jù)回歸方 程得到因變量y

的一個(gè)估計(jì)區(qū)間區(qū)間估計(jì)有兩種類型:置信區(qū)間估計(jì)預(yù)測(cè)區(qū)間估計(jì)置信區(qū)間估計(jì)1.利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的平均值E(y0)的估計(jì)區(qū)間，這一估計(jì)區(qū)間稱為置信區(qū)間2.E(y0)在1-置信水平下的置信區(qū)間為預(yù)測(cè)區(qū)間估計(jì)1.利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間2.y0在1-置信水平下的預(yù)測(cè)區(qū)間為9.4

殘差分析用殘差證實(shí)模型的假定用殘差檢測(cè)異常值和有影響的觀測(cè)值9.4.1 殘差因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程求出 的預(yù)測(cè)值之差，用e表示反映了用估計(jì)的回歸方程去預(yù)測(cè)而引起的誤 差可用于確定有關(guān)誤差項(xiàng)

的假定是否成立用于檢測(cè)有影響的觀測(cè)值用殘差證實(shí)模型的假定殘差圖:表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差

的假定是否成立檢測(cè)有影響的觀測(cè)值殘差圖(a)滿意模式殘差x0殘差x(b)非常數(shù)方差0殘差x(c)模型不合適0標(biāo)準(zhǔn)化殘差殘差除以它的標(biāo)準(zhǔn)差也稱為Pearson殘差或半學(xué)生化殘差計(jì)算公式為用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立

若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布

在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間標(biāo)準(zhǔn)化殘差圖標(biāo)準(zhǔn)化殘差圖異常值:如果某一個(gè)點(diǎn)與其他點(diǎn)所呈現(xiàn)的趨勢(shì)不相吻合，這個(gè)點(diǎn)就有可能是異常點(diǎn)，或稱為野點(diǎn)異常值也可以通過(guò)標(biāo)準(zhǔn)化殘差來(lái)識(shí)別如果某一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識(shí)別為異常值一般情況下，當(dāng)一個(gè)觀測(cè)值所對(duì)應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時(shí)，就可以將其視為異常值9.4.2

用殘差檢測(cè)異常值和有影響的觀測(cè)值

如果異常值是一個(gè)錯(cuò)誤的數(shù)據(jù)，比如記錄錯(cuò)誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果

如果是由于模型的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型