第九章回歸與相關(guān)分析

1、第九章第九章 回歸與相關(guān)分析回歸與相關(guān)分析學(xué)習(xí)目標(biāo)1. 1. 變量間的相關(guān)關(guān)系與相關(guān)系數(shù)的計(jì)算變量間的相關(guān)關(guān)系與相關(guān)系數(shù)的計(jì)算2. 2. 總體回歸函數(shù)與樣本回歸函數(shù)總體回歸函數(shù)與樣本回歸函數(shù)3. 3. 線性回歸的基本假定線性回歸的基本假定4. 4. 簡(jiǎn)單線性回歸參數(shù)的估計(jì)與檢驗(yàn)簡(jiǎn)單線性回歸參數(shù)的估計(jì)與檢驗(yàn)實(shí)例實(shí)例1: 1:中國(guó)婦女生育水平的決定因素是什么中國(guó)婦女生育水平的決定因素是什么? ?婦女生育水平除了受計(jì)劃生育政策影響以外，還可能與社會(huì)、經(jīng)濟(jì)、文化等多種因素有關(guān)。1. 影響中國(guó)婦女生育率變動(dòng)的因素有哪些？2. 各種因素對(duì)生育率的作用方向和作用程度如何？3. 哪些因素是影響婦女生育率主要的

2、決定性因素？4. 如何評(píng)價(jià)計(jì)劃生育政策在生育水平變動(dòng)中的作用？5. 計(jì)劃生育政策與經(jīng)濟(jì)因素比較,什么是影響生育率的決定因素？6. 如果某些地區(qū)的計(jì)劃生育政策及社會(huì)、經(jīng)濟(jì)、文化 等因素發(fā)生重大變化，預(yù)期對(duì)這些地區(qū)的婦女生育 水平會(huì)產(chǎn)生怎樣的影響？ 據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全球肥胖癥患者達(dá)3億人，其中兒童占2200萬人，11億人體重過重。肥胖癥和體重超常早已不是發(fā)達(dá)國(guó)家的“專利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人數(shù)已高于因饑餓死亡的人數(shù)。 (引自光明日?qǐng)?bào)）問題: 肥胖癥和體重超常與死亡人數(shù)真有顯著 的數(shù)量關(guān)系嗎?這些類型的問題可以運(yùn)用相關(guān)分析與回歸分析的這些類型的問題可以運(yùn)用相關(guān)分析與

3、回歸分析的方法去解決。方法去解決。實(shí)例2:全球吃死的人比餓死的人多?第一節(jié)第一節(jié) 相關(guān)與回歸的基本概念相關(guān)與回歸的基本概念一、變量間的相互關(guān)系變量間的相互關(guān)系二、相關(guān)關(guān)系的類型二、相關(guān)關(guān)系的類型三、相關(guān)分析與回歸分析三、相關(guān)分析與回歸分析 一、變量間的相互關(guān)系一、變量間的相互關(guān)系 確定性的函數(shù)關(guān)系確定性的函數(shù)關(guān)系 Y=f (X) 不確定性的統(tǒng)計(jì)關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系 Y= f（X）+ (為隨機(jī)變量) 沒有關(guān)系沒有關(guān)系 變量間關(guān)系的圖形描述： 坐標(biāo)圖(散點(diǎn)圖) 相關(guān)關(guān)系的類型相關(guān)關(guān)系的類型 從涉及的變量數(shù)量變量數(shù)量看 簡(jiǎn)單相關(guān) 多重相關(guān)（復(fù)相關(guān)） 從變量相關(guān)關(guān)系的表現(xiàn)形式表現(xiàn)形式看 線性線性相關(guān)散

4、布圖接近一條直線(左圖) 非線性非線性相關(guān)散布圖接近一條曲線(右圖)從變量相關(guān)關(guān)系變化的方向方向看正相關(guān)正相關(guān)變量同方向變化 A 同增同減 (A)(A)負(fù)相關(guān)負(fù)相關(guān)變量反方向變化 一增一減 (B)(B) B 從變量相關(guān)的程度看 完全相關(guān) (B) 不完全相關(guān) (A) C 不相關(guān) (C)相關(guān)關(guān)系的類型相關(guān)關(guān)系的類型相關(guān)分析與回歸分析相關(guān)分析與回歸分析回歸的古典意義古典意義： 高爾頓遺傳學(xué)的回歸概念高爾頓遺傳學(xué)的回歸概念 父母身高與子女身高的關(guān)系父母身高與子女身高的關(guān)系: : 無論高個(gè)子或低個(gè)子的子女無論高個(gè)子或低個(gè)子的子女 都有向人的平均身高回歸的都有向人的平均身高回歸的 趨勢(shì)趨勢(shì)回歸：退回回歸：

5、退回regression平均身高平均身高1877年年 弗朗西斯弗朗西斯高爾頓爵士高爾頓爵士 遺傳遺傳學(xué)研究學(xué)研究 回歸線回歸線父親們的身高與兒子們的身高之間關(guān)系的研究n1889年年F.Gallton和他的朋友和他的朋友K.Pearson收集收集了上千個(gè)家庭的身高、臂長(zhǎng)和腿長(zhǎng)的記錄了上千個(gè)家庭的身高、臂長(zhǎng)和腿長(zhǎng)的記錄n企圖尋找出兒子們身高與父親們身高之間關(guān)企圖尋找出兒子們身高與父親們身高之間關(guān)系的具體表現(xiàn)形式系的具體表現(xiàn)形式n下圖是根據(jù)下圖是根據(jù)1078個(gè)家庭的調(diào)查所作的散點(diǎn)圖個(gè)家庭的調(diào)查所作的散點(diǎn)圖（略圖）（略圖）yx16016517017518018514015016017018019020

6、0YXxyubxay516.033.84回歸的現(xiàn)代意義回歸的現(xiàn)代意義一個(gè)因變量對(duì)若干解釋變量依存關(guān)系的研究回歸的目的目的（實(shí)質(zhì)）（實(shí)質(zhì)）： 由固定的自變量去估計(jì)因變量的平均值由固定的自變量去估計(jì)因變量的平均值估計(jì)因變估計(jì)因變量量平均值平均值相關(guān)分析與回歸分析的聯(lián)系共同的研究對(duì)象：都是對(duì)變量間相關(guān)關(guān)系的分析。只有當(dāng)變量間存在相關(guān)關(guān)系時(shí)，用回歸分析去尋求相關(guān)的具體數(shù)學(xué)形式才有實(shí)際意義。相關(guān)分析只表明變量間相關(guān)關(guān)系的性質(zhì)和程度，要確定變量間相關(guān)的具體數(shù)學(xué)形式依賴于回歸分析。相關(guān)分析中相關(guān)系數(shù)的確定建立在回歸分析的基礎(chǔ)上。第二節(jié)第二節(jié) 簡(jiǎn)單線性相關(guān)與回歸分析簡(jiǎn)單線性相關(guān)與回歸分析一、簡(jiǎn)單線性相關(guān)系數(shù)及

7、檢驗(yàn)一、簡(jiǎn)單線性相關(guān)系數(shù)及檢驗(yàn)二、總體回歸函數(shù)與樣本回歸函數(shù)二、總體回歸函數(shù)與樣本回歸函數(shù)三、回歸系數(shù)的估計(jì)三、回歸系數(shù)的估計(jì)四、簡(jiǎn)單線性回歸模型的檢驗(yàn)四、簡(jiǎn)單線性回歸模型的檢驗(yàn) 五、簡(jiǎn)單線性回歸模型預(yù)測(cè)五、簡(jiǎn)單線性回歸模型預(yù)測(cè)一、簡(jiǎn)單線性相關(guān)系數(shù)及檢驗(yàn)一、簡(jiǎn)單線性相關(guān)系數(shù)及檢驗(yàn) 總體相關(guān)系數(shù)總體相關(guān)系數(shù) 對(duì)于所研究的總體，表示兩個(gè)相互聯(lián)系變量相關(guān)程度 的總體相關(guān)系數(shù)為： 總體相關(guān)系數(shù)反映總體兩個(gè)變量總體相關(guān)系數(shù)反映總體兩個(gè)變量X X和和Y Y的線性相關(guān)程度。的線性相關(guān)程度。 特點(diǎn)：特點(diǎn)：對(duì)于特定的總體來說，X和Y的數(shù)值是既定的 總體相關(guān)系數(shù)是客觀存在的特定數(shù)值。 (, )()( )Cov X

8、 YVar X Var Y 樣本相關(guān)系數(shù) 通過X和Y 的樣本觀測(cè)值去估計(jì)樣本相關(guān)系數(shù)變量X和Y的樣本相關(guān)系數(shù)通常用 表示 特點(diǎn)：樣本相關(guān)系數(shù)是根據(jù)從總體中抽取的隨機(jī)樣本 的觀測(cè)值計(jì)算出來的，是對(duì)總體相關(guān)系數(shù)的估 計(jì)，它是個(gè)隨機(jī)變量。 XYrXYrXYr_22()()()()iiXYiiXXYYrXXYY相關(guān)系數(shù)的特點(diǎn)： 相關(guān)系數(shù)的取值在-1與1之間。當(dāng)r=0時(shí)，表明X與Y沒有線性相關(guān)關(guān)系。當(dāng) 時(shí)，表明X與Y存在一定的線性相關(guān)關(guān)系: 若 表明X與Y 為正相關(guān); 若 表明X與Y 為負(fù)相關(guān)。當(dāng) 時(shí)，表明X與Y完全線性相關(guān): 若r=1，稱X與Y完全正相關(guān)； 若r=-1，稱X與Y完全負(fù)相關(guān)。01r0r

9、0r 1r 使用相關(guān)系數(shù)的注意事項(xiàng)：X和Y 都是相互對(duì)稱的隨機(jī)變量，所以相關(guān)系數(shù)只反映只反映變量間的線性相關(guān)程度，不 能說明非線性相關(guān)關(guān)系。相關(guān)系數(shù)不能確定變量的因果關(guān)系，也不能 說明相關(guān)關(guān)系具體接近于哪條直線。XYYX相關(guān)系數(shù)的檢驗(yàn) 為什么要檢驗(yàn)？為什么要檢驗(yàn)？ 樣本相關(guān)系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量,相關(guān)系數(shù)的統(tǒng)計(jì)顯著性還有待檢驗(yàn)。檢驗(yàn)的依據(jù)：檢驗(yàn)的依據(jù)： 如果X和Y都服從正態(tài)分布，在總體相關(guān)系數(shù) 的假設(shè)下，與樣本相關(guān)系數(shù) r 有關(guān)的 t統(tǒng)計(jì)量服從自由度為n-2的 t 分布： 0221(2)tr nrtn相關(guān)系數(shù)的檢驗(yàn)方法給定顯著性水平 ，查自由度為 n-2 的臨界值 若 ，表明相關(guān)系數(shù) r

10、 在統(tǒng)計(jì)上是顯著的，應(yīng)否定 而接受 的假設(shè)；反之，若 ，應(yīng)接受 的假設(shè)。 2t2tt0002tt二、總體回歸函數(shù)與樣本回歸函數(shù)二、總體回歸函數(shù)與樣本回歸函數(shù) 若干基本概念 Y的條件分布條件分布: Y在X取某固定值條件下的分布。 對(duì)于X的每一個(gè)取值，都有Y的條件期望條件期望與之對(duì)應(yīng)，在坐標(biāo)圖上 Y的條件期望的點(diǎn)隨X而變化的軌跡所形成的直線或曲線，稱為回歸線回歸線。 如果把Y的條件期望 表示為X的某種函數(shù)： , 這個(gè)函數(shù)稱為回歸函數(shù)回歸函數(shù)。 如果其函數(shù)形式是只有一個(gè)自變量的線性函數(shù),如 , 稱為簡(jiǎn)單線性回歸函數(shù)簡(jiǎn)單線性回歸函數(shù)。 ()iE Y X()()iiE Y Xf X()iiE Y XX總

11、體回歸函數(shù)（PRF） 概念：將總體因變量Y的條件均值表現(xiàn)為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為總體回歸函數(shù)（簡(jiǎn)記為PRF）。表現(xiàn)形式：（1）條件均值表現(xiàn)形式（2）個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式）()iiE Y XXiiiYXu樣本回歸函數(shù)（SRF）概念：概念： Y的樣本觀測(cè)值的條件均值隨自變量X而變動(dòng)的軌跡，稱為樣本回歸線樣本回歸線。 如果把因變量Y的樣本條件均值表示為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸函數(shù)樣本回歸函數(shù) （簡(jiǎn)記為SRF）。表現(xiàn)形式：表現(xiàn)形式：線性樣本回歸函數(shù)可表示為 或者 iiiYXeiiYX 樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互聯(lián)系 樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸

12、函數(shù)的函數(shù)形式一致 。 和 是對(duì)總體回歸函數(shù)參數(shù)的估計(jì)。 是對(duì)總體條件期望 的估計(jì) 殘差 e 在概念上類似總體回歸函數(shù)中的隨機(jī)誤差u?；貧w分析的目的：用樣本回歸函數(shù)去估計(jì)總體回歸函數(shù)。 iY()iE Y X樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互區(qū)別 總體回歸函數(shù)雖然未知，但它是確定的； 樣本回歸線隨抽樣波動(dòng)而變化，可以有許多條。 樣本回歸線還不是總體回歸線，至多只是未知總體 回歸線的近似表現(xiàn)。 總體回歸函數(shù)的參數(shù)雖未知，但是確定的常數(shù)； 樣本回歸函數(shù)的參數(shù)可估計(jì)，但是隨抽樣而變化的隨機(jī)變量。 總體回歸函數(shù)中的 是不可直接觀測(cè)的； 而樣本回歸函數(shù)中的 是只要估計(jì)出樣本回歸的參數(shù)就可以計(jì)算的數(shù)值。

13、 iuie三、回歸系數(shù)的估計(jì)三、回歸系數(shù)的估計(jì)回歸系數(shù)估計(jì)的思想：回歸系數(shù)估計(jì)的思想：為什么只能對(duì)未知參數(shù)作估計(jì)為什么只能對(duì)未知參數(shù)作估計(jì)? ? 參數(shù)是未知的、不可直接觀測(cè)的、不能精確計(jì)算的參數(shù)是未知的、不可直接觀測(cè)的、不能精確計(jì)算的 能夠得到的只是變量的樣本觀測(cè)值能夠得到的只是變量的樣本觀測(cè)值結(jié)論結(jié)論: :只能通過變量樣本觀測(cè)值選擇適當(dāng)方法去近似只能通過變量樣本觀測(cè)值選擇適當(dāng)方法去近似 地估計(jì)回歸系數(shù)。地估計(jì)回歸系數(shù)。前提前提: : u u是隨機(jī)變量其分布性質(zhì)不確定，必須作某些是隨機(jī)變量其分布性質(zhì)不確定，必須作某些 假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才可進(jìn)行。假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才

14、可進(jìn)行。原則原則: : 使參數(shù)估計(jì)值使參數(shù)估計(jì)值“盡可能地接近盡可能地接近”總體參數(shù)真實(shí)值。總體參數(shù)真實(shí)值。簡(jiǎn)單線性回歸的基本假定 假定假定1 1：零均值假定。 假定假定2 2：同方差假定。 假定假定3 3：無自相關(guān)假定。 假定4：隨機(jī)擾動(dòng) 與自變量 不相關(guān)。 假定假定5 5：正態(tài)性假定()0iiE u Xiu222()()()iiiiiiVar u XE uE u XE u (,)()()(,)0ijiijjijCov u uE uE uuE uE u uiX2(0,)iuN( ,)( )()0iiiiiiCov u XE uE uXE X回歸系數(shù)的回歸系數(shù)的最小二乘估計(jì)估計(jì)基本思想： 希望

15、所估計(jì)的 偏離實(shí)際觀測(cè)值 的殘差 越小越好?？梢匀埐钇椒胶?作為衡量 與 偏離程度的標(biāo)準(zhǔn)最小二乘準(zhǔn)則。估計(jì)式： iYiYie2ieiYiY22()iiiiiiNX YX YNXX_2()()()iiiXX YYXXYX 最小二乘估計(jì)的性質(zhì) 高斯高斯馬爾可夫定理馬爾可夫定理 前提： 在基本假定滿足時(shí) 最小二乘估計(jì)是因變量的線性函數(shù)線性函數(shù) 最小二乘估計(jì)是無偏估計(jì)無偏估計(jì)，即 在所有的線性無偏估計(jì)中，回歸系數(shù)的最小二乘估計(jì)的方差最小方差最小。 結(jié)論：回歸系數(shù)的最小二乘估計(jì)是最佳線性無偏估計(jì)最佳線性無偏估計(jì)()E()E最小二乘估計(jì)的概率分布性質(zhì)最小二乘估計(jì)的概率分布性質(zhì) 和和 都是服從正態(tài)分布的隨

16、機(jī)變量，其都是服從正態(tài)分布的隨機(jī)變量，其期望為期望為方差和標(biāo)準(zhǔn)誤差為方差和標(biāo)準(zhǔn)誤差為 結(jié)論：結(jié)論：()E()E2()iVarx2()iSEx22()iiXVarNx22()iiXSENx22(,)iNx22( ,)iiXNNx 的無偏估計(jì) 為什么要估計(jì) ？ 確定所估計(jì)參數(shù)的方差需要 由于 不能直接觀測(cè)， 也是未知的 對(duì) 的數(shù)值只能通過樣本信息去估計(jì)。 怎樣估計(jì) ？ 可以證明 的無偏估計(jì)為： iu222ien2222222擬合優(yōu)度的度量擬合優(yōu)度的度量 基本思想：基本思想：樣本回歸直線是對(duì)樣本數(shù)據(jù)的一種擬合，不同估計(jì)方法可擬合出不同的回歸線。樣本回歸擬合優(yōu)度的度量建立在對(duì)因變量總離差平方和分解的基

17、礎(chǔ)上 總離差平方和總離差平方和 回歸平方和回歸平方和 殘差平方和殘差平方和 可決系數(shù)定義：可決系數(shù)定義：_222()()()iiiiYYYYYY222()()iiYYrYY222()1()iiiYYrYY 對(duì)可決系數(shù)的理解YXiXYiYYYiiiYY YYi222()()iiYYrYY 可決系數(shù)的特點(diǎn) 可決系數(shù)是非負(fù)的統(tǒng)計(jì)量；可決系數(shù)取值范圍:可決系數(shù)是樣本觀測(cè)值的函數(shù)，可決系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量；在一元線性回歸中，可決系數(shù)在數(shù)值上是簡(jiǎn)單線性相關(guān)系數(shù)的平方： ，201r2rr 2222()()()()iiiiXX YYrXXYY 回歸系數(shù)顯著性的回歸系數(shù)顯著性的 t t 檢驗(yàn)檢驗(yàn)?zāi)康哪康?/p>

18、： 根據(jù)樣本回歸估計(jì)的結(jié)果對(duì)總體回歸函數(shù)回歸 系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)，以檢驗(yàn)總體回歸系數(shù)是 否等于某個(gè)特定的數(shù)值。思想思想： 是未知的，而且不一定能獲得大樣本，這時(shí)可用 的無偏估計(jì) 代替 去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差：22()iSEx22( )iiXSENx222 回歸系數(shù)顯著性的回歸系數(shù)顯著性的 t t 檢驗(yàn)檢驗(yàn)( (續(xù)續(xù)) ) 用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì)估計(jì)的參數(shù)作標(biāo)準(zhǔn)化變 換，所得的 t 統(tǒng)計(jì)量將不再服從正態(tài)分布，而是服從 t 分布： 可利用 t 分布作有關(guān)的假設(shè)檢驗(yàn)。 (2)()tt nSE (2)()tt nSE 回歸系數(shù)顯著性回歸系數(shù)顯著性 t t 檢驗(yàn)的方法檢驗(yàn)的方法(1) 提出假設(shè)一般假設(shè)

19、:常用假設(shè):(2) 計(jì)算統(tǒng)計(jì)量(3)給定顯著性水平，確定臨界值 (4) 檢驗(yàn)結(jié)果判斷 若 則拒絕原假設(shè)，而接受備擇假設(shè) 若 則接受原假設(shè) , 拒絕備擇假設(shè)0:*H*1:H*0:0H1:0H2(2)tn*2(2)ttn*2(2)ttn*()( )ttSESE或回歸系數(shù)顯著性的回歸系數(shù)顯著性的P P值檢驗(yàn)值檢驗(yàn)P P值的意義值的意義P值的意義: 在既定原假設(shè)下計(jì)算回歸系數(shù)的t統(tǒng)計(jì)量 ，可求得 統(tǒng)計(jì)量大于 的概率： 這里的 是 t 統(tǒng)計(jì)量大于 值的概率，是尚不能拒絕原假設(shè) 的最大顯著水平，稱為所估計(jì)的回歸系數(shù)的P值。*t*0()P tt H*02:0H*t*t回歸系數(shù)顯著性的回歸系數(shù)顯著性的P P值

20、檢驗(yàn)值檢驗(yàn) 檢驗(yàn)方法檢驗(yàn)方法回歸系數(shù)顯著性的P值檢驗(yàn)方法: 將所取顯著性水平與P值對(duì)比 所取的顯著性水平 （例如取0.05）若比P值更大，就可在顯著性水平 下拒絕 所取的 若小于P值，就應(yīng)在顯著性水平 下接受 02:0H02:0H五、簡(jiǎn)單線性回歸模型預(yù)測(cè)五、簡(jiǎn)單線性回歸模型預(yù)測(cè)對(duì)平均值的點(diǎn)預(yù)測(cè)值 ： Y的個(gè)別值置信度為1的預(yù)測(cè)區(qū)間： fYffYX_222()11fffiXXYYtnx因變量的區(qū)間預(yù)測(cè)的特點(diǎn) （1）個(gè)別值的預(yù)測(cè)區(qū)間大于平均值的預(yù)測(cè)區(qū)間: Y平均值的預(yù)測(cè)值與真實(shí)平均值有誤差，主要是受抽樣波動(dòng)影響; Y個(gè)別值的預(yù)測(cè)值與真實(shí)個(gè)別值的差異不僅受抽樣波動(dòng)影響，而且還受隨機(jī)擾動(dòng)項(xiàng)的影響（2）對(duì) 預(yù)測(cè)區(qū)間隨 變化而變化: 時(shí)， =0，此時(shí)預(yù)測(cè)區(qū)間最窄， 越是遠(yuǎn)離 ， 越大，預(yù)測(cè)區(qū)間越寬。fYfX_FXX_2()FXXFX_X_2()FXX 因變量的區(qū)間預(yù)測(cè)的特點(diǎn)(續(xù))（3）預(yù)測(cè)區(qū)間與樣本容量有關(guān)：樣本容量n越 大， 越大，預(yù)測(cè)誤差的方差越小，預(yù)測(cè)區(qū)間也越窄。（4）當(dāng)樣本容量趨于無窮大（即n）時(shí), 不存在抽樣誤差，平均值預(yù)測(cè)誤差趨于0，此時(shí)個(gè)別值的預(yù)