應(yīng)用統(tǒng)計(jì)學(xué)教案相關(guān)與回歸分析.ppt

1、第8章 相關(guān)與回歸分析,8.1 相關(guān)與回歸的基本概念 8.2 簡單線性相關(guān)與回歸分析 8.3 多元線性相關(guān)與回歸分析 8.4 非線性相關(guān)與回歸分析,學(xué)習(xí)目標(biāo),1. 變量間的相關(guān)關(guān)系與相關(guān)系數(shù)的計(jì)算 2. 總體回歸函數(shù)與樣本回歸函數(shù) 3. 線性回歸的基本假定 4. 簡單線性回歸參數(shù)的估計(jì)與檢驗(yàn) 5. 多元線性回歸參數(shù)的估計(jì)與檢驗(yàn) 6. 多個(gè)變量的線性相關(guān)關(guān)系：復(fù)相關(guān)系數(shù)和偏相 關(guān)系數(shù) 7. 常用的可以轉(zhuǎn)換為線性回歸的非線性函數(shù) 8. 非線性相關(guān)指數(shù),實(shí)例1:中國婦女生育水平的決定因素是什么?,婦女生育水平除了受計(jì)劃生育政策影響以外，還可能 與社會、經(jīng)濟(jì)、文化等多種因素有關(guān)。 1. 影響中國婦女生

2、育率變動(dòng)的因素有哪些？ 2. 各種因素對生育率的作用方向和作用程度如何？ 3. 哪些因素是影響婦女生育率主要的決定性因素？ 4. 如何評價(jià)計(jì)劃生育政策在生育水平變動(dòng)中的作用？ 5. 計(jì)劃生育政策與經(jīng)濟(jì)因素比較,什么是影響生育率的 決定因素？ 6. 如果某些地區(qū)的計(jì)劃生育政策及社會、經(jīng)濟(jì)、文化 等因素發(fā)生重大變化，預(yù)期對這些地區(qū)的婦女生育 水平會產(chǎn)生怎樣的影響？,據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全球肥胖癥患者達(dá)3億人，其中兒童占2200萬人，11億人體重過重。肥胖癥和體重超常早已不是發(fā)達(dá)國家的“專利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人數(shù)已高于因饑餓死亡的人數(shù)。 (引自光明日報(bào)劉軍/文） 問題

3、: 肥胖癥和體重超常與死亡人數(shù)真有顯著 的數(shù)量關(guān)系嗎? 這些類型的問題可以運(yùn)用相關(guān)分析與回歸分析的方法去解決。,實(shí)例2: 全球吃死的人比餓死的人多?,8.1 相關(guān)與回歸的基本概念,一、變量間的相互關(guān)系 二、相關(guān)關(guān)系的類型 三、相關(guān)分析與回歸分析,一、變量間的相互關(guān)系,確定性的函數(shù)關(guān)系 Y=f (X) 不確定性的統(tǒng)計(jì)關(guān)系相關(guān)關(guān)系 Y= f（X）+ (為隨機(jī)變量) 沒有關(guān)系 變量間關(guān)系的圖形描述： 坐標(biāo)圖(散點(diǎn)圖),相關(guān)關(guān)系的類型, 從涉及的變量數(shù)量看 簡單相關(guān) 多重相關(guān)（復(fù)相關(guān)） 從變量相關(guān)關(guān)系的表現(xiàn)形式看 線性相關(guān)散布圖接近一條直線(左圖) 非線性相關(guān)散布圖接近一條曲線(右圖),從變量相關(guān)關(guān)系

4、變化的方向看 正相關(guān)變量同方向變化 A 同增同減 (A) 負(fù)相關(guān)變量反方向變化 一增一減 (B) B 從變量相關(guān)的程度看 完全相關(guān) (B) 不完全相關(guān) (A) C 不相關(guān) (C),相關(guān)關(guān)系的類型,相關(guān)分析與回歸分析,回歸的古典意義： 高爾頓遺傳學(xué)的回歸概念 父母身高與子女身高的關(guān)系: 無論高個(gè)子或低個(gè)子的子女 都有向人的平均身高回歸的 趨勢,回歸的現(xiàn)代意義,一個(gè)因變量對若干解釋變量依存關(guān)系的研究 回歸的目的（實(shí)質(zhì)）： 由固定的自變量去估計(jì)因變量的平均值,相關(guān)分析與回歸分析的聯(lián)系,共同的研究對象：都是對變量間相關(guān)關(guān)系的分析 只有當(dāng)變量間存在相關(guān)關(guān)系時(shí)，用回歸分析去尋求相關(guān)的具體數(shù)學(xué)形式才有實(shí)際意

5、義 相關(guān)分析只表明變量間相關(guān)關(guān)系的性質(zhì)和程度，要確定變量間相關(guān)的具體數(shù)學(xué)形式依賴于回歸分析 相關(guān)分析中相關(guān)系數(shù)的確定建立在回歸分析的基礎(chǔ)上,82 簡單線性相關(guān)與回歸分析,一、簡單線性相關(guān)系數(shù)及檢驗(yàn) 二、總體回歸函數(shù)與樣本回歸函數(shù) 三、回歸系數(shù)的估計(jì) 四、簡單線性回歸模型的檢驗(yàn) 五、簡單線性回歸模型預(yù)測,一、簡單線性相關(guān)系數(shù)及檢驗(yàn),總體相關(guān)系數(shù) 對于所研究的總體，表示兩個(gè)相互聯(lián)系變量相關(guān)程度 的總體相關(guān)系數(shù)為： 總體相關(guān)系數(shù)反映總體兩個(gè)變量X和Y的線性相關(guān)程度。 特點(diǎn)：對于特定的總體來說，X和Y的數(shù)值是既定的 總體相關(guān)系數(shù)是客觀存在的特定數(shù)值。, 樣本相關(guān)系數(shù),通過X和Y 的樣本觀測值去估計(jì)樣本

6、相關(guān)系數(shù)變量 X和Y的樣本相關(guān)系數(shù)通常用 表示 特點(diǎn)：樣本相關(guān)系數(shù)是根據(jù)從總體中抽取的隨機(jī)樣本 的觀測值計(jì)算出來的，是對總體相關(guān)系數(shù)的估 計(jì)，它是個(gè)隨機(jī)變量。,相關(guān)系數(shù)的特點(diǎn)：,相關(guān)系數(shù)的取值在-1與1之間。 當(dāng)r=0時(shí)，表明X與Y沒有線性相關(guān)關(guān)系。 當(dāng) 時(shí)，表明X與Y存在一定的線性相關(guān)關(guān)系: 若 表明X與Y 為正相關(guān); 若 表明X與Y 為負(fù)相關(guān)。 當(dāng) 時(shí)，表明X與Y完全線性相關(guān): 若r=1，稱X與Y完全正相關(guān)； 若r=-1，稱X與Y完全負(fù)相關(guān)。,使用相關(guān)系數(shù)的注意事項(xiàng)：,X和Y 都是相互對稱的隨機(jī)變量，所以 相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不 能說明非線性相關(guān)關(guān)系。 相關(guān)系數(shù)不能確定變量

7、的因果關(guān)系，也不能 說明相關(guān)關(guān)系具體接近于哪條直線。,相關(guān)系數(shù)的檢驗(yàn),為什么要檢驗(yàn)？ 樣本相關(guān)系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量,相關(guān)系數(shù)的統(tǒng)計(jì)顯著性還有待檢驗(yàn)。 檢驗(yàn)的依據(jù)： 如果X和Y都服從正態(tài)分布，在總體相關(guān)系 數(shù) 的假設(shè)下，與樣本相關(guān)系數(shù) r 有關(guān)的 t 統(tǒng)計(jì)量服從自由度為n-2的 t 分布：,相關(guān)系數(shù)的檢驗(yàn)方法,給定顯著性水平 ， 查自由度為 n-2 的臨界值 若 ，表明相關(guān)系數(shù) r 在統(tǒng)計(jì)上是顯著 的，應(yīng)否定 而接受 的假設(shè)； 反之，若 ，應(yīng)接受 的假設(shè)。,二、總體回歸函數(shù)與樣本回歸函數(shù),若干基本概念 Y的條件分布: Y在X取某固定值條件下的分布。 對于X的每一個(gè)取值，都有Y的條件期望與

8、之對應(yīng)，在坐標(biāo)圖上 Y的條件期望的點(diǎn)隨X而變化的軌跡所形成的直線或曲線，稱為回歸線。 如果把Y的條件期望 表示為X的某種函數(shù)： , 這個(gè)函數(shù)稱為回歸函數(shù)。 如果其函數(shù)形式是只有一個(gè)自變量的線性函數(shù),如 , 稱為簡單線性回歸函數(shù)。,總體回歸函數(shù)（PRF）,概念：將總體因變量Y的條件均值表現(xiàn)為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為總體回歸函數(shù)（簡記為PRF）。 表現(xiàn)形式： （1）條件均值表現(xiàn)形式 （2）個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式）,樣本回歸函數(shù)（SRF）,概念： Y的樣本觀測值的條件均值隨自變量X而變動(dòng)的軌跡，稱為樣本回歸線。 如果把因變量Y的樣本條件均值表示為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸

9、函數(shù) （簡記為SRF）。 表現(xiàn)形式：線性樣本回歸函數(shù)可表示為 或者,樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互聯(lián)系, 樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸函數(shù)的函數(shù)形式一致 。 和 是對總體回歸函數(shù)參數(shù)的估計(jì)。 是對總體條件期望 的估計(jì) 殘差 e 在概念上類似總體回歸函數(shù)中的隨機(jī) 誤差u。 回歸分析的目的： 用樣本回歸函數(shù)去估計(jì)總體回歸函數(shù)。,樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互區(qū)別,總體回歸函數(shù)雖然未知，但它是確定的； 樣本回歸線隨抽樣波動(dòng)而變化，可以有許多條。 樣本回歸線還不是總體回歸線，至多只是未知總體 回歸線的近似表現(xiàn)。 總體回歸函數(shù)的參數(shù)雖未知，但是確定的常數(shù)； 樣本回歸函數(shù)的參數(shù)

10、可估計(jì)，但是隨抽樣而變化的隨機(jī)變量。 總體回歸函數(shù)中的 是不可直接觀測的； 而樣本回歸函數(shù)中的 是只要估計(jì)出樣本回歸的參數(shù)就可以計(jì)算的數(shù)值。,三、回歸系數(shù)的估計(jì),回歸系數(shù)估計(jì)的思想： 為什么只能對未知參數(shù)作估計(jì)? 參數(shù)是未知的、不可直接觀測的、不能精確計(jì)算的 能夠得到的只是變量的樣本觀測值 結(jié)論:只能通過變量樣本觀測值選擇適當(dāng)方法去近似 地估計(jì)回歸系數(shù)。 前提: u是隨機(jī)變量其分布性質(zhì)不確定，必須作某些 假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才可進(jìn)行。 原則: 使參數(shù)估計(jì)值“盡可能地接近”總體參數(shù)真實(shí)值,簡單線性回歸的基本假定,假定1：零均值假定。 假定2：同方差假定。 假定3：無自相關(guān)假定。 假定

11、4：隨機(jī)擾動(dòng) 與自變量 不相關(guān)。 假定5：正態(tài)性假定,回歸系數(shù)的最小二乘估計(jì),基本思想： 希望所估計(jì)的 偏離實(shí)際觀測值 的殘差 越小越好?？梢匀埐钇椒胶?作為衡量 與 偏離程度的標(biāo)準(zhǔn)最小二乘準(zhǔn)則 估計(jì)式：,最小二乘估計(jì)的性質(zhì) 高斯馬爾可夫定理,前提： 在基本假定滿足時(shí) 最小二乘估計(jì)是因變量的線性函數(shù) 最小二乘估計(jì)是無偏估計(jì)，即 在所有的線性無偏估計(jì)中，回歸系數(shù)的最小二乘估計(jì)的方差最小。 結(jié)論： 回歸系數(shù)的最小二乘估計(jì)是最佳線性無偏估計(jì),最小二乘估計(jì)的概率分布性質(zhì),和 都是服從正態(tài)分布的隨機(jī)變量，其期望為 方差和標(biāo)準(zhǔn)誤差為 結(jié)論：,的無偏估計(jì),為什么要估計(jì) ？ 確定所估計(jì)參數(shù)的方差需要 由于

12、不能直接觀測， 也是未知的 對 的數(shù)值只能通過樣本信息去估計(jì)。 怎樣估計(jì) ？ 可以證明 的無偏估計(jì)為：,擬合優(yōu)度的度量,基本思想：樣本回歸直線是對樣本數(shù)據(jù)的一種擬合，不同估計(jì)方法可擬合出不同的回歸線。樣本回歸擬合優(yōu)度的度量建立在對因變量總離差平方和分解的基礎(chǔ)上 總離差平方和 回歸平方和 殘差平方和 可決系數(shù)定義：,對可決系數(shù)的理解,可決系數(shù)的特點(diǎn),可決系數(shù)是非負(fù)的統(tǒng)計(jì)量； 可決系數(shù)取值范圍： ； 可決系數(shù)是樣本觀測值的函數(shù)，可決系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量； 在一元線性回歸中，可決系數(shù)在數(shù)值上是簡單線性相關(guān)系數(shù)的平方： ，,回歸系數(shù)顯著性的 t 檢驗(yàn),目的： 根據(jù)樣本回歸估計(jì)的結(jié)果對總體回歸函

13、數(shù)回歸 系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)，以檢驗(yàn)總體回歸系數(shù)是 否等于某個(gè)特定的數(shù)值。 思想： 是未知的，而且不一定能獲得大樣本，這時(shí)可用 的無偏估計(jì) 代替 去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差：,回歸系數(shù)顯著性的 t 檢驗(yàn)(續(xù)),用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對估計(jì)的參數(shù)作標(biāo)準(zhǔn)化變 換，所得的 t 統(tǒng)計(jì)量將不再服從正態(tài)分布，而是服 從 t 分布： 可利用 t 分布作有關(guān)的假設(shè)檢驗(yàn)。,回歸系數(shù)顯著性 t 檢驗(yàn)的方法,(1) 提出假設(shè) 一般假設(shè): 常用假設(shè): (2) 計(jì)算統(tǒng)計(jì)量 (3)給定顯著性水平，確定臨界值 (4) 檢驗(yàn)結(jié)果判斷 若 則拒絕原假設(shè)，而接受備擇假設(shè) 若 則接受原假設(shè) , 拒絕備擇假設(shè),回歸系數(shù)顯著性的P值檢驗(yàn)P值

14、的意義,P值的意義: 在既定原假設(shè)下計(jì)算回歸系數(shù)的t統(tǒng)計(jì)量 ，可求得 統(tǒng)計(jì)量大于 的概率 ： 這里的 是 t 統(tǒng)計(jì)量大于 值的概率，是尚不能拒 絕原假設(shè) 的最大顯著水平，稱為所估 計(jì)的回歸系數(shù)的P值。,回歸系數(shù)顯著性的P值檢驗(yàn) 檢驗(yàn)方法,回歸系數(shù)顯著性的P值檢驗(yàn)方法: 將所取顯著性水平與P值對比 所取的顯著性水平 （例如取0.05）若比P 值更大，就可在顯著性水平 下拒絕 所取的 若小于P值，就應(yīng)在顯著性水平 下接受,五、簡單線性回歸模型預(yù)測,對平均值的點(diǎn)預(yù)測值 ： Y的個(gè)別值置信度為1的預(yù)測區(qū)間：,因變量的區(qū)間預(yù)測的特點(diǎn),（1）個(gè)別值的預(yù)測區(qū)間大于平均值的預(yù)測區(qū)間: Y平均值的預(yù)測值與真實(shí)平

15、均值有誤差，主要是受抽樣波動(dòng)影響; Y個(gè)別值的預(yù)測值與真實(shí)個(gè)別值的差異不僅受抽樣波動(dòng)影響，而且還受隨機(jī)擾動(dòng)項(xiàng)的影響 （2）對 預(yù)測區(qū)間隨 變化而變化: 時(shí)， =0，此時(shí)預(yù)測區(qū)間最窄， 越是遠(yuǎn)離 ， 越大，預(yù)測區(qū)間越寬。,因變量的區(qū)間預(yù)測的特點(diǎn)(續(xù)),（3）預(yù)測區(qū)間與樣本容量有關(guān)：樣本容量n越 大， 越大，預(yù)測誤差的方差越小，預(yù) 測區(qū)間也越窄。 （4）當(dāng)樣本容量趨于無窮大（即n）時(shí), 不存在抽樣誤差，平均值預(yù)測誤差趨于0，此時(shí)個(gè)別值的預(yù)測誤差只決定于隨機(jī)擾動(dòng)的方差。,8.3 多元線性相關(guān)與回歸分析,一、多元線性回歸模型及假定 二、多元線性回歸模型的估計(jì) 三、多元線性回歸模型的檢驗(yàn) 四、多元線性回

16、歸模型的預(yù)測 五、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù),一、多元線性回歸模型及假定,多元總體線性回歸函數(shù) 一般形式 條件均值形式,多元線性樣本回歸函數(shù)： 一般形式 條件均值形式,多元線性回歸模型的矩陣表示,多元總體線性回歸模型的矩陣表示 Y=X+U 多元線性樣本回歸函數(shù)的矩陣表示,Y=X,+ e,偏回歸系數(shù)：多元線性回歸模型中，回歸系數(shù)表示當(dāng)控制 其它自變量不變的條件下，第j個(gè)自變量的單位變動(dòng)對因變 量均值的影響，這樣的回歸系數(shù)稱為偏回歸系數(shù)。,二、多元線性回歸模型的估計(jì),多元回歸模型的假定,相同的假定: 零均值、同方差、無自相關(guān)、 隨機(jī)擾動(dòng)項(xiàng)與自變量不相關(guān)、U正態(tài)性 增加的假定：各自變量之間不存在線性關(guān)系

17、。 在此條件下，自變量觀測值矩陣X列滿秩,Rank( X ) = k,方陣,滿秩,Rank(,)= k,意義： 可逆，,存在,多元回歸參數(shù)的最小二乘估計(jì),使殘差平方和 達(dá)到最小，其充分必要條件,正規(guī)方程組,-,多元線性回歸的最小二乘估計(jì)式,正規(guī)方程組可簡記為矩陣形式,存在,參數(shù)向量的最小二乘估計(jì)為,參數(shù)最小二乘估計(jì)的性質(zhì),可以證明：多元線性回歸的最小二乘估計(jì)也是最佳線性無偏估計(jì)。,隨機(jī)誤差項(xiàng)方差的估計(jì),方差 未知，需要利用樣本回歸的殘差平方 和去估計(jì)。,可以證明，,是隨機(jī)擾動(dòng)項(xiàng)方差,的無偏估計(jì),三、多元線性回歸模型的檢驗(yàn),擬合優(yōu)度檢驗(yàn) 多元線性回歸離差平方和的分解式,變差,TSS = RSS

18、+ ESS (總離差平方和) (殘差平方和) (回歸平方和) 自由度 n-1 = n-k + k-1,多重可決系數(shù)：,修正的可決系數(shù),為什么要修正？ 可決系數(shù)是自變量個(gè)數(shù)的不減函數(shù)，比較因變量相同而自變量個(gè)數(shù)不同的兩個(gè)模型的擬合程度時(shí)，不能簡單地對比多重可決系數(shù)。需要用自由度去修正多重可決系數(shù)中的殘差平方和與回歸平方和,相互關(guān)系：,回歸參數(shù)的顯著性檢驗(yàn) t 檢驗(yàn),在多元回歸中可以證明,其中：,是矩陣,第 j 行第 j 列的元素。,因?yàn)?未知，故,也未知。現(xiàn)用,代替 對原假設(shè) 分別作 t 檢驗(yàn),，可構(gòu)造統(tǒng)計(jì)量,：,回歸方程的顯著性檢驗(yàn) F 檢驗(yàn),目的: 檢驗(yàn)多個(gè)變量聯(lián)合對因變量是否有顯著影響 方

19、法: 在方差分析的基礎(chǔ)上利用F檢驗(yàn)進(jìn)行 假定:,不全為零,方 差 分 析 表,F檢驗(yàn)的方法,給定顯著性水平，在F分布表中查出自由度為k-1和n-k 的臨界值,F服從自由度為 k-1 和 n-k 的 F 分布。,F檢驗(yàn)：在,成立的條件下，統(tǒng)計(jì)量,:,若 ，則拒絕 ， 說明回歸方程中所有自變量聯(lián)合起來對因變量有顯著影響,若 ，則接受 ， 說明回歸方程中所有自變量聯(lián)合起來對因變量影響不顯著,四、多元線性回歸模型的預(yù)測,點(diǎn)預(yù)測值 預(yù)測的殘差 可證明 用 代替 則 構(gòu)造 t 統(tǒng)計(jì)量 給定顯著性水平 ,可得臨界值 置信度為 的預(yù)測區(qū)間為,-,五、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù),復(fù)相關(guān)系數(shù)： 度量一個(gè)變量與其他若干

20、個(gè)變量聯(lián)合線性聯(lián)系程度 在數(shù)值上: 多重可決系數(shù)的平方根等于復(fù)相關(guān)系數(shù) 偏相關(guān)系數(shù): 對于相互聯(lián)系的多個(gè)變量，當(dāng)控制其他變量保持不變的條件下，度量其中兩個(gè)變量之間線性相關(guān)程度的指標(biāo)稱為偏相關(guān)系數(shù)。,偏相關(guān)系數(shù)與簡單相關(guān)系數(shù)的內(nèi)在聯(lián)系,可以證明： （以三個(gè)變量為例）,8.4 非線性相關(guān)與回歸分析,一、非線性回歸的函數(shù)形式與估計(jì)方法,二、非線性相關(guān)指數(shù),一、非線性回歸的函數(shù)形式與估計(jì)方法,常用的可以轉(zhuǎn)換為線性的非線性函數(shù)形式 冪函數(shù) 參數(shù)度量了變量Y對變量X的彈性，即X的單位百分比 變動(dòng)引起Y變動(dòng)的百分比 對數(shù)函數(shù) 參數(shù)說明當(dāng)變量X每變動(dòng)一個(gè)百分點(diǎn)，引起因變量Y 絕對量的變動(dòng)量,非線性回歸的函數(shù)形式（續(xù)）,指數(shù)函數(shù) 如 可轉(zhuǎn)換為線性函數(shù) 雙曲函數(shù) 多項(xiàng)式函數(shù) 注意：各種函數(shù)參數(shù)的經(jīng)濟(jì)意義不同 共同特點(diǎn): 雖然對于變量而言都是非線性的，但對 于參數(shù)而言卻是線性的 可以轉(zhuǎn)換為線性回歸去估計(jì)其參數(shù)。,二、非線性相關(guān)指數(shù),非線性相關(guān)指數(shù): 度量非線性相關(guān)程度 非線性相關(guān)指數(shù)就是非線性回歸的可決系數(shù) ， 或者用非線性可決