簡單相關與簡單回歸

第九章 簡單相關與簡單回歸 本章主要介紹簡單相關和簡單回歸的基本概念；相關系數(shù)、回歸方程的推導和相應的計算公式；相關系數(shù)和回歸系數(shù)的顯著性檢驗；等級相關；回歸分析的用途和注意事項 第一節(jié) 概念 復習：數(shù)學中的函數(shù)關系 自然界中：現(xiàn)象之間的關系 性狀之間的關系 依變量和因變量之間的關系： 人的身高與年齡的關系 疫病的發(fā)生與消毒的關系 等等 這些關系在取得數(shù)據后可以進行量化、也可以用某一個關系式來表示，這就是 相關 和 回歸 y f x 2 2 12A a b變量之間的關系有以下幾種： 兩個變量的關系： 與 簡單相關（線性關系） 曲線相關（非線性關系） +多項式 多個變量的關系： 多元相關（線性關系） 與 （非線性關系） 典范相關 與 y 2.、12.、 12.、 第二節(jié) 相關關系 一、相關系數(shù)的確定 對某一個樣品，同時測量其兩個指標（或性狀），得到兩個變量，一個記為 x，另一個記為 y 每一樣品就有一對 x和 y，共觀測了 而記錄了 x， y） 將這 x， y）在一個直角坐標系內描點，并觀察這些點的位置、排列和趨向 這些點排列得越整齊，表明這兩個變量的關系越緊密，即這兩個指標的關系越密切 反之，則表示這兩個指標的關系越松散 （A ） 無相關（r = 0 ）0510152025300 5 10 15B ) 正相關（r 0 ）024681012140 5 10 15C ) 負相關（r 0 時， x 增大， y 也增大，即兩變量為正相關 b 2 = 1 = 3 = = = 1 = 3 = 1 = 2 = 3 = 如果輸入一個 x，希望得到一個 y 的估計值： x 如果輸入一個 y，希望得到一個 x 的估計值： y 2 = 1 = 四、回歸系數(shù)與相關系數(shù)的關系 即相關系數(shù)是標準化了的回歸系數(shù) 同理，可得 兩者相乘， 即 即為前面討論過的決定系數(shù) 即相關系數(shù)是兩個方向相反的回歸系數(shù)的幾何平均值 yy y xy x y xx x yx y xx x S S S S s S Pb r r s S S S S S S S y x x yr b b y x x yr b b2 相關系數(shù)是一個純量，沒有單位， 回歸系數(shù)是有單位的： 相關系數(shù)沒有方向， 回歸系數(shù)是有方向的： 為 y 對 x 的回歸， 為 x 對 y 的回歸 相關系數(shù)的分布范圍為： 回歸系數(shù)的分布范圍為： 兩者的關系： 1, 1 , 2y x x yr b by x x yr b b、直線回歸的估計標準誤 （一）總平方和的剖分 的建立，表示了 x 與 y 的關系及其變化規(guī)律 每一個 y 都存在著變異，這一變異的大小可用 y 的離均差平方和 表示 又稱為總平方和，即 y a b x 2 22 2 y y y n 2結合每一個 ， 可分為兩部分： 其中： 2 2222222y y y y y yy y y y y y y yy y y y 0y y y y y 稱為回歸平方和，它是由 x 的變化所引起的 y 的變化 它反映了總變異中由于 x 與 y 的線性關系所引起的 y 的變化部分，可用 U 表示 2 2U y y 稱為離回歸平方和，用 Q 表示，這是建立直線回歸方程的依據： 它是實際觀測值與預測值之間的離差，是 x 對 y 線性關系以外的一切因素對 y 變異的作用 因此， 22 2 y y b S S b S P 222y y y S S b S P S U S S b S S 2 2y y Q U 2Q y y回歸平方和 U 和離回歸平方和 Q 的大小可用來檢驗回歸效果的好壞 U 在總平方和中的比例（就是決定系數(shù) ）越大，說明由 x 預測 y 的準確性就越高 即 即總平方和可以剖分成兩部分：相關平方和 ，和非相關平方和 2 222221yy y x yy y y yU b S P S r S S S S S S S U S S r S S r S S 22 1y y r S S r S S 2二）直線回歸方程的估計標準誤 表示了 x 對 y 線性影響之外的一切因素對 y 變異的作用 因此， Q 越大，方程的預測效果就越差，即觀測值離回歸直線愈遠，因此可以用 Q 來估計直線回歸的標準誤： 2Q y y 2 212 2 2 n n 在上例中： 2 22 6095 3 4 2 7 4 4 47 0 4 3b 220 . 9 5 9 7 0 . 9 2 0 9r 2 22 3151 4 8 7 5 7 0 07 3 1 5 6 0 92 7 9 4 0 5 3 57 x 225354 0 8 . 8 9 2 9700 4 4 4 4 0 8 . 8 9 2 9 3 5 . 1 0 7 1 S U 因此，該例的回歸直線估計標準誤為： 3 5 . 1 0 7 12 . 6 4 9 872 六、直線回歸的假設檢驗 （一）直線回歸關系或回歸系數(shù)的 本 是對總體 的估計 因此，應對 進行檢驗，檢驗該樣本直線回歸來自無直線回歸關系的總體的概率 當這一概率 p，才能認為樣本回歸方程所代表的總體的確存在著直線回歸關系 這就是回歸關系的假設檢驗 設立無效假設 回歸系數(shù) b 的標準誤 y a b x 0 :0H 0 y a b x進行 上例中： 即我們有 99% 的把握認為這一總體回歸是存在的 2d f n2 . 6 4 9 8 7002 . 6 4 9 8 0 . 1 0 0 27000 . 0 1 , 50 . 7 6 4 3 7 . 6 2 8 4 . 0 3 20 . 1 0 0 2 0 p顯然，我們可以看出，對相關系數(shù)的檢驗和對回歸系數(shù)的檢驗兩者是同步的 因此， r 顯著， b 必顯著；反之 b 顯著， r 亦必顯著 由于對 r 的檢驗只需查表即可，比較容易，因此只需對 r 檢驗即完成檢驗工作 相關分析和回歸分析的一般程序是： 首先作相關分析；對相關系數(shù)進行顯著性檢驗；若相關系數(shù)顯著，進行回歸分析 （二）回歸關系的方差分析 可分解成回歸平方和 U 和離回歸平方和 Q 也可分解成回歸自由度 和離回歸自由度 因此，可用方差分析來檢驗線性回歸關系的顯著性 方差分析的公式是： 我們也可以寫出相應的方差分析表 2Qd f n 22 S Sd f d f上例中， 由于對回歸方程的方差分析其 F 值等于對回歸系數(shù)進行 t 的平方 因此，對回歸關系的方差分析等同于對回歸系數(shù)的 對回歸系數(shù)的 等同于對相關系數(shù)的 此在實際操作中，只需對相關系數(shù) r 進行顯著性檢驗就可以了 2 2 27 2 5 3 55 8 . 2 3 5 1 7 . 6 33 5 . 1 0 7 1 7 0 0 （ 三）回歸系數(shù)的置信區(qū)間 遵循 的 此，總體 的95%置信區(qū)間為： 上例中： 同理： 回歸系數(shù)也可以寫成 的形式 上例： 2d f n1 0 . 0 5 bL b t s2 0 . 0 5 bL b t s1 0 . 7 6 4 3 2 . 5 7 1 0 . 1 0 0 2 0 . 5 0 6 7L 2 0 . 7 6 4 3 2 . 5 7 1 0 . 1 0 0 2 1 . 0 2 1 9L 95%0 . 5 0 6 7 , 1 . 0 2 1 9 99%0 . 3 6 0 3 , 1 . 1 6 8 3 . 7 6 4 3 0 . 1 0 0 2 第四節(jié) 直線相關與直線回歸分析的應用和注意點 一、相關分析和回歸分析的應用 1、應用相關系數(shù)和回歸分析能更全面地分析問題 2、進行預測預報 3、進行間接估測 4、校正 5、回歸分析與方差分析相結合進行協(xié)方差分析 二、應用相關系數(shù)和回歸分析的注意事項 1、變量間是否存在相關，必須結合專業(yè)知識和實踐經驗加以判斷 2、兩變量間的相關系數(shù)如不顯著，不等于兩變量間無相關，僅說明線性關系不顯著，因此必要時應尋找其他類型的相關和回歸，如非線性相關 3、相關系數(shù)顯著，且同時存在 時才能將回歸方程用于預測預報 4、估計兩變量間的相關時，必須將其余可能對這一相關產生影響的變量嚴格地控制起來 2 0 r 5、樣本量應盡可能大一些，簡