統(tǒng)計軟件SAS講義 回歸分析

1、一、兩隨機變量的回歸關(guān)系二、直線回歸方程三、直線回歸關(guān)系的顯著性測驗四、置信區(qū)間五、多元線性回歸六、回歸診斷第六章 回歸分析 實踐中，我們常常能建立一個變量與另外一個（或多個）變量之間的函數(shù)關(guān)系，從而用一個（或多個）變量來對這個變量進行預(yù)測回歸分析就是解決這類問題的方法一元線性回歸：最簡單的回歸關(guān)系，即一個變量y在一個變量x上的回歸關(guān)系，稱x為自變量，y為因變量（或應(yīng)變量、依賴變量）一、兩隨機變量的回歸關(guān)系如果兩個變量x，y存在回歸關(guān)系，則有回歸模型：總體：yi + xi + i a 稱為回歸截距 b 稱為回歸系數(shù)i 稱為隨機誤差樣本：yi a + b xi + i回歸方程： a + b x一

2、、兩隨機變量的回歸關(guān)系 如果總體中N 對觀察值都已知，可以利用數(shù)學中求極值的方法解出 和 而使得誤差方差為最小。因為誤差平方和為：數(shù)學原理分別求Q 對 和 的偏導數(shù)，并使之為0： 整理得正規(guī)方程組：一、兩隨機變量的回歸關(guān)系 解正規(guī)方程組：(3)式各項乘 ：(1)式除以 n 得： (2)-(5)式得： 即： 于是： 于是： 直線回歸方程便已求出為：第二節(jié) 直線回歸方程 對此統(tǒng)計假設(shè)有兩種測驗方法： 所以在欲用樣本回歸模型對總體回歸模型進行估計之前，必須確定總體中兩變量之間確實有線性 回歸關(guān)系存在，即測驗 H0: 0 vs HA： 0 只有在此測驗結(jié)果為顯著時，用 a 估計 ，用 b 估計 ，用

3、估計 y 才是有意義的。 方差分析法 t 測驗法第三節(jié) 直線回歸關(guān)系的顯著性測驗 如果在模型 yi + xi +i 中， 0，這就意味著不管 xi為什么值， yi 都不發(fā)生實質(zhì)性變化。換言之，x和 y 之間沒有顯著的回歸關(guān)系。1 方差分析法: 利用下圖說明方差分析法的基本原理。 當自變量為 ，對應(yīng)的 因變量的實測值為 ， 因變量的預(yù)測值為 。 于是 的離均差 可分解為兩個部分： 總的差異 估計誤差 回歸引起的偏離第三節(jié) 直線回歸關(guān)系的顯著性測驗 對整個資料所有點的求和得： 對于一個點有: 兩邊平方得: 證明 右邊的中項為0： 即 即對所有點求和得： 第三節(jié) 直線回歸關(guān)系的顯著性測驗 對整個資料

4、所有點的求和 所以上式得: 誤差平方和 回歸平方和 的總平方和 于是： 的總平方和便分解為兩個部分：第三節(jié) 直線回歸關(guān)系的顯著性測驗 三個平方和的計算公式: 總平方和: 回歸平方和: 誤差平方和: 或第三節(jié) 直線回歸關(guān)系的顯著性測驗變異來源自由度平方和均方值回歸離回歸n-2UQ 總變異n-1SSTF測驗結(jié)論：-。利用方差分析表第三節(jié) 直線回歸關(guān)系的顯著性測驗2、T 測驗法其中回歸標準差: 第三節(jié) 直線回歸關(guān)系的顯著性測驗研究光照強度與凈光合強度的關(guān)系光照強度X凈光合強度Y 一級計算：30070010001500220030004000500060007000140260300380410492

5、580690740830實例：P161計算公式：二級計算：實例：P161計算公式：二級計算：實例：P161回歸系數(shù) b :回歸截距 a: 實例：P161得直線回歸方程：190.955 為回歸截距 0.094868 稱為回歸系數(shù)實例：P161變異來源自由度平方和均方值回歸離回歸84447841081044478413513295.3211.26總變異9455595F測驗結(jié)論：回歸關(guān)系達極顯著，即用回歸方程進行估測凈光合作用強度是合理的。2、方差檢驗實例：P1612、t 檢驗結(jié)論：回歸關(guān)系極顯著，用 來進行預(yù)測是合理的。實例：t 檢驗第四節(jié) 預(yù)測值的置信區(qū)間因此由x預(yù)測y時，y 的變化范圍為：由x

6、預(yù)測y時，y有一定的誤差，其標準誤差為：實例： 由X預(yù)測Y的預(yù)測區(qū)間第一步：當x=2500時， 的點估計： 第二步：求Y的標準誤差：實例： 由X預(yù)測Y的預(yù)測區(qū)間第三步：求y的變化范圍：回歸標準差：第四步：結(jié)論有95的把握預(yù)測當樹冠的光照強度為2500時，凈光合作用的強度在338.95到517.30之間。實例： 由X預(yù)測Y的預(yù)測區(qū)間第五節(jié) 多元回歸分析一、多元回歸分析概述 上面討論的只是兩個變量的回歸問題，其中因變量只與一個自變量相關(guān)。但在大多數(shù)的實際問題中，影響因變量的因素不是一個而是多個，我們稱這類多自變量的回歸問題為多元回歸分析。 這里著重討論簡單而又最一般的線性回歸問題，這是因為許多非線

7、性的情形可以化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全相同，但在計算上卻要復(fù)雜得多。一、多元回歸分析概述多元線性回歸模型多元線性回歸方程第五節(jié) 多元回歸分析根據(jù)最小二乘法原理， 的估計值 應(yīng)該使 二、參數(shù)估計方法最小二乘準則由求極值的必要條件得第五節(jié) 多元回歸分析寫成矩陣形式： Y=XB二、參數(shù)估計方法最小二乘準則求解得：第五節(jié) 多元回歸分析1、回歸方程的假設(shè)檢驗三、假設(shè)檢驗原假設(shè) H0 ：12 m0統(tǒng)計量為F：回歸平方和： 自由度：m誤差平方和： 自由度：n-m-1第五節(jié) 多元回歸分析2、回歸系數(shù)的假設(shè)檢驗統(tǒng)計量為t：其中： 自由度：n-m-1 C(i+1)(i+1)為矩

8、陣(XX)-1的(i+1)(i+1)元素第五節(jié) 多元回歸分析如果回歸模型F檢驗達到顯著，則i 不全為0原假設(shè) H0 ：i01）t檢驗2、回歸系數(shù)的假設(shè)檢驗統(tǒng)計量為：其中：Ui 為xi對y的回歸平方和，Q 為誤差平方和C(i+1)(i+1)為矩陣(XX)-1的(i+1)(i+1)元素自由度：df11 df2=n-m-1第五節(jié) 多元回歸分析原假設(shè) H0 ：i02）F檢驗四、回歸方程的選擇 由于自變量較多時，不是每一個自變量的回歸關(guān)系都顯著，對回歸不顯著的自變量不能簡單的進行剔除。 尤其時自變量之間存在嚴重的線性關(guān)系時，自變量之間相互影響，很難對自變量的去留做出抉擇。 為了獲得最優(yōu)回歸方程，就需要對自變量進行篩選。第五節(jié) 多元回歸分析常用的自變量的篩選方法第五節(jié) 多元回歸分析1、向前引入法（Forward） 按顯著程度，逐個將自變量引入回歸方程，直到?jīng)]有顯著的自變量引入為止。2、向后剔除法（Backward） 對全回歸方程中最不顯著的自變量，依次剔除，直到剩余自變量都顯著為止。3、逐步篩選法（Stepwise） 逐個引入最顯著的自變量，同時對方程中不顯著的自變量進行剔除，直到?jīng)]有引入和剔除為止。第六節(jié) 回歸診斷1、殘差分析2、貢獻分析3、共線性診斷第七節(jié) 注意事項1、回歸分析要具有實踐意義。2、回歸關(guān)系不顯著