數據、模型與決策課件：第七章 回歸模型應用：由解釋數據推測響應數據

1、第七章 回歸模型應用：由解釋數據推測響應數據授課目的：討論如果一個變量與另一些變 量回歸，如何由后者推測出前者 要求： 1.簡單回歸模型的應用 2.多元回歸模型的應用 3.掌握啞變量、非線性回歸、變量 轉換以及LOGISTIC回歸分析本章要點簡單回歸的描述及其評價簡單回歸中的統(tǒng)計推斷多元回歸回歸建模中的專門技術本章要點聯系圖回歸模型應用簡單回歸模型&多元回歸模型模型擬合評價檢驗估計 回歸建模中的專門技術本章要討論的是，如果一個變量與另一些變量回歸，如何由后者推測出前者?；貧w分析（regression analysis）研究一個變量如何隨著其他變量的變化而變化。在回歸分析中，被視為主動變化的變量

2、稱為自變量（independent variable），被視為隨自變量變化而變化的變量稱為因變量（dependent variable）。自變量可以是一個，也可以是一個以上，因變量則只能是一個。由于可以用自變量的變化來解釋因變量的變化，又稱其為解釋變量（explanatory variable）。相對于解釋變量，因變量又稱作響應變量（respond variable）。只涉及一個自變量的回歸是簡單回歸，涉及一個以上自變量的回歸是多元回歸。如果變量間關聯呈直線型，是線性回歸（linear regression），否則即是非線性回歸（non-linear regression）。1.簡單線性回歸模

3、型2.擬合的簡單線性回歸方程3.估計標準誤4.判定系數第一節(jié)簡單回歸的描述及其評價簡單線性回歸模型回歸分析的核心是使用一個稱為回歸模型的數學方程來描述因變量與自變量之間的變化關系，再通過控制或給定自變量的數值來估計或預測因變量可能的數值。簡單線性回歸模型簡單線性回歸模型反映一個因變量（Y）與一個自變量（X）之間的線性關系。總體簡單線性回歸模型的一般形式為簡單線性回歸模型公式中 和 是總體回歸模型的參數， 是 X 變量以外其他所有因素對 Y 值的總合影響，稱為隨機誤差，又稱為隨機干擾項。隨機誤差體現了在 X取既定值時 Y的變異。簡單線性回歸模型為了進行回歸關系的統(tǒng)計推斷，隨機誤差 必須符合下述假

4、定前提：隨機變量服從正態(tài)分布同方差性(homoscedasticity)簡單線性回歸模型1. 是隨機變量。即是說對應于某個X 既定值， 的符號和絕對值的大小是隨機的。且它既獨立于X的取值，也獨立于前一項 值。簡單線性回歸模型2. 服從正態(tài)分布，而且影響Y 的隨機因素的作用趨于互相抵銷， 的期望值落在總體回歸線上。在給定 X值后，Y值圍繞 Y的期望值呈正態(tài)分布。簡單線性回歸模型3. 對于任何 值， 有恒定的方差 。即是說，無論X取什么值，Y值圍繞總體回歸線的變異程度相同，這稱為同方差性(homoscedasticity)。簡單線性回歸模型此三項假定條件乃是用下小節(jié)所討論的最小二乘法擬合回歸方程后

5、，進行統(tǒng)計推斷的前提。在現實問題中，當然不一定能夠完全滿足，但只要認為條件比較接近，就可以進行回歸分析。如果這些前提假設明顯地與實際情況不符，則回歸分析的效果就會受較大影響。簡單線性回歸模型如果從總體回歸模式 中排除 ，就得到表示Y值隨X取值而定的正態(tài)分布期望值與X值關系的方程總體回歸方程 稱為Y的條件平均數(conditional mean )，它隨 X取值改變而改變。簡單線性回歸模型綜上所述，對于一個雙變量協(xié)變總體，當自變量X 取特定值 時，因變量取值服從如下正態(tài)分布 Y 式中 為一常數， 時，所有Y值的平均數，具體的線性關系由總體回歸參數 與 確定。擬合的簡單線性回歸方程在研究散點圖時，

6、曾注意到諸坐標點的分布勾劃出Y 對X 的配合出現趨勢。如果變量間存在直線相關，我們一定能夠畫出一條從散點群中通過的直線樣本回歸直線，表示 Y對 X的配合關系。回歸直線數學解析式，稱為樣本擬合回歸方程，簡稱為回歸方程。擬合的簡單線性回歸方程回歸方程寫作式中： 表示自變量的觀察值（observed value）； 表示因變量的擬合值（fitted value）; 表示回歸直線截距(intercept)； 表示回歸直線斜率(slope)。擬合的簡單線性回歸方程在根據散點群去擬合回歸直線時，應該使該直線沿諸觀察值橫、縱坐標配合出現的趨勢走向通過散點群，從而使得X 觀察值在回歸直線上對應點的縱坐標值Y

7、的擬合值，和與 X觀察值配合出現的Y 觀察值之間的誤差最小。擬合的簡單線性回歸方程這里所謂的誤差應該按下述原則理解：它指的不是某一對Y 擬合值和 Y觀察值之間的誤差，而是所有Y 擬合值和 Y觀察值之間的總誤差。鑒于散點分布在回歸直線的上下兩側，為避免正負誤差值相互抵消，上述總誤差采用平方和的形式計量。擬合的簡單線性回歸方程概言之，配合直線回歸方程的條件是：根據已知數據( X,Y )諸對觀察值求得的a 和b 應使得 最小化 即 最小化 擬合的簡單線性回歸方程經過對a 和 b分別進行偏微分求導，知當 a和 b滿足下述聯立方程式時， 與Y總誤差最小：擬合的簡單線性回歸方程此聯立方程式稱為回歸直線擬合

8、的正規(guī)方程（normal equation）。解之，得 或擬合的簡單線性回歸方程有 a和b ，即可寫出方程 。上述配合回歸直線的方法，叫做最小二乘法（the least square method）。例7-1本章繼續(xù)例5-2的討論，首先關注的是如何使用本企業(yè)公告投入推測企業(yè)銷售額。根據表5.6最下一行所載中間數據，來擬合企業(yè)銷售額倚本企業(yè)廣告投入的回歸方程。.例題數據例5-2.xls估計標準誤總體回歸模式中隨機誤差 的方差 ，對于下一步研究區(qū)間估計和假設檢驗都是至關重要的。 盡管是個常數，但它卻是未知的，我們希望用樣本數據估計它。估計標準誤 = 即隨機誤差相當于Y值與其條件平均數的離差。也可以

9、用同樣的形式寫出樣本數據Y觀察值與其回歸直線擬合值的離差 稱為殘值(residual)。它對于計算 的估計值，分析回歸前提假定成立與否，都是重要的統(tǒng)計量。估計標準誤 的均方和可用來估計 ，惟其分母是 n2，而不是 n, 這是因為用樣本數據器去推斷總體回歸關系，即是推斷兩個參數 和 ，失去了兩個自由度。估計標準誤 的均方和的算術平方根為估計標準誤（standard error of estimate），記為 ，它描述用樣本數據擬合回歸直線時，在X取特定值時 Y觀察值對于相應的擬合值的離散程度 = =估計標準誤運用上述公式計算估計標準誤，先要逐一計算殘值 ,不簡便。當希望在得到回歸方程后直接計算

10、時，我們使用恒等變形 =估計標準誤估計標準誤也是衡量回歸方程對觀察值群擬合效果的量數。估計標準誤越小，擬合效果越好，反之則效果越差。不過估計標準誤是一個有量綱的統(tǒng)計量，且是一個沒有固定范圍的絕對數，用來比較方程擬合效果并不方便，下一小節(jié)將介紹一個直接刻畫回歸方程擬合優(yōu)度的統(tǒng)計量判定系數。判定系數數據中一個特定數值對于平均數的偏離，稱為離差（deviation）。一組數據中各數值對于平均數的偏離，稱為變異（variation）。通常用離差平方和來刻畫變異程度。離差平方和有時簡稱為平方和（sum of square）。平方和被相應的自由度去除，得到均方和（mean square）。判定系數看到X取

11、某一特定值時，Y值的離差 可以分解成擬合值對平均數的離差 和Y值對擬合值的離差 兩部分。前者隨X取值的不同呈現線性變化，X取其平均數時，此離差為零；X取值偏離其平均數，此離差遂增大。用公式表示就是判定系數可見這一離差完全是由Y倚X的回歸關系決定的，故謂之可解釋離差（explained deviation）。后者呈隨機變化，不能用Y倚X的回歸關系來解釋，故謂之未解釋離差（unexplained deviation）?？傠x差的分解用公式表示為總離差 可解釋 未解釋離差總離差的分解圖判定系數總離差的平方和，簡稱總平方和，用SST表示，又稱作總變差 (total variation)。已解釋離差的平方

12、和，簡稱回歸平方和，用SSR表示，又稱作已解釋變差(explained variation)。未解釋離差的平方和，簡稱誤差平方和，用SSE表示，又稱作未解釋變差(unexplained variation)。判定系數由總離差的分解公式能推出總變差的分解公式： = +或 = +判定系數將上式兩邊都除以 ，得 + =1這樣我們就把在絕對數意義上對總變差的分割，改換成在相對數意義上對總變差的分割，這對于研究回歸方程的擬合效果很有幫助。樣本判定系數若以總變差為基數，相對數 表示的是回歸關系已經解釋的值變異在其總變差中所占的比率。而相對數 則表示回歸關系不能解釋的 值變異在總變差中所占的比率。樣本判定系

13、數前者正是我們要尋求的測度回歸方程擬合Y 對 X的協(xié)變關系效果的量數，稱為判定數(coefficient of determination)。產生于樣本數據的判定系數是樣本判定系數，用 表示。因此，樣本判定系數的定義公式是 樣本判定系數計算 的簡捷公式如下：=樣本判定系數數理統(tǒng)計可以證明，相關系數的絕對值等于判定系數的平方根。如果從判定系數來求相關系數，在算出判定系數的平方根后，還需為其加上正號或負號。相關系數的符號與回歸方程斜率同號。樣本判定系數相關系數相關系數直接用于相關分析，它只描述變量間關聯關系的密切程度，而不問何為自變量，何為因變量。判定系數判定系數是在回歸分析中描述自變量對因變量變

14、異的解釋功能。相關系數與判定系數的這種聯系，是因為它們在解釋變量間關聯的作用方面有相通之處。但是它們的區(qū)別也是需要注意的樣本判定系數但是它們的區(qū)別也是需要注意的：相關系數直接用于相關分析，它只描述變量間關聯關系的密切程度，而不問何為自變量，何為因變量。判定系數是在回歸分析中描述自變量對因變量變異的解釋功能。總體判定系數和經調整的樣本判定系數在總體回歸分析中，相對于樣本判定系數的是總體判定系數，用 表示。總體判定系數是在總體中關于 Y總變異中總體回歸方程 已經解釋的變異所占比重的描述量數。它用下式表示 =1總體判定系數和經調整的樣本判定系數在 的定義公式中， 是圍繞總體回歸直線的方差， 是圍繞總

15、體平均數的方差。 作為總體參數，通常視為未知的，有待于用樣本統(tǒng)計量去估計。將 和 的無偏估計量分別代入上式，即得到 估計量的公式總體判定系數和經調整的樣本判定系數 稱為經調整樣本判定系數(adjusted coefficient of determination),它用于對總體判定系數進行點估計。1.簡單線性回歸方程的顯著性檢驗2.響應變量的條件平均數和個別值的區(qū)間估計 第二節(jié) 簡單回歸中的統(tǒng)計推斷簡單線性回歸方程的顯著性檢驗檢驗Y和X之間在總體上是否具備顯著的線性回歸關系就是判斷總體斜率是否等于0。如果 =0，則Y 對X的回歸不成立。因此，關于 的假設檢驗將從 =0的零假設出發(fā)。簡單線性回歸

16、方程的顯著性檢驗我們把樣本斜率b 視為一個隨機變量，它的抽樣分布服從一個正態(tài)分布，該分布的期望值就是總體斜率 ，而其方差是簡單線性回歸方程的顯著性檢驗當 未知時，可以用 代替，而 則服從（n 2）個自由度的 分布，b 的抽樣標準誤差S 的計算公式是 = 簡單線性回歸方程的顯著性檢驗根據樣本數據計算的t 檢驗統(tǒng)計量由下式計算 t=擬定假設中 通常設為0值，做雙尾檢驗，以檢驗總體回歸關系是否成立。在某些情況下， 也設為其他數值，做雙尾檢驗或單尾檢驗，以達成特定的檢驗目的。響應變量的條件平均數和個別值的區(qū)間估計以響應變量的點估計值為基礎，可以建立響應變量平均數的置信區(qū)間和個別值的置信區(qū)間。響應變量的

17、條件平均數和個別值的區(qū)間估計X取特定值 時響應變量平均數條件平均數 的置信區(qū)間由下式決定響應變量的條件平均數和個別值的區(qū)間估計X取特定值 時響應變量個別值 的置信區(qū)間由下式決定為方便計算，以上公式所使用的離差平方和 。 1.多元回歸模型和擬合的多元回歸方程2.多元回歸方程的評價3.應用多元回歸方程進行響應變量的估計4.多元回歸方程的單檢驗和總檢驗 第三節(jié) 多元回歸含有兩個以上變量的回歸分析和相關分析稱為多元回歸分析(multiple regression analysis)和多重相關分析(multiple correlation analysis)，又稱作復回歸和復相關分析。多元回歸模型和擬合

18、的多元回歸方程含有k個自變量（ ）總體回歸模式為公式中 和 ， ， ， ，都是總體回歸模型的參數，其中 表示截距，諸 表示諸自變量的斜率， 是諸X 以外其他所有因素對 Y值的總合影響，即隨機誤差。多元回歸模型和擬合的多元回歸方程關于隨機誤差 ，有以下3條假定前提：（1） 為一隨機向量，且對不同的自變量取值對應的 是相互獨立的。（2） 服從正態(tài)分布，期望值為0。（3） 對于任何一組諸自變量取值， 有恒定的方差 。多元回歸模型和擬合的多元回歸方程關于諸自變量則假定它們之間不能高度相關，即不能有共線性?；谏鲜黾俣ㄇ疤?，相應的總體多元回歸方程為 是諸X取特定值時Y的期望值，即條件平均數。多元回歸模型

19、和擬合的多元回歸方程樣本多元線性回歸方程是公式中 a為方程截距 ， ， ， 分別是自變量 ， ， ， 的斜率。 為因變量回歸擬合值。 Y觀察值與擬合值的離差為殘值，有 = -多元回歸模型和擬合的多元回歸方程仍然是用最小二乘法擬合樣本回歸方程，得到如下正規(guī)方程多元回歸模型和擬合的多元回歸方程以上聯立方程組含有( k+1)個方程，右邊共有( k+1)項，每項含有一個待定系數 ， ， ， 。解此方程組，可得諸回歸系數。多元回歸模型和擬合的多元回歸方程我們可以從含有兩個自變量的回歸分析來說明多元回歸的一般特征。此時總體回歸方程為相應的樣本回歸方程為多元回歸模型和擬合的多元回歸方程樣本中含有n 對觀察值

20、，每組數據都含有 、 和 三個變量的觀察值。簡單回歸的散點圖對應于一個二維平面坐標系表示平面坐標系內一直線含有兩個自變量的回歸對應于一1個三維立體坐標系表示立體坐標系內一個平面。這個平面稱擬合平面，它含有與 Y軸的截距 a,沿 軸的斜率 ，和沿 軸的斜率 。多元回歸模型和擬合的多元回歸方程 ， ， 這三個回歸系數通過解正規(guī)方程 得出。回歸平面示意圖圖中擬合平面上的每個圓點都代表由一組 ， 、 觀察值確定的散點，擬合平面內的每個圓點，代表由一組 ， 值與將它們代人回歸方程后所得Y 值共同確定的擬合點。對應圓點間的連線垂直于平面 ，通常不垂直于擬合平面。連線段的長度相當于殘值的絕對值 。觀察值圓點

21、在擬合平面之上方時，其殘值為正，反之則殘值為負。通過最小二乘法擬合的回歸方程平面，確保殘值的平方和最小。截距a ，表示擬合平面與 Y軸交點的Y 坐標值，即 時Y 的擬合值。斜率 ，表示當 保持不變時， 每增加(或減少)一個單位，Y擬合值增加(或減少)的單位數。設有兩組自變量值( = , = )和( = +1, = )。第一個 擬合值是 第二個擬合值是從第一組自變量值推到第二組自變量值的過程中，Y擬合值的增量是同理，對于另一個斜率也可以做出類似的解釋： 表示，當 保持不變時， 每增加（或減少）一個單位， 所增加（或減少）的單位數。鑒于上述道理， ， 這樣的復回歸方程的斜率，更準確的被稱為偏回歸系

22、數（partial regression coefficient）。多元回歸方程的評價估計標準誤復判定系數和復相關系數估計標準誤多元回歸分析中的估計標準誤是關于各組觀察值數據散點離散于回歸（超）平面的描述量數，記為 。它的平方數是總體隨機誤差 的無偏估計量。估計標準誤的定義公式是估計標準誤對于三元回歸，可以使用如下簡算公式復判定系數和復相關系數復判定系數(coefficient of multiple determination)是簡單判定系數定義的直接延伸，它是擬合多元回歸方程之后計量k個自變量所解釋的變差在總變差中的比重，以刻畫回歸方程的擬合效果。復判定系數和復相關系數用 表示復判定系數，

23、以區(qū)別于 表示的簡單判定系數。復判定系數的定義公式為復判定系數和復相關系數經調整判定系數能平抑方程中自變量數目對解釋作用的夸大，在復相關和復回歸中使用的機會多。經調整的多重判定系數的公式是復判定系數和復相關系數由于計算復判定系數是在得到回歸方程后，所以能使用回歸系數及其他中間結果，計算出 和 ，然后得到 。也可以用下述公式計算（未調整）的判定系數復判定系數和復相關系數要由（未調整）判定系數直接計算經調整判定系數，使用公式復判定系數和復相關系數復相關系數由復判定系數開平方所得。由于在多元回歸中，各自變量與因變量的協(xié)變關系可能有正有負，復相關系數作為描述所有變量協(xié)變關系密切程度的量數，只能一律取正

24、值。復判定系數和復相關系數復相關系數也可以用下式算出應用多元回歸方程進行響應變量的估計給定諸自變量的一組特定值，可以對響應變量進行點估計和區(qū)間估計，其原理與簡單回歸分析中的響應變量的估計一致，只是計算較為繁復，通常都是使用SAS，SPSS或Minitab等專業(yè)軟件實現。多元回歸方程的單檢驗和總檢驗與簡單回歸分析一樣，從總體中隨機抽取一個樣本，根據樣本數據擬合多元回歸方程，必須經過顯著性檢驗，才能對總體的回歸關系做出結論。多元回歸方程的單檢驗和總檢驗只是多元回歸分析的顯著性檢驗涉及的問題較簡單回歸復雜。一方面要對每一個解釋變量的顯著性分別進行檢驗，另一方面還要對回歸方程整體的顯著性進行檢驗。前者

25、稱為單檢驗（single test），后者稱為總檢驗（overall test）。多元回歸方程的單檢驗單檢驗：t檢驗單檢驗針對一系列的假設對子進行檢驗 多元回歸方程的單檢驗檢驗統(tǒng)計量仍然是拒絕零假設的條件是 ，或者根據P值決定拒絕還是接受零假設。多元回歸方程的總檢驗總檢驗：F檢驗多元回歸方程的總檢驗的零假設和備擇假設分別是 ： = = =0 ：并非所有的都為零多元回歸方程的總檢驗如果不能拒絕 ，則做出Y與諸X不存在顯著回歸的結論，或者說所擬合樣本復回歸方程在總體上沒有意義。反之，如果拒絕 ，則做出 Y與諸X之間存在顯著回歸的結論，即承認所擬合樣本復回歸方程在總體上有一定的顯著性。多元回歸方程的

26、總檢驗檢驗上述 的統(tǒng)計量是F，計算公式是 = 式中：MSR是回歸均方和，即回歸平方和SSR被其自由度k 所除之商；MSE是誤差均方和，即誤差平方和SSE被其自由度(n-k-1 )所除之商。多元回歸方程的總檢驗SST=SSR十SSE，用另一種形式寫出，即多元回歸方程的總檢驗總平方和的自由度是 ，回歸平方和的自由度是 ，誤差平方和的自由度是 。 。三者關系是 ， 這就是與總平方和分割相對應的總自由度的分割。1.定類變量和定秩變量的引入啞變量的使用2.非線形回歸模型和變量轉換3. LOGISTIC回歸分析 第四節(jié) 回歸建模中的專門技術定類變量和定秩變量的引入啞變量的使用到目前為止我們使用的解釋變量都

27、是量別變量，但有時需要在回歸模型中引入定類變量和定秩變量。它們不能像量別變量那樣直接參與回歸方程的擬合，而需要將它們改換一組稱作啞變量的0-1變量。例7-2對濱河市近郊的一些居民住房進行了抽樣調查，樣本容量15套，取得面積和售價以及環(huán)境、方位等綜合條件的數據.例題數據例7-2.xls非線形回歸模型和變量轉換【例7-3】靈峰機械廠是一家小型企業(yè)，它為電動摩托車加工車軸。車軸上一條槽線需要使用銑床加工。一臺銑床被指定加工軸槽。加工一批，隨后檢驗，凡不符合公差要求的工件一律淘汰。例7-3由于加工作業(yè)對銑刀頭有所磨損，每加工出一批工件，就需要調整銑刀。每批工件數量不等，查出的次品數也不等。工長希望能確

28、定一個最佳批量。這需要知道次品數與工件批量有什么關系。為此從以往生產記錄中隨機抽取了30批作為樣本.例題數據例7-3.xlsLOGISTIC回歸分析以上的回歸模型的因變量都是定標變量，如果是定類變量或定秩變量倚定標變量回歸，則要使用LOGISTIC回歸分析。LOGISTIC回歸分析對于 的等號左邊，是因變量的條件均值。但是現在討論的情況是，因變量值或為1或為0。因此，這個條件均值不再是定標變量意義上的均值，而是1和0之間的一個數值Y=1的概率，即LOGISTIC回歸分析這個概率與自變量是非線性關系。為了使等式左邊與自變量呈線性關系，將之變換為 ，即式中P為 的簡寫。LOGISTIC回歸分析 指

29、一事件將要發(fā)生的概率與該事件將不發(fā)生的概率之比，稱作發(fā)生比或相對風險，用 odds表示。經變換，得到總體LOGISTIC回歸方程的一般形式：LOGISTIC回歸分析用下列樣本LOGISTIC回歸方程的統(tǒng)計量去估計總體參數：回歸系數確定后， 隨之確定，此即發(fā)生比odds 。 LOGISTIC回歸分析當其他變量保持不變而考察某變量 變化1個單位對 odds的影響，可將原發(fā)生比和新發(fā)生比分別記為 和 ，以新發(fā)生比除以原發(fā)生比，得到LOGISTIC回歸分析這個比值稱為機會比率（Odds ratio OR），它測度一組自變量中的一個增加1個單位對發(fā)生比的影響。當其他變量保持不變時， 變化1個單位引起發(fā)生比擴大OR倍。例7-4美國消費者報告（2002.2）對19種品牌的盒