第9章 SPSS 20.0回歸分析.ppt

1、第九章 回歸分析,回歸分析概述 線性回歸分析 曲線估計 二項Logistic回歸 案例分析,9.1 回歸分析概述 回歸分析是一種應(yīng)用極為廣泛的數(shù)量分析方法。它用于分析事物之間的統(tǒng)計關(guān)系，側(cè)重考察變量之間的數(shù)量變化規(guī)律，并通過回歸方程的形式描述和反映這種關(guān)系，幫助人們準(zhǔn)確把握變量受其他一個或多個變量影響程度，進(jìn)而為預(yù)測提供科學(xué)依據(jù)。,9.1.1 回歸線和回歸模型 利用樣本數(shù)據(jù)獲得回歸線通常可采用兩類方法：第一，局部平均；第二，函數(shù)擬合。,9.1.2 回歸分析的一般步驟 1確定回歸方程中的解釋變量和被解釋變量 2確定回歸模型 3建立回歸方程 4對回歸方程進(jìn)行各種檢驗 5利用回歸方程進(jìn)行預(yù)測,9.2

2、 線性回歸分析,觀察被解釋變量和一個多個解釋變量的散點圖，當(dāng)發(fā)現(xiàn)與的線性回歸模型。在線性回歸分析中，根據(jù)模型中解釋變量的個數(shù)，可將線性回歸模型分成一元線性回歸模型和多元線性回歸模型，相應(yīng)的分析稱為一元線性回歸分析和多元線性回歸分析。,9.2.1一元線性回歸模型 一元線性回歸模型是指只有一個解釋變量的線性回歸模型，用于揭示被解釋變量與另一個解釋變量之間的線性關(guān)系。現(xiàn)實社會經(jīng)濟(jì)現(xiàn)象中，某一事物（被解釋變量）總會收到多方面因素（多個解釋變量）的影響。一元線性回歸分析是在不考慮其他影響因素或在是比較理想化的分析。一元線性回歸數(shù)學(xué)模型是,9.2.2多元線性回歸模型 多元線性回歸模型是指有多個解釋變量的線

3、性回歸模型，用于揭示被解釋變量與其他多個解釋變量之間的線性關(guān)系。多元線性回歸的數(shù)學(xué)模型是,9.2.3 回歸參數(shù)的普通最小二乘估計 線性回歸方程確定后的任務(wù)是利用已經(jīng)收集到的樣本數(shù)據(jù)，根據(jù)一定的統(tǒng)計擬合準(zhǔn)則，對方程中的各個參數(shù)進(jìn)行估計。普通最小二乘就是一種最為常見的統(tǒng)計擬合準(zhǔn)則，在該準(zhǔn)則下得到的回歸參數(shù)的估計稱為普通最小二乘估計。,9.2.4 回歸方程的統(tǒng)計檢驗 通過樣本數(shù)據(jù)建立回歸方程后一半不能立即用于對實際問題的分析和預(yù)測，通常要進(jìn)行各種統(tǒng)計檢驗，主要包括回歸方程的擬合優(yōu)度檢驗、回歸方程的顯著性檢驗、回歸系數(shù)的顯著性檢驗、殘差分析等。,9.2.4.1 回歸方程的擬合優(yōu)度檢驗 對于一元線性回歸

4、方程 一元線性回歸方程的擬合優(yōu)度檢驗采用 統(tǒng)計量。該統(tǒng)計量稱為判定系數(shù)或決定系數(shù)，數(shù)學(xué)定義為:,對于多元線性回歸方程 多元線性回歸方程的擬合優(yōu)度檢驗采用 統(tǒng)計量。該統(tǒng)計量稱為調(diào)整的判定系數(shù)或調(diào)整的決定系數(shù)，數(shù)學(xué)定義為,9.2.4.2 回歸方程的顯著性檢驗 對于一元線性回歸方程檢驗采用統(tǒng)計量，其數(shù)學(xué)定義為,對于多元線性回歸方程 檢驗采用統(tǒng)計量，其數(shù)學(xué)定義為,9.2.4.3 回歸系數(shù)的顯著性檢驗 回歸系數(shù)的顯著性檢驗的主要目的是研究回歸方程中的每個解釋變量與被解釋變量之間是否存在顯著性的線性關(guān)系，也就是研究解釋變量能否有效地解釋被解釋變量的線性變化，它們能否保留在線性回歸方程中。 回歸系數(shù)顯著性檢

5、驗是圍繞回歸系數(shù)（或偏回歸系數(shù)）估計值得抽樣分布展開的，由此構(gòu)造服從某種理論分布的檢驗統(tǒng)計量，并進(jìn)行檢驗。,對于一元線性回歸方程 一元線性回歸方程的回歸系數(shù)顯著性檢驗的零假設(shè)是 ，即回歸系數(shù)與零無顯著差異。它意味著，當(dāng)回歸系數(shù)為0時，無論取值如何變化都不會引起的線性變化，無法解釋的線性變化，它們之間不存在線性關(guān)系。,對于多元線性回歸方程 多元線性回歸方程顯著性檢驗的零假設(shè)是 ： ，即第個偏回歸系數(shù)與零無顯著差異。它意味著當(dāng)偏回歸系數(shù)為 =0時，無論取值如何變化都不會引起的線性變化，所有無法解釋的線性變化，它們不存在線性關(guān)系。,9.2.4.4 殘差分析 所謂的殘差是指由回歸方程計算所得的預(yù)測值與

6、實際樣本值之間的差距，定義為 1.殘差均值為0的正態(tài)分布分析 當(dāng)前面的討論中知道，當(dāng)解釋變量取某個特定的值時，對應(yīng)的殘差必然有正有負(fù)，但總體上應(yīng)服從以0為均值的正態(tài)分布?？梢酝ㄟ^繪制殘差圖對該問題進(jìn)行分析。殘差圖也是一直散點圖。圖中一般橫坐標(biāo)是解釋變量（也可以是被解釋變量的預(yù)測值），縱坐標(biāo)為殘差。,2.殘差的獨立性分析 殘差獨立性分析可以通過以下三種方式實現(xiàn)： 一、繪制殘差序列的序列圖 二、計算殘差的自相關(guān)系數(shù) 三、DurbinWatson 檢驗,3.異方差分析 一、繪制殘差圖 可以通過繪制殘差圖分析是否存在異方差。 二、等級相關(guān)分析 得到殘差序列后首先對其取絕對值，然后分別計算出殘差和解釋變

7、量的 秩，最后計算Spearman 等級相關(guān)系數(shù)，并進(jìn)行等級相關(guān)分析。,9.2.5 多元回歸分析中的其他問題 在多元回歸分析中，由于解釋變量會受眾多因素的共同影響，需要由多個解釋變量解釋的，于是會出現(xiàn)諸如此類的問題：多個變量是否都能夠進(jìn)入線性回歸模型，解釋變量應(yīng)以怎樣的策略和順序進(jìn)行方程，方程中多個解釋變量之間是否存在多重共線性等。,9.2.5.1 變量篩選問題 在多元線性回歸分析中，模型中應(yīng)引入多少解釋變量是需要重點研究的。如果引入的變量較少，回歸方程將無法很好地解釋說明被解釋變量的變化。但是也并非引入的變量越多越好，因為這些變量之間可能存在多重共線性。因此有必要采取一些策略對變量引入回歸方

8、程加以控制和篩選。多元回歸分析中，變量的篩選一般有向前篩選、向后篩選、逐步篩選三種基本策略。,向前篩選（Forward）處理 向后篩選（Backward）處理 逐步篩選（Stepwise）策略,9.2.5.2 變量的多重共線性問題 所謂多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。解釋變量間高度的多重共線性會給回歸方程帶來許多影響。如偏回歸系數(shù)估計困難，偏回歸系數(shù)的估計方差隨解釋變量相關(guān)性的增大而增大，偏回歸系數(shù)的置信區(qū)間增大，偏回歸系數(shù)估計值的不穩(wěn)定性增強(qiáng)，偏回歸系數(shù)假設(shè)檢驗的結(jié)果不顯著等。測度解釋變量間多重共線性一般有以下方式：,容忍度 方差膨脹因子（VIF） 特征根和方差比 條件指數(shù)

9、,9.4曲線估計,9.4.1 曲線估計概述 變量間相關(guān)關(guān)系的分析中，變量之間的關(guān)系并不總表現(xiàn)出線性關(guān)系，非線性關(guān)系也是極為常見的，可通過繪制散點圖的方式粗略考察這種非線性關(guān)系。對于非線性關(guān)系通常無法直接通過線性回歸來分析，無法直接建立線性模型，但可通過變量變換化為線性關(guān)系，并可最終進(jìn)行線性回歸分析建立線性模型,9.5 二項Logistic回歸,二次曲線(Quadratic) 復(fù)合曲線(Compound) 增長曲線(Growth) 對數(shù)曲線(Logarithmic) 三次曲線(Cubic) S曲線,指數(shù)曲線(Exponential) 逆函數(shù)(Inverse) 冪函數(shù)(Power) 邏輯函數(shù)(Lo

10、gistic),9.5.1 二項Logistic回歸概述 9.5.1.1 二項Logistic回歸應(yīng)用背景 作為標(biāo)準(zhǔn)的統(tǒng)計分析工具，多元回歸分析在諸多行業(yè)和領(lǐng)域的數(shù)據(jù)分析應(yīng)用中發(fā)揮著極為重要的作用。盡管如此，在運用多元回歸分析方法時仍不應(yīng)忽略方法應(yīng)用的前提假設(shè)條件。違背了某些關(guān)鍵假設(shè)，得到的分析結(jié)論很可能是不合理和不可信的。,9.5.1.2 二項Logistic回歸模型 當(dāng)被解釋變量為0/1二值變量時，雖然無法直接采用一般線性多元回歸模型建模，但仍然可以充分利用其模型建立的理論和思路，得到以下啟示： 第一，可以證明，當(dāng)被解釋變量為0/1二值變量時，如果仍采用簡單線性回歸模型，即，則被解釋變量的

11、均值是解釋變量為時=1的概率值。由此給出的啟示是，可以利用一般的線性多元回歸模型對被解釋變量取值為1的概率P進(jìn)行建模，此時模型被解釋變量的取值范圍是01之間，即,第二，由于概率P的取值范圍是01之間，而一般線性回歸模型被解釋變量取值于的要求給出的啟示是，可以對概率P作合理轉(zhuǎn)換處理，其取值范圍與一般線性回歸吻合。 第三，采用一般線性模型建立關(guān)于被解釋變量取值為1時的概率的回歸模型時，模型中解釋變量與概率值之間的關(guān)系是線性的。但實際應(yīng)用中，這個概率與解釋變量之間往往是一種非線性關(guān)系。由此，對概率P的轉(zhuǎn)換處理應(yīng)采用非線性轉(zhuǎn)化。,9.5.1.3 二項Logistic回歸方程回歸系數(shù)的含義 由于Logi

12、stic回歸模型的殘差不再服從正態(tài)分布，而是二值離散型分布，于是采用極大似然估計法對模型的參數(shù)進(jìn)行估計。在各種統(tǒng)計檢驗通過以后，需要對模型參數(shù)的含義給予合理的解釋。,9.5.1.4 二項Logistic回歸方程的檢驗 為進(jìn)行Logistic回歸方程的檢驗應(yīng)需要首先了解回歸方程參數(shù)估計的原則和方法。Logistic回歸方程的參數(shù)求解采用極大似然估計法。極大似然估計是一種在總體分布密度函數(shù)和樣本信息的基礎(chǔ)上，求解模型中未知參數(shù)估計值的方法。它基于總體的分布密度函數(shù)構(gòu)造一個包含未知參數(shù)的似然函數(shù)，并求解在似然函數(shù)值最大下的未知參數(shù)的估計值。,1. 回歸方程的顯著性檢驗 2. 回歸系數(shù)的顯著性檢驗 3. 回歸方程的擬合優(yōu)度檢驗（1） 統(tǒng)計量 （2）統(tǒng)計量 （3） 錯判矩陣,9.5.1.5 二項Logistic回歸分析中的虛擬變量 通?；貧w分析中，作為解釋變量的變量都是定距型變量，他們對被解釋變量有線性解釋作用。實際應(yīng)用中，被解釋變量的變化不僅受到定距型變量的影響，也會為非定距的品質(zhì)變量的影響。品質(zhì)型數(shù)據(jù)通常不能像定距變量那樣直接作為解釋變量進(jìn)入回歸方程。,9.6 案例分析一,線性回歸數(shù)據(jù)來自于國泰安數(shù)據(jù)服務(wù)中心的經(jīng)濟(jì)研究數(shù)據(jù)庫。網(wǎng)址：,9.6.1 數(shù)據(jù)預(yù)處理 9.6.2 回歸分析,9.7 案例分析二,1、一企業(yè)排水的COD及BOD5的數(shù)據(jù)見d