多元線性回歸模型及其參數(shù)估計(jì)多元線性回歸的顯著性.ppt

1、2.1 多元線性回歸模型及其參數(shù)估計(jì) 2.2 多元線性回歸的顯著性檢驗(yàn) 2.3 利用多元線性回歸方程進(jìn)行預(yù)測 2.4 解釋變量的選擇 2.5 多重共線性 2.6 預(yù)測實(shí)例,第二章 多重回歸分析法,2.1 多元線性回歸模型及其參數(shù)估計(jì),一、線性回歸模型的一般形式,如果因變量（被解釋變量）與各自變量（解釋變量）之間有線性相關(guān)關(guān)系，那么它們之間的線性總體回歸模型可以表示為,對每一組觀測值,非隨機(jī)表達(dá)式,可見，多元回歸分析是以多個(gè)解釋變量的固定值為條件的回歸分析，表示各解釋變量X值固定時(shí)Y的平均響應(yīng),也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下， 每變化1個(gè)單位時(shí)，引起的因變量的平均變動(dòng)量。

2、或者說 給出 單位變化對Y均值的“直接”或“凈”（不含其他變量）影響,寫成矩陣形式為,其中,實(shí)際上，在多元線性回歸分析中，比一元線性回歸分析增加了一個(gè)假設(shè)條件，即自變量之間不存在線性關(guān)系,二、多元回歸模型的基本假定,1,2,等方差性,3,無序列相關(guān),4,5）進(jìn)一步假定,6,各自變量之間不存在顯著相關(guān)關(guān)系,即,其中,是,階單位方陣,預(yù)測模型,是觀測值與預(yù)測值（回歸值）之間的離差,用最小二乘法估計(jì)回歸參數(shù),考慮,使,分別求,關(guān)于,的偏導(dǎo)數(shù),并令其為零,三、參數(shù)估計(jì)方法最小二乘估計(jì),整理得正規(guī)方程組,其矩陣形式為,解得,所以多元線性回歸方程的矩陣形式為,一元回歸的參數(shù)估計(jì)是多元回歸參數(shù)估計(jì)的特例,根

3、據(jù),四、最小二乘估計(jì)量（OLSE)的統(tǒng)計(jì)性質(zhì),其中， 是 主對角線上的元素,可以證明， 具有最小方差的特性。（證明略,與一元線性回歸相比,元線性回歸的參數(shù)估計(jì)量也,有類似的性質(zhì).例如,都是,的線性組合,分別是,的無偏估計(jì),等.且,和一元線性回歸類似有平方和分解,五、隨機(jī)誤差項(xiàng)的方差的估計(jì)量,從而,的無偏估計(jì)為,它的算術(shù)方根稱為估計(jì)標(biāo)準(zhǔn)誤差，記為,此時(shí)，估計(jì)量的標(biāo)準(zhǔn)差可表示為,是 主對角線上的元素（j=0,1,k,六、回歸系數(shù)的置信區(qū)間,由于 ；,故可得的置信度為 的置信區(qū)間為,統(tǒng)計(jì)軟件自動(dòng)給出各回歸系數(shù)的上下限,七、例2.1 已知某地區(qū)的相關(guān)數(shù)據(jù)如右表所示，試求該回歸方程。 解：使用Eview

4、s實(shí)現(xiàn)回歸，得到的方程為 這說明，該地區(qū)收入每增加1萬元，消費(fèi)增加0.497萬元，人口每增加1萬人消費(fèi)增加0.665萬元,2.2 多元線性回歸的顯著性檢驗(yàn),一、經(jīng)濟(jì)檢驗(yàn) 二、擬合優(yōu)度檢驗(yàn) 三、回歸方程的顯著性檢驗(yàn) 四、回歸系數(shù)的顯著性檢驗(yàn) 五、序列相關(guān)檢驗(yàn),一、經(jīng)濟(jì)檢驗(yàn)（邏輯檢驗(yàn),1. 檢驗(yàn)內(nèi)容：參數(shù)估計(jì)值的符號和大小是否與經(jīng)濟(jì)理論和經(jīng)濟(jì)實(shí)際相符合,2. 回歸系數(shù)的估計(jì)值與實(shí)際相反的原因,1）某些變量的取值范圍太窄,2）模型中遺漏了某些重要因素,3）模型中自變量之間有較強(qiáng)的線性關(guān)系,二、擬合優(yōu)度檢驗(yàn),1.判定系數(shù) 與修正判定系數(shù),判定系數(shù)的大小還取決于包含在模型中的自變量的個(gè)數(shù),在樣本容量一定

5、得情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響。記為調(diào)整的可決系數(shù),其中n-k-1為殘差平方和的自由度，n-1為總離差平方和的自由度。顯然，如果增加的解釋變量沒有解釋能力，則對殘差平方和的減少?zèng)]有多大幫助，卻增加待估參數(shù)的個(gè)數(shù)，從而使 有較大幅度的下降,2.修正判定系數(shù) 的計(jì)算,注,1）如果k=0，則,2）如果k0，則,3） 有可能為負(fù)值,三、回歸方程的顯著性檢驗(yàn),檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和所有自變量的線性關(guān)系,2. 建立原假設(shè)和備擇假設(shè),3. 構(gòu)造統(tǒng)計(jì)量,4. 在顯著性水平 條件下的臨界值,5. 判斷：如果

6、采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著,F檢驗(yàn)通不過的可能原因,1）選擇自變量時(shí)漏掉了某些有重要影響 的因素,2）自變量與因變量的關(guān)系是非線性的,四、回歸系數(shù)的顯著性檢驗(yàn),檢驗(yàn)內(nèi)容：檢驗(yàn)因變量和每個(gè)自變量的線性關(guān)系,2. 建立原假設(shè)和備擇假設(shè),3. 構(gòu)造統(tǒng)計(jì)量,4.在顯著性水平 條件下的臨界值,5.判斷：如果采用樣本數(shù)據(jù)計(jì)算的結(jié)果 ， 則拒絕原假設(shè)，認(rèn)為因變量和該自變量之間的線性關(guān)系顯著,t檢驗(yàn)通不過的可能原因,1）選擇的自變量對因變量事實(shí)上并無顯著影響,2）選擇的自變量具有多重共線性,五、序列相關(guān)檢驗(yàn)（DW檢驗(yàn),檢驗(yàn)內(nèi)容：檢驗(yàn)隨機(jī)誤差項(xiàng)的無序列相關(guān)假

7、設(shè) 是否成立,2. 方法：與一元回歸相同,六、多元回歸的顯著性檢驗(yàn)小結(jié) 擬合優(yōu)度的檢驗(yàn)需要采用修正判定系數(shù)； 回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)不再一致，需要分別進(jìn)行； 序列相關(guān)檢驗(yàn)與一元回回歸是一致的,七、續(xù)例2.2，給定顯著性水平 ，進(jìn)行檢驗(yàn) 解：根據(jù)運(yùn)行結(jié)果 （1） 方程的擬合優(yōu)度較高； （2） 方程通過顯著性檢驗(yàn)； （4）回歸系數(shù)的顯著性檢驗(yàn) ，均大于臨界值3.201，所以回歸系數(shù)均顯著。 （3） 在2附近，不存在序列相關(guān),2.3 利用多元線性回歸方程進(jìn)行預(yù)測,一、點(diǎn)預(yù)測 當(dāng)給定自變量的某一特定值為 對因變量進(jìn)行點(diǎn)估計(jì)為 用矩陣表示為 。 二、區(qū)間預(yù)測 給定置信水平 ，置信區(qū)間

8、為 其中， 是自由度為年n-k-1的t分布臨界值,2.4 解釋變量的選擇,一、因素分析,因素分析是一種定性分析。它是預(yù)測時(shí)選擇自變量的第一步。憑借對預(yù)測對象的熟悉、了解，分析找到影響預(yù)測對象的所有因素，從中選擇,二、簡單相關(guān)分析,分別計(jì)算預(yù)測對象與各影響因素的簡單相關(guān)系數(shù)，選擇那些與預(yù)測對象相關(guān)程度高者作為自變量,三、逐個(gè)剔除法（后退法,首先將與預(yù)測對象有關(guān)的全部因素引入方程，建立模型，然后依據(jù)每個(gè)回歸系數(shù)的t值大小，逐個(gè)剔除那些不顯著的變量，直到模型中包含的變量都是影響預(yù)測對象的顯著因素為止,1）當(dāng)不顯著的變量較多時(shí)，不能同時(shí)剔除，要從最小的那個(gè)系數(shù)所對應(yīng)的變量開始逐一刪除,注意,2）刪除一

9、個(gè)變量后腰觀察其他統(tǒng)計(jì)量的變化，如果有所改善，認(rèn)為剔除是適宜的；否則應(yīng)保留在模型中,四、前進(jìn)法,1、基本思想：由少到多，每次增加一個(gè)自變量，直至沒有可引入的變量為止,2. 具體做法,1）對于全部k個(gè)自變量，分別對因變量Y建立k個(gè)一元線性回歸方程，并分別計(jì)算這k個(gè)一元回歸方程回歸系數(shù)的t值，選擇最顯著的一個(gè)引入,2）因變量Y分別與 ，建立k-1個(gè)二元線性回歸方程，對這k-1個(gè)回歸方程中的回歸系數(shù) 進(jìn)行t檢驗(yàn)，選擇最顯著的一個(gè)引入,3）依上述方法接著做下去。直至所有未被引入方程的自變量t檢驗(yàn)通過不了時(shí)，得到的回歸方程就是最終確定的方程,五、 逐步回歸法,基本思想：有進(jìn)有出,2.具體做法,將變量一個(gè)

10、一個(gè)引入，引入變量的條件是其t統(tǒng)計(jì)量經(jīng)檢驗(yàn)是顯著的。即每引入一個(gè)自變量后，對已經(jīng)被選入的變量要進(jìn)行逐個(gè)檢驗(yàn)，當(dāng)原引入的變量由于后面變量的引入而變得不再顯著時(shí)，要將其剔除,這個(gè)過程反復(fù)進(jìn)行，直到既無顯著的自變量選入，也無不顯著自變量從回歸方程中剔除為止。這樣就保證了最后所得的回歸子集是“最優(yōu)”回歸子集,盡管數(shù)學(xué)方法對變量的正確選擇可能有一些幫助，但在處理具體問題時(shí)，變量的正確選擇在根本上還是要依賴于所研究問題本身的專業(yè)知識和實(shí)踐經(jīng)驗(yàn),當(dāng)應(yīng)用某種準(zhǔn)則和方法選出的“最優(yōu)”變量組明顯地與實(shí)際問題本身的專業(yè)理論不一致時(shí)，需要首先重新考慮我們的統(tǒng)計(jì)結(jié)論,不能把自變量選擇方法看成僵死的“教條”機(jī)械搬用,2.

11、5 多重共線性,多重共線性即自變量之間的線性約束，是由兩個(gè)或更多個(gè)自變量具有高度線性相關(guān)而致,如在居民家庭的消費(fèi)支出回歸分析中，選擇家庭收入、家庭儲(chǔ)蓄及家庭人口，這三個(gè)自變量之間也表現(xiàn)為較高度的相關(guān),一、多重共線性出現(xiàn)的原因,1）各經(jīng)濟(jì)變量之間存在內(nèi)在聯(lián)系,如生產(chǎn)函數(shù)表示為,Q表示產(chǎn)值，K是資金，L是勞動(dòng),一般來說大企業(yè)有雄厚的資金和充足的勞動(dòng)力，而小企業(yè)的資金和勞動(dòng)力都較小。這說明資金和勞動(dòng)力之間有內(nèi)在的聯(lián)系。因而存在多重共線性,2）各經(jīng)濟(jì)變量在時(shí)間上有共同增長的趨勢,經(jīng)濟(jì)、人民群眾收入、消費(fèi)支出、儲(chǔ)蓄,3）在建模時(shí)引入了一些解釋變量的滯后值作為新的解釋變量,如，在研究消費(fèi)函數(shù)時(shí)，不僅把現(xiàn)期

12、收入而且把上期的收入都作為解釋變量，這就明顯地出現(xiàn)多重共線性,二、多重共線性的基本性質(zhì),1、改變回歸系數(shù),以兩個(gè)自變量完全相關(guān)為例,如果 ， 則,即,最小二乘法，回歸系數(shù),當(dāng) 和 完全相關(guān)時(shí)，顯然，,不存在，回歸系數(shù)也不存在,不存在，回歸系數(shù)也不存在,當(dāng) 和 不是完全相關(guān)，而是高度相關(guān)時(shí),接近于零。這時(shí),B表現(xiàn)出不確定性,多重共線性的存在，改變了回歸系數(shù)b，并因此使其標(biāo)準(zhǔn)差增大，以致使該參數(shù)的t檢驗(yàn)通不過,有興趣參閱p57 2-D,當(dāng)多重共線性存在時(shí)，任何一個(gè)自變量的回歸系數(shù)，依賴于包括在模型中的其他自變量。所以，回歸系數(shù)并不反映方程中任何一具體自變量對因變量的影響,2、不降低模型的擬合能力,

13、回歸方程的F檢驗(yàn)和擬合優(yōu)度R2，在某種意義上都反映變量Y與諸X之間的線性回歸關(guān)系，或者說反映回歸模型對因變量實(shí)際觀測值的擬合能力,多重共線性的存在不妨礙這種擬合能力,3、對回歸平方和的影響,存在多重共線性時(shí)，一個(gè)自變量引起總離差的減少必須看作是與包括在同一方程中的其他自變量相關(guān)連,因此，沒有一個(gè)唯一的平方和能屬于某一自變量作為反映Y總離差的減少,同一回歸方程中，二個(gè)自變量不相關(guān)時(shí)，一個(gè)自變量在降低剩余平方和中的邊際作用和它單獨(dú)在該方程中的作用完全相等,三、多重共線性的識別和消除,預(yù)測時(shí)，遇到下列情況往往表明有多重共線性的存在,1、回歸模型的F檢驗(yàn)通過，而有的回歸系數(shù)的t檢驗(yàn)未通過,2、模型中增加或刪除一個(gè)自變量，回歸系數(shù)的估計(jì)值有較大的變化,3、回