多元線性回歸模型及假定

MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\h第三章多元線性回歸模型基本規(guī)定：1、理解多元線性回歸模型的定義2、理解多元線性回歸模型的假定3、掌握參數(shù)估計(jì)的計(jì)算4、理解參數(shù)記錄性質(zhì)第一節(jié)多元線性回歸模型及假定一、多元線性回歸模型許多經(jīng)濟(jì)現(xiàn)象往往要受多種原因的影響，研究被解釋變量受多種解釋變量的影響，就要運(yùn)用多元回歸模型。多元線性回歸模型與一元線性回歸模型基本類似，只不過解釋變量由一種增長到兩個(gè)以上，被解釋變量與多種解釋變量之間存在線性關(guān)系。假定被解釋變量與多種解釋變量之間具有線性關(guān)系，是解釋變量的多元線性函數(shù)，稱為多元線性回歸模型。即(3-1)其中為被解釋變量，為個(gè)解釋變量，為個(gè)未知參數(shù)，為隨機(jī)誤差項(xiàng)。被解釋變量的期望值與解釋變量的線性方程為：(3-2)稱為多元總體線性回歸方程，簡稱總體回歸方程。對(duì)于組觀測(cè)值，其方程組形式為：(3-3)即其矩陣形式為=+即(3-4)其中為被解釋變量的觀測(cè)值向量；為解釋變量的觀測(cè)值矩陣；為總體回歸參數(shù)向量；為隨機(jī)誤差項(xiàng)向量?？傮w回歸方程表達(dá)為：(3-5)與一元線性回歸分析同樣，多元線性回歸分析仍是根據(jù)觀測(cè)樣本估計(jì)模型中的各個(gè)參數(shù)，對(duì)估計(jì)參數(shù)及回歸方程進(jìn)行記錄檢查，從而運(yùn)用回歸模型進(jìn)行經(jīng)濟(jì)預(yù)測(cè)和分析。多元線性回歸模型包括多種解釋變量，多種解釋變量同步對(duì)被解釋變量發(fā)生作用，若要考察其中一種解釋變量對(duì)的影響就必須假設(shè)其他解釋變量保持不變來進(jìn)行分析。因此多元線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)，即反應(yīng)了當(dāng)模型中的其他變量不變時(shí)，其中一種解釋變量對(duì)因變量的均值的影響。由于參數(shù)都是未知的,可以運(yùn)用樣本觀測(cè)值對(duì)它們進(jìn)行估計(jì)。若計(jì)算得到的參數(shù)估計(jì)值為，用參數(shù)估計(jì)值替代總體回歸函數(shù)的未知參數(shù)，則得多元線性樣本回歸方程：(3-6)其中為參數(shù)估計(jì)值，為的樣本回歸值或樣本擬合值、樣本估計(jì)值。其矩陣體現(xiàn)形式為:(3-7)其中為被解釋變量樣本觀測(cè)值向量的階擬合值列向量；為解釋變量的階樣本觀測(cè)矩陣；為未知參數(shù)向量的階估計(jì)值列向量。樣本回歸方程得到的被解釋變量估計(jì)值與實(shí)際觀測(cè)值之間的偏差稱為殘差。(3-8)二、多元線性回歸模型的假定與一元線性回歸模型相似，多元線性回歸模型運(yùn)用一般最小二乘法(OLS)對(duì)參數(shù)進(jìn)行估計(jì)時(shí)，有如下假定：假定1零均值假定：，即(3-9)假定2同方差假定(的方差為同一常數(shù))：假定3無自有關(guān)性：(3-10)假定4隨機(jī)誤差項(xiàng)與解釋變量不有關(guān)(這個(gè)假定自動(dòng)成立)：假定5隨機(jī)誤差項(xiàng)服從均值為零，方差為的正態(tài)分布：假定6解釋變量之間不存在多重共線性：即各解釋變量的樣本觀測(cè)值之間線性無關(guān)，解釋變量的樣本觀測(cè)值矩陣的秩為參數(shù)個(gè)數(shù)k+1，從而保證參數(shù)的估計(jì)值唯一。第二節(jié)多元線性回歸模型的參數(shù)估計(jì)及記錄性質(zhì)一、多元線性回歸模型的參數(shù)估計(jì)(一)回歸參數(shù)的最小二乘估計(jì)對(duì)于具有個(gè)解釋變量的多元線性回歸模型設(shè)分別作為參數(shù)的估計(jì)量，得樣本回歸方程為：觀測(cè)值與回歸值的殘差為：由最小二乘法可知應(yīng)使所有觀測(cè)值與回歸值的殘差的平方和最小，雖然(3-11)獲得最小值。根據(jù)多元函數(shù)的極值原理，分別對(duì)求一階偏導(dǎo)，并令其等于零，即(3-12)即化簡得下列方程組(3-13)上述個(gè)方程稱為正規(guī)方程，其矩陣形式為(3-14)由于設(shè)為估計(jì)值向量樣本回歸模型兩邊同乘樣本觀測(cè)值矩陣的轉(zhuǎn)置矩陣，則有得正規(guī)方程組：(3-15)由假定(6)，，為階方陣，因此滿秩，的逆矩陣存在。因而(3-16)則為向量的OLS估計(jì)量。以二元線性回歸模型為例，導(dǎo)出二元線性回歸模型的OLS估計(jì)量的體現(xiàn)式。由(3-3)式得二元線性回歸模型為為了計(jì)算的以便，先將模型中心化。設(shè)，則二元回歸模型改寫為中心化模型。(3-17)記(3-18)將代入得(3-19)由于(3-20)則由(3-16)式得(3-21)其中由(3-21)式可知得(3-22)(3-23)(3-24)(二)隨機(jī)誤差項(xiàng)的方差的估計(jì)量樣本回歸方程得到的被解釋變量估計(jì)值與實(shí)際觀測(cè)值之間的偏差稱為殘差則設(shè)，可以得出是階對(duì)稱冪等矩陣，，。于是而殘差的平方和為其中“”表達(dá)矩陣的跡，即矩陣主對(duì)角線元素的和。于是隨機(jī)誤差項(xiàng)的方差的無偏估計(jì)量，記作，即，，為殘差的原則差(或回歸原則差)。因此(3-25)其中(3-26)例如,對(duì)于二元線性回歸模型()(3-27)(3-28)二、估計(jì)參數(shù)的記錄性質(zhì)1、線性性指最小二乘估計(jì)量是被解釋變量的觀測(cè)值的線性函數(shù)。由于設(shè)，則矩陣為一非隨機(jī)的階常數(shù)矩陣。因此(3-29)顯然最小二乘估計(jì)量是被解釋變量的觀測(cè)值的線性函數(shù)。2、無偏性將代入(3-16)式得(3-30)則因此是的無偏估計(jì)量。3.最小方差性設(shè)為階數(shù)值矩陣，為階隨機(jī)矩陣(隨機(jī)變量為元素的矩陣)，為階數(shù)值矩陣，則下面我們推導(dǎo)的方差、協(xié)方差矩陣。定義：由(3-30)式得因此(3-31)這個(gè)矩陣主對(duì)角線上的元素表達(dá)的方差，非主對(duì)角線上的元素表達(dá)的協(xié)方差。例如是位于的第行與第列交叉處的元素(主對(duì)角線上的元素)；是位于的第行與第列交叉處的元素(非主對(duì)角線上的元素)在應(yīng)用上，我們關(guān)懷的的方差，而忽視協(xié)方差，因此把(3-31)式記作(3-32)記，則，因此是的最小方差線性無偏估計(jì)。這闡明，在(3-1)式系數(shù)的無偏估計(jì)量中，OLS估計(jì)量的方差比用其他估計(jì)措施所得的無偏估計(jì)量的方差都要小，這正是OLS的優(yōu)越性所在。用替代則得的原則估計(jì)量的估計(jì)值，乃稱為原則差。(3-33)其中對(duì)于二元回歸模型()，求估計(jì)量的方差，由(3-32)式得其中于是因此(3-34)(3-35)(3-36)(3-37)其中第三節(jié)明顯性檢查一、擬合優(yōu)度檢查(一)總離差平方和分解設(shè)具有個(gè)解釋變量的回歸模型為其回歸方程為離差分解：總離差平方和分解式為：(3-38)即(3-39)總離差平方和分解為回歸平方和與殘差平方和兩部分。(二)樣本決定系數(shù)對(duì)于多元回歸方程，其樣本決定系數(shù)為復(fù)決定系數(shù)或多重決定系數(shù)。，簡記為。(3-40)根據(jù)式(3-39)(3-41)由于由(3-26)式知因此(3-42)作為檢查回歸方程與樣本值擬合優(yōu)度的指標(biāo)：越大，表達(dá)回歸方程與樣本擬合的越好；反之，回歸方程與樣本值擬合較差。詳細(xì)的，當(dāng)時(shí),求樣本決定系數(shù)由(3-28)式，得，因此有(3-43)(三)調(diào)整后的樣本決定系數(shù)在使用時(shí)，輕易發(fā)現(xiàn)的大小與模型中的解釋變量的數(shù)目有關(guān)。假如模型中增長一種新解釋變量，總離差不會(huì)變化，但總離差中由解釋變量解釋的部分，即回歸平方和將會(huì)增長，這就是說與模型中解釋變量個(gè)數(shù)有關(guān)。但通過增長模型中解釋變量的數(shù)目而使增大是錯(cuò)誤的，顯然這樣來檢查被回歸方程與樣本值擬合優(yōu)度是不合適的，需要對(duì)進(jìn)行調(diào)整，使它不僅能闡明已被解釋離差與總離差的關(guān)系，并且又能闡明自由度的數(shù)目。以表達(dá)調(diào)整樣本決定系數(shù)，(3-44)其中這里是殘差平方和的自由度，是總離差平方和的自由度。由(3-44)式得其中,是樣本觀測(cè)值的個(gè)數(shù),是解釋變量的個(gè)數(shù)。從式中可以看出，當(dāng)增長一種解釋變量時(shí)，由前面分析可知會(huì)增長，引起減少，而增長，因而不會(huì)增長。這樣用鑒定回歸方程擬合優(yōu)度，就消除了對(duì)解釋變量個(gè)數(shù)的依賴?；蛑荒荜U明在給定的樣本條件下回歸方程與樣本觀測(cè)值擬合優(yōu)度，并不能做出對(duì)總體模型的推測(cè)，因此不能單憑或來選擇模型，必須對(duì)回歸方程和模型中各參數(shù)的估計(jì)量做明顯性檢查。二、方程明顯性檢查由離差平方和分解(3-39)式可知，總離差平方和的自由度為，回歸平方和是由個(gè)解釋變量對(duì)的線性影響決定的。因此它的自由度為。因此，殘差平方和的自由度由總離差平方和的自由度減去回歸平方和的自由度，即為。檢查回歸方程與否明顯，第一步，作出假設(shè)備擇假設(shè)H1：b1、b2、…、bk不一樣步為0第二步，在成立的條件下，計(jì)算記錄量第三步，查表臨界值對(duì)于假設(shè)，根據(jù)樣本觀測(cè)值計(jì)算記錄量給定明顯水平，查第一種自由度為，第二個(gè)自由度為的分布表得臨界值。當(dāng)時(shí)，拒絕，則認(rèn)為回歸方程明顯成立；當(dāng)時(shí)，接受，則認(rèn)為回歸方程無明顯意義。三、參數(shù)明顯性檢查回歸方程明顯成立，并不意味著每個(gè)解釋變量對(duì)被解釋變量的影響都是重要的。假如某個(gè)解釋變量對(duì)被解釋變量的影響不重要，即可從回歸模型中把它剔除掉，重新建立回歸方程，以利于對(duì)經(jīng)濟(jì)問題的分析和對(duì)進(jìn)行更精確的預(yù)測(cè)。為此需要對(duì)每個(gè)變量進(jìn)行考察，假如某個(gè)解釋變量對(duì)被解釋變量的作用不明顯，那么它在多元線性回歸模型中，其前面的系數(shù)可取值為零。因此必須對(duì)與否為零進(jìn)行明顯性檢查。由(3.44)式(3-45)其中對(duì)回歸系數(shù)進(jìn)行明顯性檢查，環(huán)節(jié)如下：(1)提出原假設(shè)；備擇假設(shè)。(2)構(gòu)造記錄量，當(dāng)成立時(shí),記錄量。這里是的原則差，為解釋變量個(gè)數(shù)，計(jì)算由式(3-45)給出。(3)給定明顯性水平，查自由度為的分布表，得臨界值。(4)若，則拒絕，接受，即認(rèn)為明顯不為零。若，則接受，即認(rèn)為明顯為零。四、運(yùn)用多元線性回歸方程進(jìn)行預(yù)測(cè)對(duì)于多元線性回歸模型其中，，根據(jù)樣本觀測(cè)值運(yùn)用最小二乘法求得回歸方程預(yù)測(cè)就是給解釋變量某一特定值對(duì)被解釋變量的值進(jìn)行估計(jì)，作為的預(yù)測(cè)值。設(shè)，稱其為預(yù)測(cè)誤差。為一隨機(jī)變量，可以證明服從正態(tài)分布，即將式中用它的估計(jì)值替代，則得的原則差其中記錄量對(duì)于給定置信水平，預(yù)測(cè)值置信區(qū)間為即為五、多元線性回歸分析實(shí)例第四節(jié)最大似然估計(jì)一、似然函數(shù)(一)基本假定對(duì)于所研究的模型，給定如下基本假設(shè)：(1)(2)(3)(4)隨機(jī)抽樣總是生產(chǎn)單一的最也許成果：任意樣本都是其所屬總體的代表。這個(gè)強(qiáng)假定是針對(duì)小樣本而言的。（二）似然函數(shù)確定隨機(jī)變量的任一觀測(cè)樣本的聯(lián)合概率的函數(shù)，就稱為的似然函數(shù)。一般體現(xiàn)式為：(3-47)二、極大似然估計(jì)法的基本思想極大似然估計(jì)法(maximumlikelihoodestimation,MLE)需要對(duì)隨機(jī)擾動(dòng)項(xiàng)的分布做出假定，一般選擇正態(tài)分布假定。在極大似然估計(jì)中，假定樣本是固定的，個(gè)觀測(cè)值都是獨(dú)立觀測(cè)的，這個(gè)樣本可由多種不一樣的總體生成，而每個(gè)樣本總體均有自己的參數(shù)。那么在可供選擇的總體中，哪個(gè)總體最也許生成所觀測(cè)到的個(gè)樣本值？為此需要估計(jì)每個(gè)也許總體獲