第三章多元線性回歸模型

第三章多元線性回歸模型2第一節(jié)多元回歸模型及基本假定

現(xiàn)實(shí)中引起被解釋變量變化的因素可能有很多個(gè)。

多元總體線性回歸模型的形式為

Yi=b1+

b2X2i+

b3X3i

+…

+bkXki

+ui一、多元線性回歸模型的形式3Yi=β1

+β2

X2i+β3

X3i+ui如二元線性回歸模型：被解釋變量截距項(xiàng)解釋變量隨機(jī)誤差項(xiàng)偏回歸系數(shù)（partialregressioncoefficients）4偏回歸系數(shù)的含義Yi=β1

+β2

X2i+β3

X3i+ui度量X3i保持不變的情況下，E(Y

|X2i,X3i)的變化，即β2度量X2i

的單位變化對Y均值的“直接”或“凈”影響。β3的含義呢？5若總體個(gè)數(shù)為n，則寫成矩陣形式：6即X稱為數(shù)據(jù)矩陣或設(shè)計(jì)矩陣。7二、古典假定假定1：零均值假定矩陣形式：8假定2：同方差假定假定3：無自相關(guān)假定統(tǒng)一成矩陣形式：9假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)假定5：正態(tài)性假定，即假定6：解釋變量之間無多重共線性即各解釋變量的樣本觀測值之間線性無關(guān)，解釋變量的樣本觀測值矩陣的秩為參數(shù)個(gè)數(shù)，從而保證參數(shù)的估計(jì)值唯一。10

當(dāng)總體觀測值難于得到時(shí)，回歸系數(shù)向量b是未知的，這時(shí)可以由樣本觀測值進(jìn)行估計(jì)，可表示為但實(shí)際觀測值與計(jì)算值有偏差，記為：稱為多元樣本回歸函數(shù)。于是11分別稱為回歸系數(shù)估計(jì)值向量、剩余項(xiàng)或殘差向量、

Y的樣本估計(jì)值向量。12第二節(jié)多元回歸模型的估計(jì)設(shè)(Yi,X2i,X3i,…

,Xki)為第i個(gè)觀測樣本(i=1,2,…,n),一、參數(shù)的最小二乘估計(jì)要使殘差平方和其必要條件是于是13即或14將兩邊同時(shí)左乘得由無多重共線性假定，即可得參數(shù)向量b的最小二乘估計(jì)式的矩陣表達(dá)式對于只有兩個(gè)解釋變量的線性回歸模型的參數(shù)的最小二乘估計(jì)，書上給出了具體的代數(shù)表達(dá)式（P80）15回歸殘差為：設(shè)殘差平方和為Q

：令1617正規(guī)方程組（NormalEquation）18下面推導(dǎo)參數(shù)估計(jì)式公式：

即1920類似地于是21同理22（1）無偏性二、OLS估計(jì)式的統(tǒng)計(jì)性質(zhì)23（3）最小方差性參數(shù)最小二乘估計(jì)是所有線性無偏估計(jì)量中方差最小的估計(jì)量。（2）線性性每個(gè)參數(shù)估計(jì)量是Yi

(i=1,2,…,n)的線性組合。

即在古典假定條件下，多元線性回歸模型的最小二乘估計(jì)是最佳線性無偏估計(jì)式。（BestLinearUnbiasedEstimator，BLUE）24

在古典假定條件下，三、OLS估計(jì)的分布性質(zhì)而是Yi的線性函數(shù)，故它們也服從正態(tài)分布。

為了進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)，需要弄清參數(shù)估計(jì)量的分布。從而由無偏性25所以是矩陣中第j行第j列上的元素26四、隨機(jī)擾動(dòng)項(xiàng)方差的估計(jì)

通常s2是未知的，參數(shù)估計(jì)量的無法計(jì)算，可以證明：是s2的無偏估計(jì)量。27五、參數(shù)的區(qū)間估計(jì)

當(dāng)用代替s2時(shí)，給定顯著性水平a，查t分布自由度為n-k的臨界值t0，則回歸系數(shù)bj的置信度為1-

a的置信區(qū)間為：28例1

已知線性回歸模型

n=5，并且根據(jù)各個(gè)變量的數(shù)據(jù)計(jì)算出:

（1）求模型中三個(gè)參數(shù)的最小二乘估計(jì);（保留二位小數(shù)）

（2）求估計(jì)參數(shù)的標(biāo)準(zhǔn)差的估計(jì)量。29解：（1）于是又30解：（2）又于是31第三節(jié)多元回歸模型的檢驗(yàn)

為了從估計(jì)出的模型出發(fā)（即SRF），檢驗(yàn)SRF對樣本觀測值的擬合程度。與簡單線性回歸一樣，考察在Y的總變差中由多個(gè)解釋變量作出了解釋的那部分比重。一、擬合優(yōu)度檢驗(yàn)32在中，TSS=RSS+ESS自由度:

n-1=(k-1)+(n-k)由于RankX=k，所以在中獨(dú)立的變量只有k個(gè)，又已知，故的自由度為k-1.33我們用回歸平方和（RSS）與總離差平方和（TSS）的比值表示二元回歸方程的擬合優(yōu)度，稱為多重可決系數(shù)或多重判定系數(shù)即：=RSS+ESS34可用矩陣表示：P79(3.25)式：35由知當(dāng)R2=1時(shí)，從而ei=0，這時(shí)，被解釋變量的總變差完全由解釋變量解釋。此時(shí)，從取得樣本看，樣本觀測值完全落在樣本回歸線上；當(dāng)R2=0時(shí)，總變差完全不能由解釋變量解釋。R2越接近于1，擬合狀態(tài)越好。36所以可決系數(shù)也可表示為：37問題：

在多元線性回歸模型中增加一個(gè)解釋變量，殘差平方和一般會(huì)減小，從而可決系數(shù)會(huì)相應(yīng)增大，那是不是解釋變量越多越好呢？事實(shí)上不是這樣，實(shí)際情況中，經(jīng)濟(jì)現(xiàn)象是錯(cuò)綜復(fù)雜的，一個(gè)模型不可能把它的所有影響因素都考慮進(jìn)去，有時(shí)越追求全面，喪失的是越不準(zhǔn)確，另外，解釋變量越多，損失的自由度越多。38

為了消除因解釋變量個(gè)數(shù)不同對可決系數(shù)的影響，提出了修正的可決系數(shù)（Adjustedcoefficientofdetermination)注意上式右邊可能為負(fù)值，這是規(guī)定：39

可決系數(shù)只是對模型擬合優(yōu)度的度量，可決系數(shù)或修正的可決系數(shù)越大，表明列入模型中的解釋變量對被解釋變量的聯(lián)合影響程度越大，并非各個(gè)解釋變量對被解釋變量的影響都很大。在回歸分析中，不僅模型的擬合程度要高，而且要求各個(gè)解釋變量對被解釋變量的影響都是顯著的，即對總體回歸參數(shù)的估計(jì)值要可靠。因此，在建立模型時(shí)，不能單憑可決系數(shù)的高低斷定模型的優(yōu)劣，在通盤考慮時(shí)，可以適當(dāng)降低對可決系數(shù)的要求。40

被解釋變量與多個(gè)解釋變量之間是否存在顯著的線性關(guān)系呢？需在總體上是否顯著作出推斷。二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）假設(shè)的形式為原假設(shè)H0：b2=b3=…=bk=0備擇假設(shè)H1：bj（j=2,3,…,k)不全為0統(tǒng)計(jì)量41（3）給定顯著性水平a，在F分布表查自由度為k-1和n-k的臨界值Fa

。（1）提出檢驗(yàn)假設(shè)（4）比較F值與臨界值Fa的大小，檢驗(yàn)步驟：（2）用樣本觀測值計(jì)算統(tǒng)計(jì)量F的值若F＞Fa，則拒絕原假設(shè)，表明回歸方程顯著；若F＜Fa，則接受原假設(shè)，表明回歸方程不顯著，即列入模型的各個(gè)解釋變量聯(lián)合起來對被解釋變量的影響不顯著。42需要指出的是：在一元線性回歸中，由于解釋變量只有一個(gè)，不存在解釋變量聯(lián)合影響的整體檢驗(yàn)問題，也就用不著進(jìn)行F檢驗(yàn)。事實(shí)上，對一元回歸模型的t檢驗(yàn)與F檢驗(yàn)是一致的。事實(shí)上P39（2.43）P48（2.67）而臨界值與也存在平方關(guān)系。43F與R2的關(guān)系F與R2成正比，R2越大,F

值也越大。所以可以把F檢驗(yàn)看成是對擬合優(yōu)度的檢驗(yàn)。但擬合優(yōu)度的檢驗(yàn)不能取代F檢驗(yàn)。因?yàn)榭蓻Q系數(shù)或修正可決系數(shù)只能提供擬合優(yōu)度的度量，但它沒有回答它的值究竟要達(dá)到多大才算模型通過了檢驗(yàn)。44

因?yàn)榉匠痰恼w線性關(guān)系顯著，并不表示每個(gè)解釋變量對被解釋變量的影響都是顯著的，因此，還必須分別對每個(gè)解釋變量進(jìn)行顯著性進(jìn)行檢驗(yàn)。三、回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）我們知道標(biāo)準(zhǔn)化后這里Cjj是第j行第j列元素45而總體方差s2未知，當(dāng)用代替s2時(shí)，此時(shí)構(gòu)造的t

統(tǒng)計(jì)量對回歸參數(shù)的顯著性檢驗(yàn)分兩種情況：1）檢驗(yàn)估計(jì)的參數(shù)的顯著性：2）檢驗(yàn)解釋變量對被解釋變量影響的顯著性：46（3）給定顯著性水平a，在

t分布表查自由度為n-k的臨界值ta/2

；（1）提出檢驗(yàn)假設(shè)（4）比較

t值與臨界值ta/2的大小，對各個(gè)回歸參數(shù)顯著性檢驗(yàn)的步驟：（2）用樣本觀測值計(jì)算統(tǒng)計(jì)量

的值；若｜t｜＞ta/2，則拒絕原假設(shè)，表明在其他解釋變量不變的情況下，Xj對Y的影響顯著；反之，若｜t｜＜ta/2

，則接受原假設(shè)，不顯著。H0：bj=bj*(j=1,2,…,k)H1：bj≠bj*(j=1,2,…,k)47（3）給定顯著性水平a，在

t分布表查自由度為n-k的臨界值ta/2

；（1）提出檢驗(yàn)假設(shè)（4）比較

t值與臨界值ta/2的大小，對各個(gè)解釋變量的顯著性檢驗(yàn)的步驟：（2）用樣本觀測值計(jì)算統(tǒng)計(jì)量

的值；若｜t｜＞ta/2，則拒絕原假設(shè)，表明在其他解釋變量不變的情況下，Xj對Y的影響顯著；反之，若｜t｜＜ta/2

，則接受原假設(shè)，不顯著。H0：bj=0(j=2,…,k)H1：bj≠0(j=2,…,k)48第四節(jié)多元線性回歸模型預(yù)測一、對Y

平均值的點(diǎn)預(yù)測將解釋變量預(yù)測值的行向量代入樣本回歸函數(shù)即得Y的平均值的點(diǎn)預(yù)測值49二、對Y

平均值的區(qū)間預(yù)測

因?yàn)槭请S機(jī)變量，所以也是隨機(jī)變量，為了由預(yù)測值去對總體真實(shí)均值E(Yf｜Xf)

作區(qū)間估計(jì)，需要知道的分布及相關(guān)統(tǒng)計(jì)量。5051由于s2未知，當(dāng)用無偏估計(jì)代替s2時(shí)給定顯著性水平a，查t分布表，得臨界值ta/2，可得均值E(Yf)

置信度為1-a的預(yù)測區(qū)間為52三、對Y個(gè)別值的區(qū)間預(yù)測因?yàn)榫恼龖B(tài)分布，所以也服從正態(tài)分布，且即53由于s2未知，當(dāng)用無偏估計(jì)代替s2時(shí)給定顯著性水平a，查t分布表，得臨界值ta/2，可得Y的真實(shí)值Yf

的置信度為1-a的預(yù)測區(qū)間為54例2

以企業(yè)研發(fā)支出（R&D）占銷售額的比重為被解釋變量（Y），以企業(yè)銷售額（X1）與利潤占銷售額的比重（X2）為解釋變量，一個(gè)容量為32的樣本企業(yè)的估計(jì)結(jié)果如下：其中括號(hào)中為系數(shù)估計(jì)值的標(biāo)準(zhǔn)差。（1）解釋log(X1)的系數(shù)。如果X1增加10%，估計(jì)Y會(huì)變化多少個(gè)百分點(diǎn)？這在經(jīng)濟(jì)上是一個(gè)很大的影響嗎？（2）針對R&D強(qiáng)度隨銷售額的增加而提高這一備擇假設(shè)，檢驗(yàn)它不隨X1而變化的假設(shè)。分別在5%和10%的顯著性水平上進(jìn)行這個(gè)檢驗(yàn)。（3）利潤占銷售額的比重X2對R&D強(qiáng)度Y是否在統(tǒng)計(jì)上有顯著的影響？55解（1）log(X1)的系數(shù)表明在其他條件不變時(shí)，log(X1)變化1個(gè)單位，Y變化的單位數(shù)，即Y=0.32log(X1)0.32(X1/X1)=0.32100%，換言之，當(dāng)企業(yè)銷售X1增長100%時(shí)，企業(yè)研發(fā)支出占銷售額的比重Y會(huì)增加32個(gè)百分點(diǎn)。由此如果X1增加10%，Y會(huì)增加3.2個(gè)百分點(diǎn)。這在經(jīng)濟(jì)上不是一個(gè)較大的影響。56（2）針對備擇假設(shè)

檢驗(yàn)原假設(shè)

計(jì)算的t統(tǒng)計(jì)量的值為t=0.32/0.22=1.468。在5%的顯著性水平下，自由度為32-3=29的t

分布的臨界值為1.699（單側(cè)），計(jì)算的t值小于該臨界值，所以不拒絕原假設(shè)。意味著R&D強(qiáng)度不隨銷售額的增加而變化。在10%的顯著性水平下，t分布的