含定性變量的回歸模型

含定性變量的回歸模型第1頁，共61頁，2023年，2月20日，星期一9.1自變量中含有定性變量的回歸模型9.2自變量定性變量回歸模型的應(yīng)用9.3因變量是定性變量的回歸模型9.4Logistic(邏輯斯蒂)回歸9.5多類別Logistic回歸9.6因變量是順序變量的回歸第2頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型一、簡單情況

首先討論定性變量只取兩類可能值的情況，例如研究糧食產(chǎn)量問題，y為糧食產(chǎn)量，x為施肥量，另外再考慮氣候問題，分為正常年份和干旱年份兩種情況，對(duì)這個(gè)問題的數(shù)量化方法是引入一個(gè)0-1型變量D，令：Di=1 表示正常年份Di=0 表示干旱年份第3頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型糧食產(chǎn)量的回歸模型為：

yi=β0+β1xi+β2Di+εi 其中干旱年份的糧食平均產(chǎn)量為：E(yi|Di=0)=β0+β1xi正常年份的糧食平均產(chǎn)量為：

E(yi|Di=1)=(β0+β2)+β1xi第4頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

例9.1

某經(jīng)濟(jì)學(xué)家想調(diào)查文化程度對(duì)家庭儲(chǔ)蓄的影響，在一個(gè)中等收入的樣本框中，隨機(jī)調(diào)查了13戶高學(xué)歷家庭與14戶中低學(xué)歷的家庭，因變量y為上一年家庭儲(chǔ)蓄增加額，自變量x1為上一年家庭總收入，自變量x2表示家庭學(xué)歷，高學(xué)歷家庭x2=1,低學(xué)歷家庭x2=0，調(diào)查數(shù)據(jù)見表9.1：第5頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型序號(hào)y（元）x1（萬元）x212352.3023463.2133652.8044683.5156582.6068673.21710852.602389503.902498654.802598664.6026102354.8027101404.20表9.1第6頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型在線性回歸對(duì)話框，建立y對(duì)x1、x2的線性回歸，輸出結(jié)果：第7頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

兩個(gè)自變量x1與x2的系數(shù)都是顯著的，判定系數(shù)R2=0.879，回歸方程為：=-7976+3826x1-3700x2第8頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

這個(gè)結(jié)果表明，中等收入的家庭每增加1萬元收入，平均拿出3826元作為儲(chǔ)蓄。高學(xué)歷家庭每年的平均儲(chǔ)蓄額少于低學(xué)歷的家庭，平均少3700元。如果不引入家庭學(xué)歷定性變量x2，僅用y對(duì)家庭年收入x1做一元線性回歸，得判定系數(shù)R2=0.618，擬合效果不好。第9頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型自變量x1的系數(shù)是顯著的，回歸方程為：

=-7728+3264x1第10頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

家庭年收入x1是連續(xù)型變量，它對(duì)回歸的貢獻(xiàn)也是不可缺少的。如果不考慮家庭年收入這個(gè)自變量，13戶高學(xué)歷家庭的平均年儲(chǔ)蓄增加額為3009.31元，14戶低學(xué)歷家庭的平均年儲(chǔ)蓄增加額為5059.36元，這樣會(huì)認(rèn)為高學(xué)歷家庭每年的儲(chǔ)蓄額比低學(xué)歷的家庭平均少5059.36-3009.31=2050.05元，而用回歸法算出的數(shù)值是3824元，兩者并不相等?；貧w方程為：第11頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

用回歸法算出的高學(xué)歷家庭每年的平均儲(chǔ)蓄額比低學(xué)歷的家庭平均少3700元，這是在假設(shè)兩者的家庭年收入相等的基礎(chǔ)上的儲(chǔ)蓄差值，或者說是消除了家庭年收入的影響后的差值，因而反映了兩者儲(chǔ)蓄額的真實(shí)差異。而直接由樣本計(jì)算的差值2050.05元是包含有家庭年收入影響在內(nèi)的差值，是虛假的差值。所調(diào)查的13戶高學(xué)歷家庭的平均年收入額為3.8385萬元，14戶低學(xué)歷家庭的平均年收入額為3.4071萬元，兩者并不相等。第12頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型二、復(fù)雜情況某些場合定性自變量可能取多類值，例如某商廈策劃營銷方案，需要考慮銷售額的季節(jié)性影響，季節(jié)因素分為春、夏、秋、冬4種情況。為了用定性自變量反應(yīng)春、夏、秋、冬四季，我們初步設(shè)想引入如下4個(gè)0-1自變量：第13頁，共61頁，2023年，2月20日，星期一§9.1自變量中含有定性變量的回歸模型

可是這樣做卻產(chǎn)生了一個(gè)新的問題，即x1+x2+x3+x4=1，構(gòu)成完全多重共線性。解決這個(gè)問題的方法很簡單，我們只需去掉一個(gè)0-1型變量，只保留3個(gè)0-1型自變量即可。例如去掉x4，只保留x1、x2、x3。 對(duì)一般情況，一個(gè)定性變量有k類可能的取值時(shí)，需要引入k-1個(gè)0-1型自變量。當(dāng)k=2時(shí)，只需要引入一個(gè)0-1型自變量即可。第14頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用一、分段回歸

例9.2

表9.3給出某工廠生產(chǎn)批量xi與單位成本yi(美元)的數(shù)據(jù)。試用分段回歸建立回歸模型。序號(hào)yX(=x1)x212.5765015024.4340034.52400041.3980030054.75300063.555707072.4972022083.774800第15頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用圖9.1單位成本對(duì)批量散點(diǎn)圖第16頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

由圖9.1可看出數(shù)據(jù)在生產(chǎn)批量xp=500時(shí)發(fā)生較大變化，即批量大于500時(shí)成本明顯下降。我們考慮由兩段構(gòu)成的分段線性回歸,這可以通過引入一個(gè)0-1型虛擬自變量實(shí)現(xiàn)。假定回歸直線的斜率在xp=500處改變，建立回歸模型

yi=β0+β1xi+β2(xi-500)Di+εi 來擬合，其中第17頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用引入兩個(gè)新的自變量xi1=xi

xi2=(xi-500)Di這樣回歸模型轉(zhuǎn)化為標(biāo)準(zhǔn)形式的二元線性回歸模型：yi=β0+β1xi1+β2xi2+εi(9.3)（9.3）式可以分解為兩個(gè)線性回歸方程：當(dāng)x1≤500時(shí)，E(y)=β0+β1x1 當(dāng)x1＞500時(shí)，E(y)=(β0-500β2)+(β1+β2)x1

第18頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用第19頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

在線性回歸對(duì)話框用普通最小二乘法擬合模型(9.3)式得回歸方程為：

=5.895-0.00395x1-0.00389x2

利用此模型可說明生產(chǎn)批量小于500時(shí)，每增加1個(gè)單位批量，單位成本降低0.00395美元；當(dāng)生產(chǎn)批量大于500時(shí)，每增加1個(gè)單位批量，估計(jì)單位成本降低0.00395+0.00389=0.00784(美元)。第20頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

以上只是根據(jù)散點(diǎn)圖從直觀上判斷本例數(shù)據(jù)應(yīng)該用折線回歸擬合，這一點(diǎn)還需要做統(tǒng)計(jì)的顯著性檢驗(yàn)，這只需對(duì)（9.2）式的回歸系數(shù)β2做顯著性檢驗(yàn)。第21頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

對(duì)β2的顯著性檢驗(yàn)的顯著性概率Sig=0.153，β2沒有通過顯著性檢驗(yàn)，不能認(rèn)為β2非零。用y對(duì)x做一元線性回歸，計(jì)算結(jié)果為：第22頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用二、回歸系數(shù)相等的檢驗(yàn)

例9.3

回到例9.1的問題，例9.1引入0-1型自變量的方法是假定儲(chǔ)蓄增加額y對(duì)家庭收入的回歸斜率β1與家庭年收入無關(guān)，家庭年收入只影響回歸常數(shù)項(xiàng)β0，這個(gè)假設(shè)是否合理，還需要做統(tǒng)計(jì)檢驗(yàn)。檢驗(yàn)方法是引入如下含有交互效應(yīng)的回歸模型：yi=β0+β1xi1+β2xi2+β3xi1xi2+εi(9.8)其中y為上一年家庭儲(chǔ)蓄增加額，x1為上一年家庭總收入，x2表示家庭學(xué)歷，高學(xué)歷家庭x2=1,低學(xué)歷家庭x2=0。第23頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

回歸模型（9.8）式可以分解為對(duì)高學(xué)歷和對(duì)低學(xué)歷家庭的兩個(gè)線性回歸模型，分別為：高學(xué)歷家庭x2=1,yi=β0+β1xi1+β2+β3xi1+εi=（β0+β2）+（β1+β3）xi1+εi 低學(xué)歷家庭x2=0，

yi=β0+β1xi1+εi

第24頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用

要檢驗(yàn)兩個(gè)回歸方程的回歸系數(shù)(斜率)相等，等價(jià)于檢驗(yàn)H0：β3=0，當(dāng)拒絕H0時(shí)，認(rèn)為β3≠0，這時(shí)高學(xué)歷與低學(xué)歷家庭的儲(chǔ)蓄回歸模型實(shí)際上被拆分為兩個(gè)不同的回歸模型。當(dāng)接受H0時(shí)，認(rèn)為β3=0，這時(shí)高學(xué)歷與低學(xué)歷家庭的儲(chǔ)蓄回歸模型是如下形式的聯(lián)合回歸模型：yi=β0+β1xi1+β2xi2+εi

第25頁，共61頁，2023年，2月20日，星期一§9.2自變量定性變量回歸模型的應(yīng)用第26頁，共61頁，2023年，2月20日，星期一§9.3因變量是定性變量的回歸模型

在許多社會(huì)經(jīng)濟(jì)問題中，所研究的因變量往往只有兩個(gè)可能結(jié)果，這樣的因變量也可用虛擬變量來表示，虛擬變量的取值可取0或1。一、定性因變量的回歸方程的意義

設(shè)因變量y是只取0，1兩個(gè)值的定性變量，考慮簡單線性回歸模型yi=β0+β1xi+εi (9.12)

在這種y只取0，1兩個(gè)值的情況下，因變量均值E(yi)=β0+β1xi有著特殊的意義。第27頁，共61頁，2023年，2月20日，星期一§9.3因變量是定性變量的回歸模型由于yi是0-1型貝努利隨機(jī)變量，則得如下概率分布：

P(yi=1)=πiP(yi=0)=1-πi根據(jù)離散型隨機(jī)變量期望值的定義，可得E(yi)=1(πi)+0(1-πi)=πi （9.13）得到E(yi)=πi=β0+β1xi第28頁，共61頁，2023年，2月20日，星期一§9.3因變量是定性變量的回歸模型二、定性因變量回歸的特殊問題

1.離散非正態(tài)誤差項(xiàng)。

對(duì)一個(gè)取值為0和1的因變量，誤差項(xiàng)εi=yi-(β0+β1xi)只能取兩個(gè)值：當(dāng)yi=1時(shí)，εi=1-β0-β1xi=πi

當(dāng)yi=0時(shí)，εi=-β0-β1xi=1-πi

顯然，誤差項(xiàng)εi是兩點(diǎn)型離散分布，當(dāng)然正態(tài)誤差回歸模型的假定就不適用了。第29頁，共61頁，2023年，2月20日，星期一§9.3因變量是定性變量的回歸模型2.零均值異方差性。

當(dāng)因變量是定性變量時(shí)，誤差項(xiàng)εi仍然保持零均值，這時(shí)出現(xiàn)的另一個(gè)問題是誤差項(xiàng)εi的方差不相等。0-1型隨機(jī)變量εi的方差為

D(εi)=D(yi)=πi(1-πi)=(β0+β1xi)(1-β0-β1xi)（9.14）

εi的方差依賴于xi，是異方差，不滿足線性回歸方程的基本假定。第30頁，共61頁，2023年，2月20日，星期一§9.3因變量是定性變量的回歸模型3.回歸方程的限制

當(dāng)因變量為0、1虛擬變量時(shí)，回歸方程代表概率分布，所以因變量均值受到如下限制：θ≤E(yi)=πi≤1

對(duì)一般的回歸方程本身并不具有這種限制，線性回歸方程yi=β0+β1xi將會(huì)超出這個(gè)限制范圍。第31頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

一、分組數(shù)據(jù)的Logistic回歸模型

針對(duì)0-1型因變量產(chǎn)生的問題，我們對(duì)回歸模型應(yīng)該做兩個(gè)方面的改進(jìn)。

第一，回歸函數(shù)應(yīng)該改用限制在[0，1]區(qū)間內(nèi)的連續(xù)曲線，而不能再沿用直線回歸方程。第32頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

限制在[0，1]區(qū)間內(nèi)的連續(xù)曲線有很多，例如所有連續(xù)型隨機(jī)變量的分布函數(shù)都符合要求，我們常用的是Logistic函數(shù)與正態(tài)分布函數(shù)。Logistic函數(shù)的形式為Logistic函數(shù)的中文名稱是邏輯斯諦函數(shù)，或簡稱邏輯函數(shù)。第33頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

第二，因變量yi本身只取0、1兩個(gè)離散值，不適于直接作為回歸模型中的因變量。由于回歸函數(shù)E(yi)=πi=β0+β1xi表示在自變量為xi的條件下yi的平均值，而yi是0-1型隨機(jī)變量，因而E(yi)=πi就是在自變量為xi的條件下yi等于1的比例。這提示我們可以用yi等于1的比例代替yi本身作為因變量。下面通過一個(gè)例子來說明Logistic回歸模型的應(yīng)用。第34頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

例9.4

在一次住房展銷會(huì)上，與房地產(chǎn)商簽定初步購房意向書的共有n=325名顧客中，在隨后的3個(gè)月的時(shí)間內(nèi)，只有一部分顧客確實(shí)購買了房屋。購買了房屋的顧客記為1，沒有購買房屋的顧客記為0。以顧客的年家庭收入（萬元）為自變量x，對(duì)如下的數(shù)據(jù)，建立Logistic回歸模型第35頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

第36頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

Logistic回歸方程為

其中c為分組數(shù)據(jù)的組數(shù)，本例c=9。做線性化變換，直接在Transform-ComputeVariable中進(jìn)行，令上式的變換稱為邏輯（Logit）變換，得pi′=β0+β1xi+εi

（9.16）（9.18）

（9.17）

第37頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

在線性回歸對(duì)話框中，注意變量名和意義。計(jì)算出經(jīng)驗(yàn)回歸方程為-0.886+0.156x （9.19）判定系數(shù)r2=0.9243，顯著性檢驗(yàn)P值≈0，高度顯著。還原為（9.16）式的Logistic回歸方程為利用（9.20）式可以對(duì)購房比例做預(yù)測(cè)，例如對(duì)x0=8，第38頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

我們用Logistic回歸模型成功地?cái)M合了因變量為定性變量的回歸模型，但是仍然存在一個(gè)不足之處，就是異方差性并沒有解決，（9.18）式的回歸模型不是等方差的，應(yīng)該對(duì)（9.18）式用加權(quán)最小二乘估計(jì)。當(dāng)ni較大時(shí)，pi′的近似方差為：其中πi=E(yi)，因而選取權(quán)數(shù)為：wi=nipi(1-pi)第39頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

用加權(quán)最小二乘法輸出結(jié)果第40頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

用加權(quán)最小二乘法得到的Logistic回歸方程為

對(duì)x0=8時(shí)的購房比例做預(yù)測(cè)第41頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

二、未分組數(shù)據(jù)的Logistic回歸模型

設(shè)y是0-1型變量，x1,x2,…,xp是與y相關(guān)的確定性變量，

n組觀測(cè)數(shù)據(jù)為(xi1,xi2,…,xip;yi)，i=1,2,…,n，

yi與xi1,xi2,…,xip的關(guān)系為：E(yi)=πi=f(β0+β1xi1+β2xi2+…+βpxip)

其中函數(shù)f（x）是值域在[0，1]區(qū)間內(nèi)的單調(diào)增函數(shù)。對(duì)于Logistic回歸第42頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

于是yi是均值為πi=f(β0+β1xi1+β2xi2+…+βpxip)的0-1型分布，概率函數(shù)為：P(yi=1)=πiP(yi=0)=1-πi

可以把yi的概率函數(shù)合寫為：i=1,2,…,n于是y1,y2,…,yn的似然函數(shù)為：第43頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

代入得對(duì)數(shù)似然函數(shù)Logistic回歸極大似然估計(jì)就是選取β0,β1,β2,…,βp的估計(jì)值使上式達(dá)極大。第44頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

例9.5

在一次關(guān)于公共交通的社會(huì)調(diào)查中，一個(gè)調(diào)查項(xiàng)目是“是乘坐公共汽車上下班，還是騎自行車上下班。”因變量y=1表示主要乘坐公共汽車上下班，y=0表示主要騎自行車上下班。自變量x1是年齡，作為連續(xù)型變量；x2是月收入（元）；x3是性別，x3=1表示男性，x3=0表示女性。調(diào)查對(duì)象為工薪族群體，數(shù)據(jù)見表9.9，試建立y與自變量間的Logistic回歸。第45頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

序號(hào)性別年齡月收入y序號(hào)性別年齡月收入y101885001512010000202112000161251200030238501171271300040239501181281500050281200119130950160318500201321000070361500121133180008042100012213310000904695012313812000100481200024141150001105518001251451800112056210012614810000130581800127152150011411885002815618001第46頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

依次點(diǎn)選SPSS軟件的Analyze—Regression—BinaryLogistic命令，進(jìn)入Logistic回歸對(duì)話框，選入變量，點(diǎn)選OK運(yùn)行。第47頁，共61頁，2023年，2月20日，星期一Select：用于限定一個(gè)篩選條件，只有滿足該條件的記錄才會(huì)被納入分析，單擊它后對(duì)話框會(huì)展開讓你填入相應(yīng)的條件。Options：可以對(duì)模型作精確定義，選擇模型預(yù)測(cè)情況的描述方式，如StatisticsandPlots中的Classificationplots就是非常重要的模型預(yù)測(cè)工具，Correlationsofestimates則是重要的模型診斷工具，Iterationhistory可以看到迭代的具體情況，從而得知模型是否在迭代時(shí)存在病態(tài)，下方則可以確定進(jìn)入和排除的概率標(biāo)準(zhǔn)，這在逐步回歸中是非常有用的。第48頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

以下是SPSS軟件部分運(yùn)行結(jié)果：第49頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

X2（月收入）不顯著，將其剔除。最終的回歸方程為：第50頁，共61頁，2023年，2月20日，星期一§9.4Logistic回歸模型

三、Probit回歸模型Probit回歸稱為單位概率回歸，與Logistic回歸相似，也是擬合0-1型因變量回歸的方法，其回歸函數(shù)是【例9.6】仍然使用例9.4購房數(shù)據(jù)第51頁，共61頁，2023年，2月20日，星期一正態(tài)分布累積分布函數(shù)圖第52頁，共61頁，2023年，2月20日，星期一§9.5多類別Logistic回歸

當(dāng)定性因變量y取k個(gè)類別時(shí)，記為1，2，…，k。因變量y取值于每個(gè)類別的概率與一組自變量x1,x2,…,xp有關(guān)，對(duì)于樣本數(shù)據(jù)

(xi1,xi2,…,xip

;yi)，i=1,2,…,n

，多類別Logistic回歸模型第i組樣本的因變量yi取第j個(gè)類別的概率為：（9.34）第53頁，共61頁，2023年，2月20日，星期一§9.5多類別Logistic回歸

上式中各回歸系數(shù)不是惟一確定的，每個(gè)回歸系數(shù)同時(shí)加減一個(gè)常數(shù)后的數(shù)值保持不變。為此，把分母的第一項(xiàng)中的系數(shù)都設(shè)為0，得到回歸函數(shù)的表達(dá)式（9.35）第54頁，共61頁，2023年，2月20日，星期一§9.6因變量是順序變量的回歸

當(dāng)定性因變量y取k個(gè)順序類別時(shí)，記為1，2，…，k，這里的數(shù)字1，2，…，k僅表示順序的大小。因變量