第十講定類或定序因變量回歸分析-408009601

講定類或定序因變量回歸分析2021/5/91當(dāng)因變量是一個定類變量而不是定距變量時，線性回歸模型受到挑戰(zhàn)。如政治學(xué)中研究是否選舉某候選人，經(jīng)濟學(xué)研究中涉及的是否銷售或購買某種商品，社會學(xué)和人口學(xué)研究中所涉及的如犯罪、遷移、婚姻、生育、患病等等都可以按照二分類變量或多分類來測量。

一、問題的提出2021/5/92在研究態(tài)度與偏好等心理現(xiàn)象時也經(jīng)常按類型進行測量的，如“強烈反對”、“反對”、“中立”、“支持”、和“強烈支持”。連續(xù)變量轉(zhuǎn)換成類型變量的情形，如在分析升學(xué)考試的影響因素時，將考生分為錄取線以上和錄取線以下。2021/5/93

從統(tǒng)計理論上看，最小二乘法關(guān)注正態(tài)分布，然而社會經(jīng)濟現(xiàn)象往往有不同于正態(tài)分布的其他分布，例如：（1）二項分布（binomialdistribution）（2）泊松分布（Poisson）2021/5/94

二、線性概率模型1、模型建立以最小二乘法為基礎(chǔ)的線性回歸方程是估測因變量的平均值，而二分變量的均值有一個特定的意義，即概率。用普通線性回歸方程估測概率，就是所謂的線性概率回歸。用公式表示為：P=a+∑βiXi+ε

對二項分布線性概率模型的結(jié)果解釋：在其他變量不變的情形下，x每增加一個單位，事件發(fā)生概率的期望將變動β個單位。

2021/5/95例如，林楠和謝文（1988）曾用線性概率模型估測入黨（政治資本）的概率，模型為：P=-0.39+0.01A+0.04E+0.03U

其中：P—黨員概率，A—年齡，E—受教育年限，U—單位身份2021/5/961）無意義的解釋從解釋力上看，由于概率的值是有邊界的，在0與1之間。但林楠方程很有可能要超過該限制，因變量的估計值可能是負數(shù)，也可能大于1，因此模型的結(jié)果是無意義的。例如，運用林楠方程，我們發(fā)現(xiàn)如果年齡為100歲，受教育程度超過10年，則入黨的概率約等于1。2）非線性關(guān)系2、線性概率模型存在的問題2021/5/97

三、簡單對數(shù)比率回歸

1、模型建立既然用線性概率回歸存在局限性，能否用比率做因變量呢？比如用男女比率作因變量，用成功與不成功之比做因變量。用比率做因變量存在的問題是，比率是非對稱的.2021/5/98表1概率、比率和對數(shù)比率概率0.010.100.200.300.400.500.600.700.800.900.99比率0.010.110.250.430.671.001.502.334.009.0099對數(shù)比率-4.60-2.20-1.39-0.85-0.410.000.410.851.392.204.602021/5/99

一個簡單的解決辦法就是取對數(shù)，結(jié)果就是所謂對數(shù)比率（logit)。若用P代表某事件的概率，則對數(shù)比率函數(shù)的定義為g（P）=log（P/1-P）以對數(shù)比率為因變量對自變量X1，X2，X3……做回歸稱為對數(shù)比率回歸（logisticregression），其方程式為：

2021/5/910

該模型即為logit回歸模型。logit回歸模型是普通多元線性回歸模型的推廣，但它的誤差項服從二項分布，因此需要采用極大似然估計方法進行參數(shù)估計，參數(shù)稱為logit回歸系數(shù)，表示當(dāng)其他自變量取值保持不變時，該自變量取值增加一個單位引起的發(fā)生比自然對數(shù)值的變化量。2021/5/9112、發(fā)生比

發(fā)生比是事件的發(fā)生頻數(shù)與不發(fā)生頻數(shù)之間的比，即：Odds=(事件發(fā)生頻數(shù))/（事件不發(fā)生頻數(shù)）

當(dāng)比值大于1時，表明事件更有可能發(fā)生。比如一個事件發(fā)生的概率為0.6，事件不發(fā)生的概率為0.4，發(fā)生比等于0.6/0.4=1.5。事件發(fā)生的可能性是不發(fā)生的1.5倍。2021/5/912四、logistic回歸模型的檢驗與評價1、Logistic回歸模型估計的假設(shè)前提第一、數(shù)據(jù)來自于隨機樣本。第二、因變量Yi被假設(shè)為K個自變量Xk（k=1，2，…，K）的函數(shù)。第三、正如OLS回歸，logistic回歸也對多重共線性有所限制，自變量之間存在多重共線性會導(dǎo)致標準誤的膨脹。

Logistic回歸模型還有一些與OLS回歸不同的假設(shè)前提：第一，因變量是二分變量；第二，因變量和各自變量之間的關(guān)系是非線性的。2021/5/9132、擬合優(yōu)度檢驗

如果模型的預(yù)測值能夠與對應(yīng)的觀測值有較高的一致性，就認為這一模型能夠擬合數(shù)據(jù)。否則需要對模型重新設(shè)置。因此，模型的擬合優(yōu)度是指預(yù)測值與觀測值的匹配程度。檢驗擬合優(yōu)度的指標有皮爾遜卡方檢驗、對數(shù)似然比卡方檢驗等。2021/5/9141）皮爾遜卡方檢驗皮爾遜卡方檢驗主要用于檢驗殘差項的大小。計算公式：其中yi是觀察值（0或1），pi是估算值的概率，i=1，2…n，分母是估算值的標準差，自由度為n-J-1，其中J為自變量數(shù)目。2021/5/9152）Hosmer-Lemeshow擬合優(yōu)度檢驗該方法通常適用于自變量很多，或自變量為連續(xù)變量的情形。HL方法根據(jù)預(yù)測概率的大小將所有觀察單位十等分，然后根據(jù)每一組中因變量的實際值與理論值計算Peason卡方，其統(tǒng)計量為：其中G代表分組數(shù)，且G10；ng為第g組中的觀測值數(shù)；yg第g組事件的觀測數(shù)量；pg為第g組的預(yù)測事件概率；ngpg為事件的預(yù)測值，實際上它等于第g組的觀測概率和。2021/5/9163）對數(shù)似然比卡方檢驗對數(shù)似然比是用較復(fù)雜模型與基本模型進行比較。通常將似然取對數(shù)并乘以-2，即-2logL，簡稱對數(shù)似然?；灸Ｐ鸵元毩⒛Ｐ捅硎荆?/p>

用L0表示獨立模型的似然，L1表示非獨立模型的似然，那么對數(shù)似然比定義為：遵循卡方分布，其自由度為非獨立模型的自變量數(shù)目，可用于檢驗復(fù)雜模型中自變量對似然率的增加是否顯著，越大越好。2021/5/9173、logit模型回歸系數(shù)的假設(shè)檢驗設(shè)原假設(shè)H0為：βk=0，表示自變量對事件發(fā)生的可能性無影響；如果原假設(shè)被拒絕，說明自變量對事件發(fā)生的可能性有影響。Wald檢驗在logit模型中，對回歸系數(shù)進行顯著性檢驗，通常使用Wald檢驗，其計算公式為：

Wald統(tǒng)計量實際上就是正態(tài)分布Z統(tǒng)計量的平方。在零假設(shè)條件下，每一個回歸系數(shù)都等于0。Wald統(tǒng)計量服從卡方分布，其自由度為n-k-1。2021/5/918五、模型解釋

由于logit模型是非線性的，因此不能以傳統(tǒng)回歸模型中自變量與因變量之間的關(guān)系解釋之。通常以發(fā)生比率來解釋logit回歸系數(shù)。

2021/5/919六、多項對數(shù)比率回歸

我們研究的現(xiàn)象常是多分類的，如職業(yè)的選擇等，這時需要用多項對數(shù)比率回歸處理。多項對數(shù)比率回歸是簡單對數(shù)比率回歸的擴展，由一組對數(shù)比率方程組成。常用的做法是基準類比法，即先選出基準類，然后將它的概率與其它各類的概率進行對比。假如要研究一個或一組自變量X如何影響人們對J類職業(yè)選擇，用P1，P2……Pj表示各類職業(yè)的概率，那么多項對數(shù)比率回歸就可表示為:2021/5/920

需要注意的是：1)就系數(shù)解釋和檢驗而言，多項對數(shù)比率回歸和簡單對數(shù)比率回歸相同。2)方程組在統(tǒng)計上不獨立，必須同時估算，不可一一求解。2021/5/921SPSS上的應(yīng)用：1）Analyze—Regression—MultinomialLogistic2）Dependent——用于選入無序多分類的因變量3）Factor——用于選入分類自變量，可以是有序或無序多分類，系統(tǒng)會自動生成虛擬變量。4）Covariates——用于選入連續(xù)型的自變量。選擇系統(tǒng)默認值，點擊OK鈕，運行所選命令5）結(jié)果解釋數(shù)據(jù)匯總與模型的似然比檢驗。擬合優(yōu)度檢驗（Pearson，Deviance檢驗）。參數(shù)估計結(jié)果。2021/5/922七、定序變量對數(shù)比率

當(dāng)因變量是定序變量，變量值之間具有高低之分時，在設(shè)計logit模型時，就應(yīng)考慮到其中所包含的信息。通常有三種處理方法：鄰類比、升級比和累進比。1、鄰類比鄰類比是將所有相鄰兩類的概率兩兩相比，如果變量含有J個有序類別，就可得到J-1個不重復(fù)對數(shù)比率方程。假如用P1，P2……Pj表示一個定序變量由低到高各級類別的概率，設(shè)X是一個或一組自變量，那么對數(shù)鄰類比回歸就是：

2021/5/923

對于定序變量，常常假設(shè)升級的作用是一樣的，即在方程組中，各個方程的斜率項是相同的，β1=β2=……=βj-1,上式可表示為：2021/5/9242、升級比

用P1，P2，……Pj表示一定序變量由低到高各級類別的概率，那么對數(shù)升級比回歸就是：2021/5/925

例如升學(xué)率的研究。將學(xué)校依等級高低分為小學(xué)、初中、高中和大學(xué)四類。初中升高中的比率不僅是初中畢業(yè)生和高中畢業(yè)生的比率，還應(yīng)包括大學(xué)畢業(yè)生，因為他們也完成了初中到高中的升級過程。升級比在統(tǒng)計上是各自獨立的，因而可以對照簡單對數(shù)比率回歸一一估算。加總各獨立升級比率回歸的對數(shù)似然比和自由度，即總模型的對數(shù)似然比和自由度。2021/5/926對數(shù)升級比回歸的編碼示例教育程度升小學(xué)升初中升高中升大學(xué)小學(xué)以下0---小學(xué)以下0---小學(xué)以下0---小學(xué)10--小學(xué)10--小學(xué)10--初中110-初中110-初中110-高中1110高中1110高中1110大學(xué)1111大學(xué)11112021/5/9273、累進比2021/5/928對數(shù)累進比率回歸示例——收入等級分析（Nee1991）

自變量模型（1）模型（2）進頂層P1/(p2+p3)避免底層（p1+p2)/p3進頂層P1/(p2+p3)避免底層（p1+p2)/p3截距-.525**.865***-8.244***-3.500**教育--.238***.155***戶首年齡--.207*.127*戶首年齡平方---.002*-.001*成年勞動力--.613***.242**子女?dāng)?shù)目--.214.204*現(xiàn)任干部1.515*1.470*1.2631.192前任大隊干部1.2