社會(huì)調(diào)查方法課件2015-week+11-logistic+regression+I

Sociology310,Fall1996.PagePAGEXXXPAGEPAGE19社會(huì)調(diào)查方法，2015秋季W(wǎng)eek11社會(huì)科學(xué)家經(jīng)常面臨分析分類因變量(categoricaldata)的需要，例如人們是否投票，他們選誰，他們對(duì)某一看法的認(rèn)同程度，他們的職業(yè)選擇，等等。OLS回歸不適合處理分類變量，因此學(xué)者們發(fā)展出針對(duì)分類數(shù)據(jù)因變量的統(tǒng)計(jì)方法。在介紹分類數(shù)據(jù)分析方法的單元中，我們將介紹針對(duì)二分因變量（binaryoutcomes）的模型，針對(duì)定序變量的模型（ordinalororderedoutcomes），針對(duì)多分類變量的模型（nominaloutcome）,以及次數(shù)變量的模型（countvariable）。今天主要介紹二項(xiàng)邏輯斯蒂回歸（bionomiallogisticregression），這是一種估計(jì)二分因變量模型的分析技術(shù).具體內(nèi)容包括：二分因變量的binarylogit模型什么是logit？odds,oddsratio?最大似然估計(jì)（Maximumlikelihoodestimation）如何用stata來運(yùn)行l(wèi)ogit模型系數(shù)解釋模型解釋的幾種方法假設(shè)檢驗(yàn)，模型擬合度，模型選擇Probit模型一般線性模型簡(jiǎn)介二分因變量的logit模型線性回歸在社會(huì)科學(xué)定量研究中有著非常廣泛的應(yīng)用，但是該方法的應(yīng)用在很多情況下會(huì)受到限制。例如，線性回歸要求因變量是定距變量（intervalvariable）,而實(shí)際研究中有很多因變量是名義變量（nominalvariable）.例如，社會(huì)學(xué)和人口學(xué)研究者研究失業(yè)，遷移，結(jié)婚，死亡，犯罪等問題。這些問題有一個(gè)明顯的共同點(diǎn)，即因變量只能是兩個(gè)可能的數(shù)值中取值，要么“是”或“發(fā)生”，要么“否”或者“未發(fā)生”。在統(tǒng)計(jì)方法中，這種僅具有兩類可能結(jié)果的數(shù)據(jù)被稱為二分類數(shù)據(jù)（binarydata），所對(duì)應(yīng)的變量也被稱為(binaryvariables).通常，二分變量所表示的兩種可能結(jié)果被描述為成功和失敗。一般來說，研究所關(guān)注的那類結(jié)果被視為“成功”，通常被編碼為1，而另一類被視為“失敗”，通常被編碼為0.所以，研究者也常習(xí)慣于將二分變量稱為0-1變量。我們之前學(xué)過的多元線性回歸的方法不適合處理二分因變量，因?yàn)榈谝?，在二分因變量的情況下，多元回歸的假設(shè)被嚴(yán)重違背。多元線性回歸方法的一個(gè)重要的假定是要求因變量對(duì)應(yīng)于不同自變量的誤差項(xiàng)要有相同的方差（homoscedasticity）,但是用OLS方法用于二分因變量時(shí)，誤差項(xiàng)會(huì)出現(xiàn)異分布性，即因變量在不同的自變量取值處具有不同的誤差方程。這違背了線性回歸中誤差方差齊性的假定條件。所以參數(shù)估計(jì)值的OLS估計(jì)不再是最有效的。第二，在線性模型中，Y的預(yù)期值可以在負(fù)無窮大，到正無窮大這一區(qū)間內(nèi)任意取值，但是，對(duì)于二分因變量，其取值只能在【0,1】區(qū)間內(nèi)。預(yù)測(cè)值超過概率的合理取值范圍也是有問題的?？傊?，當(dāng)因變量為二分變量時(shí)，采用線性模型進(jìn)行統(tǒng)計(jì)分析的做法是不恰當(dāng)?shù)?。因此，需要專門適合于處理二分因變量的統(tǒng)計(jì)模型。其中最為常用的是logit模型，經(jīng)濟(jì)學(xué)家往往習(xí)慣用probit模型。什么是logit？odds,oddsratio?Logit模型的核心是通過將事件的發(fā)生概率轉(zhuǎn)換為事件的發(fā)生比（odds）的對(duì)數(shù)，以確保條件概率的估計(jì)值在【0,1】區(qū)間內(nèi)合理取值。那么什么是發(fā)生比（odds）？什么是發(fā)生比率（oddsratio）？在處理二分變量時(shí)，發(fā)生比Odds就等于某事件發(fā)生的概率除以未發(fā)生的概率。發(fā)生比Odds是概率的一種轉(zhuǎn)換形式。概率只能在0-1之間，發(fā)生比可以在0-無窮大之間，發(fā)生比的對(duì)數(shù)則可以在負(fù)無窮大到正無窮大之間。,此處的p是指事件發(fā)生的概率，(1-p)就是事件不發(fā)生或失敗的概率。因此，我們也可以用發(fā)生比Odds倒算出概率：發(fā)生比Odds與概率Probability之間的關(guān)系概率Probability發(fā)生比Odds.3.501.00.753.00.909.00發(fā)生比率（Oddsratio）是用來估計(jì)不同群體之間事件發(fā)生概率的相對(duì)比例。發(fā)生比率（oddsratio）是兩個(gè)odds之間進(jìn)行比較。同一個(gè)事件的概率，用發(fā)生比之間的關(guān)系來表達(dá)就是：讓我們參考實(shí)際的例子：利用2010CGSS-10%.dat,依據(jù)性別與黨員資格來劃分，可以得到下列的次數(shù)分配表：.tabpolevela10.|您目前的政治面貌|Freq.PercentCum.+拒絕回答|10.080.08共產(chǎn)黨員|13111.1111.20民主黨派|10.0811.28共青團(tuán)員|665.6016.88群眾|98083.12100.00+Total|1,179100.00.tabpolevel,nolabela10.|政治面貌|Freq.PercentCum.+-3|10.080.081|13111.1111.202|10.0811.283|665.6016.884|98083.12100.00+Total|1,179100.00recodepolevel(1=1"party")(*=0"notparty"),gen(party2).tabparty2RECODEof|polevel|政治面貌?|Freq.PercentCum.+notparty|1,04888.8988.89party|13111.11100.00+Total|1,179100.00.tabparty2sexRECODEof|polevel|(a10.|您目前的政|a2.性別治面貌是)|男女|Total++party|10229|131notparty|476572|1,048++Total|578601|1,179請(qǐng)計(jì)算：男性成為黨員的發(fā)生比是多少?女性成為黨員的發(fā)生比是多少?男性對(duì)女性成為黨員的發(fā)生比率又是多少?男性成為黨員的發(fā)生比是多少? P(male)=102/578=0.176Odds(male)= (102/578)/(1-(102/578)=102/476=0.214女性成為黨員的發(fā)生比是多少?Odds(female)=(29/601)/(1-29/601)=29/572=0.051男性對(duì)女性成為黨員的發(fā)生比率又是多少?=odds(male)/odds(female)=(102/476)/(29/572)=102*572/476*29=4.2(男性成為黨員的發(fā)生比是女性的4.2倍)發(fā)生比率OddsRatioθ有一些良好的統(tǒng)計(jì)性質(zhì)：●與表格對(duì)角數(shù)字相乘之后的比率相等?！駸o論是從行或是列來計(jì)算結(jié)果都相等?！窨梢赞D(zhuǎn)換為負(fù)值之外的任何數(shù)值。●當(dāng)θ=1就表示第一行與第二行的發(fā)生率相等?！癞?dāng)θ>1就表示第一行的發(fā)生率大于第二行的發(fā)生率?！癞?dāng)θ<1就表示第一行的發(fā)生率小于第二行的發(fā)生率。發(fā)生比率可廣泛運(yùn)用于logit模型與loglinear模型。最大可能性（似然）估計(jì)（MaximumLikelihoodEstimation或MLE）Logit模型采用的估算方法是最大可能性（似然）估計(jì)法（ＭＬＥ）。最大可能性估計(jì)MLE就是推估一個(gè)總體的參數(shù)值，來使得觀察值最可能發(fā)生。MLE的步驟：步驟一：先確定一個(gè)似然函數(shù)（likelihoodfunction），即一個(gè)說明未知參數(shù)概率的函數(shù)步驟二：找出此一未知參數(shù)的觀察值，使得此一似然函數(shù)達(dá)到最大值。Logitmodelisestimatedbymaximumlikelihood(ML).MLestimatesarethevaluesoftheparametersthathavethegreatestlikelihood(i.e.,themaximumlikelihood)ofgeneratingtheobservedsampleofdataiftheassumptionsofthemodelaretrue.Toobtainthemaximumlikelihoodestimates,alikelihoodfunctioncalculateshowlikelyitisthatwewouldobservethedataweactuallyobservedifagivensetofparametersestimateswerethetrueparameters.Forexample,inlinearregressionwithasingleindependentvariable,weneedtoestimateboththeslopeandtheintercept.Foranycombinationofpossiblevaluesforslopeandintercept,thelikelihoodfunctiontellsushowlikelyitisthatwewouldhaveobservedthedatathatwedidobserveifthesevalueswerethetruepopulationparameters.Forallbutthesimplestmodels,theonlywaytofindthemaximumofthelikelihoodfunctionisbynumericalmethods.Thesearchbeginswithstartvalues.Forthestartposition,theslopeofthelikelihoodfunctionandtherateofchangeintheslopedeterminethenextguessfortheparameters.Theprocesscontinuestoiterateuntilthemaximumofthelikelihoodfunctionisfound,calledconvergence,andtheresultingestimatesarereported.例子：運(yùn)用二項(xiàng)公式(binomialformula)來計(jì)算十個(gè)被觀察對(duì)象當(dāng)中出現(xiàn)四位女性的概率。女性在總體當(dāng)中出現(xiàn)的實(shí)際概率是?.因此可得：現(xiàn)在假設(shè)我們不知道總體當(dāng)中的女性所占比例(π)，但是我們的十個(gè)觀察值當(dāng)中確實(shí)有四位女性，我們由這個(gè)樣本當(dāng)中得到總體最可能的π值為何?上述的似然函數(shù)就是：數(shù)學(xué)上，我們希望找出的是參數(shù)值p來達(dá)到這個(gè)似然函數(shù)L的最大值，此時(shí)p即是π的估計(jì)值。在大樣本的條件下，最大可能性的估計(jì)值會(huì)具有下列三個(gè)良好的統(tǒng)計(jì)性質(zhì)：最有效率(變異的極小化minimumvariance)當(dāng)樣本數(shù)增加時(shí)，其統(tǒng)計(jì)偏誤會(huì)不斷縮小。其分配型態(tài)漸近于隨機(jī)抽樣分布。當(dāng)總體屬于隨機(jī)分布時(shí)，對(duì)總體平均值的最大可能性估計(jì)即是樣本的平均值，在滿足此一條件下，最小二乘法OLS估計(jì)正等于是最大可能性估計(jì)MLE(PowersandXieAppendixB)。如何用stata來運(yùn)行l(wèi)ogit模型Stata命令：logit舉例：我們可以用STATA計(jì)算出logit模型的估計(jì)結(jié)果：Readingthestataoutput:Loglikelihood=-312.33correspondstothevalueoftheloglikelihhodatconvergence.Noticethefirstlinereportsthevalueoftheloglikelihoodatthestartvalues,reportedasiteration0.Intheexample,theloglikelihhodatthestartvalueis-401.Thenextfivelinesinthisexampleshowtheprogressinmaximizingtheloglikelihood,convergingtothevalueof-312.33.Numberofobsisthenumberofobservation,excludingthosewithmissingvaluesandafteranyiforinconditionshavebeenapplied.LRchi2(4)isthevalueofalikelihood-ratiochi-squaredforthetestofthenullhypothesisthatallofthecoefficientsassociatedwithindependentvariablesaresimultaneouslyequaltozero.Thep-valueisindicatedbyProb>chi2,wherethenumberintheparenthesesisthenumberofcoefficientsbeingtested.PseudoR2isthemeasureoffit.Coef:顯示的是logodds的系數(shù)。解釋回歸系數(shù)：Logit的系數(shù)代表了當(dāng)自變量每增加一個(gè)單位時(shí)，logodds的相應(yīng)變化。但是一般logodds的系數(shù)不太直觀，所以一般轉(zhuǎn)換為oddsratio的解釋更直觀。舉例：仍然用上一個(gè)例子，接下來我們計(jì)算成為黨員的Logodds：虛擬變量fparty的系數(shù)解釋：從模型A當(dāng)中，我們可以看到相對(duì)于父親不是黨員的人（對(duì)照組）來說，父親是黨員的人成為共產(chǎn)黨員的logodds高出了0.55。換句話說，相對(duì)于父親不是黨員的人（對(duì)照組）來說，父親是黨員的人成為共產(chǎn)黨員的發(fā)生比（odds）高出了74%（即e(0.55)=1.74）.displayexp(0.55)1.733253（.displayexp(0.55)1.733253Oddsratio的解釋系數(shù)可以由logit,or命令顯示，或者logistic;或者listcoef命令顯示。模型MODELB：（or表示reportoddsratio）（參見模型B中算出兩組之發(fā)生率比為1.74:1）。2）age的系數(shù)在模型A中，age的系數(shù)是0.048，e(0.048)=1.049.即當(dāng)年齡每增長一歲，則成為黨員的logodds增加0.048，或者說成為黨員的發(fā)生比增加4.9%（參見模型B）。3）虛擬變量edu_new的系數(shù)解釋另外，從模型A當(dāng)中，我們可以看到相對(duì)于小學(xué)文化水平的人（對(duì)照組）來說，初中畢業(yè)的人成為成為黨員的logodds高出了0.67。換句話說，相對(duì)于在小學(xué)文化的人（對(duì)照組）來說，初中畢業(yè)的人成為共產(chǎn)黨員的發(fā)生比（odds）高出了95%（模型B中算出兩組之發(fā)生率比為1.95:1）。拿另一個(gè)組比較，相對(duì)于初中畢業(yè)的人（對(duì)照組）來說，高中畢業(yè)的人成為共產(chǎn)黨員的發(fā)生比率“oddsratio”大約是317%(exp(1.82-0.67))，也可以說比初中畢業(yè)的人相對(duì)高出2.17倍（6.2/1.95）。（即比較組2和組3）模型解釋的不同方法approachestointerpretation(詳見Long&Freese2001)對(duì)于logit模型的解釋可以采取以下一些方法：利用predict命令預(yù)測(cè)事件發(fā)生的機(jī)率Predictionscanbecomputedforeachobservationinthesampleusingpredictprvalue,orprgen命令.（Predictedvaluesforsubstantivelymeaningful‘profiles’oftheindependentvariablescanbecomparedusingprvalue,orprgen.）邊際變化prchange(Themarginalordiscretechangeintheoutcomecanbeoutputtedatarepresentativevalueoftheindependentvariablesusingprchange.)概率的預(yù)測(cè)值PredictionsusingpredictOurexampleisfromMroz’s(1987)studyofthelaborforceparticipationofwomen,usingdatafromthe1976PanelStudyofIncomeDynamics.1Thesampleconsistsof753white,marriedwomenbetweentheagesof30and60.Thedependentvariablelfpequals1ifawomanisemployedandelseequals0..desclfpk5k618agewchclwginc.logitlfpk5k618agewchclwgincInthefollowingexample,wegeneratepredictedprobabilitiesforalogitmodelofwomen’slaborforceparticipation.Thevaluesofpr1generatedbypredictaretheprobabilitiesofawomanbeinginthelaborforceforeachoftheobservationsinthedataset:.predictpr1.sumpr1Thesummarystatisticsshowthatthepredictedprobabilitiesinthesamplerangefrom.013to.962,withanaverageprobabilityof.568.其他的例子：例如，基于party對(duì)教育，性別，父親黨員身份回歸的logit模型結(jié)果，初中畢業(yè)的人成為共產(chǎn)黨員的概率有多高?高中畢業(yè)的人成為黨員的概率又有多高?大學(xué)畢業(yè)的人成為黨員的概率如何?因此，我們計(jì)算出在小學(xué)文化水平的人有0.049概率的機(jī)會(huì)成為共產(chǎn)黨員，初中畢業(yè)的人則有0.06的概率，高中畢業(yè)的有0.14的概率成為黨員，大學(xué)畢業(yè)的人則有高達(dá)0.30的機(jī)會(huì)成為黨員。2）Prgen,prvalue，prchange使用這些命令之前，需要先安裝Spost.首先typenetsearchspost.Thiswilbringsupthenamesanddescriptionsofseveralpackages.Oneofthesepackagesislabeled“spost9_adofrom/~jslsoc/stata”，點(diǎn)擊并進(jìn)行下載即可.Prvaluecomputesthepredictedoutcomeforasinglesetofvaluesoftheindependentvariables.Prgencomputesavariablecontainingpredictedvaluesasonevariablechangesoverarangeofvalues,whichisusefulforconstructingplots.prchangecomputesmarginalanddiscretechangecoefficients.Prvalue:Atableofprobabilitiesforidealtypesofpeoplecanquicklysummarizetheeffectsofkeyvariables.Inourexampleoflaborforceparticipation,wecouldcomputepredictedprobabilitiesoflaborforceparticipationforwomeninthesethreetypesoffamilies:Young,lowincomeandloweducationfamilieswithyoungchildren.Highlyeducated,middleagedcoupleswithnochildrenathomeAnaveragefamilydefinedashavingthemeanonallvariablesThiscanbedonewithaseriesofcallstoprvalue.Wehavesetthevaluesoftheindependentvariablestothosethatdefineourfirsttypeoffamily,withothervariablesheldattheirmean.Theoutputshowsthepredictedprobabilityofworking(.13),alongwiththechosenvaluesforeachvariable.GraphingpredictedprobabilitieswithprgenWhenavariableofinterestiscontinuous,youcaneitherselectvalues(e.g.,quartiles)andconstructatable,orcreateagraph.Forexample,toexaminetheeffectsofeducationyearonbeingapartymemberbyage,wecanusetheestimatedparameterstocomputepredictedprobabilitiesaseducationchangesforfixedvaluesofage.Thecommandprgencreatesdatathatcanbegraphedinthisway.Thefirststepistogeneratethepredictedprobabilitiesforthoseaged30:Theoptionsthatweusearefrom(0)andto(19)specifytheminimumandmaximumvaluesoverwhichedu_yristovary.Thedefaultisthevariable’sobservedminimumandmaximumvalues.x(age=30)indicatesthatwewanttoholdthevalueofageat30.Bydefault,othervariableswillbeheldattheirmeanunlessrest()isusedtospecifysomeothersummarystatistic.gen(p30)indicatestherootnameusedinconstructingnewvariables.prgencreatesp30xthatcontainsthevaluesofedu_yrthatareused;p30p1withthevaluesoftheprobabilityofa1,andp30p0withvaluesoftheprobabilityofa0.7.假設(shè)檢驗(yàn)（HypothesisTesting）、模型適合度（GoodnessofFit）與模型選擇（ModelSelection）1)系數(shù)檢驗(yàn)Hypothesistestsofregressioncoefficientscanbeconductedwiththez-statisticsintheestimationoutput,withtestforWaldtestsofsimpleandcomplexhypotheses,andwithlrtestforthecorrespondinglikelihood-ratiotest.舉例：對(duì)單個(gè)系數(shù)的虛無假設(shè)作測(cè)試：rejectthenull,theeffectofageissignificantat0.01level.這個(gè)結(jié)果和logitoutput結(jié)果中顯示的P-valueforz-statistics是一致的。對(duì)兩個(gè)系數(shù)的虛無假設(shè)同時(shí)為零作測(cè)試：rejectthenull對(duì)兩系數(shù)相等的虛無假設(shè)作測(cè)試：rejectthenullandtheyarenotequal.2）似然比率統(tǒng)計(jì)-卡方檢驗(yàn)（LikelihoodRatiostatistics-G2）與模型比較我們用似然率檢驗(yàn)(likelihoodratiotests)來比較重迭（嵌套/鑲嵌）模型群（NESTEDmodels）的相對(duì)適合度(假設(shè)N極大)。似然率檢驗(yàn)（likelihoodratiotest或簡(jiǎn)稱LRT）需要同時(shí)計(jì)算限制條件與未限制模型的數(shù)據(jù)。若是限制條件顯著減少了似然率，則拒絕限制模型并接受未限制模型。G2=(Mc-Mu)=-2[logL(Mc)-2lnL(Mu)]c：constrained(限制模型)，u:unconstrained(未限制模型)此時(shí)G2呈卡方分配χ2，其自由度與限制數(shù)目相同。Lrtest檢驗(yàn)步驟：1）estimatethefull/unconstraintedmodel,andsavethemodelestimation2)estimatetheconstrainedmodel,3）lrtest.注意，N必須一致。似然率lrtest的例一：比較兩個(gè)模型：模型1：P(party)=a+b(edu)+c（fparty）模型2：P(party)=a+b(edu).xi:logitparty_new_new_Iedu_new_1-4(naturallycoded;_Iedu_new_1omitted)i.fparty_Ifparty_0-1(naturallycoded;_Ifparty_0omitted)Iteration0:loglikelihood=-401.9723Iteration1:loglikelihood=-370.92936Iteration2:loglikelihood=-358.9835Iteration3:loglikelihood=-358.94229Iteration4:loglikelihood=-358.94229LogisticregressionNumberofobs=1153LRchi2(4)=86.06Prob>chi2=0.0000Loglikelihood=-358.94229PseudoR2=0.1070party|Coef.Std.Err.zP>|z|[95%Conf.Interval]+_Iedu_new_2|.2157249.31782610.680.497-.4072029.8386527_Iedu_new_3|1.193163.3033093.930.000.59868831.787638_Iedu_new_4|2.094243.28065857.460.0001.5441622.644324_Ifparty_1|.2145675.23216050.920.355-.2404587.6695937_cons|-2.985643.2252077-13.260.000-3.427042-2.544244.eststoreA.xi:logitparty__new_Iedu_new_1-4(naturallycoded;_Iedu_new_1omitted)Iteration0:loglikelihood=-411.1552Iteration1:loglikelihood=-379.80913Iteration2:loglikelihood=-367.29347Iteration3:loglikelihood=-367.25331Iteration4:loglikelihood=-367.25331LogisticregressionNumberofobs=1178LRchi2(3)=87.80Prob>chi2=0.0000Loglikelihood=-367.25331PseudoR2=0.1068party|Coef.Std.Err.zP>|z|[95%Conf.Interval]+_Iedu_new_2|.2068373.31388220.660.510-.4083605.8220351_Iedu_new_3|1.186609.29704453.990.000.60441291.768806_Iedu_new_4|2.143948.26899897.970.0001.616722.671176_cons|-2.949212.2187133-13.480.000-3.377882-2.520542.lrtestAobservationsdiffer:1153vs.1178r(498);為什么會(huì)出錯(cuò)？比較鑲嵌式的模型，需要samplesize一致。在這個(gè)例子中，fparty有missing.所以需要先挑選沒有missing變量的數(shù)據(jù)：若套用公式：LRchi2=0.84=-2*(-359.36-(-358.94))（其中，-359.36是限制模型，-358.94是未限制模型）通過卡方檢驗(yàn)，P=0.3602,我們不能拒絕Ho,兩個(gè)模型沒有顯著差別，所以限制模型更簡(jiǎn)潔。因此，我們拒絕未限制模型而接受限制模型。須特別留意,似然率檢驗(yàn)要有效，兩個(gè)相比的模型必須符合下列條件：模型需重迭NESTED(一個(gè)模型必須