多層線性模型簡介、類型和應(yīng)用舉例

1、主要內(nèi)容為什么要用多層線性模型?回歸分析模型回顧多層（多水平）數(shù)據(jù)特點(diǎn)什么是多層線性模型？HLM發(fā)展HLM數(shù)學(xué)模型HLM常見簡化模型兩水平模型應(yīng)用舉例應(yīng)該注意的問題多層線性模型簡介、類型和應(yīng)用舉例回歸分析模型多層線性模型簡介、類型和應(yīng)用舉例回歸分析模型的假設(shè)線性（Linearity）誤差正態(tài)分布（ normally distributed）誤差方差齊性（homoskedastic）誤差或觀測個體之間相互獨(dú)立（independent）多層線性模型簡介、類型和應(yīng)用舉例什么是多層（多水平）數(shù)據(jù)?多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學(xué)生嵌套于班級，班級嵌套于學(xué)校等。同一單位內(nèi)的觀

2、測，具有更大的相似性。同一個班級的學(xué)生由于受相同的班級環(huán)境等因素的影響有更大的相似性。多層線性模型簡介、類型和應(yīng)用舉例嵌套于背景（contextual）特征的多層數(shù)據(jù)舉例學(xué)生水平特征的觀測，嵌套于班級或?qū)W校兄弟姊妹特征的觀測，嵌套于家庭個體之間的觀測嵌套于社區(qū)個體不同時(shí)間點(diǎn)的重復(fù)測量嵌套于個體病人嵌套于醫(yī)院參數(shù)的估計(jì)嵌套于不同的研究 (元分析，meta-analysis)多層線性模型簡介、類型和應(yīng)用舉例對多層數(shù)據(jù)，我們了解什么.隨機(jī)選取兩個觀測，同一組內(nèi)的觀測之間的相似性要比不同組觀測之間的相似性大；如果回歸模型不能解釋所有的組間的差異（事實(shí)上傳統(tǒng)回歸不可能做到這一點(diǎn)）,那么同一組內(nèi)的觀測之間

3、的誤差可能相關(guān)；這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨(dú)立的假設(shè)；至少，傳統(tǒng)回歸分析得到的標(biāo)準(zhǔn)誤的估計(jì)不正確（太?。?。多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個體（如學(xué)生）水平上分析 問題：同一班級的學(xué)生間相互獨(dú)立的假設(shè)是不合理的，同樣對不同班級的學(xué)生和相同班級的學(xué)生作同一假設(shè)也是不合理的。 （2）組（如學(xué)校）水平上分析 問題：丟失了班級內(nèi)學(xué)生個體間的差異的信息。 多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足。 傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個體間相互

4、獨(dú)立。前兩個假設(shè)較易保證，但方差齊性，尤其是個體間相互獨(dú)立的假設(shè)卻很難滿足。 多層線性模型簡介、類型和應(yīng)用舉例獨(dú)立性不滿足帶來的問題傳統(tǒng)回歸系數(shù)估計(jì)的標(biāo)準(zhǔn)誤依賴于相互獨(dú)立的假設(shè)；如果獨(dú)立性的假設(shè)不滿足，得到的標(biāo)準(zhǔn)誤的估計(jì)往往偏小，因此所犯第一類錯誤的概率往往偏大。多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)學(xué)模型例如：對73個學(xué)校1905名學(xué)生進(jìn)行調(diào)查，目的是考慮其剛上高中時(shí)的入學(xué)成績與三年后高考成績之間的關(guān)系。 考慮方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學(xué)生水平上進(jìn)行分析，得出入學(xué)學(xué)業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學(xué)校之間的

5、差異。 多層線性模型簡介、類型和應(yīng)用舉例圖1：不考慮學(xué)校之間差異的回歸直線 多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)學(xué)模型（2）如果將數(shù)據(jù)進(jìn)行簡單合并，用每個學(xué)校學(xué)生的平均成績代替這個學(xué)校的成績，直接在學(xué)校水平上估計(jì)入學(xué)成績對高考成績的影響，得到一條回歸直線，如圖2所示，這種方法忽略了不同學(xué)生之間的差異；多層線性模型簡介、類型和應(yīng)用舉例圖2：只考慮學(xué)校差異忽略學(xué)生差異回歸直線 多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)學(xué)模型（3）如果假設(shè)不同學(xué)校入學(xué)成績對高考成績的回歸直線截距不同，斜率相同（平均學(xué)習(xí)成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學(xué)校學(xué)生平均高考成績之間存在差異。

6、多層線性模型簡介、類型和應(yīng)用舉例圖3：考慮不同學(xué)校平均成績差異的回歸直線多層線性模型簡介、類型和應(yīng)用舉例HLM數(shù)學(xué)模型（4）對73所學(xué)校分別做回歸分析，得到如圖4的結(jié)果，如圖4所示，從圖中結(jié)果可以看出，不同學(xué)?；貧w直線的截距和斜率均不同，即：不同學(xué)校學(xué)生平均高考成績之間存在差異，入學(xué)學(xué)業(yè)成績對高考成績的影響強(qiáng)度不同。多層線性模型簡介、類型和應(yīng)用舉例圖4：考慮不同學(xué)校平均成績差異 和入學(xué)對畢業(yè)成績影響程度差異的回歸直線多層線性模型簡介、類型和應(yīng)用舉例回歸模型中，如何解決殘差相關(guān)的問題?希望定義一個模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異例如，允許學(xué)生的學(xué)業(yè)成績存在學(xué)校之間的差異多層線性

7、模型簡介、類型和應(yīng)用舉例告別 OLS: 一個簡單的多層線性模型將重寫為:多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit j多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit jIntercept 多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for obse

8、rvation i in unit j 多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j 多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j R

9、esidual term specific to unit j Residual term specific to observation i in unit j多層線性模型簡介、類型和應(yīng)用舉例一個簡單的多層線性模型Outcome for observation i in unit jIntercept Coefficient Value of X for observation i in unit j Residual term specific to unit j Residual term specific to observation i in unit j多層線性模型簡介、類型和應(yīng)用

10、舉例 uj表示什么?殘差項(xiàng)定義第 j 組（第二水平）對于第 j組的所有觀測都相同只有下標(biāo) j, 沒有下標(biāo) i解釋: 總截距和第 j組的截距之間的差異多層線性模型簡介、類型和應(yīng)用舉例 rij表示什么?殘差項(xiàng)定義第 j 組第i 個觀測 均值為0多層線性模型簡介、類型和應(yīng)用舉例模型的特征注意到: ij = uj + rij我們有: Var(ij)= Var(uj + rij)= Var(uj) + Var(rij) + 2*Cov(uj,rij) = Var(uj) + Var(rij)多層線性模型簡介、類型和應(yīng)用舉例模型的特征 Yij 的值可能存在第二水平（組間）的差異對于 uj和 rij沒有定義

11、其分布. X 和 Y 之間的關(guān)系不依賴于 j (1 不依賴于 j)多層線性模型簡介、類型和應(yīng)用舉例模型的另一種表達(dá)這里多層線性模型簡介、類型和應(yīng)用舉例多層線性模型水平1（如：學(xué)生） 水平2（如：學(xué)校） jju0000+=gbYij-第j個學(xué)校的第i個學(xué)生jju1101+=gb多層線性模型簡介、類型和應(yīng)用舉例何謂多層線性模型?多層線性模型又稱為： 多水平分析（ Multilevel Analysis ）混合模型（Mixed Models）隨機(jī)系數(shù)模型（Random Coefficient Models）多層線性模型簡介、類型和應(yīng)用舉例HLM的發(fā)展Harvey Goldstein-Multilev

12、el Analysis ( Mlwin)Stephen W. Raudenbush-Hierarchical Linear Model (HLM)多層線性模型簡介、類型和應(yīng)用舉例HLM的發(fā)展 模型理論構(gòu)想階段（Lindley & Smith ,1972 ） 多層線性模型簡介、類型和應(yīng)用舉例HLM的發(fā)展2問題解決階段 Dempster、Laird 和Rubin(1977)提出EM算法; Dempster（1981）將EM算法應(yīng)用于解決多層線性模型的參數(shù)估計(jì) ; 1983年，Strenio、Weisberg和Bryk等相繼將這一方法應(yīng)用于社會學(xué)的研究；1986年Goldstein應(yīng)用IRGLS估計(jì)

13、參數(shù)，1987年，Longford應(yīng)用費(fèi)歇得分算法對模型參數(shù)進(jìn)行了估計(jì)。 多層線性模型簡介、類型和應(yīng)用舉例HLM的發(fā)展 快速發(fā)展與應(yīng)用 HLM（Bryk，Randenbush，SeltzerCongdon，1988）； Mlwin（Rabash，ProsserGoldstein，1989）； VARCL（Longford，1988）； MPLUS（Muthen，1992）。多層線性模型簡介、類型和應(yīng)用舉例多層線性模型回歸模型的一種常用來回答背景變量（如班級環(huán)境等）與個體變量（如學(xué)生特征）之間的關(guān)系常用來估計(jì)組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系 以及跨水平的交互作用。例如, 學(xué)校內(nèi)和學(xué)

14、校間自我概念和學(xué)業(yè)成績之間的關(guān)系。 多層線性模型簡介、類型和應(yīng)用舉例多層線性模型簡介多層線性模型一種處理嵌套數(shù)據(jù)的統(tǒng)計(jì)方法。通過定義不同水平（層）的模型，將隨機(jī)變異分解為兩個部分，其一是第一水平個體間差異帶來的誤差，另一個是第二水平班級的差異帶來的誤差?？梢约僭O(shè)第一水平個體間的測量誤差相互獨(dú)立，第二水平班級帶來的誤差在不同班級之間相互獨(dú)立。多水平分析法同時(shí)考慮到不同水平的變異 。多層線性模型簡介、類型和應(yīng)用舉例多層線性模型多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計(jì)方法。下面結(jié)合上面提到的例子，介紹兩水平模型的一般數(shù)學(xué)表示：多層線性模型簡介、類型和應(yīng)用舉例多層線性模型水平1（如：學(xué)生）

15、 水平2（如：學(xué)校） jjjuW001000+=ggbYij-第j個學(xué)校的第i個學(xué)生多層線性模型簡介、類型和應(yīng)用舉例多層線性模型合并模型： 其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學(xué)生）的預(yù)測變量，Wj表示第二水平（學(xué)校）的預(yù)測變量。 多層線性模型簡介、類型和應(yīng)用舉例多層線性模型模型的假設(shè)條件為： 多層線性模型簡介、類型和應(yīng)用舉例多層線性模型截距與斜率之間的相關(guān)系數(shù)：截距與斜率之間的相關(guān)系數(shù)大小表示了不同學(xué)校平均高考成績與入學(xué)成績對高考成績影響強(qiáng)度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學(xué)成績對期末成績的影響越大。 多層線性模型簡介、類型和應(yīng)用舉例HLM常

16、用模型類型隨機(jī)效應(yīng)一元方差分析模型（one-way Anova with Random Effect） 第一水平： 第二水平： 合并模型：ijojijeuY+=00g多層線性模型簡介、類型和應(yīng)用舉例HLM常用模型類型無條件模型：模型中沒任何預(yù)測變量的多層分析模型 模型表示與隨機(jī)效應(yīng)的方差分析模型相同。在無條件模型中： 上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個體之間的相關(guān)（intra level 2-unit correlation），它測量了學(xué)校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。 多層線性模型簡介、類型和應(yīng)用舉例HLM常用模型類型隨機(jī)效應(yīng)單因素協(xié)方差分析（One-w

17、ay ANCOVA with Random Effects） 水平1： 水平2： 多層線性模型簡介、類型和應(yīng)用舉例HLM常用模型類型一般的線性回歸模型 第一水平 ：第二水平：多層線性模型簡介、類型和應(yīng)用舉例HLM常用模型類型隨機(jī)系數(shù)回歸模型（Random-Coefficients Regression Model） 第一水平 ：第二水平：多層線性模型簡介、類型和應(yīng)用舉例HLM應(yīng)用舉例和 在水平一的數(shù)據(jù)文件中，有7185個觀測樣本和四個第一水平的變量（不包含第二水平指標(biāo)變量：學(xué)校編號ID），這四個變量所表示的含義如下： minority，學(xué)生的種族（1=少數(shù)民族，0=其他） female：學(xué)生性

18、別（1=女，0=男） ses：學(xué)生的社經(jīng)地位，由學(xué)生父母受教育程度、職業(yè)和收入合成，變量已被標(biāo)準(zhǔn)化 mathach：學(xué)生的數(shù)學(xué)學(xué)業(yè)成績 多層線性模型簡介、類型和應(yīng)用舉例HLM應(yīng)用舉例數(shù)據(jù)文件中包含有160個學(xué)校，每個學(xué)校測量了六個學(xué)校水平的變量（不包含學(xué)校指標(biāo)變量ID）。size：學(xué)校招生人數(shù)sector：學(xué)校類型（1=天主教教會學(xué)校，0=公立學(xué)校）pracad：從事學(xué)術(shù)研究的學(xué)生的比例disclim：學(xué)校紀(jì)律環(huán)境，由量表測量得到himnty：學(xué)校招生少數(shù)民族學(xué)生比例描述（1=超過40%少數(shù)民族學(xué)生，0=其他）meanses：包含在水平1數(shù)據(jù)中，每個學(xué)校學(xué)生的平均社經(jīng)地位 多層線性模型簡介、類

19、型和應(yīng)用舉例HLM應(yīng)用舉例 目的：分析影響學(xué)生數(shù)學(xué)成績的學(xué)生水平變量和學(xué)校水平變量多層線性模型簡介、類型和應(yīng)用舉例個體水平模型Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij第 j 組第 I 個個體因變量的觀測值第 j個組的截距第j 組 X1 對應(yīng)的斜率第j 組 X2 對應(yīng)的斜率第j 組 XK 對應(yīng)的斜率多層線性模型簡介、類型和應(yīng)用舉例背景（Contextual）模型 Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 1j = 10 2j = 20 Kj = K0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是

20、固定的，即對不同的第二水平單元均相同多層線性模型簡介、類型和應(yīng)用舉例背景（Contextual）影響問題第二水平不同單元（如不同學(xué)校），截距是否相同?能否用第二水平的協(xié)變量預(yù)測截距之間的差異?斜率是否存在第二水平的變異?能否用第二水平的預(yù)測變量解釋斜率之間的差異?多層線性模型簡介、類型和應(yīng)用舉例截距是否存在第二水平的變異? Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + u0j1j = 10 2j = 20 Kj = K0In the random effects model, the intercept varies around s

21、ome grand mean intercept (00), and the slopes are fixed they are the same in all unitsTest H0: Var(u0j) = 0多層線性模型簡介、類型和應(yīng)用舉例可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + 01Z1 + 02Z2 + + 0MZM + u0j 1j = 10 2j = 20 Kj = K0Here, the Zms predict the intercept.Test H0: 0m = 0多

22、層線性模型簡介、類型和應(yīng)用舉例斜率是否存在第二水平的變異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij + rij0j = 00 + u0j1j = 10 + u1j2j = 20 + u2jKj = K0 + uKjThe intercept and each of the slopes varies around their grand means (the k0s)Test H0: Var(ukj) = 0多層線性模型簡介、類型和應(yīng)用舉例能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij = 0j + 1jX1ij + 2jX2ij + + KjXKij +

23、rij0j = 00 + 01Z1 + 02Z2 + + 0MZM + u0j1j = 10 + 11Z1 + 12Z2 + + 1MZM + u1j2j = 20 + 21Z1 + 22Z2 + + 2MZM + u2jKj = K0 + K1Z1 + K2Z2 + + KMZM + uKjHere, the Zms predict the slopes.Test H0: km = 0多層線性模型簡介、類型和應(yīng)用舉例無條件模型多層線性模型簡介、類型和應(yīng)用舉例無條件模型參數(shù)估計(jì)結(jié)果Final estimation of variance components: - Random Effect Standard Variance df Chi-square P-value Deviation Component - -多層線性模