13 效標(biāo)關(guān)聯(lián)效度

1、主要內(nèi)容,一、效度概述 二、內(nèi)容效度 三、結(jié)構(gòu)效度 四、效標(biāo)關(guān)聯(lián)效度 五、影響效度的因素 六、效度的作用 七、效度的概化,學(xué)習(xí)目標(biāo): 掌握效標(biāo)關(guān)聯(lián)效度定義、種類和應(yīng)用； 掌握效標(biāo)與效標(biāo)測量； 了解效標(biāo)關(guān)聯(lián)效度的估計方法 ；,一、定義、種類、應(yīng)用,1. 定義 效標(biāo)關(guān)聯(lián)效度(criterion-related validity)是指測驗對個體的效標(biāo)行為表現(xiàn)進行估計的有效性程度。 又稱實證效度、經(jīng)驗效度、準(zhǔn)則關(guān)聯(lián)效度。,2. 分類(收集效標(biāo)的時間),同時效度(concurrent validity)：效標(biāo)資料與測驗資料同時獲得； 預(yù)測效度(predictive validity)：效標(biāo)資料后于測驗資

2、料獲得；,3. 應(yīng)用,同時效度：診斷現(xiàn)狀 預(yù)測效度：預(yù)測未來結(jié)果,某人成功了嗎？某人患病了嗎？ 某人會成功嗎？某人會患病嗎？,二、效標(biāo)與效標(biāo)測量,1. 效標(biāo)（criterion） 是衡量測驗有效性的參照標(biāo)準(zhǔn)，它是獨立于測驗之外、體現(xiàn)測驗?zāi)康牡男袨樽兞俊?2. 觀念效標(biāo)和效標(biāo)測量(conceptual criterion and criterion measurement),觀念效標(biāo)：效標(biāo)的實質(zhì)概念內(nèi)容，如學(xué)習(xí)或工作成功、技術(shù)水平 效標(biāo)測量：效標(biāo)的具體化，可操作的測量指標(biāo),同一觀念效標(biāo)可以有多個效標(biāo)測量。,3. 選擇效標(biāo)測量必須滿足以下要求：,1) 有效性(關(guān)聯(lián)性） 2) 可靠性 3) 客觀性(

3、或抗偏性)：產(chǎn)生效標(biāo)測量中偏差的主要原因在于效標(biāo)污染。 4) 實用性（可得性）,4. 常用的效標(biāo),學(xué)業(yè)成就 特殊訓(xùn)練成績 實際工作表現(xiàn) 團體對照 臨床診斷 等級評定 先前有效的測驗,5. 效標(biāo)的特征,1）多樣性； 2）復(fù)雜性； 3）特殊性；,三、效標(biāo)關(guān)聯(lián)效度的估計方法,1.確定效標(biāo)關(guān)聯(lián)效度的基本步驟： 1）明確觀念效標(biāo) 2）確定效標(biāo)測量 3）考查測驗分?jǐn)?shù)與效標(biāo)測量之間的關(guān)系,2. 常用的估計效標(biāo)關(guān)聯(lián)效度的方法：,1）相關(guān)法 2）組的分類 3）命中率 4）功利率 5）合成效度,小結(jié)：,三方面的效度都是圍繞效度的基本問題展開的; 一個測驗需要哪種效度證據(jù)，取決于一定的測驗?zāi)康模煌臏y驗偏重于不同

4、的效度證據(jù); 效度的驗證雖是測驗編制后進行的工作，但其指導(dǎo)思想在編制過程中始終起著主導(dǎo)作用;,發(fā)生于效標(biāo)測量是評定等級時 效標(biāo)污染(criterioncontamination)是指評定者知道被試測驗的分?jǐn)?shù)，而使其效標(biāo)分?jǐn)?shù)受到影響的情況。如入學(xué)考試分?jǐn)?shù)與教師主觀評定 如何防止？ 返回,1.相關(guān)法,測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)之間的相關(guān)系數(shù)。 選擇團體 獲得測驗分?jǐn)?shù) 獲得效標(biāo)分?jǐn)?shù) (4)求相關(guān)系數(shù),（1）,（2）,（3）,根據(jù)分?jǐn)?shù)的性質(zhì)不同采用不同的相關(guān)計算方法,(1)積差相關(guān)系數(shù),使用條件：測驗分?jǐn)?shù)和效標(biāo)分?jǐn)?shù)都是連續(xù)變量 公式：,例：假設(shè)有10人經(jīng)職業(yè)興趣測驗而被選定作為推銷員，其測驗分?jǐn)?shù)見下表第一行，

5、而第二行是經(jīng)過若干年后他們某段時間內(nèi)銷售金額總量（以萬元為單位）。現(xiàn)問該測驗的預(yù)測效度如何？,=0.75,(2)二列相關(guān)系數(shù),適用條件：測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，其中一個變量被人為分為兩類 公式：,其中 為正態(tài)曲線中值對應(yīng)的高度,例題：進行一項智力測驗，被試中66名來自實驗班，286名來自普通班，最后測出實驗班的被試IQ均數(shù)為114，普通班被試的IQ均數(shù)為96，所有被試IQ分的標(biāo)準(zhǔn)差為14.53，計算二列相關(guān)系數(shù)。,=0.8125,查正態(tài)分布表,得出常態(tài)曲線下所對應(yīng)的Y值為0.2685,(3) 四分相關(guān)系數(shù) 適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是連續(xù)變量，且每一個變量的變化都被人為地分為兩種

6、類型，即以二分變量表示。,a、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù),=0.67,=,(4)相關(guān)系數(shù),適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是真正的二分變量，如工作狀態(tài)、婚姻狀態(tài)等。,a、b、c、d表示由兩個二分變量所分成的四種類別的實際頻數(shù),例：研究調(diào)查了358名不同性別的大學(xué)生對某項教育措施的評價態(tài)度，結(jié)果如下表。根據(jù)這些結(jié)果，能否說明性別對評價態(tài)度有無預(yù)測效度？,評價態(tài)度,性 別,男,172,女,186,94,264,358,擁護,反對,a=66,b=106,c=28,d=158,(5)列聯(lián)相關(guān)系數(shù),適用條件：當(dāng)測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)其中一個變量不止分為兩個種類時,C表示列聯(lián)相關(guān)系

7、數(shù)， 表示RC列聯(lián)表計算出的值, N表示樣本容量,返回,2. 組的分類,根據(jù)被試的效標(biāo)行為表現(xiàn)，將他們分為不同的組別(團體)，如果這些組在測驗分?jǐn)?shù)上有顯著性差異，則說明該測驗的效度高。,df=,成功組、失敗組的平均分 成功組、失敗組樣本容量 成功組、失敗組得分的方差,兩總體正態(tài)分布,兩總體方差未知,到72頁,工作成功組： ， ， 工作失敗組： ， ， 代入上面公式可得： df=98時，t=5.40,T檢驗的弊端和重疊量的計算 運用“組的分類”方法表示效度，要檢驗平均數(shù)之間的差異，就要用到均數(shù)之差的標(biāo)準(zhǔn)差。 而均數(shù)的標(biāo)準(zhǔn)誤存在這樣的關(guān)系： 均數(shù)之差的標(biāo)準(zhǔn)差也存在這樣的關(guān)系：即其大小與樣組容量成反

8、比。 那么當(dāng) 保持不變時，則n越大，均數(shù)之差的標(biāo)準(zhǔn)誤就越小，這樣就使得t值增大，增加了拒絕虛無假設(shè)的機會。,T檢驗的弊端和重疊量的計算 要避免上述缺點，可以求出這兩個分布的重疊量。 1. 可求出一組內(nèi)被試得分超出另一組平均數(shù)的人數(shù)與另一組被試中超出前一組均數(shù)的人數(shù)之比(通常是以“失敗”組超過“成功”組均數(shù)的人數(shù)來計算)； 2. 可求出兩組分?jǐn)?shù)分布共同區(qū)域的百分比； 返圖 返回,3. 命中率,（1）總命中率(取舍正確率):公平 （2）正命中率(錄取正確率):提高效率 錯誤拒絕和錯誤接受的人數(shù)比例與臨界分?jǐn)?shù)位置,=,=,返回,4. 功利率,測驗效度不僅是一個科學(xué)性的問題，也是一個實用性的問題。使用

9、測驗所帶來的利益的大小就是功利率。 實際上，測驗分?jǐn)?shù)不能完全準(zhǔn)確地預(yù)測一個人成功與否，最終的衡量標(biāo)準(zhǔn)還是他的實際能力。 錄取人員時用測驗而不用工作表現(xiàn)，是因為測驗省時省力，能避免錯誤錄取人員帶來的損失。這樣以來，測驗的效度就與使用測驗所帶來的利益聯(lián)系起來了。,返回,U代表功利率；,B代表錄用一名成功者所帶來的平均收益； C代表錄用一名不合格者所招致的損失；,分別代表錄取人數(shù)中成功和失敗的人數(shù)；,S代表測驗費用；,5. 合成效度,職務(wù)成分效度是指：假設(shè)具有相同職務(wù)成分的職務(wù)也具有相似的職務(wù)要求，那么從所測量的職務(wù)的基本成分及各成分的效度資料即可綜合而成測驗效度。計算合成效度的一般程序是： .通過工作分析，確定完成某項工作所需要的基本能力成分及其相對權(quán)重； .估計出測量各個成分的測驗效度； .根據(jù)權(quán)數(shù)將各個成分的測驗效度合成，就得到了合成效度；,返回,結(jié)構(gòu)效度幫助我們運用測驗分?jǐn)?shù)解釋人的心理特質(zhì)，可由結(jié)構(gòu)效度研究的資料來回答測驗所測量的東西。 效標(biāo)關(guān)聯(lián)效度可用來了解測驗分?jǐn)?shù)能否有效地預(yù)測或估計某種行為表現(xiàn)，是關(guān)于測驗結(jié)果的一些實際用途的檢驗。 內(nèi)容效度則與研究的內(nèi)容范圍有關(guān)，它幫助我們決定測驗分?jǐn)?shù)能