內(nèi)容效度PPT課件

1、1,.,第四章效度,第一節(jié)概述第二節(jié)內(nèi)容效度第三節(jié)效標(biāo)關(guān)聯(lián)效度第四節(jié)結(jié)構(gòu)效度第五節(jié)提高測量效度的方法第六節(jié)效度資料的概化,2,.,第一節(jié)概述,一、效度的含義二、效度和信度的關(guān)系三、效度的種類,返回,3,.,一、效度的含義,效度（validation)指測驗的有效性，即測驗分?jǐn)?shù)能夠代表所要測量的心理特性的程度，或測驗結(jié)果達(dá)到測驗?zāi)康牡某潭?。一個測驗對所要測驗的特性測量到什么程度的估計。AERA，APA，NCME（1999，p12）指根據(jù)指定用途支持分?jǐn)?shù)解釋的那些事實和理論的有效程度。,4,.,效度的數(shù)學(xué)定義,測驗分?jǐn)?shù)=有效分?jǐn)?shù)+系統(tǒng)誤差+隨機(jī)誤差測驗分?jǐn)?shù)的方差=有效分?jǐn)?shù)的方差+系統(tǒng)誤差的方差+隨

2、機(jī)誤差的方差效度為有效分?jǐn)?shù)的方差與測驗分?jǐn)?shù)方差的比,返回,5,.,二、效度和信度的關(guān)系,信度高是效度高的必要條件，而非充分條件,6,.,效度不會大于信度的平方根（可由下面公式推導(dǎo)）,返回,7,.,三、效度的種類,內(nèi)容效度效標(biāo)關(guān)聯(lián)效度結(jié)構(gòu)效度,返回,8,.,第二節(jié)內(nèi)容效度,一、內(nèi)容效度的含義二、驗證測驗內(nèi)容效度的程序三、內(nèi)容效度的確定方法四、適用范圍五、表面效度,返回,9,.,一、內(nèi)容效度的含義,內(nèi)容效度（contentvalidation）測驗項目對所要測量的內(nèi)容范圍的代表性程度。測驗的使用者希望估計測驗在它所要代表的環(huán)境整體中一個考生表現(xiàn)如何。（1974）內(nèi)容關(guān)聯(lián)憑證（content-rel

3、atedevidence）（1985）基于考試內(nèi)容的憑證（evidencebasedontestcontent)（1999）（p299）,返回,10,.,二、驗證測驗內(nèi)容效度的一般程序,以教育測驗為例確定所要測量的全部內(nèi)容范圍；將測驗?zāi)康木唧w化為不同層次的測驗?zāi)繕?biāo)；確定每一層測驗?zāi)繕?biāo)在整個測驗中的比重；編制雙向細(xì)目表；確定每一小格中的測題數(shù)量；按比例隨機(jī)抽取測驗題目；請專家對測題的代表性、適合性進(jìn)行分析，并作必要的修改，直到大多數(shù)專家滿意為止。,返回,11,.,雙向細(xì)目表舉例,上頁,12,.,三、內(nèi)容效度的確定,專家判斷法（如前所述）復(fù)本法處理后的重測法內(nèi)容效度比,13,.,復(fù)本法,一組被試在

4、取自同樣內(nèi)容范圍的兩個測驗復(fù)本上得分的相關(guān)來估計。如果相關(guān)低，則兩個測驗中至少一個缺乏內(nèi)容效度。如果相關(guān)高，一般推論測驗具有內(nèi)容效度，但也可能出現(xiàn)兩個測驗有相同偏差的情況。,14,.,處理后的重測法,前測教學(xué)后測在教學(xué)或訓(xùn)練之前施測某一測驗，然后對他們進(jìn)行教學(xué)訓(xùn)練，結(jié)束時再測一次。如果成績提高很大，則說明測驗對教學(xué)具有較高的內(nèi)容效度。,15,.,內(nèi)容效度比,返回,16,.,四、適用范圍,內(nèi)容效度適合于測驗所要測量的內(nèi)容總體能夠明確界定的情況：標(biāo)準(zhǔn)參照測驗知識測驗、技能測驗等教育測驗工作表現(xiàn)可以界定的職業(yè)心理測驗不適合：智力測驗，人格測驗,返回,17,.,五、表面效度,表面效度（facevali

5、dity）被試主觀上認(rèn)為測驗是否測量了所要測量的心理特性。并不是一種真正的效度。表面效度影響被試的測驗動機(jī)。人格測驗要求表面效度不宜過高。,返回,18,.,第三節(jié)效標(biāo)關(guān)聯(lián)效度,一、效標(biāo)關(guān)聯(lián)效度概述二、效標(biāo)三、效標(biāo)關(guān)聯(lián)效度估計的方法四、效標(biāo)關(guān)聯(lián)效度的應(yīng)用,返回,19,.,一、效標(biāo)關(guān)聯(lián)效度概述,效標(biāo)關(guān)聯(lián)效度（criterion-relatedvalidity）指測驗分?jǐn)?shù)與外部效標(biāo)之間的相關(guān)。又稱準(zhǔn)則關(guān)聯(lián)效度。效標(biāo)即效度標(biāo)準(zhǔn)。指獨立于測驗結(jié)果，反映測驗?zāi)康牡男袨閰⒄铡?20,.,效標(biāo)關(guān)聯(lián)效度研究的一般步驟,確定一種恰當(dāng)?shù)臏?zhǔn)則行為及其測量方法；確定一個能代表測驗最終使用對象的適合的受測者樣本；施測并記

6、錄每個受測者的得分；得到準(zhǔn)則資料，對每個受測者在該準(zhǔn)則上的操作進(jìn)行測量；確定測驗分?jǐn)?shù)與準(zhǔn)則分?jǐn)?shù)的相關(guān)程度。,21,.,效標(biāo)關(guān)聯(lián)效度的類型,預(yù)測效度（predictivevalidity）測驗分?jǐn)?shù)與隨后獲得的效標(biāo)分?jǐn)?shù)之間的相關(guān)。同時效度（concurrentvalidity）測驗分?jǐn)?shù)與幾乎同時獲得的效標(biāo)分?jǐn)?shù)之間的相關(guān)。,返回,22,.,二、效標(biāo)（準(zhǔn)則）,效標(biāo)的測量常用的效標(biāo),23,.,1效標(biāo)的測量,有效性：高效度可靠性：高信度客觀性：效標(biāo)污染（criterioncontamination）：在對效標(biāo)進(jìn)行測量的過程中，由于事先知道預(yù)測源的結(jié)果，而對效標(biāo)測量產(chǎn)生影響或污染的過程實用性：方便,經(jīng)濟(jì),2

7、4,.,2常用的效標(biāo),學(xué)術(shù)成就（智力測驗、標(biāo)準(zhǔn)化成就測驗的效標(biāo)）實際工作表現(xiàn)（特殊能力測驗、部分智力測驗和人格測驗的效標(biāo)）團(tuán)體差異（測驗分?jǐn)?shù)能將已經(jīng)知道的團(tuán)體差異區(qū)分開來）臨床診斷（人格測驗的效標(biāo)）特殊訓(xùn)練的成績（特殊能力測驗的效標(biāo)）等級評定（人格測驗中其他人的評定）現(xiàn)有的測驗,返回,25,.,三、效標(biāo)關(guān)聯(lián)效度估計的方法,相關(guān)系數(shù)法分組檢驗法命中率法功利率法,返回,26,.,1相關(guān)系數(shù)法,方法：積差相關(guān)、點二列相關(guān)、二列相關(guān)、等級相關(guān)等優(yōu)點：提供了預(yù)測源與效標(biāo)之間的數(shù)量關(guān)系；可利用回歸方程來預(yù)測效標(biāo)分?jǐn)?shù)。缺點：預(yù)測源與效標(biāo)是非線性關(guān)系時，會低估效度；不能提供關(guān)于取舍正確性的指標(biāo)。,27,.,積

8、差相關(guān),適用條件：測驗分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)都是正態(tài)連續(xù)變量，且二者存在線性關(guān)系,28,.,積距相關(guān)公式,舉例,29,.,二列相關(guān),適用條件：兩列變量均來自正態(tài)分布總體的等距變量，而其中一列被人為地劃分為兩個類別,30,.,二列相關(guān)公式,舉例,返回,31,.,2分組檢驗法,基本思想：根據(jù)被試在準(zhǔn)則上的行為表現(xiàn)，將他們分為不同的組別，如果這些組的預(yù)測源分?jǐn)?shù)有顯著差異，那么，這個測驗的預(yù)測效度是較高的。步驟：依據(jù)被試在準(zhǔn)則上的行為表現(xiàn)進(jìn)行分組：成功與失敗或合格與不合格兩獨立樣組測驗分?jǐn)?shù)的均數(shù)差異顯著性t檢驗計算重疊量,32,.,獨立樣本t檢驗公式,舉例,33,.,計算重疊量,當(dāng)樣組規(guī)模n越大時，均數(shù)之差的

9、標(biāo)準(zhǔn)誤就越小。如果t檢驗有顯著性差異，還必須求兩個分布的重疊量。,34,.,計算重疊量,方法一：A1=失敗組中高于成功組測驗成績平均數(shù)的人數(shù)A2=成功組中高于成功組測驗成績平均數(shù)的人數(shù)比率越低，兩組差異越大方法二：計算兩組分?jǐn)?shù)分布的共同區(qū)域的人數(shù)百分比，即兩組分?jǐn)?shù)分布的交叉區(qū)域的面積。共同區(qū)域的百分比越小，兩組差異越顯著。,舉例,返回,35,.,3命中率法,分類決策的正確性,舉例,返回,36,.,4功利率法,效度的實用性U=B（NS）C（NU）SU=功利率B=錄用一個成功的人員所產(chǎn)生的平均利潤NS=錄用人員中成功的人數(shù)C=錄用一個不合格人員所帶來的損失NU=錄用人員中失敗的人數(shù)S=實用測驗的費

10、用,返回,37,.,三、效標(biāo)關(guān)聯(lián)效度的應(yīng)用,對個人分?jǐn)?shù)的預(yù)測人員的分類與安置,38,.,1對個人分?jǐn)?shù)的預(yù)測,簡單直線回歸：由直線回歸方程轉(zhuǎn)化為以標(biāo)準(zhǔn)分?jǐn)?shù)表示的方程ZY=rZX,39,.,預(yù)測誤差,效度系數(shù)的平方表示由測驗分?jǐn)?shù)能說明的準(zhǔn)則測量方差的比例。預(yù)測誤差的標(biāo)準(zhǔn)誤,40,.,預(yù)測誤差計算舉例,某智力測驗與數(shù)學(xué)成績的相關(guān)為0.60，數(shù)學(xué)成績的標(biāo)準(zhǔn)差為7.0分。如果用智力測驗成績來預(yù)測數(shù)學(xué)成績，則預(yù)測誤差的標(biāo)準(zhǔn)差為多少？,41,.,2人員的分類與安置,根據(jù)被試在效標(biāo)上的預(yù)測結(jié)果而做出處理或安排。選拔（selection）：拒絕或接受安置（placement）：根據(jù)被試在單一效標(biāo)上的預(yù)測結(jié)果而做

11、出處理或安排。分類（classification）：使用兩個或兩個以上的效標(biāo)。,返回,42,.,第四節(jié)結(jié)構(gòu)效度,一、結(jié)構(gòu)效度的含義二、確定結(jié)構(gòu)效度的基本步驟三、搜集結(jié)構(gòu)效度資料的方法,返回,43,.,一、結(jié)構(gòu)效度的含義,結(jié)構(gòu)效度（constructvalidity）指測驗分?jǐn)?shù)在多大程度上測量或解釋了某種理論構(gòu)想。又譯構(gòu)念效度、構(gòu)想效度,返回,44,.,二、確定結(jié)構(gòu)效度的基本步驟,1建立理論框架2提出假設(shè)3檢驗假設(shè),返回,45,.,三、搜集結(jié)構(gòu)效度資料的方法,1測驗內(nèi)方法2測驗間方法3效標(biāo)關(guān)聯(lián)法4實驗操作法5發(fā)展水平的變化,46,.,1測驗內(nèi)方法,確定測驗的內(nèi)容效度分析被試對項目的反應(yīng)過程考察測

12、驗的同質(zhì)性,47,.,2測驗間方法,相容效度計算新舊同類測驗分?jǐn)?shù)之間的相關(guān)區(qū)分效度計算不同結(jié)構(gòu)的測驗之間的相關(guān)因素效度通過因素分析找到影響測驗分?jǐn)?shù)的共同因素，每個測驗在共同因素上的負(fù)荷量即每個測驗與共同因素的相關(guān)，稱為測驗的因素效度,48,.,驗證智力測驗效度的常用方法,相容效度法，即求測驗結(jié)果與一種已經(jīng)標(biāo)準(zhǔn)化的測驗結(jié)果的相關(guān)效標(biāo)關(guān)聯(lián)法，即求測驗結(jié)果與學(xué)生學(xué)生學(xué)業(yè)成績、教師評定的相關(guān)發(fā)展水平的變化，即整個測驗的分?jǐn)?shù)和每個項目的通過率是否隨年齡的增長而增加項目效度，即計算項目得分與測驗總分的相關(guān)內(nèi)在一致性系數(shù)，即檢驗測驗的同質(zhì)性,49,.,各種效度分析方法的比較,50,.,多高的效度才算高？,最

13、低標(biāo)準(zhǔn)：效度系數(shù)在統(tǒng)計上有顯著性；測驗的有效性高于現(xiàn)有的決定工具。如果兩個測驗測量的是同一種心理屬性或特質(zhì)，那么效標(biāo)關(guān)聯(lián)系數(shù)應(yīng)在0.60以上。如果兩個測驗測量的心理屬性或特質(zhì)不完全一樣，只是具有一定的相似性，那么，效標(biāo)關(guān)聯(lián)系數(shù)的要求會低一些，能達(dá)到0.40以上就算是較好的。如智力測驗結(jié)果與學(xué)業(yè)成績之間的相關(guān)。,返回,51,.,第五節(jié)提高測量效度的方法,一、影響效度的因素二、提高測量效度的方法,返回,52,.,一、影響效度的因素,測驗本身項目質(zhì)量，項目數(shù)量測驗的實施測驗實施的標(biāo)準(zhǔn)化程度被試身心狀態(tài)，樣本的代表性與異質(zhì)性效標(biāo)效標(biāo)測量的可靠性，與測驗分?jǐn)?shù)的關(guān)系類型測量的信度信度高是效度高的必要條件,

14、返回,53,.,二、提高測量效度的方法,精心編制測驗量表，避免出現(xiàn)較大的系統(tǒng)誤差妥善組織測驗，控制隨機(jī)誤差創(chuàng)設(shè)標(biāo)準(zhǔn)的應(yīng)試情境，讓每個被試都能發(fā)揮正常的水平增加被試樣本的規(guī)模，提高代表性選好正確的效標(biāo)，恰當(dāng)?shù)剡M(jìn)行效標(biāo)測量，正確地使用有關(guān)公式,返回,54,.,第六節(jié)效度資料的概化,所謂概化，是指在一定條件下得出的結(jié)論能否適用于其他情況。測驗的效度和信度一樣，都與特定情境有關(guān)，只有在具體情境下的效度，而沒有籠統(tǒng)談?wù)撃骋粶y驗的效度。效度的概化（validitygeneration）在某一情境中所作的效度研究推廣到其他情境中的過程。,55,.,一、效度概化的幾個方面,1預(yù)測源的概化使用同一測驗的不同復(fù)本是否同樣有效？同一測驗對不同分?jǐn)?shù)水平的人的預(yù)測是否同樣有效？2效標(biāo)的概化采用不同種類或不同時距的效標(biāo)，測驗是否同樣有效？對于效標(biāo)的不同分?jǐn)?shù)水平是否預(yù)測得一樣好？3施測情境的概化不同的施測者、不同的施測條件以及在不同的指導(dǎo)語或心向下做測驗是否同樣有效？,56,.,4被試團(tuán)體的概化測驗對于取自同一總體的另一樣本是否同樣有效？測驗對于不同性別、不同年齡、不同教育水平、不同社會經(jīng)濟(jì)地位、不同地區(qū)