效度的概念MicrosoftWord文檔(4)

1、效度的概念效度是指所測(cè)量的與所要測(cè)量的心理特點(diǎn)之間的符合，簡(jiǎn)單說(shuō)測(cè)驗(yàn)的效度指的是測(cè)驗(yàn)的準(zhǔn)確性,即測(cè)驗(yàn)分?jǐn)?shù)與要測(cè)量的心理特質(zhì)的之間符合的程度,或測(cè)驗(yàn)結(jié)果達(dá)到測(cè)驗(yàn)?zāi)康牡某潭?。效度總是針?duì)一定的測(cè)驗(yàn)?zāi)康亩缘?。效度具有相?duì)性。與測(cè)量目標(biāo)直接相關(guān)。二、效度的性質(zhì)（一）效度具有相對(duì)性 評(píng)價(jià)測(cè)驗(yàn)效度時(shí)，必須考慮其目的與功能（二）效度具有連續(xù)性 效度只是程度上不同，沒有“全”或“無(wú)”的區(qū)別 評(píng)價(jià)一個(gè)測(cè)驗(yàn)，不應(yīng)該說(shuō)“有效”或“無(wú)效”，而應(yīng)該用效度較高或較低來(lái)評(píng)價(jià) 測(cè)驗(yàn)有效性是針對(duì)測(cè)驗(yàn)結(jié)果而言第二節(jié) 內(nèi)容效度定義 指測(cè)驗(yàn)條目對(duì)有關(guān)內(nèi)容或行為取樣的適用性測(cè)驗(yàn)都不是絕對(duì)客觀和準(zhǔn)確的。效度具有連續(xù)性。不能簡(jiǎn)單地分為有

2、效和無(wú)效。測(cè)量題目對(duì)有關(guān)內(nèi)容或行為取樣的適用性。概念界定和題目代表性。標(biāo)志題目樣本對(duì)內(nèi)容總體 的代表性2、內(nèi)容效度的評(píng)估方法1）專家判斷法/邏輯效度主要針對(duì)成就測(cè)驗(yàn)避免評(píng)分者誤差，客觀化的幾個(gè)步驟： 、定義好測(cè)驗(yàn)內(nèi)容的總體范圍，描述有關(guān)的知識(shí)與技能及所用材料的來(lái)源； 、編制雙向細(xì)目表，確定內(nèi)容和技能各自所占的比例，并由測(cè)驗(yàn)編制者確定各題所測(cè)的是何種內(nèi)容與技能。 、制定評(píng)定量表來(lái)測(cè)量測(cè)驗(yàn)的整個(gè)效度，如測(cè)驗(yàn)包括的內(nèi)容、技能、材料的重要程度、題目對(duì)內(nèi)容的適用性等。由各位評(píng)判者在評(píng)定量表上做出判斷，總估獲得測(cè)驗(yàn)內(nèi)容效度的證據(jù)。2）統(tǒng)計(jì)分析法 評(píng)分者信度 、克倫巴赫法、再測(cè)法3）經(jīng)驗(yàn)推測(cè)法 通過(guò)實(shí)踐來(lái)檢

3、驗(yàn)，如檢驗(yàn)兒童發(fā)展量表的效度，觀察不同年齡階段兒童通過(guò)率是否隨年齡的增長(zhǎng)而增加驗(yàn)證測(cè)驗(yàn)內(nèi)容效度的程序 專家評(píng)判法（雙向細(xì)目表）、統(tǒng)計(jì)分析法（再測(cè)法）、經(jīng)驗(yàn)推測(cè)法（試測(cè)發(fā)展變化）。3、內(nèi)容效度與表面效度v 表面效度：測(cè)驗(yàn)表面看起來(lái)是否有效,受測(cè)者主觀上認(rèn)為測(cè)驗(yàn)題目是否測(cè)量了所要測(cè)的心理特質(zhì)。v 表面效度的影響：受測(cè)者者效應(yīng)§ 影響受測(cè)者的測(cè)驗(yàn)動(dòng)機(jī)§ 隱蔽性與表面效度（2004首都師大考名詞解釋）的關(guān)系： 表面效度影響被試動(dòng)機(jī)、情緒、反應(yīng)方式，及主試與被試的關(guān)系，從而影響內(nèi)容效度。表面效度好，可使被試盡力完成，提高效度；也可虛假反應(yīng)，降低效度。 最佳行為測(cè)驗(yàn)往往表面效度高，其他

4、測(cè)驗(yàn)則希望表面效度低。職業(yè)興趣測(cè)驗(yàn)、成就測(cè)驗(yàn)應(yīng)重視表面效度，人格測(cè)驗(yàn)的表面效度不宜高，避免被試反應(yīng)偏差，如掩飾等。2、構(gòu)想效度/結(jié)構(gòu)效度1）定義 涉及心理理論概念問題 指測(cè)驗(yàn)?zāi)軌驕y(cè)量理論上的構(gòu)想或特質(zhì)的程度測(cè)驗(yàn)的結(jié)果是否能證實(shí)或解釋2）估計(jì)方法A、對(duì)測(cè)驗(yàn)本身的分析構(gòu)思效度的證據(jù)： 測(cè)驗(yàn)的內(nèi)容效度； 測(cè)驗(yàn)的內(nèi)部一致性指標(biāo)； 被試者對(duì)題目的反應(yīng)特點(diǎn)；B、測(cè)驗(yàn)間的相互比較相關(guān)法（相容效度）、區(qū)分效度、因素分析法。 與經(jīng)典、成熟同類測(cè)驗(yàn)比較：二者相關(guān)系數(shù)的平方即兩測(cè)驗(yàn)分?jǐn)?shù)共同解釋的變異大小，稱相容效度 區(qū)分效度：有效的測(cè)驗(yàn)與其他測(cè)量同一構(gòu)思的測(cè)驗(yàn)成績(jī)有相關(guān)，還與測(cè)量不同構(gòu)思的測(cè)驗(yàn)成績(jī)無(wú)相關(guān)因素分析法。

5、C、用效標(biāo)效度做證明D、實(shí)驗(yàn)法和觀察法3、效標(biāo)效度/實(shí)證效度1）定義：反映預(yù)測(cè)個(gè)體在某種情景下行為表現(xiàn)的有效性程度 被預(yù)測(cè)的行為是檢驗(yàn)效度的標(biāo)準(zhǔn)，簡(jiǎn)稱效標(biāo) 2、效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度：測(cè)驗(yàn)結(jié)果與作為校標(biāo)的行為參照的一致性程度。分為同時(shí)效度和預(yù)測(cè)效度。 同時(shí)效度與預(yù)測(cè)效度 v 根據(jù)效標(biāo)資料獲得時(shí)間不同可以將效標(biāo)關(guān)聯(lián)效度分為同時(shí)效度和預(yù)測(cè)效度。§ 同時(shí)效度指測(cè)驗(yàn)所的分?jǐn)?shù)與同時(shí)獲得的效標(biāo)行為的一致性程度，用以檢查和測(cè)量現(xiàn)有某種能力或特質(zhì)的有效性。§ 預(yù)測(cè)效度指測(cè)驗(yàn)對(duì)效標(biāo)行為的預(yù)測(cè)程度，用以表明測(cè)驗(yàn)對(duì)某種行為預(yù)測(cè)的有效性。好的效標(biāo)測(cè)量應(yīng)符合以下幾個(gè)條件：效標(biāo)測(cè)量必須真實(shí)地反映觀

6、念效標(biāo)的重要側(cè)面；效標(biāo)測(cè)量必須穩(wěn)定可靠；效標(biāo)測(cè)量必須客觀，避免偏見；在保證有效性的前提下，效標(biāo)測(cè)量必須盡可能簡(jiǎn)單、省時(shí)、花費(fèi)少。效標(biāo)效度的評(píng)估方法1）相關(guān)法：最常用，積差相關(guān)法，點(diǎn)二列相關(guān)，二列相關(guān)3）命中率法：當(dāng)測(cè)驗(yàn)作為取舍的依據(jù)時(shí)，用其正確決定的比例作為效度指標(biāo)額一種方法。三、效度的功能1、預(yù)測(cè)誤差 效度系數(shù)的實(shí)際意義常以決定系數(shù)r2xy表示，即相關(guān)系數(shù)的平方，它表示測(cè)驗(yàn)正確預(yù)測(cè)或解釋的效標(biāo)的方差占總方差的比例。 如：高考英語(yǔ)成績(jī)與入大學(xué)后第1學(xué)年英語(yǔ)課考試成績(jī)的相關(guān)為0.8，正確預(yù)測(cè)的比例是64%。2、預(yù)測(cè)校標(biāo)分?jǐn)?shù)y是預(yù)測(cè)的校標(biāo)分?jǐn)?shù)a截距byx是斜率x是測(cè)驗(yàn)分?jǐn)?shù)四、影響效度的因素1、測(cè)驗(yàn)

7、本身的因素：取材的代表性、測(cè)驗(yàn)長(zhǎng)度、試題類型、難度、區(qū)分度以及編排方式等 測(cè)驗(yàn)較高效度須： 材料須有代表性 題目盡量避免高誤差題型（是非題） 題目難度適中，具有較高的區(qū)分度 測(cè)驗(yàn)長(zhǎng)度恰當(dāng)一定的測(cè)題量 排列先易后難2、測(cè)驗(yàn)實(shí)施中的干擾因素1）主試者：非標(biāo)準(zhǔn)化做法 2）被試：興趣、動(dòng)機(jī)、情緒、態(tài)度和健康狀況等 3、樣本團(tuán)體的性質(zhì)1）異質(zhì)性：越異質(zhì)分?jǐn)?shù)分布范圍大效度越高 A、只以選拔上的被試效度降低 B、選拔標(biāo)準(zhǔn)太高效度降低干涉變量效標(biāo)的性質(zhì)第五節(jié) 項(xiàng)目分析定性分析：內(nèi)容效度，題目編寫的恰當(dāng)性和有效性等 定量分析：是指對(duì)題目難度和區(qū)分度等進(jìn)行分析1、難度概念 v 難度是指測(cè)驗(yàn)題目的難易程度。定義為受

8、測(cè)者在某個(gè)題目上的通過(guò)率或得分率。396P 代表項(xiàng)目的難度N 為全體被試者人數(shù)R 為答對(duì)或通過(guò)該項(xiàng)目的人數(shù)對(duì)兩級(jí)記分的題目，項(xiàng)目的難度：§ 對(duì)多級(jí)記分的題目，難度計(jì)算公式為：§ 難度的高低與難度值的大小相反。2.團(tuán)體難度的計(jì)算v P=(PH+PL)/2高分組和低分組通過(guò)率的平均值。§ 例：某個(gè)測(cè)題高分組有80%的受測(cè)者通過(guò)，低分組12%的受測(cè)者通過(guò)，其難度是多少？3、選擇題難度校正§ 校正公式：§ 75%的受測(cè)者通過(guò)某項(xiàng)目，對(duì)于有5個(gè)、4個(gè)、3個(gè)、2個(gè)備選項(xiàng)目的選擇題，校正后的難度為多少？二分法記分的項(xiàng)目 通過(guò)記1分，錯(cuò)誤記0分當(dāng)被試人數(shù)較多時(shí)

9、，可根據(jù)測(cè)驗(yàn)總成績(jī)將被試分成三組高分組（NH）：分?jǐn)?shù)最高的27%被試 低分組（NL）：分?jǐn)?shù)最低的27%被試 中間組 ：分?jǐn)?shù)中間的46%被試P=(PH+PL)/2高分組和低分組通過(guò)率的平均值P 代表難度PH 高分組通過(guò)率PL 低分組通過(guò)率（2）非二分法記分的項(xiàng)目當(dāng)測(cè)驗(yàn)項(xiàng)目為問答題或不能用二分法記分，常常又需對(duì)部分正確的反應(yīng)給一定分?jǐn)?shù)。X為全體被試者在該題上的平均分397 Xmax 為該題的滿分3、難度水平的確定（1）項(xiàng)目的難度 難度取決于測(cè)驗(yàn)的目的、性質(zhì)、形式 P值越接近于0或接近于1，越無(wú)法區(qū)分被試者之間能力的差異 P值越接近于0.50，區(qū)別力越高4、注意事項(xiàng)1）測(cè)驗(yàn)用于選拔或診斷，應(yīng)較多選擇

10、難度值接近錄取率的項(xiàng)目2）對(duì)于選擇題：一般P值> 概率水平 是非題： P值 = 0.75 最合適 四選一題目： P值 = 0.63 最合適 P值 = 概率水平： ® 題目可能過(guò)難或題意不清，被試憑猜測(cè)回答 P值 < 概率水平：® 無(wú)意義，說(shuō)明題目質(zhì)量有問題 3）為了使測(cè)驗(yàn)具有更大的鑒別力，應(yīng)選擇難度在0.50左右的試題比較合適。 每道題都是0.5，一方面不太可能做到，一方面，題目間的相關(guān)會(huì)很高。一般，把測(cè)驗(yàn)的平均難度控制在0.5，而每道題可在0.3-0.7中波動(dòng) 二、區(qū)分度/鑒別指數(shù) 1、鑒別指數(shù) 1）按測(cè)驗(yàn)總分高低排列答卷； 2）確定高分組與低分組，每一組取答

11、卷總數(shù)的27% 3）分別計(jì)算高分組與低分組在該項(xiàng)目上的通過(guò)率或得分率4）鑒別力指數(shù)計(jì)算方法：D = PH PL區(qū)分度的取值范圍-1.00-+1.00。D正值為積極區(qū)分， 值越大效果越好。為負(fù)值為消極區(qū)分，被試實(shí)際能力越高，得分反而越低® 該項(xiàng)目應(yīng)該淘汰0為無(wú)區(qū)分。伊貝爾（L. Ebel）項(xiàng)目鑒別指數(shù)與評(píng)價(jià)標(biāo)準(zhǔn) 0.40以上-很好 0.30-0.39-良好，修改后會(huì)更佳 0.20-0.29-尚可，但須修改 0.19及以下-差，必須淘汰三、區(qū)分度與難度之間有密切關(guān)系項(xiàng)目的通過(guò)率為1.00或0，則說(shuō)明高分組與低分組在通過(guò)率上不存在差異，鑒別指數(shù)D為0。 項(xiàng)目的通過(guò)率為0.50，則可能高分組

12、的所有人都通過(guò)了，而低分組卻無(wú)人通過(guò)，這樣D的最大值可能達(dá)到1.00。第六節(jié) 測(cè)驗(yàn)的編制（一級(jí)）1、測(cè)驗(yàn)的用途： 顯示性測(cè)驗(yàn)：表明被試具有什么能力、能完成什么任務(wù)。智力測(cè)驗(yàn) 預(yù)測(cè)性測(cè)驗(yàn)：選拔、預(yù)測(cè)，如GRE，職業(yè)興趣測(cè)驗(yàn) 高考既是顯性有事預(yù)測(cè)性測(cè)驗(yàn)。2、測(cè)題的編寫 題目來(lái)源: 1)已出版的標(biāo)準(zhǔn)測(cè)驗(yàn) 2)理論和專家的經(jīng)驗(yàn) 3)臨床觀察和記錄3、測(cè)驗(yàn)的目標(biāo)分析 目標(biāo)分析因測(cè)驗(yàn)不同而異，一般可分為三種情況： 工作分析 對(duì)特定概念下定義 確定測(cè)驗(yàn)的具體內(nèi)容4、命題原則 1）內(nèi)容：符合測(cè)驗(yàn)?zāi)康模?取樣有代表性； 相互獨(dú)立。 2）文字：使用準(zhǔn)確的當(dāng)代語(yǔ)言，避免生僻字詞； 簡(jiǎn)明扼要，排除與答案無(wú)關(guān)的因素；

13、一句話說(shuō)明一個(gè)概念 3）理解：答案確切、易懂。 4）避免社會(huì)敏感性題目。5、編寫選擇題的原則： 題干所提的問題必須明確 選項(xiàng)簡(jiǎn)明扼要 每題只有一個(gè)正確答案 各選項(xiàng)長(zhǎng)度應(yīng)相等 避免題干用詞與選項(xiàng)一致，否則成了選擇答案的線索 選項(xiàng)最好用同一形式。6、是非題編寫原則 每題只包含一個(gè)概念。 避免使用具有暗示性的特殊詞語(yǔ)，如“絕對(duì)”、“完全”、“有時(shí)”、“可能”等。 盡量采用正面肯定的敘述，避免反面陳述或雙重否定的句子。 “是”與“非”的題數(shù)應(yīng)大致相等，且隨機(jī)排列。 7、簡(jiǎn)答題的編寫原則 最好采用問句形式 填充形式的空格不宜太多 每題只有一個(gè)正確答案操作題編寫原則 明確所要測(cè)量的目標(biāo)，并將其操作化 指導(dǎo)

14、語(yǔ)要簡(jiǎn)明扼要 制訂評(píng)分標(biāo)準(zhǔn)，確定計(jì)分方法 盡量選擇真實(shí)性程度較高的項(xiàng)目三測(cè)驗(yàn)的編排和組織v 一、合成測(cè)驗(yàn)§ 1.選擇與審定試題選擇試題形式（測(cè)驗(yàn)的目的和材料的性質(zhì)、接受測(cè)驗(yàn)的團(tuán)體的特點(diǎn)、各種實(shí)際因素）、審定題目（題目范圍與雙向細(xì)目標(biāo)一致、題量多一倍至幾倍、難度恰當(dāng)、題目說(shuō)明清楚）§ 2.測(cè)題的編排：難度逐步上升、同類型題目組合在一起、根據(jù)測(cè)題本身的特點(diǎn)排列題目。并列直進(jìn)式、混合螺旋式測(cè)題的編排 測(cè)驗(yàn)編排的一般原則: 1）測(cè)題的難度排列宜逐步上升 2）盡可能將同類型的測(cè)題組合在一起 3）注意各類測(cè)題本身的特點(diǎn) 兩種常見的排列方式：并列直進(jìn)式 混合螺旋式408預(yù)測(cè)與項(xiàng)目分析&#

15、167; 1.預(yù)測(cè)（時(shí)間、地點(diǎn)、人物、記錄）§ 2.項(xiàng)目分析v 三、信度和效度考察v 四、常模制訂v 五、編寫指導(dǎo)手冊(cè)第七講 心理測(cè)驗(yàn)的使用第一節(jié) 主測(cè)者的資格一、知識(shí)結(jié)構(gòu)（基礎(chǔ)知識(shí)、專業(yè)知識(shí)）二、專業(yè)理論知識(shí)（測(cè)量學(xué)）和專業(yè)技能（施測(cè)）三、職業(yè)道德1.測(cè)驗(yàn)的保密和控制使用2.測(cè)驗(yàn)中個(gè)人隱私的保護(hù)主試的職業(yè)道德 1）測(cè)驗(yàn)的保密和控制使用 2）測(cè)驗(yàn)中個(gè)人隱私的保護(hù)v 一、適合測(cè)量的目的v 二、符合測(cè)量學(xué)的要求第三節(jié) 測(cè)驗(yàn)前的準(zhǔn)備及注意事項(xiàng)一、測(cè)驗(yàn)前的準(zhǔn)備工作1.預(yù)告測(cè)驗(yàn)2.準(zhǔn)備測(cè)驗(yàn)材料3.熟悉測(cè)驗(yàn)指導(dǎo)語(yǔ)4.熟悉測(cè)驗(yàn)的具體程序二、測(cè)驗(yàn)中主測(cè)者的職責(zé)1.嚴(yán)格遵循指導(dǎo)語(yǔ)，不帶任何暗示2.不講太多無(wú)關(guān)的話3.不做出暗示性反應(yīng)4.做好應(yīng)付突發(fā)事件的準(zhǔn)備三、建立協(xié)調(diào)關(guān)系第四節(jié) 測(cè)驗(yàn)實(shí)施的程序及要素一、指導(dǎo)語(yǔ)：1.對(duì)受測(cè)者的指導(dǎo)語(yǔ)（舉例說(shuō)明）（如何選擇反應(yīng)形式、如何記錄反應(yīng)、時(shí)間限制、不能確定時(shí)應(yīng)如何操作、例題、有時(shí)告知測(cè)驗(yàn)?zāi)康模?.對(duì)主測(cè)者的指導(dǎo)語(yǔ)：嚴(yán)格遵守，不要發(fā)揮二、時(shí)限三、測(cè)驗(yàn)的環(huán)境：適宜、異常情況要記錄第五節(jié) 受測(cè)者誤差及控制方法v 一、應(yīng)試技巧和練習(xí)效應(yīng)v 二、動(dòng)機(jī)與焦慮因素v 1.應(yīng)試動(dòng)機(jī)：強(qiáng)度影響、期望效應(yīng)v 2.測(cè)驗(yàn)焦慮（保安的情況）：適度的測(cè)驗(yàn)焦慮v 三、反應(yīng)定勢(shì)：獨(dú)立預(yù)測(cè)驗(yàn)內(nèi)