心理測(cè)量學(xué) 測(cè)驗(yàn)的效度

心理測(cè)量學(xué)測(cè)驗(yàn)的效度第1頁，共51頁，2023年，2月20日，星期四

（Validity）效度的概念效度評(píng)估的方法影響效率的因素第2頁，共51頁，2023年，2月20日，星期四一、效度的概念

（一）效度的定義信度S2X=S2T+S2E效度S2X=S2V+S2I+S2E隨機(jī)誤差有效方差S2V系統(tǒng)誤差S2I第3頁，共51頁，2023年，2月20日，星期四與測(cè)驗(yàn)?zāi)康挠嘘P(guān)的有效SV2和實(shí)得SX2

的比值效度效度定義第4頁，共51頁，2023年，2月20日，星期四效度是一個(gè)相對(duì)的概念。效度具有連續(xù)性。效度是針對(duì)測(cè)驗(yàn)結(jié)果的。（二）效度的性質(zhì)第5頁，共51頁，2023年，2月20日，星期四信度高，給S2V增加提供可能能否提高效度，再看S2I大小信度高不一定效度高效度要高，S2V須占較大比重，S2T↑效度高，信度必高ST2（三）信度與效度的關(guān)系第6頁，共51頁，2023年，2月20日，星期四（三）信度與效度的關(guān)系信度是效度的必要條件非充分條件第7頁，共51頁，2023年，2月20日，星期四

二、效度評(píng)估的方法根據(jù)人們對(duì)測(cè)驗(yàn)?zāi)康慕忉尩牟煌?內(nèi)容效度結(jié)構(gòu)效度效標(biāo)效度

考研題第8頁，共51頁，2023年，2月20日，星期四（一）內(nèi)容效度概念評(píng)估方法特性(contentvalidity)第9頁，共51頁，2023年，2月20日，星期四（一）內(nèi)容效度

1、概念定義：測(cè)驗(yàn)對(duì)于應(yīng)測(cè)內(nèi)容的代表性程度。內(nèi)容高的條件:內(nèi)容范圍明確取樣有代表性應(yīng)用：

成就測(cè)驗(yàn)職業(yè)選擇測(cè)驗(yàn)第10頁，共51頁，2023年，2月20日，星期四2、特性特定性：測(cè)驗(yàn)編制者與使用者的關(guān)系避免與表面效度（facevalidity）混淆

一個(gè)測(cè)驗(yàn)看上去適合欲測(cè)目的的程度，而非實(shí)際適合欲測(cè)目的的程度。

測(cè)驗(yàn)在使用者或被試主觀上感覺有效的程度。

編制測(cè)驗(yàn)應(yīng)適當(dāng)考慮表面效度。

最高作為測(cè)驗(yàn)表面效度可高些其他測(cè)驗(yàn)則希望表面效度低些第11頁，共51頁，2023年，2月20日，星期四含義專家按測(cè)題和假設(shè)內(nèi)容范圍作出的符合度判斷。作法與程序確定總體范圍；編制雙向細(xì)目表；選擇測(cè)驗(yàn)項(xiàng)目；制定評(píng)定量表。3、評(píng)估方法1）專家判斷法（邏輯分析法）第12頁，共51頁，2023年，2月20日，星期四局限不同專家對(duì)內(nèi)容范圍會(huì)有不同的理解。不同專家對(duì)同一測(cè)驗(yàn)內(nèi)容效度的判斷可能不一致；無良好的數(shù)量指標(biāo)描述這種符合性的程度；第13頁，共51頁，2023年，2月20日，星期四2）經(jīng)驗(yàn)推測(cè)法檢查不同年級(jí)被試總分與每題分?jǐn)?shù)變化情況若隨年級(jí)增高總分和每題通過率也升高，可推論該測(cè)驗(yàn)基本測(cè)量了教學(xué)內(nèi)容和目標(biāo)。檢查不同年齡兒童測(cè)驗(yàn)分?jǐn)?shù)的變化情況是否隨年齡增長而增加。第14頁，共51頁，2023年，2月20日，星期四信度指標(biāo)復(fù)本信度r高：內(nèi)容效度高（也可能兩個(gè)都低）r低：至少一個(gè)缺乏內(nèi)容效度再測(cè)信度

首測(cè)---訓(xùn)練---再測(cè)---成績(jī)提高3）統(tǒng)計(jì)分析法第15頁，共51頁，2023年，2月20日，星期四（二）構(gòu)想效度定義確定步驟估計(jì)方法(constructvalidity)第16頁，共51頁，2023年，2月20日，星期四（二）構(gòu)想效度

1、定義構(gòu)想（結(jié)構(gòu)）解釋行為的理論框架或心理特質(zhì)的抽象概念。結(jié)構(gòu)效度

測(cè)驗(yàn)在多大程度上測(cè)量了所要測(cè)的理論構(gòu)想。應(yīng)用

智力測(cè)驗(yàn)和人格測(cè)驗(yàn)第17頁，共51頁，2023年，2月20日，星期四2、確定步驟提出理論提出假設(shè)檢驗(yàn)假設(shè)解釋被試的測(cè)驗(yàn)表現(xiàn)測(cè)驗(yàn)成績(jī)的假設(shè)邏輯和實(shí)證檢驗(yàn)方法第18頁，共51頁，2023年，2月20日，星期四3、估計(jì)方法測(cè)驗(yàn)內(nèi)方法測(cè)驗(yàn)間方法效標(biāo)效度實(shí)驗(yàn)法或觀察法的證實(shí)第19頁，共51頁，2023年，2月20日，星期四

3、估計(jì)方法

1）對(duì)測(cè)驗(yàn)本身的分析——測(cè)驗(yàn)內(nèi)方法研究測(cè)驗(yàn)內(nèi)部構(gòu)造分析測(cè)驗(yàn)的結(jié)構(gòu)效度。具體方法內(nèi)容效度法內(nèi)部一致性法分析解題的心理過程

第20頁，共51頁，2023年，2月20日，星期四①內(nèi)容效度法確定取樣內(nèi)容范圍后，利用這些資料定義測(cè)驗(yàn)欲測(cè)的結(jié)構(gòu)性質(zhì)韋氏智力測(cè)驗(yàn)言語：常識(shí)、理解、算術(shù)、相似性、詞匯、記憶廣度操作：譯碼、填圖、積木圖案、圖片排列、圖形拼湊第21頁，共51頁，2023年，2月20日，星期四②內(nèi)部一致性法目的推斷測(cè)驗(yàn)是否測(cè)量單一特質(zhì)方法極端組比較法（extreme-groupmethod）二列相關(guān)法：求題目與總分的相關(guān)分測(cè)驗(yàn)與總分的相關(guān)第22頁，共51頁，2023年，2月20日，星期四2）測(cè)驗(yàn)間的相互比較——測(cè)驗(yàn)間方法含義同時(shí)考慮幾個(gè)測(cè)驗(yàn)間的關(guān)聯(lián)，考察是否測(cè)同一結(jié)構(gòu)。常用方法相容效度區(qū)分效度因素效度

第23頁，共51頁，2023年，2月20日，星期四①相容效度concurrentvalidity含義測(cè)相同結(jié)構(gòu)的各種測(cè)驗(yàn)間應(yīng)有較高的相關(guān)。求一個(gè)新編測(cè)驗(yàn)與另一已知結(jié)構(gòu)測(cè)驗(yàn)間的相關(guān)。第24頁，共51頁，2023年，2月20日，星期四②區(qū)分效度含義某一特定測(cè)驗(yàn)的分?jǐn)?shù)與已知測(cè)量不同結(jié)構(gòu)的測(cè)驗(yàn)分?jǐn)?shù)無關(guān)。相關(guān)高說明新測(cè)驗(yàn)的效度有問題。第25頁，共51頁，2023年，2月20日，星期四③因素效度含義通過對(duì)一組測(cè)驗(yàn)進(jìn)行因素分析，找到影響測(cè)驗(yàn)分?jǐn)?shù)的共同因素，每個(gè)測(cè)驗(yàn)在共同因素上的負(fù)荷量即每個(gè)測(cè)驗(yàn)與共同因素的相關(guān)，稱作測(cè)驗(yàn)的因素效度。基本原理總變異=共同因素+特殊因素+誤差第26頁，共51頁，2023年，2月20日，星期四（美）霍爾津格（Holzinger）和斯溫福德（Swineford）的因素分析取樣：芝加哥校區(qū)被試：145名7～8年級(jí)學(xué)生內(nèi)容：實(shí)施24個(gè)心理測(cè)驗(yàn)結(jié)果：4個(gè)基本因素圖--詞測(cè)驗(yàn)和數(shù)--圖測(cè)驗(yàn)的功能不明顯。第27頁，共51頁，2023年，2月20日，星期四24個(gè)心理測(cè)驗(yàn)的因素歸類詞語速度推理記憶1.一般知識(shí)段落理解2.句子填空3.詞匯分類4.詞義解釋5.加法6.編碼7.計(jì)數(shù)8.點(diǎn)子9.直-曲10.算術(shù)問題11.視知覺15.數(shù)字游戲12.體積16.問題推理13.面積17.系列填空14.打旗18.演繹推理19.詞匯識(shí)別20.數(shù)字識(shí)別21.圖形識(shí)別22.實(shí)物-數(shù)23.圖－詞24.數(shù)－圖第28頁，共51頁，2023年，2月20日，星期四3）效標(biāo)效度的研究證明測(cè)驗(yàn)效標(biāo)效標(biāo)效度資料：提供與結(jié)構(gòu)效度有關(guān)的信息。第29頁，共51頁，2023年，2月20日，星期四4）實(shí)驗(yàn)法和觀察法的證實(shí)考察實(shí)驗(yàn)變量對(duì)X的影響比較實(shí)驗(yàn)處理：前后分?jǐn)?shù)的差異搜集某些變異上的證據(jù)。第30頁，共51頁，2023年，2月20日，星期四（三）效標(biāo)效度定義效標(biāo)估計(jì)方法criterion-relatedvalidity第31頁，共51頁，2023年，2月20日，星期四1、定義效標(biāo)效度是指一個(gè)測(cè)驗(yàn)對(duì)處于特定情境中的個(gè)體行為進(jìn)行估計(jì)的有效性。一個(gè)測(cè)驗(yàn)是否有效，應(yīng)以實(shí)踐的效果來作為檢驗(yàn)標(biāo)準(zhǔn)。符號(hào)：rxy又稱統(tǒng)計(jì)效度或?qū)嵶C效度。第32頁，共51頁，2023年，2月20日，星期四

2、效標(biāo)及其標(biāo)準(zhǔn)

1）定義衡量測(cè)驗(yàn)效度的外在標(biāo)準(zhǔn)。它是獨(dú)立于測(cè)驗(yàn)并可以從實(shí)踐中直接獲得我們所感興趣的行為。做預(yù)測(cè)所依據(jù)的標(biāo)準(zhǔn)。檢驗(yàn)效度的參照標(biāo)準(zhǔn)。測(cè)驗(yàn)所要測(cè)的或要預(yù)測(cè)的行為特質(zhì)。第33頁，共51頁，2023年，2月20日，星期四思考？能夠考上大學(xué)的學(xué)生是否是能力強(qiáng)、素質(zhì)好、有發(fā)展前途的人？我們可以通過他們的哪些方面來衡量？可見，一個(gè)測(cè)驗(yàn)的效標(biāo)是不唯一的。具有多樣性、復(fù)雜性、特殊性和時(shí)間性。第34頁，共51頁，2023年，2月20日，星期四2）良好效標(biāo)的選擇依據(jù)反映測(cè)驗(yàn)的目標(biāo)；較高的信度；可客觀地測(cè)量；測(cè)量方法簡(jiǎn)單，省時(shí)省力，經(jīng)濟(jì)實(shí)用。第35頁，共51頁，2023年，2月20日，星期四各類測(cè)驗(yàn)的可用效標(biāo)測(cè)驗(yàn)類型常見效標(biāo)成就學(xué)年平均分，教師評(píng)定結(jié)果，學(xué)習(xí)量，知識(shí)應(yīng)用力，評(píng)判知識(shí)的批判力，自學(xué)能力…智力學(xué)科成績(jī)，教師評(píng)定結(jié)果，學(xué)生總成績(jī)能力傾向特殊課程或訓(xùn)練成績(jī)，工作或?qū)W習(xí)成績(jī)職業(yè)興趣從業(yè)者的實(shí)際成績(jī)或工作表現(xiàn)人格主試主觀標(biāo)準(zhǔn)，被試以后行為，臨床資料第36頁，共51頁，2023年，2月20日，星期四

3）效標(biāo)效度的類型

①同時(shí)效度含義根據(jù)測(cè)驗(yàn)分區(qū)分已有的狀態(tài)或預(yù)測(cè)已知的效標(biāo)表現(xiàn)來評(píng)估測(cè)驗(yàn)效度的方法。對(duì)同組對(duì)象求新編測(cè)驗(yàn)得分與現(xiàn)有測(cè)驗(yàn)得分（效標(biāo)值）之間的相關(guān)。應(yīng)用：效標(biāo)分和新編測(cè)驗(yàn)分能同時(shí)得到。度量指標(biāo)：測(cè)驗(yàn)分與效標(biāo)分的相關(guān)系數(shù)第37頁，共51頁，2023年，2月20日，星期四

②預(yù)測(cè)效度定義根據(jù)測(cè)驗(yàn)分?jǐn)?shù)預(yù)測(cè)其在效標(biāo)上將來成績(jī)來考察測(cè)驗(yàn)效度的方法。一個(gè)測(cè)驗(yàn)對(duì)被試心理特質(zhì)或未來績(jī)效所作預(yù)測(cè)的準(zhǔn)確程度。應(yīng)用：測(cè)驗(yàn)分與效標(biāo)分不能同時(shí)得到。度量指標(biāo)：測(cè)驗(yàn)分與效標(biāo)分的相關(guān)系數(shù)。第38頁，共51頁，2023年，2月20日，星期四

3、估計(jì)方法相關(guān)法區(qū)分法命中率功利率第39頁，共51頁，2023年，2月20日，星期四

１）相關(guān)法效度系數(shù)測(cè)驗(yàn)分（新編）與效標(biāo)分的相關(guān)系數(shù)計(jì)算方法積差相關(guān)法二列相關(guān)、點(diǎn)二列相關(guān)，多系列相關(guān)等第40頁，共51頁，2023年，2月20日，星期四2）區(qū)分法含義：檢驗(yàn)測(cè)驗(yàn)分?jǐn)?shù)能否有效區(qū)分由效標(biāo)所定義的團(tuán)體的一種方法。該方法的思路是：被試接受測(cè)驗(yàn)后，讓他們工作一段時(shí)間，再根據(jù)工作成績(jī)（效標(biāo)測(cè)量）的好壞分成兩組。這時(shí)再回過頭來分析這兩組被試原先接受測(cè)驗(yàn)的分?jǐn)?shù)差異，若這兩種人的測(cè)驗(yàn)分?jǐn)?shù)差異顯著，則說明該測(cè)驗(yàn)有較高的效度。缺點(diǎn)：組間均數(shù)差異顯著性取決于團(tuán)體大小。第41頁，共51頁，2023年，2月20日，星期四3）命中率含義：正確決策的比例。用途人才選拔方法正確決策的結(jié)果正命中率總命中率

第42頁，共51頁，2023年，2月20日，星期四表：命中表

效標(biāo)成績(jī)測(cè)驗(yàn)成績(jī)失?。?）成功（+）成功（+）失敗（-）總命中率=命中/（命中+失誤）

=（B+C）/（A+B+C+D）正命中率=成功人數(shù)/選擇人數(shù)

=B/（A+B）當(dāng)測(cè)驗(yàn)用于提高工作效率時(shí)考察正命中率；如果強(qiáng)調(diào)公平，考察總命中率。A（失誤）B（命中）C（命中）D（失誤）第43頁，共51頁，2023年，2月20日，星期四4）功利率使用測(cè)驗(yàn)所帶來的好處應(yīng)大大高于使用測(cè)驗(yàn)所耗費(fèi)的時(shí)間、精力和經(jīng)費(fèi)，還要比較用測(cè)驗(yàn)與不用測(cè)驗(yàn)的效益之差，若差別不大，則沒有使用測(cè)驗(yàn)的必要?？傊粋€(gè)好的測(cè)驗(yàn)，根據(jù)其測(cè)驗(yàn)的目的和性質(zhì)，往往需要多個(gè)效度指標(biāo)達(dá)到相當(dāng)高的水平。第44頁，共51頁，2023年，2月20日，星期四

三、影響效度的因素測(cè)驗(yàn)組成測(cè)驗(yàn)實(shí)施樣本團(tuán)體的性質(zhì)效標(biāo)的性質(zhì)第45頁，共51頁，2023年，2月20日，星期四（一）測(cè)驗(yàn)組成試題的質(zhì)量。測(cè)驗(yàn)長度、試題難度和鑒別力及編排方式。增加新試題對(duì)信度的影響大于效度。第46頁，共51頁，2023年，2月20日，星期四測(cè)驗(yàn)長度與信度和效度的關(guān)系題數(shù)與原測(cè)驗(yàn)題數(shù)之比信度效度1010.3000.4002020.4620.4963030.5620.5486060.7200.619120120.8370.688240240.9110.697480480.9540.713第47頁，共51頁，2023年，2月20日，星期四測(cè)驗(yàn)長度與效度關(guān)系的計(jì)算公式：

=例：已知RXX為0.31,RXY為0.42,若把效度系數(shù)提