3-心理測驗的編制.課件

1、第三章 心理測驗的編制 第一節(jié) 測驗編制的一般程序一、確定測驗?zāi)康亩?、擬定編制計劃三、設(shè)計測試項目四、項目的試測和分析五、合成測驗六、測驗使用的標(biāo)準(zhǔn)化七、搜集信度、效度資料（鑒定測驗）八、編寫測驗手冊 一、確定測驗?zāi)康模ㄒ唬┟鞔_測量目標(biāo) （二）測驗用途（三）明確測驗對象 美國著名測驗學(xué)家瑟斯頓(L. L. Thurstone)通過因素分析，將智力分解為七種基本心理能力： 語文理解閱讀時了解文字意義的能力；語詞流暢正確迅速拼字與敏捷聯(lián)想詞義的能力；數(shù)字運(yùn)算正確而迅速使用數(shù)字解答算術(shù)問題的能力；空間關(guān)系運(yùn)用感覺器官及知覺經(jīng)驗正確判斷空間方位及各種關(guān)系的能力；機(jī)械記憶用重復(fù)感知的方法記住事物的能力；

2、知覺速度迅速而正確地觀察與辨別事物的能力；一般推理根據(jù)已知條件推出新判斷的能力。 瑟斯頓根據(jù)上述七種因素于1941年編成了“基本心理能力測驗”。 二、擬定編制計劃 （1） 確定能表征所欲測量的心理結(jié)構(gòu)的行為。 A.回顧以往的研究成果，看哪些行為經(jīng)常被人用來界定該心理結(jié)構(gòu)且效果較為理想，那么這些行為就可以作為候選對象。 B.考慮時代特點。由于時代的進(jìn)步，某種行為或者操作對于人們的重要性會發(fā)生改變。 C.了解受測群體實際情況。只憑以往的理論和實踐是不足以真正解決問題的。 D.向有關(guān)專家、資深者咨詢和請教。 （2）確定每一類行為的項目比例 表：卡特爾16PF各人格特征所占的項目數(shù) 一個小學(xué)高年級自然

3、常識測驗的編制計劃。表中的數(shù)字代表每一類題目所占的百分比，這些比例反映著每一個內(nèi)容及目標(biāo)的相對重要性。 三、設(shè)計測試項目（一）搜集有關(guān)資料 1.資料要豐富 2.資料要有普遍性（二）選擇項目形式 1.判斷題 2.選擇法 3.匹配法 4.簡答法（三）編寫和修訂項目四、項目的試測和分析 （一）試測（預(yù)測）（二）項目分析五、合成測驗（一）項目的選擇（二）項目的編排（三）制造復(fù)本六、測驗使用的標(biāo)準(zhǔn)化（一）測驗內(nèi)容（二）施測過程（三）測驗評分 （四）測驗分?jǐn)?shù)的解釋 七、搜集信度、效度資料（鑒定測驗）（一）信度（reliability）（二）效度(validaty)八、編寫測驗手冊（1）本測驗的目的和功用；

4、（2）本測驗的理論背景以及選擇項目的根據(jù)；（3）測驗內(nèi)容及實施測驗的方法，包括 何種測驗；內(nèi)容分幾部分；每部分有多少測驗項目；如何作答等等。（4）測驗的標(biāo)準(zhǔn)答案和評分方法；（5）關(guān)于測驗的信度、效度資料的說明；（6）常模表或其他有助于分?jǐn)?shù)轉(zhuǎn)化與解釋的資料。第二節(jié) 測驗的項目分析一、項目的難度（一）定義 難度是表示題目難易程度的指標(biāo)。這一概念在能力測驗里稱為項目的難度水平，而在非能力測驗里，稱為“通俗性”或“流行性”水平。 （二）估計難度的方法 1、對于是非題、選擇題等采用二值記分（即只有答對和答錯兩種情況，記為1或0）的測題： 其中, P：試題的難度 R：答對該題的人數(shù) N：全體被試人數(shù)例：設(shè)

5、有80名學(xué)生參加某個測驗，答對其中某題目的有32人，則該題的難度是？ P = R/ N = 32/80 = 0.4 P值越小的項目，其難度越大。 2、當(dāng)被試人數(shù)較多時，可以先將被試依照測驗總分從高到低排列，然后取得分最高的27%的被試作為高分組，得分最低的27%被試作為低分組。也可以取50%、1/3、1/4的比例，但是27%最精確，這是凱利(Kelley)在1939年的一項研究中提出的。計算出高分組答對該題的百分比PH和低分組答對該題的百分比PL，計算難度的公式為： 例：設(shè)有370名被試，取其中成績最高的27%（100）人定為高分組，成績最低的27%（100）人定為低分組，對于某一道試題，若高

6、分組有60人答對，低分組有30人答對，則 PH= 60/100 = 0.60 PL= 30/100 = 0.30 所以該題難度為：3、在選擇題中，由于允許猜測，備選答案數(shù)目越少，機(jī)遇的作用越大，就越不能反映題目的真實難度。為平衡機(jī)遇對難度的影響，可用下面的公式校正： 其中， CP：校正后的難度（校正后的通過率）P：未校正的難度（實得通過率）K：選項的數(shù)目（備選答案的數(shù)目）例：一個五擇一的測題難度指數(shù)為0.50，一個四擇一的測題難度指數(shù)為0.53，問：哪一題的難度大？五擇一測題校正后難度指數(shù)為：四擇一測題校正后難度指數(shù)為：4、對于論述題等不用二分法記分的項目，計算難度的公式為： 其中， ：全體被

7、試在某一項目上的平均分 ：該項目的滿分分?jǐn)?shù)例：設(shè)某題（問答題）滿分20分，全體考生在該題上所得的平均分為10分，則該題的難度為？ 進(jìn)行難度分析的主要目的是為了篩選項目，項目的難度多高合適，取決于測驗的目的、性質(zhì)以及項目的形式。 為了使測驗具有更大的區(qū)分能力，以選擇接近中等難度的項目為好。（中等難度項目的鑒別力最高） 測驗過難或過易，分?jǐn)?shù)全距縮小，信度降低。P=0.50時最佳測驗難度影響測驗分?jǐn)?shù)的分布形態(tài) 難度大，正偏態(tài) 難度低，負(fù)偏態(tài)二、項目的區(qū)分度（一）定義 區(qū)分度是指測驗項目對被試的心理特征的區(qū)分能力。區(qū)分度高的項目，能將不同水平的被試區(qū)分開來；區(qū)分度低的項目，則不能很好地鑒別被試水平，水

8、平高和水平低的被試得分差不多。 （二）估計方法1、鑒別指數(shù)法 被試按總分高低排列，然后取得分最高的27%的被試作為高分組，得分最低的27%的被試作為低分組。計算高分組答對的人數(shù)比率與低分組該題答對的人數(shù)比率，采用公式： D = PHPLD：項目的鑒別指數(shù)PH：高分組答對該題的人數(shù)比率PL：低分組答對該題的人數(shù)比率 例：某高中物理測驗，被試共18人，高分組和低分組若各取總?cè)藬?shù)的27%，則兩組各為5人，第5題高分組5人全部答對，低分組5人中有1人答對，則該題的鑒別指數(shù)為：D = PHPL = 5/51/5 = 0.80 ， D值越大，項目的鑒別力越大，表示項目的質(zhì)量越好。 2、相關(guān)法 計算區(qū)分度的

9、最常用方法是相關(guān)法，即以某一項目分?jǐn)?shù)與效標(biāo)分?jǐn)?shù)或測驗總分的相關(guān)作為該項目區(qū)分度的指標(biāo)。相關(guān)越高，則該項目區(qū)分度越高。主要有以下幾種：（1）二列相關(guān) 二列相關(guān)適用于兩個連續(xù)變量，但其中一個變量被人為分成兩類。 如，當(dāng)一個測驗的題目分?jǐn)?shù)是連續(xù)的，而效標(biāo)分?jǐn)?shù)或測驗總分被分為及格和不及格兩類時，就可以采用二列相關(guān)法；當(dāng)效標(biāo)或測驗總分是連續(xù)的，而題目分?jǐn)?shù)被分成通過、不通過兩類時，也可采用此法。 公式為： 或 其中， ：與二分變量通過組對應(yīng)的連續(xù)變量的平均數(shù) ：與二分變量未通過組對應(yīng)的連續(xù)變量的平均數(shù) ：連續(xù)變量的平均數(shù)：連續(xù)變量的標(biāo)準(zhǔn)差：通過組人數(shù)與總?cè)藬?shù)之比 ：未通過組人數(shù)與總?cè)藬?shù)之比 ：p與q交界處

10、正態(tài)曲線的高度 在計算二列相關(guān)時，要求二分變量的分布在連續(xù)測量時必須是正態(tài)分布。如果樣本分布不是正態(tài)，總體分布也應(yīng)該是正態(tài)。對于連續(xù)變量的分布，雖不要求其是正態(tài)，但必須是單峰，而且要對稱。當(dāng)兩個變量均為連續(xù)變量時，一般使用皮爾遜（K.Pearson）積差相關(guān)公式計算。（2）點二列相關(guān)點二列相關(guān)適用于項目是0，1記分（或二分變量），而效標(biāo)或總分是連續(xù)變量的數(shù)量資料。計算公式為：或 ：點二列相關(guān)系數(shù)：答對該題的被試在總分上的平均得分：答錯該題的被試在總分上的平均得分 ：通過該題被試的人數(shù)的百分比（即該題難度） ：1 ：全體被試的總分標(biāo)準(zhǔn)差 ：所有被試的測驗總分的平均數(shù) 注：對用點二列相關(guān)計算出的數(shù)

11、值需進(jìn)行顯著性檢驗才能確定其意義。要檢驗是否達(dá)到顯著水平，常用的檢驗方法有兩種：（3）相關(guān) 相關(guān)的統(tǒng)計方法適用于兩個變量是二點分配的資料，即兩個變量都是二分名義變量。在有些情況下，一些連續(xù)變量也可用此方法計算相關(guān)程度。相關(guān)不要求變量是正態(tài)分布。所求指數(shù)為系數(shù)。 在用系數(shù)作為區(qū)分度指標(biāo)時，要求項目反應(yīng)與效標(biāo)變量都是二分狀態(tài)。一般是根據(jù)效標(biāo)成績或測驗總分的高分組和低分組，通過和未通過某一項目的人數(shù)列成的四格表來計算。公式為：其中， ：的相關(guān)系數(shù)a,b,c,d：分別為四格表中四項所包含的人次數(shù)（4）積差相關(guān) 對于論文式測驗題目，因得分具有連續(xù)性，在被試團(tuán)體較大時，可以認(rèn)為項目分?jǐn)?shù)服從正態(tài)分布?？蓪㈨?/p>

12、目得分與效標(biāo)分?jǐn)?shù)求積差相關(guān)系數(shù)以得到項目的區(qū)分度。附：項目的組間相關(guān)項目的組間相關(guān)又稱為項目間的相互相關(guān)，它是指一個測驗中各個測題之間的相互關(guān)系。估計方法：二值記分的項目的組間相關(guān)用相關(guān)，非二值記分的項目用積差相關(guān)。三、區(qū)分度與難度的關(guān)系 難度越接近0.50，項目得潛在區(qū)分度越大，難度越接近1.00或0時，項目的潛在區(qū)分度越小。 難度和區(qū)分度都是相對的，是針對一定團(tuán)體而言的（絕對的難度和區(qū)分度是不存在的）。一般說來，較難的項目對高水平的被試區(qū)分度高，較容易的項目對水平低的被試區(qū)分度高，中等難度的項目對中等水平的被試區(qū)分度高（這與中等難度的項目區(qū)分度最高的說法并不矛盾，因為對被試總體是較難或較易

13、的項目，對水平高或水平低的被試便成了中等難度）。 由于人的多數(shù)心理特征呈正態(tài)分布，所以當(dāng)需要把人作最大程度區(qū)分時，項目難度的分布也以正態(tài)為好，即特別難與特別容易的項目較少，越接近中等難度的項目越多，而所有項目的平均難度為0.50。 區(qū)分度與難度的關(guān)系難度（）區(qū)分度（）1.0000.900.200.800.400.700.600.600.800.5010.400.800.300.600.200.400.100.200.000 四、區(qū)分度的相對性（一）不同的計算方法，所得區(qū)分值不同 區(qū)分度有幾種計算方法？（二）樣本容量大小影響相關(guān)法區(qū)分度值的大小 樣本越大，區(qū)分度越（三）分組標(biāo)準(zhǔn)影響鑒別指數(shù) 分組

14、越極端，區(qū)分度越（四）被試樣本的同質(zhì)性程度影響區(qū)分度值的大小 樣本越同質(zhì)，區(qū)分度越四、項目分析的實例（一）步驟1、選取有代表性的樣組370人，按規(guī)定的程序進(jìn)行預(yù)測工作；2、把370份試卷按測驗總分的高低次序排列，然后從最高分?jǐn)?shù)的人開始向下取足27%（100人）為高分組，再從最低分?jǐn)?shù)的人開始向上取足27%（100人）為低分組。3、計算高分組與低分組通過每一測題的比率，分別以PH和PL表示；4、按照 與D = PHPL公式，分別求出每一 測題的難度與鑒別力指數(shù)；5、比較高分組、低分組在測題不同答案上的反應(yīng)；6、根據(jù)測題統(tǒng)計分析的結(jié)果，修改測題或選擇適當(dāng)?shù)臏y題。（二）實例下表為一個由370人參加的測

15、驗中的4道題的項目統(tǒng)計結(jié)果，據(jù)此表對4題作分析評價。1、區(qū)分度（鑒別力） 取舍題目時，首先要看鑒別力（區(qū)分度），低鑒別力的題目是不能有效鑒別被試的。按照測題鑒別力指數(shù)優(yōu)劣之評鑒標(biāo)準(zhǔn)，0.30以上的項目是比較好的。 本例中第1、2題區(qū)分度符合要求，第3題鑒別力是負(fù)向的，比低鑒別力更不好，表明低分者反而比高分者在該題上得分高，第4題的鑒別力則太小。2、難度 P值一般在0.350.65之間為好，但就整個測驗而言，難度為0.5的測題應(yīng)居多，也需要一些難度較大或較小的測題。因此就難度而言，這些測題是可以選用的。（第1題難度較小，第2題難度適中，第3、第4題難度較大。）3、各題的選項分析 項目的選項分析是

16、指對選擇題后面所提供的幾個答案的分析。如何作選項分析呢？選項分析的異常情況主要有：正確答案無人選擇、或少于其他選項人數(shù)；錯誤答案選的人太多；正確選項上高分組選擇人數(shù)少于低分組；錯誤選項上高分組選擇又多于低分組；某個選項無人選擇；未答的人數(shù)較多。 第1題：正誤答案配比較好。 第2題：除C答案缺乏鑒別能力外，其余都不錯。但值得注意的是，為什么在C答案上，高低分組的選答人數(shù)相同。 第3題：未答得人數(shù)比例過大，且答案B、C、D均屬于負(fù)向的，高分組選C的人數(shù)較多，等于選正確答案D的人數(shù)，這些均要研究。 第4題：A項選答的人數(shù)較少，是否因為該選項錯得太明顯而缺乏似真性，另外D選項也有負(fù)向性，須找出原因加以

17、適當(dāng)修改。五、項目分析的特殊問題（一）選擇題反應(yīng)模式的分析 對于選擇題，除了分析其難度和區(qū)分度外，還要分析被試對每個備選答案的反應(yīng)情況。一般主要做一下分析：1、如果正確的備選答案被所有被試所選擇,.2、如果某個錯誤答案沒有一個被試選擇，3、如果所有被試都選擇了同一個錯誤答案，.4、如果高分組被試的選擇集中在兩個答案上，.5、如果高分組對正確答案的選擇與低分組相等或低于后者，6、如果一個題目被試未答人數(shù)過多或選擇各個備選答案人數(shù)相等，. （二）標(biāo)準(zhǔn)參照測驗的項目分析1.難度分析2.區(qū)分度分析方法一根據(jù)測驗分?jǐn)?shù)將被試分為達(dá)標(biāo)組與未達(dá)標(biāo)組，然后分別計算它們在某一項目上的通過率，兩組考生通過率之差，便

18、是該項目的區(qū)分度，其公式為： ：達(dá)標(biāo)組在某一項目上的通過率 ：未達(dá)標(biāo)組在某一項目上的通過率表中后測分?jǐn)?shù)表示掌握者分?jǐn)?shù)，前測分?jǐn)?shù)則表示未掌握者分?jǐn)?shù)。D1 = 1-0 = 1D2 = 0-1 = -1D3 = 5/10-6/10 = -0.1D4 = 8/10-4/10 = 0.4D5 = 1-1 = 0方法二用同一測驗對同一組被試在教學(xué)前后各施測一次，分別統(tǒng)計各項目前后測的通過率，二者之差便是項目的區(qū)分度。其公式為： 式中和分別為項目在后測和前測中的通過率。D值越高，說明項目對教學(xué)效果越敏感，所以有人將其稱做教學(xué)效果敏感指數(shù)，其公式也可以寫為：式中S為敏感指數(shù)，RA和RB分別為前測、后測通過的人數(shù)，N為學(xué)生總數(shù)。方法三取兩組條件相近的考生，一組接受過同測驗有關(guān)的學(xué)科的教學(xué)，另一組沒有接受過此種教學(xué)。施測同一測驗后，分別統(tǒng)計每組考生答對某題的人數(shù)，兩組考生通過率之差便是該題的區(qū)分度，其公式為：式中和分別為教學(xué)組和