心理測量第八章測驗(yàn)的編制與實(shí)施

心理測量第八章測驗(yàn)的編制與實(shí)施第1頁，課件共34頁，創(chuàng)作于2023年2月一、測驗(yàn)編制的一般程序測驗(yàn)的界定制定編題計(jì)劃編制題目項(xiàng)目的試測和分析合成測驗(yàn)測驗(yàn)的標(biāo)準(zhǔn)化測驗(yàn)的修正與鑒定編寫測驗(yàn)手冊(cè)第2頁，課件共34頁，創(chuàng)作于2023年2月第一步：測驗(yàn)的界定測量對(duì)象：什么人，兒童/成人，測量目標(biāo)：什么內(nèi)容，心理變量/行為如：成就、智力、人格測量用途：診斷/預(yù)測常模參照測驗(yàn)/標(biāo)準(zhǔn)參照測驗(yàn)第3頁，課件共34頁，創(chuàng)作于2023年2月第一步：測驗(yàn)的界定（續(xù)）建構(gòu)測驗(yàn)的理論依據(jù)：基于邏輯或內(nèi)容：考慮行為的領(lǐng)域范圍并進(jìn)行相應(yīng)的度量（如教育測驗(yàn)）基于理論：根據(jù)一種理論編寫出能夠反映理論構(gòu)想的題目（如Myers-BriggsTypeIndicator或MBTI基于容格的類型論）基于外部效標(biāo)：選擇那些能夠?qū)€(gè)體或群體做出區(qū)分的題目（如MMPI，CPI，羅夏墨跡測驗(yàn)等）

。?；诮?jīng)驗(yàn)第4頁，課件共34頁，創(chuàng)作于2023年2月第二步：制定編題計(jì)劃

總體設(shè)計(jì)，指出測驗(yàn)內(nèi)容結(jié)構(gòu)和項(xiàng)目形式及相對(duì)重要程度如：雙向細(xì)目表（編制成就測驗(yàn)）一種標(biāo)明測驗(yàn)所包含的內(nèi)容和要測定的技能（構(gòu)想）以及每一個(gè)內(nèi)容、技能的相對(duì)重要程度的表格?？赡苁嵌嘞虻?，不限于雙向。要目標(biāo)明確第5頁，課件共34頁，創(chuàng)作于2023年2月

內(nèi)容（主題）準(zhǔn)備編題施測記分題目分析術(shù)語工作分析，匹配題；反應(yīng)暈輪效應(yīng)記分鍵效標(biāo)，內(nèi)部一致

關(guān)鍵事件心向，多項(xiàng)選擇主被試關(guān)系合成分?jǐn)?shù)性，測驗(yàn)同質(zhì)性有代表性（5）（2）機(jī)器記分（3）樣本（3）（3）特殊教育目標(biāo)客觀題與論述影響測驗(yàn)成績主客觀題決定題目效度的知識(shí)的分類題的長短處的因素的記分規(guī)則方法，題目分析（2）（4）（3）（3）的目的（3）理解解釋制定（0）（0）題目權(quán)重對(duì)解釋P和D的關(guān)系測驗(yàn)計(jì)劃的目的總分的影響（1）（2）（1）

應(yīng)用對(duì)某個(gè)單元多項(xiàng)選擇測量測驗(yàn)指導(dǎo)語猜測的校正，難度和區(qū)分度編制一個(gè)具理解、應(yīng)用、（2）置信加權(quán)，指標(biāo)計(jì)算，錯(cuò)誤體說明分析、綜合和（4）選項(xiàng)的分布（1）評(píng)價(jià)能力的例子（4）（4）總計(jì)81371111第6頁，課件共34頁，創(chuàng)作于2023年2月第三步：編制題目搜集資料代表性、普遍性選擇形式文字/非言語客觀/論述紙筆/操作編寫和修訂題目第7頁，課件共34頁，創(chuàng)作于2023年2月測驗(yàn)題目的編制技術(shù)命題的一般原則：范圍，代表性，難度，數(shù)量，簡明不同題型的編寫規(guī)則分類1：選擇題/是非題/匹配題/填空和簡答題/論述題應(yīng)用題/操作題/聯(lián)想題/排列題/改錯(cuò)題分類2：全開放型/開放—單一反應(yīng)型/多重選擇/雙級(jí)等級(jí)評(píng)定利克特型/排序/投射/績效項(xiàng)目/分類信息第8頁，課件共34頁，創(chuàng)作于2023年2月編題舉例1：多擇一題型Do…使用一個(gè)直接的問題或一個(gè)不完整的陳述作為題干選項(xiàng)或題目在語法和形式上保持一致盡量使所有錯(cuò)誤選項(xiàng)看起來是可能的Don’t…否定性題目，尤其是在題干是否定性的（雙重否定）使用技術(shù)上的行話反應(yīng)之間相互重疊使用“以上所有”第9頁，課件共34頁，創(chuàng)作于2023年2月例2：主觀題——人格是非題我喜歡去干有冒險(xiǎn)性的工作利克特評(píng)定量表：5點(diǎn)或7點(diǎn)評(píng)定朋友們通常把我看成是一個(gè)瀟灑的人使用特殊符號(hào)用于態(tài)度調(diào)查你對(duì)XXX電視節(jié)目有什么看法？

23451很不象我非常象我第10頁，課件共34頁，創(chuàng)作于2023年2月例3：主觀態(tài)度調(diào)查題目的編寫規(guī)則Do…使用現(xiàn)在時(shí)態(tài)避免模糊與歧義使用簡單明確的語言語句盡量短選擇各種陳述以覆蓋所有感興趣的內(nèi)容Don’t…詢問事實(shí)使用每個(gè)人都會(huì)贊同或不同意的陳述使用“如果可能”使用雙重否定使用全稱命題（所有…)第11頁，課件共34頁，創(chuàng)作于2023年2月分析：這些題有什么毛病？當(dāng)上級(jí)布置任務(wù)時(shí)，不是說不能接受的。我不相信我們的所有法律對(duì)公民都是有益的。如果你去問的話，人們不會(huì)告訴你他們大多數(shù)時(shí)間都在想什么。有多少人居住在香港？A超過三百萬B超過四百萬C超過五百萬D超過六百萬第12頁，課件共34頁，創(chuàng)作于2023年2月小結(jié)：題目編寫應(yīng)用理論指導(dǎo)你的題目編寫，不是只靠與外部效標(biāo)的相關(guān)簡明扼要-明確的指導(dǎo)語，簡明的語言校對(duì)你的題目對(duì)可能的混淆有所預(yù)期考慮疲勞/厭倦因素考慮短時(shí)記憶的限制第13頁，課件共34頁，創(chuàng)作于2023年2月第四步：項(xiàng)目的試測和分析試測注意：對(duì)象代表性過程、情境相似時(shí)限稍寬隨時(shí)記錄被試反應(yīng)第14頁，課件共34頁，創(chuàng)作于2023年2月題目分析測驗(yàn)由題目構(gòu)成。題目的質(zhì)量決定了測驗(yàn)的質(zhì)量。題目分析可以幫助我們發(fā)現(xiàn)題目的問題，并加以調(diào)整。在測驗(yàn)建構(gòu)中起著重要作用。題目分析可以從質(zhì)和量兩個(gè)方面進(jìn)行。質(zhì)：內(nèi)容與形式量：統(tǒng)計(jì)學(xué)特性題目是否對(duì)不同類型的人群有不同的難度與區(qū)分度第15頁，課件共34頁，創(chuàng)作于2023年2月第五步：合成測驗(yàn)項(xiàng)目的選擇根據(jù)項(xiàng)目分析結(jié)果篩選項(xiàng)目，選出的題與雙向細(xì)目表對(duì)照，有效區(qū)分且難度合適，考慮題目數(shù)及所需時(shí)間項(xiàng)目編排

通常由易到難并列直進(jìn)式/混合螺旋式編制復(fù)本復(fù)本等值要求：

－測同一心理特質(zhì)－相同內(nèi)容范圍－題型、題數(shù)相同、難度分布相當(dāng)－各測驗(yàn)分?jǐn)?shù)分布平均數(shù)標(biāo)準(zhǔn)差大致相等第16頁，課件共34頁，創(chuàng)作于2023年2月第六步、測驗(yàn)的標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化：控制無關(guān)因素對(duì)測驗(yàn)?zāi)康牡挠绊懙倪^程。標(biāo)準(zhǔn)化包括：編制標(biāo)準(zhǔn)化（符合要求）使用標(biāo)準(zhǔn)化（操作規(guī)范）第17頁，課件共34頁，創(chuàng)作于2023年2月測驗(yàn)的標(biāo)準(zhǔn)化編制標(biāo)準(zhǔn)化測驗(yàn)內(nèi)容－測驗(yàn)項(xiàng)目相同或等值使用標(biāo)準(zhǔn)化施測過程－施測條件/指導(dǎo)語/時(shí)限評(píng)分－客觀/正確經(jīng)濟(jì)/實(shí)用分?jǐn)?shù)解釋－常模標(biāo)準(zhǔn)化樣本第18頁，課件共34頁，創(chuàng)作于2023年2月第七步：測驗(yàn)的修改和鑒定根據(jù)項(xiàng)目分析結(jié)果，刪除、修改和重新編制題目。這是一個(gè)多次往復(fù)的過程對(duì)成型的測驗(yàn)進(jìn)行標(biāo)準(zhǔn)化，收集測量學(xué)證據(jù)或資料，包括信度與效度等

信度（可靠性或一致性）效度（有效性或正確性）第19頁，課件共34頁，創(chuàng)作于2023年2月第八步：編寫測驗(yàn)手冊(cè)手冊(cè)應(yīng)包括以下內(nèi)容：1.測驗(yàn)的目的、功用2.理論依據(jù)3.實(shí)施方法4.標(biāo)準(zhǔn)答案和計(jì)分方法5.常模表或其它分?jǐn)?shù)轉(zhuǎn)化與解釋的資料6.測驗(yàn)的信度、效度資料及說明第20頁，課件共34頁，創(chuàng)作于2023年2月二、測驗(yàn)的實(shí)施測驗(yàn)實(shí)施的一般程序標(biāo)準(zhǔn)化指導(dǎo)語標(biāo)準(zhǔn)時(shí)限環(huán)境條件主試的職責(zé)*計(jì)算機(jī)化測驗(yàn)：計(jì)算機(jī)輔助測驗(yàn)/CAT

第21頁，課件共34頁，創(chuàng)作于2023年2月標(biāo)準(zhǔn)化指導(dǎo)語標(biāo)準(zhǔn)化的指導(dǎo)語（instruction）：是在測量實(shí)施時(shí)說明測量進(jìn)行方式以及如何回答問題的指導(dǎo)性語言——對(duì)受測者和對(duì)主試的標(biāo)準(zhǔn)化：指導(dǎo)語內(nèi)容和形式；主試的朗讀第22頁，課件共34頁，創(chuàng)作于2023年2月標(biāo)準(zhǔn)時(shí)限測量時(shí)限：典型行為測驗(yàn)（主要指的是人格與態(tài)度測驗(yàn)）一般不給時(shí)限最佳行為測驗(yàn)（主要指能力和成就測驗(yàn)）需要時(shí)限，一般通過試測來確定（90%原則）

第23頁，課件共34頁，創(chuàng)作于2023年2月環(huán)境條件主試對(duì)測量結(jié)果的影響:主試的個(gè)性特點(diǎn)：寬容、競爭等主試的期望效應(yīng)：羅森塔爾效應(yīng)（Rosenthaleffect,也稱皮格馬利翁效應(yīng)）

第24頁，課件共34頁，創(chuàng)作于2023年2月*受測者對(duì)測量結(jié)果的影響技巧、練習(xí)和疲勞因素：策略的遷移、熟練化和身心的疲勞焦慮和動(dòng)機(jī)因素：

應(yīng)試動(dòng)機(jī)：迎合主試、社會(huì)稱許性（掩飾）、無所謂

測驗(yàn)焦慮：一種不愉快的、表現(xiàn)為焦急、恐懼和緊張的情緒體驗(yàn)，主要由于對(duì)可能出現(xiàn)的測驗(yàn)結(jié)果和自己應(yīng)付某一局面的能力的擔(dān)心而造成的

焦慮的倒U曲線第25頁，課件共34頁，創(chuàng)作于2023年2月焦慮的倒U曲線

成績焦慮水平第26頁，課件共34頁，創(chuàng)作于2023年2月*受測者對(duì)測量結(jié)果的影響（續(xù)）受測者反應(yīng)的方式或者風(fēng)格——回答問題的習(xí)慣方式求“快”或求“精確”的反應(yīng)定勢(shì)偏好正面敘述的反應(yīng)定勢(shì)偏好特殊位置的反應(yīng)定勢(shì)偏好較長選項(xiàng)的反應(yīng)定勢(shì)猜測的反應(yīng)定勢(shì)第27頁，課件共34頁，創(chuàng)作于2023年2月

關(guān)于CAT(計(jì)算機(jī)自適應(yīng)性測驗(yàn))基本原理：根據(jù)項(xiàng)目反應(yīng)模型，按被試相應(yīng)的能力水平從題庫中選擇題目，后面呈現(xiàn)的題目取決于被試對(duì)前面項(xiàng)目所做的反應(yīng)。給出一個(gè)中等難度的題目答對(duì)：出現(xiàn)一個(gè)更難的題目答錯(cuò)：出現(xiàn)一個(gè)更易的題目循環(huán)往復(fù)，直至得到在一定精度上的某個(gè)能力值（θ）第28頁，課件共34頁，創(chuàng)作于2023年2月CAT的優(yōu)勢(shì)效率高，要達(dá)到同準(zhǔn)確的估計(jì)，傳統(tǒng)測驗(yàn)題目數(shù)至少為CAT測驗(yàn)