心理和教育測量第六章

1、關(guān)于心理與教育測量第六章第一張，PPT共六十一頁，創(chuàng)作于2022年6月第六章 測驗(yàn)的項(xiàng)目分析測驗(yàn)項(xiàng)目的難度測驗(yàn)項(xiàng)目的區(qū)分度分析猜測問題與猜測率多重選擇題的項(xiàng)目分析第二張，PPT共六十一頁，創(chuàng)作于2022年6月第一節(jié) 測驗(yàn)項(xiàng)目的難度難度的意義項(xiàng)目難度的計(jì)算測驗(yàn)難度水平的確定難度的等距變換難度對測驗(yàn)的影響第三張，PPT共六十一頁，創(chuàng)作于2022年6月一、難度的意義難度分類項(xiàng)目難度和測驗(yàn)難度。本章主要講項(xiàng)目難度。難度定義難度是測驗(yàn)項(xiàng)目的難易程度。通常用“P”來表示。一個(gè)測驗(yàn)項(xiàng)目，如果大部分被試都能答對，則該項(xiàng)目的難度就小；反之亦然。CTT下的難度特征難度是測驗(yàn)項(xiàng)目性質(zhì)與被試水平共同作用的結(jié)果。如果測

2、驗(yàn)項(xiàng)目需要較復(fù)雜的心理操作，那么被試水平高時(shí)，得到的難度值就?。环粗玫降碾y度值就大。第四張，PPT共六十一頁，創(chuàng)作于2022年6月二、項(xiàng)目難度的計(jì)算得分率法通式（所有項(xiàng)目都適用）： 為全體被試在項(xiàng)目上的平均得分，F(xiàn)為項(xiàng)目滿分值。 特式（針對二分法記分項(xiàng)目）： 其中P代表項(xiàng)目難度；N為全體被試數(shù)；R為答對通過該項(xiàng)目的人數(shù)。 第五張，PPT共六十一頁，創(chuàng)作于2022年6月高低分組法通式：其中 、 分別為總分排名在前27%的高分組和后27%低分組被試在要計(jì)算難度的項(xiàng)目上的平均分。F為滿分值。 特式： = (RH/NH+RL/NL)/2其中 和 分別代表高分組與低分組的通過率。 RH和RL分別代表高

3、低分組答對人數(shù)，NH和NL分別代表高低分組總?cè)藬?shù)。第六張，PPT共六十一頁，創(chuàng)作于2022年6月舉例：請分別用通過率法和高低分組法計(jì)算下列兩題難度第七張，PPT共六十一頁，創(chuàng)作于2022年6月二、測驗(yàn)難度水平確定取決于測驗(yàn)的目的目標(biāo)參照性測驗(yàn)可以不過多考慮項(xiàng)目難度，只要客觀標(biāo)準(zhǔn)要求掌握的內(nèi)容均應(yīng)適用。常模參照測驗(yàn)應(yīng)使項(xiàng)目平均難度為0.5，項(xiàng)目難度范圍為0.50.2。選拔性考試應(yīng)將項(xiàng)目難度控制在錄取率附近分布，或使對選拔點(diǎn)附近的被試有0.5的難度，或難度為錄取率。取決于測驗(yàn)的性質(zhì)速度測驗(yàn)難度不宜太高，項(xiàng)目難度值基本相等。難度測驗(yàn)要求難度值在0.5左右。無論速度還是難度測驗(yàn)，都要防止被試得滿分。

4、第八張，PPT共六十一頁，創(chuàng)作于2022年6月四、難度的等距變換難度轉(zhuǎn)換的目的難度為通過率，屬于等級量表水平，需要轉(zhuǎn)換為等距量表水平才能進(jìn)一步進(jìn)行加減運(yùn)算。難度到Z分?jǐn)?shù)的轉(zhuǎn)換。以通過率P在標(biāo)準(zhǔn)正態(tài)分布表中查得對應(yīng)的Z分?jǐn)?shù)。由于Z分?jǐn)?shù)存在負(fù)數(shù)和小數(shù)點(diǎn)，需要將Z分?jǐn)?shù)作進(jìn)一步的線性變換。ETS常采用下列換算公式：=4*Z+13。 越大，難度越大。第九張，PPT共六十一頁，創(chuàng)作于2022年6月五、難度對測驗(yàn)的影響測驗(yàn)難度影響到測驗(yàn)分?jǐn)?shù)的分布形態(tài)。測驗(yàn)難度太大，測驗(yàn)分?jǐn)?shù)將呈正偏態(tài)分布。測驗(yàn)難度太小，測驗(yàn)分?jǐn)?shù)將呈負(fù)偏態(tài)分布。測驗(yàn)難度中等，測驗(yàn)分?jǐn)?shù)將呈正態(tài)分布。測驗(yàn)項(xiàng)目的難度分布影響到測驗(yàn)分?jǐn)?shù)的離散程度，進(jìn)

5、而影響到信度。Ebel的實(shí)驗(yàn)。如下一幻燈片所示。Ebel的研究結(jié)論：項(xiàng)目的難度集中在0.5左右為最佳。測驗(yàn)項(xiàng)目的難度會(huì)影響到項(xiàng)目的區(qū)分度。（區(qū)分度這節(jié)再講）第十張，PPT共六十一頁，創(chuàng)作于2022年6月第十一張，PPT共六十一頁，創(chuàng)作于2022年6月第二節(jié) 測驗(yàn)項(xiàng)目的區(qū)分度項(xiàng)目區(qū)分度的意義區(qū)分度的計(jì)算區(qū)分度與難度的關(guān)系區(qū)分度的相對性第十二張，PPT共六十一頁，創(chuàng)作于2022年6月一、項(xiàng)目區(qū)分度的意義定義：區(qū)分度指測驗(yàn)項(xiàng)目對被試心理特質(zhì)水平差異的區(qū)分能力。通常用D表示。區(qū)分度價(jià)值：將優(yōu)劣被試準(zhǔn)確區(qū)分是測驗(yàn)項(xiàng)目的職能，區(qū)分度是對項(xiàng)目這項(xiàng)職能高低的評價(jià)指標(biāo)，是評價(jià)項(xiàng)目質(zhì)量，選擇優(yōu)秀項(xiàng)目的依據(jù)。區(qū)分度

6、標(biāo)準(zhǔn)：本來應(yīng)找客觀外界標(biāo)準(zhǔn)，也即類似于效標(biāo)的測量，但因比較困難，故轉(zhuǎn)而在測驗(yàn)內(nèi)部找，實(shí)際以測驗(yàn)總分為標(biāo)準(zhǔn)，稱其為內(nèi)部效標(biāo)。第十三張，PPT共六十一頁，創(chuàng)作于2022年6月區(qū)分度的實(shí)質(zhì)：項(xiàng)目得分與總分的一致性程度。 區(qū)分度取值范圍：-1，1，D為0無區(qū)分作用，D值為正，表示積極區(qū)分，越大區(qū)分效果越好，D0表示消極區(qū)分。第十四張，PPT共六十一頁，創(chuàng)作于2022年6月二、區(qū)分度的計(jì)算高低分組法（也稱鑒別指數(shù)法）適用范圍：二分法記分的測驗(yàn)項(xiàng)目。計(jì)算公式：評價(jià)標(biāo)準(zhǔn)：Ebel的研究結(jié)果D評價(jià)0.40以上0.300.390.200.290.20以下優(yōu)良良好，修改更好合格，必須修改差，淘汰第十五張，PPT共

7、六十一頁，創(chuàng)作于2022年6月相關(guān)系數(shù)法點(diǎn)二列相關(guān)二列相關(guān)相關(guān)積差相關(guān)第十六張，PPT共六十一頁，創(chuàng)作于2022年6月（一）點(diǎn)二列相關(guān)適用范圍用于總分是連續(xù)變量，題分是二分變量情況。顯著性檢驗(yàn)可用積差相關(guān)檢驗(yàn)。計(jì)算公式其中p、q為答對和答錯(cuò)的人數(shù)比率。 與 對應(yīng)于答對和答錯(cuò)該項(xiàng)目的被試的總分平均數(shù)， 為所有被試總分的標(biāo)準(zhǔn)差。 第十七張，PPT共六十一頁，創(chuàng)作于2022年6月舉例：請計(jì)算該題區(qū)分度第十八張，PPT共六十一頁，創(chuàng)作于2022年6月（二）二列相關(guān)適用范圍題分和總為均為連續(xù)變量，但人為地將其中一個(gè)變量（既可以是總分，也可以是題分）區(qū)分為二分變量（例如，將總分為及格和不及格兩類）。計(jì)算公

8、式y(tǒng)是標(biāo)準(zhǔn)正態(tài)曲線下 p與q交界處的Y軸高度（曲線高），要查正態(tài)分布表。 第十九張，PPT共六十一頁，創(chuàng)作于2022年6月二列相關(guān)的顯著性檢驗(yàn)第二十張，PPT共六十一頁，創(chuàng)作于2022年6月第二十一張，PPT共六十一頁，創(chuàng)作于2022年6月（三） 相關(guān)適用范圍總分區(qū)分為高分組和低分組，項(xiàng)目得分區(qū)分為通過和未通過。即兩個(gè)變量均為二分變量時(shí)。資料整理成四格表（注意：格式中的符號表示該格的人數(shù)）高分低分通過ab未通過cd第二十二張，PPT共六十一頁，創(chuàng)作于2022年6月計(jì)算公式：其中a、b、c、d為四個(gè)格子的人數(shù)。 為相關(guān)系數(shù)。相關(guān)的顯著性檢驗(yàn) 使用 檢驗(yàn)，其中自由度df=1。檢驗(yàn)公式為：第二十三張

9、，PPT共六十一頁，創(chuàng)作于2022年6月舉例：請計(jì)算該題的區(qū)分度第二十四張，PPT共六十一頁，創(chuàng)作于2022年6月（四）積差相關(guān)例子：請用積差相關(guān)法計(jì)算下列論述題的區(qū)分度。第二十五張，PPT共六十一頁，創(chuàng)作于2022年6月三、區(qū)分度與難度的關(guān)系D的最大值與項(xiàng)目難度的關(guān)系（理論上）第二十六張，PPT共六十一頁，創(chuàng)作于2022年6月題目的綜合分析和篩選整個(gè)測驗(yàn)的平均難度應(yīng)保持在0.5左右。測驗(yàn)中各項(xiàng)目之間有一定相關(guān)，為了使成績分布均勻，項(xiàng)目難度的應(yīng)廣一些，梯度大一些，最好成正態(tài)分布。每項(xiàng)題目理想的區(qū)分度都應(yīng)在0.3以上，至少是0.2。 第二十七張，PPT共六十一頁，創(chuàng)作于2022年6月四、影響區(qū)分

10、度的因素效標(biāo)不同，區(qū)分度不同。應(yīng)選擇較好的效標(biāo)。不同的計(jì)算方法，所得區(qū)分度不同在分析同一個(gè)測驗(yàn)時(shí)，各個(gè)項(xiàng)目的區(qū)分度值要采用同一種指標(biāo)。樣本容量大小影響相關(guān)法區(qū)分度值的大小樣本容量越小，區(qū)分度的計(jì)算值越不可靠。采用相關(guān)法計(jì)算的區(qū)分度要進(jìn)行顯著性檢驗(yàn)和計(jì)算統(tǒng)計(jì)檢驗(yàn)力。第二十八張，PPT共六十一頁，創(chuàng)作于2022年6月分組標(biāo)準(zhǔn)影響鑒別指數(shù)值一般情況下，取25%33%，習(xí)慣上取27%。當(dāng)效標(biāo)分?jǐn)?shù)較正態(tài)分布平坦時(shí)，比值應(yīng)略高于27%。當(dāng)樣本團(tuán)體人數(shù)過少（例如樣本容量n100）時(shí)，可按50%的規(guī)則選取高低分組被試。被試樣本的同質(zhì)性程度影響區(qū)分度值大小同質(zhì)性高，區(qū)分度小。區(qū)分度高低受被試樣本團(tuán)體特質(zhì)水平影響

11、。因此不能將區(qū)分度作為篩選試題的絕對標(biāo)準(zhǔn)。第二十九張，PPT共六十一頁，創(chuàng)作于2022年6月五、提高題目區(qū)分度方法 (1)控制好題目難度。將題目難度在0.5左右時(shí)，區(qū)分能力理論上會(huì)比較高。(2)保證題目所測心理特質(zhì)與全卷所測心理品質(zhì)的一致性。(3)題干及答案無歧義。(4)語言準(zhǔn)確規(guī)范。(5)借助選項(xiàng)分析提供的信息對不良選項(xiàng)進(jìn)行修改，以提高題目區(qū)分能力。第三十張，PPT共六十一頁，創(chuàng)作于2022年6月綜合練習(xí)一試卷施測于十一名被試，結(jié)果如附表。 第三十一張，PPT共六十一頁，創(chuàng)作于2022年6月請求?。?（1）第二、第五兩題的難度。（2）第三題的區(qū)分度（點(diǎn)二列相關(guān)）。（3）第六題的區(qū)分度（高低分

12、組法）。 （4）全卷信度系數(shù)。 （5）試卷實(shí)證效度。 第三十二張，PPT共六十一頁，創(chuàng)作于2022年6月第三節(jié) 猜測問題與猜測率客觀測驗(yàn)題中的猜測問題與猜測率項(xiàng)目難度受猜測影響的校正第三十三張，PPT共六十一頁，創(chuàng)作于2022年6月一、客觀測驗(yàn)題中的猜測問題與猜測率客觀測驗(yàn)題中的猜測問題測驗(yàn)分?jǐn)?shù)確實(shí)反映了被試的真實(shí)特質(zhì)水平還是因?yàn)椴聹y而獲得成功？猜測誤差的來源猜相對于不猜引起的誤差是否猜得對引起的誤差猜測率是指被試全憑隨機(jī)猜測而答對題目的概率。猜測行為主要出現(xiàn)在客觀題（如選擇題、是非判斷題、配對題等）第三十四張，PPT共六十一頁，創(chuàng)作于2022年6月二、項(xiàng)目難度受猜測影響的校正猜測校正公式（前

13、提：猜測是隨機(jī)猜測）因猜測對項(xiàng)目難度的校正其中CP為校正后難度，K為備選答案數(shù)，P為實(shí)際難度。 因猜測對個(gè)體得分的校正其中R為原答項(xiàng)目數(shù)，W為錯(cuò)答數(shù)，K為為選項(xiàng)數(shù)。第三十五張，PPT共六十一頁，創(chuàng)作于2022年6月舉例有A、B兩個(gè)測題，項(xiàng)目A為四重選擇題，通過率為0.58；項(xiàng)目B為五重選擇題，通過率為0.56，試比較兩題校正后的難度。某被試參加由100道四重選擇題組成的測驗(yàn)，每題1分，測驗(yàn)結(jié)果是82分，請問其校正后的分?jǐn)?shù)是多少？第三十六張，PPT共六十一頁，創(chuàng)作于2022年6月猜測校正的爭議贊成猜測校正的理由通過猜測校正可避免降低測驗(yàn)的信度。校正后的得分可以反映被試的真正水平的能力。在教育測驗(yàn)

14、中，可培養(yǎng)被試誠實(shí)的美德。比較公平。不同試題間的難度比較分析需要校正。第三十七張，PPT共六十一頁，創(chuàng)作于2022年6月不贊成猜測校正的理由公式的基本假設(shè)不成立。只要被試能答完全部試題，猜測校正就無實(shí)質(zhì)作用。不采用猜測校正對信度并無重大影響。有時(shí)會(huì)出現(xiàn)無法解釋的現(xiàn)象。合理猜測是值得培養(yǎng)的好習(xí)慣。綜合觀點(diǎn)：如果答題時(shí)間充裕，選擇題的備選答案數(shù)目在四個(gè)或四個(gè)以上，則沒有必要校正記分。第三十八張，PPT共六十一頁，創(chuàng)作于2022年6月第四節(jié) 多重選擇題的項(xiàng)目分析多重選擇題項(xiàng)目分析的作用與內(nèi)容 項(xiàng)目能否測到要測的心理特質(zhì)；項(xiàng)目難度是否恰當(dāng)；項(xiàng)目的區(qū)分度能否達(dá)到要求；正答選項(xiàng)選答率是否恰當(dāng)；正答選項(xiàng)在高

15、低分組上選答率是否正差？差距是否足夠大？誘答選項(xiàng)選答率是否恰當(dāng)；誘答選項(xiàng)在高低分組上選答率是否是負(fù)差？差距是否足夠大？ 第三十九張，PPT共六十一頁，創(chuàng)作于2022年6月具體分析步驟：1、根據(jù)被試的測驗(yàn)總分，對被試進(jìn)行排序2、確定高分組和低分組被試3、分別登記高分組被試和低分組被試在每個(gè)備選項(xiàng)的人數(shù)及未作答人數(shù)（也可以是人數(shù)百分比），最終整理成類似下表中的數(shù)據(jù)資料第四十張，PPT共六十一頁，創(chuàng)作于2022年6月4、根據(jù)第3步整理好的數(shù)據(jù)資料，進(jìn)行具體分析第四十一張，PPT共六十一頁，創(chuàng)作于2022年6月選項(xiàng)分析的方法及選項(xiàng)修改原則 1、首先分析兩組平均選答率正確答案的平均選答率（即難度）最佳值

16、為：第四十二張，PPT共六十一頁，創(chuàng)作于2022年6月每個(gè)干擾項(xiàng)應(yīng)該平均分剩余的選答率。如果正確答案的選答率過高或過低，這都不利于區(qū)分高分組和低分組被試。如果某干擾項(xiàng)選答率特低，則說明該干擾項(xiàng)錯(cuò)的過于明顯應(yīng)加以淘汰；若某干擾項(xiàng)選答率特高，則要考慮該題正確答案是否錯(cuò)誤或有兩個(gè)正確答案。2、對于正確答案主要考察高分組和低分組被試在正確答案上的選答率是否是正差，及這一差距是否足夠大。只有當(dāng)高分組和低分組被試在正確答案上的選答率是正差，且這一差距足夠大時(shí)，這時(shí)題目質(zhì)量較佳。第四十三張，PPT共六十一頁，創(chuàng)作于2022年6月3、對于干擾項(xiàng)考察高分組和低分組被試在干擾項(xiàng)上的選答率是否是負(fù)差，及這一差距是否

17、足夠大。只有當(dāng)高分組和低分組被試在正確答案上的選答率是負(fù)差，且這一距差足夠大時(shí)，這時(shí)干擾項(xiàng)的設(shè)置比較合理，否則干擾項(xiàng)設(shè)置不合理，應(yīng)對干擾項(xiàng)進(jìn)行刪除或修改。4、其它如果高分組被試的選答集中在兩個(gè)答案上，且人數(shù)又相近，說明此題可能有兩個(gè)正確答案，或者在某種意義上另一個(gè)選擇項(xiàng)也有一定道理。應(yīng)考慮題目本身是否存有歧義或有兩個(gè)正確答案。第四十四張，PPT共六十一頁，創(chuàng)作于2022年6月如果高分組對正確答案的選答率與低分組相等或低于后者，說明該題所考察東西與被試水平無關(guān)，即不具有鑒別力，此題應(yīng)作大修改或刪除。如果一個(gè)題目被試未作答的人數(shù)較多（速度測驗(yàn)除外），或選擇各個(gè)備選項(xiàng)答案的人數(shù)相等，說明該題目過難或

18、題意不清，被試無法作答或全憑猜測。應(yīng)修改或刪除本題。第四十五張，PPT共六十一頁，創(chuàng)作于2022年6月舉例下表為一個(gè)由370人參加的英語測驗(yàn)中四道選擇題的統(tǒng)計(jì)結(jié)果，試分析每題難度、區(qū)分度是如何計(jì)算出來的？并對這四題的選項(xiàng)質(zhì)量進(jìn)行評價(jià)。第四十六張，PPT共六十一頁，創(chuàng)作于2022年6月第四十七張，PPT共六十一頁，創(chuàng)作于2022年6月第四十八張，PPT共六十一頁，創(chuàng)作于2022年6月選項(xiàng)分析：第1題，正確答案和干擾項(xiàng)的兩組平均選答率都基本正常，在正確答案上高分組的被試選擇人數(shù)要多于低分組被試，且在非正確選項(xiàng)上，高分組的被試選擇人數(shù)要少于低分組被試，這符合實(shí)際情況，四個(gè)選項(xiàng)的設(shè)置均較合理；第四十九

19、張，PPT共六十一頁，創(chuàng)作于2022年6月第2題，正確答案和干擾項(xiàng)B的兩兩組平均選答率基本一致，且正確答案上高分組的被試選擇人數(shù)要少于低分組被試，而在非正確選項(xiàng)B、D上，高分組的被試選擇人數(shù)要多于低分組被試，這均不符合實(shí)際情況，且高分組被試中選擇人數(shù)最多的為選項(xiàng)B，則要考慮該是否有2個(gè)正確選項(xiàng)，因此該題選項(xiàng)設(shè)置較差，因此整題質(zhì)量較差。第五十張，PPT共六十一頁，創(chuàng)作于2022年6月第3題，選項(xiàng)A、B、D兩組平均選答率都基本正常、設(shè)置均較合理，但選項(xiàng)C需修改；第4題，選項(xiàng)A、D設(shè)置合理，選項(xiàng)C設(shè)置不合理需修改，不論高分還是低分組被試均無人選擇B，該選項(xiàng)無任何迷惑作用，可刪除該選項(xiàng)，并換其它具有迷

20、惑性的選項(xiàng)。第五十一張，PPT共六十一頁，創(chuàng)作于2022年6月練習(xí)第五十二張，PPT共六十一頁，創(chuàng)作于2022年6月補(bǔ)充：題目功能差異與測量偏差控制 題目功能差異、測量偏差定義及其偵查方法題目功能差異及測量偏差定義“某年的高考實(shí)驗(yàn)試卷有一道關(guān)于魚頭和魚尾作文題：第一幅是母親把魚中段夾給年幼的兒子，自己吃魚頭魚尾；第二幅漫畫是兒子長大了，把魚頭魚尾留給母親吃，自己吃魚中段。要求被試就此發(fā)表議論，寫一篇作文?！?第五十三張，PPT共六十一頁，創(chuàng)作于2022年6月題目功能差異（differential item function，DIF）是指不同群體對同一題目的答對概率（或得分率）不同，即不同群體在

21、同一題目上得分存在差異。造成題目功能差異的原因可能是群體間本身水平存在差異，也可能是群體本身水平不存在差異而由于其它原因（如風(fēng)俗習(xí)慣、性別、種族、地域）所致。第五十四張，PPT共六十一頁，創(chuàng)作于2022年6月若題目功能差異是由前者引起，則稱為良性題目功能差異；若是由后者引起，則稱為不良題目功能差異，即存在測量偏差。題目功能差異主要是針對不同群體而言，目前測量學(xué)領(lǐng)域關(guān)注較多群體差異主要有性別差異、地區(qū)差異、種族差異、跨文化差異等。因此有DIF的題目不一定存在測量偏差，良性DIF不存在測量偏差，不良DIF才存在測量偏差；但有測量偏差的題目一定存在DIF。第五十五張，PPT共六十一頁，創(chuàng)作于2022年6月在題目功能差異研究中還有一對重要概念:一致性DIF和不一致性DIF。一致性DIF是指被試的能力水平與其組別之間不存在交互作用，即在所有的能力水平上，一組被試回答某一項(xiàng)目的正確率都大于另一組。當(dāng)被試的能力水平與其組別之間存在交互作用時(shí)，則表現(xiàn)為非一致性DIF。題目功能差異及測量偏差偵查方法 要偵查題目是否存在測量偏差，首先應(yīng)偵查題目是否存在DIF，若不存在DIF，則不存在測量偏差，若存在DIF，還應(yīng)分析是良性DIF還是不良DIF，只有不良DIF才會(huì)造成測量偏差。第五十六張，PPT共六十一