第七章 地理測試命題質(zhì)量分析.pdf

地理教育測量與評價 西南大學(xué) 地理科學(xué)學(xué)院 蘇迎春 2011年10月 西南大學(xué) 地理科學(xué)學(xué)院 蘇迎春 2011年10月 第七章 地理測試命題質(zhì)量分析 第一節(jié) 試題質(zhì)量的初步評價 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項(xiàng)目質(zhì)量評價 第一節(jié) 試題質(zhì)量的初步評價 第二節(jié) 試題的信度 第三節(jié) 試題的效度 第四節(jié) 項(xiàng)目質(zhì)量評價 第一節(jié) 試題質(zhì)量的初步評價第一節(jié) 試題質(zhì)量的初步評價 一 測驗(yàn)分?jǐn)?shù)的分布狀態(tài) 二 平均分 三 標(biāo)準(zhǔn)差 一 測驗(yàn)分?jǐn)?shù)的分布狀態(tài) 二 平均分 三 標(biāo)準(zhǔn)差 一 測驗(yàn)分?jǐn)?shù)的分布狀態(tài)一 測驗(yàn)分?jǐn)?shù)的分布狀態(tài) 1 表示形式 表示形式 頻數(shù)直方圖或頻數(shù)多邊圖 頻數(shù)是指在某分?jǐn)?shù)段中出現(xiàn)測驗(yàn)分?jǐn)?shù)的次 數(shù) 2 作用 作用 通過對測驗(yàn)分?jǐn)?shù)分布狀態(tài)的描述 可以從一個 側(cè)面反映出試題的質(zhì)量水平 3 頻數(shù)直方圖制作步驟 頻數(shù)直方圖制作步驟 第一步 求全距第一步 求全距 全距是指要處理的所有測驗(yàn)分?jǐn)?shù)中最高分與最低分 的差 一般用R來表示 即 R 最高分?jǐn)?shù) 最低分?jǐn)?shù) 全距的作用 反映全部測驗(yàn)分?jǐn)?shù)的分布范圍 全距的作用 反映全部測驗(yàn)分?jǐn)?shù)的分布范圍 第二步 定組數(shù)第二步 定組數(shù) 組數(shù)一般根據(jù)全距R和測驗(yàn)分?jǐn)?shù)的個數(shù)n來確定 用I 表示 R值越大 測驗(yàn)分?jǐn)?shù)的個數(shù)n越多 組數(shù)就會越 多 第三步 定組距第三步 定組距 組距即為全距R與組數(shù)I相除后取整 第四步 確定組限第四步 確定組限 根據(jù)組距和全距確定每組的上限和下限 通常約定 每組只含下限 不含上限 即每組都是左閉右開區(qū)間 第五步 求組中值第五步 求組中值 即求每組的中點(diǎn)值 用M表示 其方法為 M 組實(shí)際下限 0 5ZR 第六步 列頻數(shù)分布表第六步 列頻數(shù)分布表 統(tǒng)計落在每個組中的測驗(yàn)分?jǐn)?shù)的個數(shù) 即每個組的 頻數(shù) 將其填入頻數(shù)分布表的相應(yīng)位置 第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖第七步 根據(jù)頻數(shù)分市表繪制頻數(shù)直方圖 方法 在一個直角坐標(biāo)系中 以橫坐標(biāo)表示測驗(yàn)分 數(shù) 從左到右標(biāo)出各組分?jǐn)?shù)的組中值 用縱坐標(biāo)表示頻 數(shù) 從上到下等距地標(biāo)出頻數(shù)數(shù)值 分別以各組的組距 為底邊 以組中值作為底邊的中點(diǎn) 頻數(shù)為高 對每組 作矩形 4 頻數(shù)多邊形圖 曲線圖 制作 頻數(shù)多邊形圖 曲線圖 制作 方法與直方圖類似 5 示例 示例 6 結(jié)果分析 結(jié)果分析 1 分布曲線的幾種形態(tài)及其意義 分布曲線的幾種形態(tài)及其意義 正態(tài)分布 表明在高分段稠低分 段的人數(shù)明顯少于中間分?jǐn)?shù)段的 人 說明試題設(shè)計比較合理 試 題難度 區(qū)分度分布正常 正偏態(tài)分布 低分段出現(xiàn) 的人數(shù)明顯偏多 說明難 度偏高的題目多 試題難 度過高 呈負(fù)偏態(tài)分布 高分段出 現(xiàn)的人數(shù)偏多 說明難度 偏低的題較多 試題難度 偏低 呈高峰形的正態(tài)分布 中間段 分?jǐn)?shù)出現(xiàn)的人數(shù)特別集中 學(xué)生之間的差距沒有拉開 說明中等難度的題目比例過 高 試題區(qū)分度較差 平峰形的正態(tài)分布 各分 數(shù)段出現(xiàn)人數(shù)的差異較 小 說明試題中不同難度 題目的比例比較接近 雙峰形分布 高分段和低分段出現(xiàn) 的人數(shù)多 而中間分?jǐn)?shù)段的人數(shù) 偏少 說明難度過高和過低的題 目偏多 而中等難度的題目偏 少 試題難度梯度大 6 結(jié)果分析 結(jié)果分析 2 示例的結(jié)果分析 示例的結(jié)果分析 學(xué)生測驗(yàn)分?jǐn)?shù)的頻數(shù)直方圖和頻數(shù)多邊圖來看 基本上呈 一種負(fù)偏態(tài)分布狀態(tài) 如果不考慮其他因素對學(xué)生測驗(yàn)分?jǐn)?shù)的 影響 這次測驗(yàn)試題的總體難度是偏低的 中等程度的學(xué)生和 程度較高的學(xué)生沒有拉開距離 二 平均分二 平均分 1 算術(shù)平均分 算術(shù)平均分 一組測驗(yàn)分?jǐn)?shù)的總和與分?jǐn)?shù)個數(shù)相除所得的 商 2 加權(quán)平均分 加權(quán)平均分 在同一次 地理測驗(yàn)中 如果已經(jīng)知道 各個被試組測 驗(yàn)分?jǐn)?shù)的算術(shù) 平均分 要求 計算所有考生 的平均分時 則需要用加權(quán) 平均分來計 算 三 標(biāo)準(zhǔn)差三 標(biāo)準(zhǔn)差 用于描述測驗(yàn)分?jǐn)?shù)的離散程度 當(dāng)一組測驗(yàn)分?jǐn)?shù)的離散程度比較大時 則對應(yīng)的平均 分的代表性就比較小 反之則比較大 表示測驗(yàn)分?jǐn)?shù)離散程度的特征量數(shù) 全距 平均差 四分差 方差 標(biāo)準(zhǔn)差等等 比較常用的是標(biāo)準(zhǔn)差 第二節(jié) 試題的信度第二節(jié) 試題的信度 一 相關(guān)系數(shù) 二 信度 三 常模對照測驗(yàn)的信度 四 目標(biāo)參照測驗(yàn)的信度 一 相關(guān)系數(shù) 二 信度 三 常模對照測驗(yàn)的信度 四 目標(biāo)參照測驗(yàn)的信度 一 相關(guān)系數(shù)一 相關(guān)系數(shù) 1 概念 概念 相關(guān)系數(shù) 描述兩個變量之間相關(guān)程度的量 2 計算模型 計算模型 3 示例及結(jié)果分析 示例及結(jié)果分析 分析 分析 在以主觀性試題為主的地理測驗(yàn)題和以客觀性試題為主地理測驗(yàn) 題的考試中所取得的成績是呈高度正相關(guān) 在不考慮其他因素影響的前 提下 表明主觀性試題和客觀性試題這兩種題型都能比較好地考查學(xué)生 對有關(guān)地理知識掌握的情況 即主觀分高 客觀分也高 二 信度二 信度 1 概念 概念 信度也稱 可靠性 或 測驗(yàn)分?jǐn)?shù)的穩(wěn)定性 是指測量的一致性程 度 即同一個測驗(yàn)在不同時間上聽得結(jié)果的一致性 2 常用指標(biāo)及意義 常用指標(biāo)及意義 相關(guān)系數(shù)作為數(shù)據(jù)指標(biāo)來衡量測驗(yàn)的一致性程度 也稱為信度 系數(shù) 信度系數(shù)的取值范圍 0 1 意義 意義 值越大 測驗(yàn)的可信程度越高 試題的 可靠性 也就越 好 即它在多大程度上能準(zhǔn)確地反映學(xué)生學(xué)習(xí)的真實(shí)水平 3 試題質(zhì)量對信度系數(shù)的影響 試題質(zhì)量對信度系數(shù)的影響 一是題目的數(shù)量 一是題目的數(shù)量 如果題目很少 則測驗(yàn)所得分?jǐn)?shù)越容易測驗(yàn) 的信度就會降低 反之 則會提高測驗(yàn)的信度 二是題目的難度二是題目的難度 題目的難度會影響到測驗(yàn)分?jǐn)?shù)的分布范圍 從而影響測驗(yàn)結(jié)果的信度 如題目難度過大 考生大部分得低分 測驗(yàn)分?jǐn)?shù)頻數(shù)分布曲線形成正偏態(tài)分布 分?jǐn)?shù)間的差異較小 三是題目的區(qū)分度三是題目的區(qū)分度 因?yàn)橹挥挟?dāng)題目有較好的區(qū)分度時 才能 正確反應(yīng)學(xué)生的學(xué)習(xí)效果 并保證測驗(yàn)結(jié)果的 穩(wěn)定性 和 可靠性 三 常模參照測驗(yàn)的信度三 常模參照測驗(yàn)的信度 1 重測法 重測法 重測法是指用同一份試題在不同的時間對同一 學(xué)生群體進(jìn)行兩次測驗(yàn) 以這兩次測驗(yàn)分?jǐn)?shù)之間的 相關(guān)系數(shù)作為信度系數(shù)的一種方法 用重測法求得信度系數(shù)又叫重測信度重測信度或穩(wěn)定性 系數(shù) 穩(wěn)定性 系數(shù) 它反映的是兩次測驗(yàn)分?jǐn)?shù)之間的一致性程 度 如果兩次測驗(yàn)分?jǐn)?shù)的相關(guān)性越好 說明測驗(yàn)的 信度就越高 表明試題的穩(wěn)定性好 影響因素 影響因素 重測的時間間隔 間隔時間過短 易產(chǎn)生練習(xí)效應(yīng) 過長 知識背景變化 會影響第 二次測驗(yàn) 2 復(fù)本法 復(fù)本法 編制一份在內(nèi)容 形式 難度 區(qū)分度 評方 方法 題量 分值 測驗(yàn)時間等都與原題基本相同 或相似的復(fù)本 對同一學(xué)生群體進(jìn)行測驗(yàn) 用復(fù)本法求得信度又叫復(fù)本信度復(fù)本信度 復(fù)本信度系數(shù)又稱等值性系數(shù)值性系數(shù) 影響因素 時間間隔影響 總體上 復(fù)本法優(yōu)于重測法 總體上 復(fù)本法優(yōu)于重測法 3 折半法 折半法 1 基本原理 基本原理 將整份測試卷的全部題目分成對等的兩半 然后依據(jù)考 生群體中每位考生在兩半部分題目上的得分 計算積差相關(guān) 系數(shù) 積差相關(guān) 系數(shù) 最后用相應(yīng)的校正公式對積差相關(guān)系數(shù)加以校正 以 求得測驗(yàn)或測驗(yàn)試卷的整體信度系數(shù) 2 折半常用方法 折半常用方法 一是完全隨機(jī)分半 二是奇偶題目分半 即奇數(shù)題組成 一個部分 偶數(shù)題則為奇數(shù)題的復(fù)本 三是測驗(yàn)試卷分成若 干個內(nèi)容塊 再將各內(nèi)容塊的題目奇偶分半 所有奇數(shù)題和 所有偶數(shù)題各組成一個分測驗(yàn) 3 指標(biāo) 指標(biāo) 用折半法求得的測驗(yàn)或測驗(yàn)試卷的整體信度 叫折半信 度 其信度系數(shù)叫折半信度系數(shù) 4 意義 意義 折半信度主要反映的是測驗(yàn)或測驗(yàn)試卷內(nèi)部所有題目之 間的一致性或同質(zhì)性程度 四 目標(biāo)參照測驗(yàn)的信度四 目標(biāo)參照測驗(yàn)的信度 1 分階段比較法1 分階段比較法 1 基本原理 基本原理 分階段比較法是對考生在前后兩個階段的目標(biāo)參照測 驗(yàn)結(jié)果進(jìn)行對照 以后一階段的測驗(yàn)結(jié)果來檢驗(yàn)前一階段 測驗(yàn)的信度 通過分析 了解測驗(yàn)內(nèi)容與實(shí)際教學(xué)中要求 掌握的肉容之間的一致性程度 測量試題內(nèi)容的質(zhì)量 如 果信度高 說明試題內(nèi)容反映了學(xué)要求 試題質(zhì)量較高 否則 試題質(zhì)量低 2 具體步驟 具體步驟 第一步 對考生進(jìn)行第一次測驗(yàn)第一步 對考生進(jìn)行第一次測驗(yàn) 前期目標(biāo)預(yù)測測驗(yàn) 即 對考生進(jìn)行一次較低水平的目標(biāo)參照測驗(yàn) 確定一個決斷 分?jǐn)?shù) 從測驗(yàn)中找出高出決斷分?jǐn)?shù)的考生 并認(rèn)為這些考 生已具備進(jìn)入下一階段學(xué)習(xí)所需要的條件 第二步第二步 后期目標(biāo)檢測測驗(yàn)后期目標(biāo)檢測測驗(yàn) 讓這一部分考生進(jìn)入下一階 段的學(xué)習(xí)或訓(xùn)練 在完成學(xué)習(xí)或訓(xùn)練之后 對考生進(jìn)行第 二次測驗(yàn) 第三步 分析結(jié)果第三步 分析結(jié)果 因?yàn)檫@部分考生在第一次測驗(yàn)之后被 認(rèn)為已經(jīng)具備進(jìn)入下一階段學(xué)習(xí)的條件 因此在第二次測 驗(yàn)中能達(dá)到目標(biāo)的可能性應(yīng)該比較大 如果在第一次測驗(yàn) 中達(dá)到目標(biāo)的大部分考生在第二次測驗(yàn)中也能達(dá)到所規(guī)定 的目標(biāo) 則認(rèn)為上一次測驗(yàn)的信度是高的 如果在第一次 測驗(yàn)中達(dá)到目標(biāo)的許多考生花第二次測驗(yàn)中得分很低 沒 有達(dá)到所規(guī)定的目標(biāo) 則認(rèn)為第一次測驗(yàn)的信度不高 四 目標(biāo)參照測驗(yàn)的信度四 目標(biāo)參照測驗(yàn)的信度 2 復(fù)本法2 復(fù)本法 1 基本方法 基本方法 用兩份等值測驗(yàn)試卷對同一考生群體進(jìn)行兩次側(cè) 驗(yàn) 事先確定一個決斷分?jǐn)?shù)決斷分?jǐn)?shù) 如果考生的測驗(yàn)分?jǐn)?shù)低 于決斷分?jǐn)?shù) 則認(rèn)為不合格 然后統(tǒng)計出兩次測驗(yàn)中 均合格 兩次測驗(yàn)都合格 人數(shù) a 和均不合格人數(shù) b 用兩者的總數(shù)與參加測驗(yàn)總?cè)藬?shù) n 的百分比 來判斷測驗(yàn)的信度 即用兩次測驗(yàn)合格與不合格的一 致性百分比作為測驗(yàn)的信度 r 2 示例 示例 第三節(jié) 試題的效度第三節(jié) 試題的效度 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念 二 幾種常用效度及估算方法 一 效度的概念一 效度的概念 1 效度的概念1 效度的概念 效度也稱 測驗(yàn)的有效性 是指某次測驗(yàn)所能 提供的對某一特質(zhì)所做預(yù)測的理想程度 即測驗(yàn)在 多大程度上測試了所要測的內(nèi)容 它代表的是測驗(yàn) 的準(zhǔn)確性準(zhǔn)確性 2 效度的類型2 效度的類型 根據(jù)不同用途 效度通?？梢苑譃閮?nèi)容效度 效標(biāo)關(guān)聯(lián)效度和構(gòu)想效度 二 內(nèi)容效度二 內(nèi)容效度 1 內(nèi)容效度的含義 內(nèi)容效度的含義 內(nèi)容效度是指測驗(yàn)內(nèi)容反映出考生掌握相關(guān)的教學(xué) 內(nèi)容和實(shí)現(xiàn)預(yù)期能力提高的程度 即測驗(yàn)的內(nèi)容能否反 映所要測試的目的和要求 例 在測驗(yàn)考生掌握 時差 這一概念程度時 用 北京位 于東八區(qū) 東京位于東九區(qū) 當(dāng)北京是2000年11月21日 晚上12點(diǎn)整時 東京是2000年 月 日 點(diǎn) 這一題目 來測試 顯然要比 中國的首都是 日本的首都 是 這種測驗(yàn)試題更具有 內(nèi)容代表性 即內(nèi)容效度 更高 2 影響內(nèi)容效度的主要因素 影響內(nèi)容效度的主要因素 教學(xué)內(nèi)容和教學(xué)目標(biāo)是內(nèi)容效度的兩個重要因素 3 內(nèi)容效度的評價方法 內(nèi)容效度的評價方法 內(nèi)容效度主要是通過比較地理測驗(yàn)內(nèi)容與地理課程 標(biāo)準(zhǔn)要求的一致性程度 地理測驗(yàn)內(nèi)容與地理課程 標(biāo)準(zhǔn)要求的一致性程度來衡量 常采用雙向細(xì)目表 將測驗(yàn)內(nèi)容對照雙向細(xì)目表進(jìn) 行邏輯分析和比較的方法 具體方法 1 根據(jù)想要測驗(yàn)的教學(xué)內(nèi)容范圍編制一份雙向細(xì) 目表 它包括教學(xué)內(nèi)容和教學(xué)目標(biāo)兩大維度 各維度又 分為若干個小項(xiàng) 列出每一項(xiàng)的相對比例 2 分析測驗(yàn)試卷的每一個題目 確定它們所涉及 的相關(guān)地理知識和技能 列出涉及同一教學(xué)內(nèi)容和教學(xué) 目標(biāo)的題目 并統(tǒng)計它們的分值及在整份測驗(yàn)試卷中所 占比例 3 把測驗(yàn)試卷的內(nèi)容結(jié)構(gòu)與相應(yīng)的雙向細(xì)目表進(jìn)行 比較分析 計算測驗(yàn)內(nèi)容對雙向細(xì)目表范圍的覆蓋率 從而獲取衡量內(nèi)容效度的指標(biāo) 三 效標(biāo)關(guān)聯(lián)效度三 效標(biāo)關(guān)聯(lián)效度 1 相關(guān)概念 相關(guān)概念 效標(biāo)效標(biāo) 被測驗(yàn)的內(nèi)容即檢驗(yàn)測驗(yàn)效度的標(biāo)準(zhǔn) 同時效度同時效度 測驗(yàn)分?jǐn)?shù)與作為效標(biāo)的分?jǐn)?shù)獲得的時 間間隔比較短 預(yù)測效度預(yù)測效度 測驗(yàn)分?jǐn)?shù)與作為效標(biāo)的分?jǐn)?shù)獲得的時 間間隔比較長 效標(biāo)關(guān)聯(lián)度效標(biāo)關(guān)聯(lián)度 指某測驗(yàn)對考生目前或?qū)淼哪撤N 能力 行為進(jìn)行測試 預(yù)測的有效性 2 效標(biāo)關(guān)聯(lián)度評價方法 效標(biāo)關(guān)聯(lián)度評價方法 相關(guān)法相關(guān)法 相關(guān)法 是指用統(tǒng)計方法求出被測測驗(yàn)與效標(biāo)測 驗(yàn)兩者所得分?jǐn)?shù)之間的相關(guān)系數(shù) 作為衡量效標(biāo)關(guān)聯(lián) 效度高低的指標(biāo) 第四節(jié) 項(xiàng)目質(zhì)量評價第四節(jié) 項(xiàng)目質(zhì)量評價 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 二 難度系數(shù) 三 極端平均得分率和極端難度系數(shù) 一 平均得分率 p 一 平均得分率 p p越大 通過率越高 難度越小 反之 越