第四章地理測試命題質量分析

第四章地理測試命題質量分析第一頁，共八十八頁，編輯于2023年，星期五地理測試命題工作是地理教學過程中一個不可缺少的環(huán)節(jié)。而做好地理測試命題質量分析工作，對正確認識、評價地理測試結果，為以后的命題工作提供必要的經驗，教訓等同樣也具有重要的意義。第二頁，共八十八頁，編輯于2023年，星期五第一節(jié)試題質量的初步評價評價試題質量的一條重要途徑是對學生考試之后所得的原始卷面分數(shù)進行必要的處理、分析，轉化為一種比較直觀的形式，以對試題質量作出一個初步的判斷。下面就地理測試命題質量分析實踐中比較常用的幾種方法結合實例作詳細的介紹。第三頁，共八十八頁，編輯于2023年，星期五一、測驗分數(shù)的分布狀態(tài)描述測驗分數(shù)的分布狀態(tài)通常用頻數(shù)直方圖或頻數(shù)多邊圖來表示。所謂頻數(shù)，是指在某分數(shù)段中出現(xiàn)測驗分數(shù)的次數(shù)，通過對測驗分數(shù)分布狀態(tài)的描述，可以從一個側面反映出試題的質量水平。其具體方法與步驟分別如下：1．用頻數(shù)直方圖描述測驗分數(shù)的分布狀態(tài)第一步求全距。全距是指要處理的所有測驗分數(shù)中最高分與最低分的差，一般用R來表示，即R=最高分數(shù)一最低分數(shù)全距主要是反映全部測驗分數(shù)的分布范圍，而不能提供這些分數(shù)的數(shù)據(jù)變異情況。第四頁，共八十八頁，編輯于2023年，星期五第二步定組數(shù)。組數(shù)一般根據(jù)全距R和測驗分數(shù)的個數(shù)n來確定的，用I表示。R值越大，測驗分數(shù)的個數(shù)n越多,組數(shù)就會越多。一般用如下公式進行計算組數(shù)：

第三步定組距。組距即為全距R與組數(shù)I相除后取整，用ZR表示：

ZR=R/I第五頁，共八十八頁，編輯于2023年，星期五第四步確定組限。根據(jù)組距和全距確定每組的上限和下限,通常約定每組只含下限、不含上限，即每組都是左閉右開區(qū)間。在實際計算中要取分點值比原分數(shù)的有效數(shù)字多一位的組實限，以避免分點值剛好是某個分數(shù)的值。第五步求組中值。即求每組的中點值，用M表示，其方法為：

M=組實際下限+0．5ZR第六步列頻數(shù)分布表，統(tǒng)計落在每個組中的測驗分數(shù)的個數(shù),即每個組的頻數(shù)，將其填入頻數(shù)分布表的相應位置。第六頁，共八十八頁，編輯于2023年，星期五第七步根據(jù)頻數(shù)分布表繪制頻數(shù)直方圖，其方法是：在一個直角坐標系中，以橫坐標表示測驗分數(shù)，從左到右標出各組分數(shù)的組中值；用縱坐標表示頻數(shù)，從上到下等距地標出頻數(shù)數(shù)值；分別以各組的組距為底邊，以組中值作為底邊的中點，頻數(shù)為高，對每組作矩形。由這一系列矩形組成的圖即為頻數(shù)直方圖。第七頁，共八十八頁，編輯于2023年，星期五

2．用頻數(shù)多邊圖描述測驗分數(shù)的分布狀態(tài)編制頻數(shù)多邊圖與頻數(shù)直方圖在前六步是完全相同的，只是在第七步進行的具體繪制方法上有些區(qū)別。繪制頻數(shù)多邊圖時，要以各組的組中值為橫坐標，以各組的頻數(shù)為縱坐標對每組分別進行描點，然后把相鄰兩點用直線相連即可。圖形左右兩側應引至外側一組的中點，并與基線相接。第八頁，共八十八頁，編輯于2023年，星期五下面以實例說明這兩種方法的具體操作過程：

【例】某班級的45名學生進行一次地理測驗，測驗的原始卷面分數(shù)如表4—1。要求分別用頻數(shù)直方圖和頻數(shù)多邊圖對其進行處理，以對測驗命題質量作一個初步的鑒定。第九頁，共八十八頁，編輯于2023年，星期五具體方法和步驟如下：第一步求全距R。

R=最高分數(shù)一最低分數(shù)=95-54=41第二步定組數(shù)。n=45I≈8.5對I取整，組數(shù)I=9第三步定組距。

ZR=R/I=41/9≈4.6對ZR取整，組距ZR=5第十頁，共八十八頁，編輯于2023年，星期五第四步確定組限。根據(jù)約定，每一組都是左閉右開區(qū)間，因此，第一組的下限為54，上限為不滿58，第一組要想包括58，則實際組限為53．5～58．5；第二組的下限為59，上限為不滿63，實限組限為58．5～63．5。其他各組依類推，結果見表4-2中的第一欄“組別”和第二欄“起止點”所示。第十一頁，共八十八頁，編輯于2023年，星期五第五步求組中值。

M=組實際下限+0．5ZR

第一組的組中值為53．5+5／2=56

第二組的組中值為58．5+5／2=61

第三組的組中值為63．5+5／2=66

第四組的組中值為68．5+5／2=71

第五組的組中值為73．54+5／2=76

第六組的組中值為78．5+5／2=81

第七組的組中值為83．5+5／2=86

第八組的組中值為88．5+5／2=91

第九組的組中值為93．5+5／2=96

第十二頁，共八十八頁，編輯于2023年，星期五第六步列頻數(shù)分布表。根據(jù)表4一l的測試分數(shù)表，對照每組的組限計算出每組段所包含的分數(shù)個數(shù)，并填入表4—2中的第三、四欄，表4-2即為頻數(shù)分布表。第七步根據(jù)頻數(shù)分布表繪制頻數(shù)直方圖和頻數(shù)多邊圖，如圖4-1和圖4-2所示。第十三頁，共八十八頁，編輯于2023年，星期五3．測驗分數(shù)分布狀態(tài)的分析原始測驗分數(shù)用圖表進行處理之后．可以得到多種分布曲線．經常會出現(xiàn)的曲線形態(tài)見圖4-3所示的幾種情況。這些分布曲線比較直觀地、形象地反映了測驗分數(shù)的集中趨勢與離散程度．通過分析，可以對試題質量進行一個初步的分析。下面分別對各曲線所反映的試題質量情況作初步解釋。

第十四頁，共八十八頁，編輯于2023年，星期五曲線(a)表示測驗分數(shù)頻數(shù)呈正態(tài)分布，表明在高分段和低分段的人數(shù)明顯少于中間分數(shù)段的人數(shù)，說明試題設計比較合理，試題難度、區(qū)分度分布正常；曲線(b)呈正偏態(tài)分布，低分段出現(xiàn)的人數(shù)明顯偏多，說明難度偏高的題目多，試題難度過高；曲線(c)呈負偏態(tài)分布，高分段出現(xiàn)的人數(shù)偏多，說明難度偏低的題較多，試題難度偏低；曲線(d)呈高峰形的正態(tài)分布，中間段分數(shù)出現(xiàn)的人數(shù)特別集中，學生之間的差距沒有拉開，說明中等難度的題目比例過高，試題區(qū)分度較差；曲線(e)呈平峰形的正態(tài)分布，各分數(shù)段出現(xiàn)人數(shù)的差異較小，說明試題中不同難度題目的比例比較接近；曲線(f)呈雙峰形分布，高分段和低分段出現(xiàn)的人數(shù)多，而中間分數(shù)段的人數(shù)偏少，說明難度過高和過低的題目偏多，而中等難度的題目偏少，試題難度梯度大。

第十五頁，共八十八頁，編輯于2023年，星期五從圖4—1和圖4—2所示的例子來看，學生測驗分數(shù)的頻數(shù)直方圖和頻數(shù)多邊圖來看，基本上呈一種負偏態(tài)分布狀態(tài)，如果不考慮其他因素對學生測驗分數(shù)的影響，這次測驗試題的總體難度是偏低的，中等程度的學生和程度較高的學生沒有拉開距離。當然，以上的這種分析只是一個初步的判斷，是以不考慮影響學生測驗分數(shù)的其他因素為前提。而在實際測驗過程中，影響學生測驗分數(shù)高低的因素是多方面的，并不是完全由命題質量所能決定的，如出現(xiàn)平峰形的分布曲線時，可能并不是由于易、中、難三類題目的比例比較接近，而是因為參加測驗的學生相互之間的水平差異明顯。因此，在實踐過程中，要根據(jù)具體情況，參照其他參數(shù)對試題質量作出具體的分析和解釋。第十六頁，共八十八頁，編輯于2023年，星期五二、平均分平均分是地理測驗統(tǒng)計中最為常用、方便的指標之一，它是一組測驗分數(shù)的“代表值”，能在一定程度上反應測驗分數(shù)的集中趨勢，也可以用來對不同組測驗分數(shù)之間進行比較。依據(jù)平均分的高低可以對試題的總體難度作出一個初步的評判，如果平均得分比較高，試題的整體難度可能偏低，若平均得分比較低，則試題的整體難度可能偏高。在實際計算過程中，根據(jù)具體情況可以采用算術平均分和加權平均分。第十七頁，共八十八頁，編輯于2023年，星期五1．算術平均分算術平均分就是一組測驗分數(shù)的總和與分數(shù)個數(shù)相除所得的商，如果用表示算術平均數(shù)，n表示測驗分數(shù)個數(shù)，表示第i個測驗分數(shù)，那么算術平均分可用下面的公式來表示：

第十八頁，共八十八頁，編輯于2023年，星期五【例】對表4一l所示的地理測驗分數(shù)求算術平均分。根據(jù)上述計算公式，可得：

=1/45×(73+71+87+88+67+…+74+73+86+81+80)=77．7分即在這次地理測驗中45名學生的平均分為77．7分。第十九頁，共八十八頁，編輯于2023年，星期五

2．加權平均分在同一次地理測驗中，如果已經知道各個被試組測驗分數(shù)的算術平均分，要求計算所有考生的平均分時，則需要用加權平均分來計算。其計算公式如下：

式中的表示加權平均分，n表示被試組個數(shù)，代表第i個被試組測驗分數(shù)的算術平均分，為對應于的權重系數(shù)(簡稱權)。第二十頁，共八十八頁，編輯于2023年，星期五

【例】某學校對高一年級6個平行班進行了一次地理測驗，6個班級的學生數(shù)和算術平均分如表4-3所示，求高一年級全體學生的平均分。第二十一頁，共八十八頁，編輯于2023年，星期五三、標準差在分析試題質量時，不僅要知道平均分，以了解測驗分數(shù)的集中趨勢，而且還需要對測驗分數(shù)的離散程度進行描述。因為，當一組測驗分數(shù)的離散程度比較大時，則對應的平均分的代表性就比較小，反之則比較大。用來表示測驗分數(shù)離散程度的特征量數(shù)很多，如全距、平均差、四分差、方差、標準差等等，其中比較常用的是標準差。下面就標準差的計算方法結合實例作簡要說明。第二十二頁，共八十八頁，編輯于2023年，星期五例如，表4-4是兩組學生在同一次地理測驗中所得的分數(shù)，要分別計算它們的標準差。即第一組的標準差為21．39，第二組的標準差為2．40，由此可見，盡管第一組與第二組的平均分近似相等，但第一組測驗分數(shù)的離散程度要比第二組的離散程度要大的多，也就是說用平均分來反應測驗分數(shù)的集中趨勢時，第二組更具有代表性。第二十三頁，共八十八頁，編輯于2023年，星期五第二節(jié)試題的信度

一、相關系數(shù)在地理教育測量中，經常需要考慮某兩個變量之間的關系或聯(lián)系程度，這種關系或聯(lián)系程度稱為相關。如果一個變量增大(或減小)時，另一變量也會增大(或減小)，則稱這兩個變量為正相關；反之，如果一個變量增大(或減小)時，另一個變量會減小(或增大)，則稱為負相關；如果兩個變量之間不存在相互影響的關系，則稱為不相關。第二十四頁，共八十八頁，編輯于2023年，星期五當兩個變量為相關時，并且每一對變量所確定的點在直角坐標系中都分布在某一條直線上、直線的附近或直線的兩側．那么就稱這兩變量間存在線性相關。描述這兩個變量之間相關程度的量就是相關量數(shù)，叫做相關系數(shù)。相關系數(shù)是表明兩個變量間相關程度的一個指標，取值介于—1．00～1．00之間(包括一1．00和1．00在內)。第二十五頁，共八十八頁，編輯于2023年，星期五相關系數(shù)的絕對值越大，說明變量之間的相關程度越高。當兩個變量呈線性相關，并且都是正態(tài)連續(xù)時，可以用積差相關系數(shù)來表示兩個變量間的相關系數(shù)，其具體計算公式如下：式中的代表兩個變量之間的相關系數(shù)，x、y分別表示兩個變量在變化過程中所取的一系列值，n表示每個變量取值的個數(shù)。第二十六頁，共八十八頁，編輯于2023年，星期五

【例】在其他條件都相同的情況下，一次以主觀性試題為主的地理測驗和一次以客觀性試題為主的地理測驗中,抽取某班的9位學生的成績如表4-5所示。試分析這兩種不同題型為主的地理測驗成績之間的相關關系。

第二十七頁，共八十八頁，編輯于2023年，星期五即可求得相關系數(shù)，最后求得相關系數(shù)≈0.94這說明學生在以主觀性試題為主的地理測驗題和以客觀性試題為主地理測驗題的考試中所取得的成績是呈高度正相關，在不考慮其他因素影響的前提下，表明主觀性試題和客觀性試題這兩種題型都能比較好地考查學生對有關地理知識掌握的情況。第二十八頁，共八十八頁，編輯于2023年，星期五二、信度的概念信度也稱“可靠性”或“測驗分數(shù)的穩(wěn)定性”，是指測量的一致性程度，表現(xiàn)在同一個測驗在不同時間上所得結果的一致性。對信度的估計或計算，通常用相關分析的方法，即計算兩種變量間的相關系數(shù)，以相關系數(shù)作為數(shù)據(jù)指標來衡量測驗的一致性程度，也稱為信度系數(shù)。信度系數(shù)的取值范圍在0與1之間，其值越大，說明測驗的可信程度越高，試題的“可靠性”也就越好。因此，試題的信度，可以看作是試題的“可靠性”，即它在多大程度上能準確地反映學生學習的真實水平。試題的信度是無法直接進行測量的，但是可以通過考試的信度系數(shù)的估算來間接反映。一般來說，考試的信度系數(shù)越高，說明試題的“可靠性”越好，反之，試題的“可靠性”則較差。第二十九頁，共八十八頁，編輯于2023年，星期五因為試題的質量會直接影響到考試的信度系數(shù)的大小，這種影響主要體現(xiàn)在以下幾方面：一是題目的數(shù)量，如果題目很少，則測驗所得分數(shù)越容易受試題取樣偶然因素的影響，測驗的信度就會降低，反之，則會提高測驗的信度；二是題目的難度，題目的難度會影響到測驗分數(shù)的分布范圍，從而影響測驗結果的信度，如，題目難度過大，考生大部分得低分，測驗分數(shù)頻數(shù)分布曲線形成正偏態(tài)分布，導致分數(shù)間的差異較?。蝗穷}目的區(qū)分度，因為只有當題目有較好的區(qū)分度時，才能使實際水平較高的學生在測驗中獲得高分，實際水平較低的學生得低分，這樣才能保證測驗結果的“穩(wěn)定性”和“可靠性”。第三十頁，共八十八頁，編輯于2023年，星期五三、幾種常用信度的意義及計算方法

根據(jù)不同的測驗目的，信度可以分為兩大類，即常模參照測驗的信度和目標參照測驗的信度，下面就這兩大類信度的意義及一些常用的計算方法作簡要的介紹。

1．常模參照測驗的信度常模參照測驗的主要目的是確定學生個體在群體中的相對位置，測驗結果的一致性程度可以用每一個學生個體在群體中的相對位置的變動情況或用個體的測驗分數(shù)的可能分布范圍來表示。前者用信度系數(shù)(相關系數(shù))來表示，后者用“測量標準誤”來表示，它們均以測驗分數(shù)的變異性為前提，一般只用于常模參照測驗的信度測量。下面只對用信度系數(shù)的估算方法進行介紹。信度系數(shù)的估算方法很多，其中在中小學地理教育測量與評價中比較常用的主要有以下三種方法。第三十一頁，共八十八頁，編輯于2023年，星期五

(1)重測法

重測法是指用同一份試題在不同的時間對同一學生群體進行兩次測驗，以這兩次測驗分數(shù)之間的相關系數(shù)作為信度系數(shù)的一種方法。用重測法求得信度系數(shù)又叫重測信度或穩(wěn)定性系數(shù)，它反映的是兩次測驗分數(shù)之間的一致性程度。如果兩次測驗分數(shù)的相關性越好，說明測驗的信度就越高，表明試題的穩(wěn)定性好。第三十二頁，共八十八頁，編輯于2023年，星期五在用重測法估算信度系數(shù)時，要特別注意兩次測驗時間間隔的長短。合適的時間間隔是提高估算信度準確性的一個重要因素：時間過短，容易產生練習效應；時間過長，由于被試知識背景等的變化，會影響第二次測驗分數(shù)。根據(jù)測驗目的和性質的不同，其時間間隔可以是幾天，幾個月，甚至幾年。在非標準化測驗中很少采用這種方法來估算試題的穩(wěn)定系數(shù)，而在標準化測驗中，采用重測法來獲得試題的穩(wěn)定性系數(shù)不僅是可能的，而且穩(wěn)定性系數(shù)還是衡量試題質量的一個重要指標。第三十三頁，共八十八頁，編輯于2023年，星期五【例】假設某地理教師對某班級的45位學生進行一次標準化地理測驗，為評價該次測驗結果的穩(wěn)定性，過了10周后，又用同一份試題對該班全體學生進行第二次測驗，兩次測驗的分數(shù)如表4—6所示。試估算這次測驗的信度系數(shù)(為計算的簡便，這里僅取9位考生的分數(shù)）。第三十四頁，共八十八頁，編輯于2023年，星期五第三十五頁，共八十八頁，編輯于2023年，星期五

(2)復本法

用復本法估算信度系數(shù)時，首先要編制一份在題目內容、形式、難度、區(qū)分度、評分方法、題量、分值、測驗時間等方面都與原測驗試題基本相同或相近的復本，然后分別對同一學生群體進行測驗，用考生在兩次測驗中所取得的分數(shù)之間的積差相關系數(shù)作為信度系數(shù)。用復本法求得的相關系數(shù)所表示的信度，叫做復本信度。它所反映的是用兩份等值測驗試題對同一學生群體兩次測驗結果的等值性程度。如果考生對兩份測驗試題都能比較順利答對，則說明兩次測驗有良好的等值性，可初步認為測驗試題具有較好的信度。因此．復本信度系數(shù)也叫等值性系數(shù)。第三十六頁，共八十八頁，編輯于2023年，星期五產生復本信度誤差的來源有：如果兩次測驗時間間隔過長，第二次測驗分數(shù)易受被試在此期間的學習、練習等的影響；如果兩次測驗連續(xù)進行，則容易使被試感到疲勞，測驗時注意力分散，而影響測驗分數(shù)。不過，復本法因使用的是兩次不同的測驗，可以進行連續(xù)測驗，從而盡量避免由于時間間隔過長而引起被試特質的成長或變化，而且被試的練習效應明顯低于重測法?？梢?，復本法略優(yōu)于重測法。第三十七頁，共八十八頁，編輯于2023年，星期五

【例】某地理教師編制了A卷和B卷兩份等值試卷，為了解測驗結果的信度，對某班的45位學生先后用A卷和B卷施測，兩次測驗的分數(shù)如表4～7所示。試估算復本信度。(為計算的簡便．這里僅取9位被試的分數(shù))第三十八頁，共八十八頁，編輯于2023年，星期五自己用excel生成公式算出相關系數(shù)第三十九頁，共八十八頁，編輯于2023年，星期五求得≈0．97，即復本信度系數(shù)為0．97，考生在兩次測驗中所得分數(shù)呈高度正相關，說明兩份測驗試卷間有較好的等值性，可認為測驗試卷的可靠性良好。第四十頁，共八十八頁，編輯于2023年，星期五

(3)折半法

折半法的一般作法是：將整份測試卷的全部題目分成對等的兩半，然后依據(jù)考生群體中每位考生在兩半部分題目上的得分，計算積差相關系數(shù)，最后用相應的校正公式對積差相關系數(shù)加以校正，以求得測驗或測驗試卷的整體信度系數(shù)。其核心在于如何將測驗試卷進行分半，比較常用的有三種方法：一是完全隨機分半；二是奇偶題目分半，即奇數(shù)題組成一個部分，偶數(shù)題則為奇數(shù)題的復本；三是測驗試卷分成若干個內容塊，再將各內容塊的題目奇偶分半，所有奇數(shù)題和所有偶數(shù)題各組成一個分測驗。第四十一頁，共八十八頁，編輯于2023年，星期五用折半法求得的測驗或測驗試卷的整體信度，叫折半信度，其信度系數(shù)叫折半信度系數(shù)。折半信度主要反映的是測驗或測驗試卷內部所有題目之間的一致性或同質性程度。折半信度的誤差主要來自測驗中的分半過程，不同的分半方法所得的分半信度是會有差異的。不過，它可以避免重測法和復本法的誤差源，而且方便易行，具有良好的可行性，是一種實際教學中最為常用的一種信度估算方法。第四十二頁，共八十八頁，編輯于2023年，星期五在對考生群體在兩半部分題目上的得分的積差信度系數(shù)進行校正，以得到測驗或測驗試卷的整體信度系數(shù)時，要根據(jù)不同的情況采用不同的校正方法：第四十三頁，共八十八頁，編輯于2023年，星期五第四十四頁，共八十八頁，編輯于2023年，星期五可見兩個方差相差非常接近，所以可用斯皮爾曼-布朗公式校正。第四十五頁，共八十八頁，編輯于2023年，星期五第三步校正即這次測試卷的整體信度系數(shù)為0.98第四十六頁，共八十八頁，編輯于2023年，星期五2．目標參照測驗的信度

目標參照測驗的目的不在于區(qū)分考生相互間的差異性，而是檢查考生是否已經達到既定的教學目標。因此不能用相關系數(shù)作為衡量信度的標志,而需要用另外的方法來測量它的信度。比較常用的方法主要有以下兩種。(1)分階段比較法分階段比較法是對考生在前后兩個階段的目標參照測驗結果進行對照，以后一階段的測驗結果來檢驗前一階段測驗的信度。通過分析可以了解測驗內容與實際教學中要求掌握的內容之間的一致性程度，來測量試題內容的質量。如果信度高，說明試題內容反映了教學要求，試題質量較高，否則，試題質量就不高。第四十七頁，共八十八頁，編輯于2023年，星期五其具體步驟是：第一步，對考生進行第一次測驗(前期目標預測測驗)，即對考生進行一次較低水平的目標參照測驗，確定一個決斷分數(shù)，從測驗中找出高出決斷分數(shù)的考生，并認為這些考生已具備進入下一階段學習所需要的條件。第二步，讓這一部分考生進入下一階段的學習或訓練。在完成學習或訓練之后，對考生進行第二次測驗(后期目標檢測測驗)。第三步，分析結果。因為這部分考生在第一次測驗之后被認為已經具備進入下一階段學習的條件。因此在第二次測驗中能達到目標的可能性應該比較大。可見，如果在第一次測驗中達到目標的大部分考生在第二次測驗中也能達到所規(guī)定的目標，則可認為上一次測驗的信度是高的。如果在第一次測驗中達到目標的許多考生在第二次測驗中得分很低，沒有達到所規(guī)定的目標，則可認為第一次測驗的信度不高。第四十八頁，共八十八頁，編輯于2023年，星期五2.復本法復本法的具體做法是：用兩份等值測驗試卷對同一考生群體進行兩次測驗，事先確定一個決斷分數(shù)，如果考生的測驗分數(shù)低于決斷分數(shù)，則認為不合格，然后統(tǒng)計出兩次測驗中均合格(兩次測驗都合格)人數(shù)(a)和均不合格人數(shù)(b)，用兩者的總數(shù)與參加測驗總人數(shù)(n)的百分比來判斷測驗的信度。即用兩次測驗合格與不合格的一致性百分比作為測驗的信度(r)。其計算公式如下：第四十九頁，共八十八頁，編輯于2023年，星期五第五十頁，共八十八頁，編輯于2023年，星期五第三節(jié)試題的效度試題的信度主要反映的是試題的“可靠性”，可以通過考生在測驗中所得分數(shù)的穩(wěn)定程度來反映，它是評估試題質量的一個重要指標。但即使在試題“可靠性”很好的情況下，也不能完全斷定這是一份高質量的試題。比方說用一支溫度計對同一物體進行連續(xù)的多次測量，盡管每次測量的結果都高度一致，也就是說測量的信度是很高的，但是，如果溫度計本身的刻度不準確，測量的結果還是無效的。因此，要評估一份試題質量的好壞，還要把握另一個重要指標——試題的效度。第五十一頁，共八十八頁，編輯于2023年，星期五一、效度的概念效度也稱“測驗的有效性”，是指某次測驗所能提供的對某一特質所做預測的理想程度，也就是測驗在多大程度上測試了所要測的東西，它代表的是測驗的準確性。對地理測驗來說，則表示所測驗的內容能否反映學生在掌握地理方面的一些特質，如測驗內容是否充分反映所要測量地理教學內容的教學目的和要求，能否預測所要測量的某種地理技能在將來某一時期的發(fā)展情況等等，如果不能很好做出反映，測驗自然就是無效的。

第五十二頁，共八十八頁，編輯于2023年，星期五例如，在測試學生對地球運動這節(jié)內容的掌握程度時，如果測驗試題選取的是一些有關地殼變動方面的內容，則自然不能達到預期想要知道的結果，這種測驗顯然是無效的。根據(jù)不同用途，效度通常可以分為內容效度、效標關聯(lián)效度和構想效度。下面就這三種效度的意義和估算方法做簡單介紹。第五十三頁，共八十八頁，編輯于2023年，星期五二、幾種常用的效度及估計方法

1．內容效度內容效度是指測驗內容反映出考生掌握相關的教學內容和實現(xiàn)預期能力提高的程度，即測驗的內容能否反映所要測試的目的和要求。例如在測驗考生掌握“時差”這一概念程度時，用“北京位于東八區(qū)，東京位于東九區(qū)，當北京是2010年11月21日晚上12點整時，東京是2010年（）月（）日（）點”這一題目來測試，顯然要比“中國的首都是（），日本的首都是（）”這種測驗試題更具有內容代表性，即內容效度更高。第五十四頁，共八十八頁，編輯于2023年，星期五教學內容和教學目標是內容效度的兩個重要因素。在一次測驗中是否具有理想的內容效度，其關鍵自然也就在于測驗試題的取樣是否合適，而不在于測驗的形式。因此，為了提高測驗的內容效度，在命題時，應依據(jù)地理課程標準規(guī)定要求掌握的各部分地理課程內容，以及應提高的各種地理技能、地理能力等等的相對重要性，確定它們在測驗試題中應該占有的比重，并根據(jù)這個比重來命題。第五十五頁，共八十八頁，編輯于2023年，星期五評估內容效度時，主要是通過比較地理測驗內容與地理課程標準要求的一致性程度來衡量的，不過目前還沒有一種很好的方法來統(tǒng)計這種一致性程度的大小?，F(xiàn)在采用的比較多的是先編制一份雙向細目表，然后將測驗內容對照雙向細目表進行邏輯分析和比較的方法。其具體做法是：第五十六頁，共八十八頁，編輯于2023年，星期五首先，根據(jù)想要測驗的教學內容范圍編制一份雙向細目表，它包括教學內容和教學目標兩大維度，各維度又分為若干個小項，列出每一項的相對比例。然后，分析測驗試卷的每一個題目，確定它們所涉及的相關地理知識和技能，列出涉及同一教學內容和教學目標的題目，并統(tǒng)計它們的分值及在整份測驗試卷中所占比例。最后，把測驗試卷的內容結構與相應的雙向細目表進行比較分析，計算測驗內容對雙向細目表范圍的覆蓋率，從而獲取衡量內容效度的指標。第五十七頁，共八十八頁，編輯于2023年，星期五不過，這種方法只能從表面上了解地理測驗內容與地理課程標準要求的一致性程度，而無法真正測出雙向細目表所列的內容。比如，有這樣一道填充題，“我國冬季氣溫（）差別很大”，出題的本意是想測試學生對我國冬季氣溫地區(qū)差異的掌握情況，應該填“南北”，由于題意表述不明確，雖然學生可能知道我國冬季氣溫的地區(qū)差異性，但學生也可能會填“早晨和中午”，結果無法達到預期的測試目的。、第五十八頁，共八十八頁，編輯于2023年，星期五2．效標關聯(lián)效度效標關聯(lián)效度，指某測驗對考生目前或將來的某種能力、行為進行測試、預測的有效性。比如，用一次地理測驗來衡量學生參加地理興趣小組所需的相關地理能力，以組建地理興趣小組。如果地理測驗對學生能力的預測性很差，即效標關聯(lián)效度很低，則選進來的學生可能就是一些并不符合參加地理興趣小組要求的學生，而那些真正符合要求的學生反而沒有入選。在這里，學生的地理能力既是被預測的內容也是檢驗測驗效度的標準，簡稱效標，它常用另外一種測驗結果來表示。如果測驗分數(shù)和作為效標的分數(shù)獲得的時間間隔很短，則稱為同時效度；若獲得時間間隔比較長，則稱為預測效度。效標關聯(lián)效度也就是反映測驗分數(shù)與效標相關程度的高低。第五十九頁，共八十八頁，編輯于2023年，星期五估算效標關聯(lián)效度的方法有多種，如相關法、團體區(qū)分的統(tǒng)計檢驗法、預測表等，其中比較常用的是相關法。下面只對相關法的估算方法作簡單介紹。相關法，是指用統(tǒng)計方法求出被測測驗與效標測驗兩者所得分數(shù)之間的相關系數(shù)，作為衡量效標關聯(lián)效度高低的指標。如果用x、y分別表示被測測驗和效標測驗所得分數(shù)，、分別表示被測測驗和效標測驗所得分數(shù)的平均分，r表示兩者間的相關系數(shù)，則計算公式如下：第六十頁，共八十八頁，編輯于2023年，星期五

r的取值范圍為-1≤r≤1，如果r>0，說明兩者是正相關，取值越大，表明效度越高；如果，r<0，說明兩者是負相關；如果r=0，說明兩者不相關，效度為零。第六十一頁，共八十八頁，編輯于2023年，星期五相關系數(shù)的計算方法還有以下兩種。①用標準分數(shù)Z用ZX、Zy分別表示被測驗和校標測驗所得分數(shù)的標準分數(shù)，學生數(shù)用n表示，則②利用原始分數(shù)第六十二頁，共八十八頁，編輯于2023年，星期五

3．構想效度構想效度是指測驗對于被稱作構想的某理論概念或特質測量的程度。一般認為構想效度包括內容效度和效標關聯(lián)效度，而不是一種獨立的效度。所謂“構想的某理論或特質”，是指人的行為過程中表現(xiàn)出來的某些抽象的屬性或心理特質，如學習地理的興趣、學習地理的動機、實踐操作能力、地理思維能力等。這些抽象的屬性或心理特質都會與某種外在可觀察的行為有著直接或間接的聯(lián)系，因此，可用后者對前者進行測量。

第六十三頁，共八十八頁，編輯于2023年，星期五而測量的有效程度便以構想效度來表示。如果一個測驗具有良好的構想效度，而某考生在此測驗中取得了較高的成績，則說明該考生在所測的特質上有較高的水平，如果測驗的構想效度很低，則說明測出的特質并不是想要測的特質，表明測驗分數(shù)高的考生在想要測的特質上并不一定有較高的水平。第六十四頁，共八十八頁，編輯于2023年，星期五估算構想效度的方法主要有因素分析法、多元特質——多重方法矩陣研究、實驗操作法，由于這些方法的操作和計算過程都比較復雜，且在教學實踐中用得比較少，這里就不再詳細介紹了。第六十五頁，共八十八頁，編輯于2023年，星期五第四節(jié)項目質量評價

項目(通常稱為題目)是組成試題的基本單元，根據(jù)不同測驗的要求可以選擇不同的表現(xiàn)形式，如選擇題、填空題、簡答題等，項目質量的好壞將會直接影響到試題質量的高低。因此，在進行試題質量評估時，除了用試題的信度、試題的效度等指標對試題進行總體評價之外，還應對組成試題的各個項目進行分析評估，以對試題的評估更加全面。在評價實踐中，項目的難度和項目的區(qū)分度常作為項目質量分析的兩個重要技術指標。第六十六頁，共八十八頁，編輯于2023年，星期五一、項目的難度分析項目的難度是指項目的難易程度。它可以用平均得分率(或通過率)、難度系數(shù)、極端平均得分率、難度指數(shù)等技術指標來衡量。

1．平均得分率p

在一次地理測驗中，對于難度大的項目，能答對的學生比較少，在這一項目上學生群體的平均得分也會比較低；而當難度較小的項目，能通過的學生自然會增多，在這一項目的平均分也會比較高。根據(jù)這一規(guī)律，可以用參加測驗的學生群體對某一項目的答對率(通過率)或平均得分率作為衡量難度的指標，即：

p=R/N或式中的p表示平均得分率(或通過率)，R表示答對該項目的考生人數(shù)，N表示考生群體總數(shù)，表示所有考生在該項目上得分的平均值，S表示該項目滿分的分值。

第六十七頁，共八十八頁，編輯于2023年，星期五一般情況下，對于客觀型項目(如選擇題)，宜采用公式p=R／N;對于主觀型項目（如簡答題）宜采用公式第六十八頁，共八十八頁，編輯于2023年，星期五

【例】某地理教師對某班的45位學生進行一次地理測驗，選擇題第5題和簡答題第3題的滿分分別為2分和8分，其中10位學生的答題得分情況如表4一10所示。試求這兩題目的平均得分率p。表4一l0某班部分學生某次地理測驗第5、3題得分學號2468101214161820第5題0220022220第3題5664576873第六十九頁，共八十八頁，編輯于2023年，星期五由于第5題是客觀型項目，用公式p=R／N比較方便，由表可知，答對第5題的人數(shù)R=6，總人數(shù)N=10，將其代入公式可得即第5題的平均得分率為0.6第3題是主觀型項目，可用公式即第3題的平均得分率為0.89。從上述兩題的平均得分率可知，第5題的難度比較合適，而第3題的難度過小。第七十頁，共八十八頁，編輯于2023年，星期五第七十一頁，共八十八頁，編輯于2023年，星期五3.極端平均得分率P和極端難度系數(shù)Q當參加測驗的人數(shù)較多時，可以考慮從總體中抽取一部分有代表性的個體進行分析。一種比較有效的抽樣方法是，根據(jù)總測驗成績取考生的高分組（一般取分數(shù)最高的27%）和低分組（一般取分數(shù)最低的27%）。然后分別求兩組考生在某一項目上的平均得分率（通過率），接著再求該項目的極端平均得分率：P=(PH+P1)/2式中的P表示該項目的極端平均得分率，PH表示高分組在該項目上的平均得分率(通過率)，PL表示低分組在該項目上的平均得分率(通過率)。顯然，P值越大。表明該項目的難度越小。反之，則難度越大。為了增加直觀性，可以把極端平均得分率P(通過率)轉換為極端難度系數(shù)Q．其方法是：

Q=1-P

這樣，當Q值越大時，表示項目的難度越大。當Q值越小時，表示項目的難度也越小。第七十二頁，共八十八頁，編輯于2023年，星期五4．難度指數(shù)△用上述各種方法來估算項目難度時，只能提供不同項目難度的相對高低，而不能作絕對的比較，即它們都不具備等距性。如有三道題目，第一題、第二題、第三題的難度系數(shù)分別為0.4、0.5、0.6，我們只能說第一題在三個題目中是最容易的，而第三題是最難的。但不能斷定第一題與第二題難度的差別和第二題與第三題難度的差別是相同的。這主要是因為用上述方法計算難度時，原始分數(shù)并不具備等距性。如果在分析項目質量時，需要將難度表示在一個等距量表上時，則必須要對用上述方法計算所得的難度值進行一定的換算，其換算所得的指標即為難度指數(shù)，用△來表示。因為轉換難度指數(shù)時還需涉及其他的一些概念、指標，相對比較復雜，這里就不細講。第七十三頁，共八十八頁，編輯于2023年，星期五二、項目的區(qū)分度分析項目區(qū)分度是指測驗題目對其知識水平不同的考生的區(qū)分程度或鑒別能力。如果有一道讀圖分析題，地理知識水平、技能、能力比較高的考生得分高，而實際水平比較差的考生得分要低，說明這道題有良好的區(qū)分度，如果結果沒有規(guī)律或剛好相反，則說明這道題區(qū)分度差。項目的區(qū)分度分析主要以效標為依據(jù)，考察考生在每個項目上的反應與其在效標上的表現(xiàn)間的相關程度。在實際的項目分析中，效標往往用同一次測驗中獲得的總分來代替。其估算方法主要有以下三種。第七十四頁，共八十八頁，編輯于2023年，星期五1．特征曲線法特征曲線法是以曲線的方式來直觀地描述某一項目的區(qū)分度大小。其作法是：取一直角坐標系，用橫坐標代表考生在測驗中取得的總成績(即效標分數(shù))，用縱坐標表示考生在某一項目中的通過率(得分率)，然后按照該項目的實際作答情況描繪出相應的曲線，這條曲線即稱為特征曲線。第七十五頁，共八十八頁，編輯于2023年，星期五例如對一次地理測驗中某兩道選擇題的區(qū)分度用特征曲線法進行分析，其特征曲線如圖4—4所示。從曲線中可以看出，第1題的通過率（得分率）隨著總成績（效標分數(shù)）的增大而增大，說明通過率與總成績正相關，表明總分高的考生這道題的通過率高，可見這道題具有良好的區(qū)分度。第2題的通過率隨總成績的增大基本沒有變化，也就是說總成績高的考生與總成績低的考生在這一題上的通過率沒有什么區(qū)別，表明這道題的區(qū)分度很差。第七十六頁，共八十八頁，編輯于2023年，星期五2.相關系數(shù)法相關系數(shù)法可以對項目區(qū)分度進行定量描述，其具體步驟是：第一步用公式計算相關系數(shù)：第七十七頁，共八十八頁，編輯于2023年，星期五第七十八頁，共八十八頁，編輯于2023年，星期五【例】某地理教師對某班的45位學生進行一次地理測驗，其中10位學生的總成績和第6道選擇題的得分情況如表4—12所示(0表示答錯，1表示答對)。試分析第6道選擇題的區(qū)分度。表4一12某班某次地理測驗第6題部分學生得分情況學號135791113151719總成績80677856817972706973第6題1010101110第七十九頁，共八十八頁，編輯于2023年，星期五第一步，由上表可知，Xp=(80+78+81+72+70+69)/6