![項目難度與項目極大區(qū)分度_第1頁](http://file4.renrendoc.com/view11/M01/33/11/wKhkGWW8NdmACBxEAALdEahYzEs921.jpg)
![項目難度與項目極大區(qū)分度_第2頁](http://file4.renrendoc.com/view11/M01/33/11/wKhkGWW8NdmACBxEAALdEahYzEs9212.jpg)
![項目難度與項目極大區(qū)分度_第3頁](http://file4.renrendoc.com/view11/M01/33/11/wKhkGWW8NdmACBxEAALdEahYzEs9213.jpg)
![項目難度與項目極大區(qū)分度_第4頁](http://file4.renrendoc.com/view11/M01/33/11/wKhkGWW8NdmACBxEAALdEahYzEs9214.jpg)
![項目難度與項目極大區(qū)分度_第5頁](http://file4.renrendoc.com/view11/M01/33/11/wKhkGWW8NdmACBxEAALdEahYzEs9215.jpg)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
項目難度與項目極大區(qū)分度之間的關(guān)系席仲恩(作者簡介:席仲恩,副教授,上海外國語大學博士生,紹興文理學院語言測試與評價研究所所長,上海,200083)摘要:本文在項目就是待測量特質(zhì)的量具、受考在項目上的作業(yè)成績?yōu)檎龖B(tài)分布這兩個簡單假定的條件下,通過簡單的數(shù)學推導,確定出了經(jīng)典測試理論模型中的項目難度(用易度指數(shù)表示)和極大區(qū)分度(用高低分組通過率或得分率差表示)之間的兩個函數(shù)關(guān)系式,望這兩個關(guān)系式能為題庫建設(shè)和試卷開發(fā)提供一個既明確又簡單可行的參考數(shù)學模型。關(guān)鍵詞:心理測驗;教育測量;項目分析;項目難度;項目極大區(qū)分度一、引言項目分析(itemanalysis)是題庫建設(shè)(itembanking)的至關(guān)重要的一個環(huán)節(jié),是開發(fā)高質(zhì)量試卷的基礎(chǔ)性工作。試卷由一道一道的項目組成,如果沒有合格的項目,就不可能有合格的試卷;沒有高質(zhì)量的項目,就無法構(gòu)出高質(zhì)量的試卷。對于一個項目,既可以做定性分析,也可以做定量分析。本文關(guān)心的僅是項目的定量分析。對于項目進行定量分析時,在經(jīng)典理論框架中,通常求出項目的兩個指標:難度指標和區(qū)分度指標。難度指標傳統(tǒng)上用項目的易度指數(shù)(facilityindex)——項目的平均答對率(對于選擇型題)或平均得分率表示①區(qū)分度指標盡管有多種表示方法,本文選取了用高低分組難度差刻劃的區(qū)分度,一方面這種區(qū)分度直觀,其含義又和項目反應(yīng)理論框架下的區(qū)分度一致(請參見席仲恩,2001),而且經(jīng)過愛貝爾(Ebel)的研究提出了具體的項目評價指標(參見Ebel&Frisbie,1986:P234),此外它計算又十分簡便,便于應(yīng)用。在我國現(xiàn)行的心理與教育測量著作(例如:戴忠恒,1987;王孝玲,1989;謝小慶,l988;余嘉元,1987;于信鳳;1987)和語言測試論著(例如:高蘭生、陳輝岳,l996;桂詩春,1986;李筱菊,1997;劉潤清、韓寶成,2000;舒運祥,1999;徐強,l992;楊鐘琳l992)、國外的同類著作(例如:Anastasi,1976;Salvia&Ysseldyke,1996;Alderson,Clapham&Walt,1995;Bachman,1990;BachmanandPalmer,1996;Baker,1989;Harris,1969;Heaton,1988:Lado,1961;Madsen,1983;Spotsky,1995)中,都未見專門詳細定量論述項目極大區(qū)分度和項目難度之間的關(guān)系的。使題庫建設(shè)和試卷開發(fā)者無所適從,給工作帶來一些不便。導致像中國全國碩士研究生英語入學考試這類重大篩選性考試中難度、區(qū)分度失調(diào),或者只顧難度而忽略區(qū)分度等問題,使試卷中的項目區(qū)分度普遍不高,甚至出現(xiàn)負值這種奇特現(xiàn)象,嚴重威脅了考試的信度和效度,使考試的功效打了折扣。本文在項目就是待測量特質(zhì)的量具、受考在項目上的作業(yè)成績?yōu)檎龖B(tài)分布這兩個簡單假定下,通過簡單的數(shù)學推導,確定出了經(jīng)典測試理論模型中的項目難度和極大區(qū)分度之間的函數(shù)關(guān)系,望能為題庫建設(shè)和試卷開發(fā)提供一個既明確又簡單可行的參考模型。二、關(guān)系式的推導本文關(guān)心的是數(shù)學模型的建立,并不關(guān)心實施中的問題。但是,這并不意味著我們認為實施中的問題就不重要,相反,我們認為實施中的問題一樣重要。我們這樣做,是由我們的研究目標決定的。我們的目標是建立一個理想狀況下的數(shù)學模型,為實踐提供一個工作參考和努力方向,使實踐者明確項目和試卷開發(fā)的潛力和限度,更好地發(fā)揮和挖掘考試的功效。為此,我們假定已經(jīng)獲得了有關(guān)項目的可靠的實際測量數(shù)據(jù),而且這些數(shù)據(jù)的采集程序可靠、準確、合法。設(shè)DI為項目區(qū)分度,U為高分組(一般指總分最高的27%或30%受考)的答對率或平均得分率,L為低分組(一般指總分最低的27%或30%受考)的答對率或平均得分率,則高低分組難度差區(qū)分度可定義為:DI=U-L (1)設(shè)FI為表示難度的易度指數(shù),M為中間組的答對率或平均得分,U為高分組的極大答MAX對率或極大平均得分率,L為低分組的最小答對率或最小平均得分率,假定受考在給定項MIN目上的作業(yè)成績?yōu)檎龖B(tài)分布,則顯而易見,項目的易度指數(shù)可定義為:TOC\o"1-5"\h\zFI=M=U+L=Umax+Lmin (2)22同時,我們又設(shè)DI為項目的極大區(qū)分度,則極大區(qū)分度顯然可以定義為:MAXDI=U-L (3)MAXMAXMIN再由(2)中析出FI=UMAX+Lmin (4)2聯(lián)立解由(3)、(4)組成的方程組得:DI=2U-2FI (5)MAXMAXDI=2FI-2L (6)MAX MIN表達式(5)、(6)就是我們要求的項目極大區(qū)分度和用易度指數(shù)表示的項目難度之間的關(guān)系式。兩個式子沿不同的方向(一個從上而下,一個從下而上)刻劃了易度與極大區(qū)分度之間的函數(shù)關(guān)系。在項目的易度指數(shù)值大于或者等于諸極大區(qū)分度中最大的那個極大區(qū)分度(以下稱做“最大極大區(qū)分度”)所對應(yīng)的易度指數(shù)值時,可根據(jù)公式(5)計算出對應(yīng)于不同易度指數(shù)值的極大區(qū)分度;在項目的易度指數(shù)值小于或者等于最大極大區(qū)分度所對應(yīng)的易度指數(shù)值時,可根據(jù)公式(6)計算出對應(yīng)于不同易度指數(shù)值的極大區(qū)分度(見表l和表2)。顯而易見,最大極大區(qū)分度既可以根據(jù)公式(5)求得,也可以根據(jù)公式(6)求得。由于在項目易度指數(shù)達到最大極大區(qū)分度所對應(yīng)的易度指數(shù)時,U=1,以及L=1/A(AMAX MIN為備選項的個數(shù)),則(5)、(6)簡化為DI=2-2FI (7)MAXDIMAX=2FI-2/A (8)(7)、(8)兩式就是我們要建立的項目難度與項目極大區(qū)分度之間的函數(shù)關(guān)系。三、關(guān)系式的應(yīng)用關(guān)于公式(7)、(8)的應(yīng)用可分有猜測因素存在和無猜測因素存在兩種情況。兩者的區(qū)別主要在A的取值上。如果沒有猜測因素存在,就相當于A=-;如果有猜測因素存在,備選項個數(shù)是幾,A就取幾。顯而易見,有猜測因素存在時,低分組的最小答對率就是假定這組受考對該項目一無所知,僅憑隨機猜測就能答對該項目的概率,有關(guān)扣除這個因子的理據(jù),由于與本文關(guān)系不大,恕不贅述(感興趣的讀者,請參看席仲恩,2000b)。以下,我們先計算有猜測因素存在時的極大區(qū)分度,然后再計算沒有猜測因素存在時的極大區(qū)分度。(一)有猜測因素存在時易度與極大區(qū)分度的關(guān)系我們計算A=2(即二選一),A=3(即三選一),A=4(即四選一),和A=5(即五選一)時,項目易度與對應(yīng)的項目極大區(qū)分度。因為,這幾種選型是最常見的多選型項目。我們給出1?0.20②之間不同易度指數(shù)值,為了方便起見,變化幅度基本取0.05,到了最大極大區(qū)分度對應(yīng)的易度指數(shù)時,我們給出它的確切值。求出的相應(yīng)極大區(qū)分度見表1。表1考慮猜測因素時難度與極大區(qū)分度之間的關(guān)系易度指數(shù)值FI極大區(qū)分度A=2DIMAX極大區(qū)分度A=3DIMAX極大區(qū)分度A=4DIMAX極大區(qū)分度A=5DIMAX1.000.000.000.000.000.950.100.100.100.100.900.200.200.200.200.850.300.300.300.300.800.400.400.400.400.750.500.500.500.500.700.400.600.600.600.6670.3340.6670.6660.6660.6250.250.5830.750.750.600.200.5330.700.800.550.100.4330.600.700.500.000.3330.500.600.450.2330.400.500.400.1330.300.400.350.0330.200.300.300.000.100.200.250.000.100.200.00(二)不考慮猜測因素時易度與極大區(qū)分度的關(guān)系從理論上講,只要是固定選項個數(shù)選擇型項目,無論是多選一,還是多選多,測量結(jié)果都不可能不存在猜測成分,項目的區(qū)分度也不可能不受到影響。換句話說,只有在項目是非
選擇型項目或者不定項選擇型項目的條件下,在對項目進行分析時才可以不考慮猜測因素。我們之所以計算出不考慮猜測因素時難度與其對應(yīng)的極大區(qū)分度并列于表2,主要是為了和考慮猜測因素時難度與其對應(yīng)的極大區(qū)分度加以比較,從而揭示選擇型項目選項數(shù)目與區(qū)分度的關(guān)系。不考慮猜測因素,并不意味著我們就不承認或者忽視猜測因素,而是我們假定猜測因素①為零。這是理論上的抽象和假定,在理論建設(shè)中是非常必要的,不可缺少的。在不考慮猜測因素時,關(guān)于給定易度對應(yīng)的極大區(qū)分度的計算方法與考慮猜測因素時的情況基本相同,惟一區(qū)別是,我們假定A=-計算結(jié)果見表2。表2不考慮猜測因素時難度與極大區(qū)分度之間的關(guān)系易度指數(shù)值極大區(qū)分度極大區(qū)分度極大區(qū)分度極大區(qū)分度FIA=2D【maxA=3DImAxA=4DImAxA=5DImAx1.000.000.000.000.000.951.001.001.001.000.900.200.200.200.200.850.300.300.300.300.800.400.400.400.400.750.500.500.500.500.700.600.600.600.600.6670.6660.6660.61560.6660.6250.750.750.750.750.600-800.800.800.800.550.900.900.900.900.501.001.001.001.000.450.900.900.900.900.400.800.800.800.800.350.700.700.700.700.300.600.600.600.600.250.500.500.500.500.200.400.400.400.400.150.300.300.300.300.100.200.200.200.200.050.100.100.100.100.000.000.000.000.00(三)有無猜測因素存在時的對比分析對比表1和表2,我們不難看出,由于猜測因素的介入,即使在項目難度不變的情況下,項目的極大區(qū)分度在一定的范圍內(nèi)③丁了折扣,限制了項目區(qū)分度的挖掘潛力。而且我們還可以看出,猜測因素對于區(qū)分度的影響發(fā)生在極大區(qū)分度達到相應(yīng)的最大極大區(qū)分度之后(沿易度指數(shù)值由大而小或自上而下),而在極大區(qū)分度還沒有達到最大極大區(qū)分度之前,極大區(qū)分度并不受猜測因素的影響。對于以選拔或者篩選為目的的測試來說,區(qū)分度是試卷的決定性質(zhì)量指標,因此,構(gòu)卷時(如果采用的是選擇型題)就應(yīng)該視具體情況適當降低項目的難度(即提高項目的易度)。我們通常說,當項目的易度指數(shù)值為0.50時項目的區(qū)分度極大,如果我們該文的研究結(jié)果可信,這一說法就不可一概而論。首先我們應(yīng)該明確,心理測量學中的區(qū)分度有多種含義:有時相當于“區(qū)分力”(powerofdiscrimination);有時相當于“靈敏度”(sensitivity);有時相當于別的,不好一概而論。以上論斷中的“區(qū)分度”是方差大小意義上的區(qū)分度,所謂的“當項目的易度指數(shù)值為0.50時項目的區(qū)分度極大”也是根據(jù)方差的定義確定的(參見謝小慶,1988:88-90;余嘉元,1987:167-169),這里的“區(qū)分度”就其本質(zhì)而言應(yīng)該是“區(qū)分力”。區(qū)分力大,僅僅只能保證測量的經(jīng)濟性,并不能保證測量結(jié)果區(qū)分的可靠性強、準確性高。而且,用區(qū)分力刻劃的區(qū)分度,無論有無猜測成分,其值不變,即區(qū)分力與可靠度及準確度分家。不證自明,可靠性不強、準確性不高而僅僅是經(jīng)濟的測量是無用的測量,甚至是不公平或者有害的測量。這也是我們本文放棄采用“區(qū)分力”意義上的區(qū)分度,而采用“靈敏度”意義上的區(qū)分度的原因。靈敏度意義上的區(qū)分度和測量的可靠性以及準確性是一致的。也就是說,對于靈敏度意義上的區(qū)分度,只要區(qū)分度大,可靠性和準確性就不可能不高。我們認為,就同樣大小方差的測量結(jié)果(即同等區(qū)分力),由于猜測因素的介入,測量的誤差必然會加大(有關(guān)測量誤差方差的刻劃和猜測誤差的刻劃問題,請參見席仲恩,2000a)。如表1所示,對于易度指數(shù)值為0.60的一個項目,其測量結(jié)果的區(qū)分力是不變的,但對于不同大小的猜測成分,實際可能引起的極大區(qū)分度是很不相同的。對于A=2時,實際可能引起的極大區(qū)分度是0.20;對于A=3時,實際可能引起的極大區(qū)分度是0.533;對于A=4時,實際可能引起的極大區(qū)分度是0.70;對于A=5時,實際可能引起的極大區(qū)分度是0.80。而如果不考慮猜測因素,則可能做出在以上四種不同情況下,區(qū)分度都為0.80(見表2)的決策,這顯然是欠科學的。四、模型的驗證為了驗證我們的模型,我們統(tǒng)計分析了1996年?2000年我國碩士研究生英語入學考試的試卷,發(fā)現(xiàn)我們模型的預測準確度相當高。五套考卷共350道四選一型客觀考題,只有60道在預測范圍之外。而且這60道題目大部分都是稍微超出范圍,因為我們假定受考的水平是理想的正態(tài)分布,而且測量誤差不存在,但實際上這種理想情況是沒有的,所以這種小小的偏差是允許的。其他幾道偏離較大的題目,我們懷疑是統(tǒng)計上的失誤或者是原始數(shù)據(jù)印刷上的錯誤。例如,1997年的第25道題,其易度指數(shù)值為0.32,而區(qū)分度卻為0.86。此外,我們還用周越美(ZhouYuemei,2003)的數(shù)據(jù)驗證了模型,同樣發(fā)現(xiàn)模型的與測性很好。在大學英語六級考試的70道題目中,僅有10道稍微超出范圍??梢?,這個模型的效度是很高的,其實用性也是顯見的。五、結(jié)束語以上我們定量刻劃了項目難度與極大區(qū)分度之間的函數(shù)關(guān)系,根據(jù)我們建立的數(shù)學模型,列出了兩個表格以供參考,我們還討論了考慮猜測因素和不考慮猜測因素時同一難度項目的真正區(qū)分度在不同程度猜測因素介入時的差異。需要指出的是,我們提供的,僅僅是我們工作的方向和理想狀況下所可能達到的極限。在實際工作中,我們認為應(yīng)該最少注意兩個方面的問題:一個是開發(fā)的效率問題,另一個是分清兩類不同性質(zhì)的區(qū)分度。實際工作過程是很復雜的。由于各種原因,不可能每個項目的區(qū)分度都能開發(fā)到極限。我們應(yīng)該認為,每個項目的區(qū)分度是不可能開發(fā)到極限的。一個項目的區(qū)分度潛力如果能被挖掘到80%,就已經(jīng)算很好了。因此,開發(fā)試卷時不可不考慮效率問題。假定我們認為我們的項目的區(qū)分度不可低于0.40④,那么選擇項目時(假定A=4),就應(yīng)該選擇易度指數(shù)不低于0.50、又不高于0.75,極大區(qū)分度不低于0.50的項目,因為我們還要考慮區(qū)分度的挖掘效率。關(guān)于兩類不同性質(zhì)的區(qū)分度,我們指的是建立題庫時給每個項目標定的區(qū)分度和構(gòu)卷時所選項目對于特定受考群的區(qū)分度。前者我們不妨叫它項目的固有區(qū)分度,后者叫它項目的特有區(qū)分度。我們認為:項目的固有區(qū)分度是合格項目的根本標志,是獨立于項目相對難度(即相對于特定受考團體的項目難度)的;項目的特有區(qū)分度是合適項目的根本標志,是依賴于項目的相對難度的;合格是合適的前提。為了開發(fā)出合格的項目入庫,建立題庫時(主要指為選拔性考試而建立的題庫),用于實驗項目的受考群的水平跨度應(yīng)該盡量大一些,項目的區(qū)分度標準也要定得高一些,而且要基本一樣。因為只有這樣,用同一題庫構(gòu)出的不同試卷,其測量結(jié)果才便于等值⑤(例如根據(jù)項目反應(yīng)理論的單參數(shù)模型等值才有效)。只有在合格題庫的前提下,根據(jù)特定受考構(gòu)卷時只考慮相對于待考受考的項目難度就可以了,而且,只要難度合適,特定區(qū)分度也決不會低。此外,特定區(qū)分度和區(qū)分力、可靠性以及準確性也變得統(tǒng)一和同一。最后我們要說明的是,這個模型刻劃的是一種最大的可能性關(guān)系,并不是必然性關(guān)系。換句話說,一個項目的易度一定后,其對于特定團體的區(qū)分度最大可能是這么大,但是并不能保證就會這么大,而且很可能非常小。為了便于實踐者參考,我們已經(jīng)制作了項目易度與項目極大區(qū)分度之間關(guān)系的詳細數(shù)表,需要者可向我們索取。難度也可以直接用難度指數(shù)表示。常用的難度指數(shù)有q互補難度,ETS難度,瑞查(Rasch)難度和席仲恩H難度。由于猜測因素的存在,我們假定項目的易度指標不小于猜測概率。這個范圍是選項個數(shù)的函數(shù),選項個數(shù)越多(即猜測成分越?。?,區(qū)分度的范圍也越大。反之亦然。順便舉的例子。在實踐中,最低區(qū)分度的確定取決于具體考試的重要性。根據(jù)朱正才(1997)和楊惠中、Weir(1998),我國大學英語四、六級考試根據(jù)項目反應(yīng)理論單參數(shù)模型等值,但在我們不能保證項目區(qū)分度基本一樣的情況下是不能用單參數(shù)模型等值的,況且標準參照考試也沒有必要在不同次考試之間等值。標準參照性考試的關(guān)鍵是每次考試的試卷是代表參考文獻:Alderson,J.Charles,Clapham,Caroline,&Wall,Dianne.1995.LanguageTestConstructionandEvaluation.Cambridge:CambridgeUniversityPress.Anastasi,Anne.1982.PsychologicalTesting(5thedition).NewYork:MacmillanPublishingCo.Inc.Bachman,LyleF.1990.FundamentalConsiderationsinLanguageTesting.Oxford:OxfordUniversityPress.Bachman,LyleF.,&Palmer,AdrianS.1996.LanguageTestinginPractice.Oxford:OxfordUniversityPress.Baker,David.1989.LanguageTesting-ACriticalSurveyandPracticalGuide.London:EdwardArnold.Harris,David,P.1969.TestingEnglishasaSecondLanguage.NewYork/StLouis/SanFrancisco:McGraw-HillBookCompany.Heaton,J.B.1988.WritingEnglishLanguageTests(2ndedition).LongmanGroupUKLimited.Lado,Robert.1961.LanguageTesting.London,Longmans.GreenAndCoLtd.Madsen,HaroldS.1983.TechniquesinTesting.Oxford:OxfordUniversityPress.Salvia,John&Ysseldyke,JamesE.1995.Assessment(6thedition).Boston/Illinois/Princeton:Houghton,MifflinCompany.Spolsky,Bernard.1995.MeasuredWords.Oxford:OxfordUniversityPress.Zhou,Yuemei(周越美).2003.TheComp
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 部審人教版七年級數(shù)學下冊聽評課記錄《5.2.1 平行線》2
- 人教版地理七年級上冊第二節(jié)《地球的運動》聽課評課記錄3
- 湘教版數(shù)學八年級上冊4.1《不等式》聽評課記錄
- 人教版地理八年級下冊7.2《魚米之鄉(xiāng)-長江三角洲地區(qū)》聽課評課記錄2
- 用戶體驗設(shè)計服務(wù)協(xié)議書(2篇)
- 環(huán)境整治用功協(xié)議書(2篇)
- 人教部編版八年級道德與法治上冊:8.1《國家好 大家才會好-國家利益的含義》聽課評課記錄
- 【人教版】河南省八年級地理上冊3.2土地資源聽課評課記錄1新版新人教版
- 新版華東師大版八年級數(shù)學下冊《17.3.2一次函數(shù)的圖象2》聽評課記錄22
- 北京課改版歷史八年級上冊第3課《第二次鴉片戰(zhàn)爭》聽課評課記錄
- 2025年個人土地承包合同樣本(2篇)
- 2024-2025學年教科版八年級物理下冊 第12章 機械能 綜合素質(zhì)評價卷(含答案)
- 網(wǎng)絡(luò)貨運行業(yè)研究報告
- 【人教版化學】選擇性必修1 知識點默寫小紙條(答案背誦版)
- 人教版七年級英語上冊單元重難點易錯題Unit 2 單元話題完形填空練習(含答案)
- 00015-英語二自學教程-unit1
- 新版建設(shè)工程工程量清單計價標準解讀
- 云南省昆明市盤龍區(qū)2023-2024學年三年級上學期語文期末試卷
- 2024-2025年突發(fā)緊急事故(急救護理學)基礎(chǔ)知識考試題庫與答案
- 左心耳封堵術(shù)護理
- 2024年部編版八年級語文上冊電子課本(高清版)
評論
0/150
提交評論