基于項(xiàng)目反應(yīng)理論的試題參數(shù)估計(jì)方法

1、第5卷第1期貴陽(yáng)學(xué)院學(xué)報(bào)(自然科學(xué)版(季刊Vol .5No .1JOURNAL OF G U I Y ANG COLLEGE2010年3月Natural Sciences (Quarterly Mar .2010基于項(xiàng)目反應(yīng)理論的試題參數(shù)估計(jì)方法薛寶山(山東勝利職業(yè)學(xué)院,山東東營(yíng)257097摘要:探討了幾種常用的基于項(xiàng)目反應(yīng)理論(I RT 的試題參數(shù)估計(jì)方法,并分析了每一種估計(jì)方法的優(yōu)缺點(diǎn)及各自的適用領(lǐng)域,為構(gòu)建基于I RT 的試題庫(kù)系統(tǒng)提供理論參考。關(guān)鍵詞:項(xiàng)目反應(yīng)理論;試題庫(kù);參數(shù)估計(jì);遺傳算法中圖分類號(hào):TP3111131文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1673-6125(201001-007

2、8-03I RT 2ba sed Param eter Eva lua ti on M ethods of Test Questi on sXUE Bao 2shan(Shengli Vocati onal College,Dongying Shandong 257097,China Abstract:The p resent article exp l ores several common I RT -based evaluati on methods of test questi ons and analyses ad 2vantages and disadvantages of eac

3、h method and its suitable app licati on range,which p r ovides the theoretical reference t o constructing I RT -based test questi on bank syste m.Key words:I RT;test questi on bank;para meter evaluati on;genetic algorith m;1引言在互聯(lián)網(wǎng)技術(shù)迅速發(fā)展的今天,基于網(wǎng)絡(luò)技術(shù)的考試系統(tǒng)得到了廣泛的應(yīng)用,網(wǎng)絡(luò)考試系統(tǒng)拓展了考試的靈活性,顯著降低了教育成本。作為網(wǎng)絡(luò)考試系統(tǒng)中的重要環(huán)節(jié)

4、,試題庫(kù)及其理論的研究和應(yīng)用也越來(lái)越廣泛。試題庫(kù)是嚴(yán)格遵循教育測(cè)量理論,在計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)的某個(gè)學(xué)科題目的集合,是在精確的數(shù)學(xué)模型基礎(chǔ)上建立起來(lái)的教育測(cè)量工具。試題庫(kù)系統(tǒng)是進(jìn)行計(jì)算機(jī)輔助教學(xué)的一種有利工具,是計(jì)算機(jī)科學(xué)、教育測(cè)量理論相結(jié)合的產(chǎn)物,是未來(lái)計(jì)算機(jī)輔助教學(xué)系統(tǒng)的一個(gè)重要的發(fā)展方向。2理論基礎(chǔ)211項(xiàng)目反應(yīng)理論(I RT 項(xiàng)目反應(yīng)理論是一種以試題參數(shù)為前提的理論,它以被試個(gè)體潛能通過(guò)試題作答反應(yīng)的可測(cè)性,被試個(gè)體潛能與其試題上可見(jiàn)反應(yīng)函數(shù)關(guān)系的基本一致性,以及試題參數(shù)線性變換下的不變性為理論假設(shè),進(jìn)而建立種種以被試個(gè)體在既定試題上的作答反應(yīng)參數(shù)來(lái)推斷其潛在特性的數(shù)學(xué)模型,以一定的數(shù)學(xué)模

5、型來(lái)確定被試個(gè)體試題反應(yīng)概率與其潛在能力之間的函數(shù)關(guān)系。項(xiàng)目反應(yīng)理論的質(zhì)量指標(biāo)即項(xiàng)目參數(shù)的估計(jì)值與樣本選擇無(wú)關(guān),對(duì)被試者能力水平的估計(jì)值與測(cè)試試題無(wú)關(guān),是一種建立于一套假定之上的能力測(cè)量理論?？忌哪芰烙?jì)值除了測(cè)量誤差外,不會(huì)受所使用的測(cè)試種類的影響,它是試題獨(dú)立(I 2te m -independent 的能力估計(jì)值,其次,從不同群體的考生估計(jì)得到的試題參數(shù)估計(jì)值,不受參與測(cè)試的考生群體的影響,也就是說(shuō)它是樣本獨(dú)立873收稿日期:2009-12-30作者簡(jiǎn)介:薛寶山(19-,男,山東勝利職業(yè)學(xué)院,講師,本科,研究方向:軟件工程。(Sa mp le-independent的試題參數(shù)估計(jì)值。項(xiàng)

6、目反應(yīng)理論還提供其測(cè)量的估計(jì)標(biāo)準(zhǔn)差(Standard err ors和試題的信息函數(shù)(Ite m inf or mati on func2 ti on,它可以用來(lái)作為評(píng)價(jià)能力估計(jì)值之精確度的指標(biāo),優(yōu)于經(jīng)典測(cè)試?yán)碚撝械摹靶哦取?Reliability。212試題參數(shù)的估計(jì)任何項(xiàng)目反應(yīng)模型都可以統(tǒng)一描述成Pj(Q =F(Q,a,b,c的形式。公式中中包含兩類參數(shù),一類是被試者的能力參數(shù),用Q來(lái)表示,只與被試者有關(guān),與題目參數(shù)無(wú)關(guān);另一類是項(xiàng)目的質(zhì)量參數(shù),用a、b、c標(biāo)識(shí),分別稱為區(qū)分度參數(shù)、難度參數(shù)和猜測(cè)參數(shù),這些參數(shù)值都不能由直接測(cè)量得到,而必須通過(guò)被試者的反應(yīng)數(shù)據(jù)進(jìn)行估計(jì)來(lái)求出。在項(xiàng)目反應(yīng)理論

7、模型的研究過(guò)程中,人們提出了多種理論模型,可以分為兩大類:靜態(tài)模型與動(dòng)態(tài)模型。靜態(tài)模型描述被測(cè)試者某一時(shí)刻的素質(zhì)、能力水平不隨時(shí)間變化;動(dòng)態(tài)模型則用來(lái)描述被試者的內(nèi)在素質(zhì)、能力水平隨時(shí)間變化的情況。目前比較成熟的是靜態(tài)模型,靜態(tài)模型還可以根據(jù)測(cè)試能力的維度分為單維、多維,根據(jù)測(cè)驗(yàn)的評(píng)分方式分為二值記分和多值記分,根據(jù)項(xiàng)目特性曲線的形狀分為正態(tài)卵型和邏輯斯蒂型等多種。213邏輯斯蒂克模型(Logistic Model目前應(yīng)用較廣的是邏輯斯蒂克模型(Logistic Model。在邏輯斯蒂克模型中,根據(jù)參數(shù)的不同,特征函數(shù)可分為單參數(shù)、雙參數(shù)和三參數(shù)三種模式:單參數(shù)模式:p(=11+e-D(-b雙

8、參數(shù)模式:p(=11+e-D a(-b三參數(shù)模式:p(=c+(1-c11+e-D d(-b其中,D=11702為量表因子常數(shù);為受測(cè)者能力值。P(表示能力為的人答對(duì)此題目的概率;a為題目的區(qū)分度,即特征曲線的斜率,它的值越大說(shuō)明題目對(duì)受測(cè)者的區(qū)分程度越高;b表示題目的難度,即特征曲線在橫坐標(biāo)上的投影;c表示題目的猜測(cè)系數(shù),即特征曲線的截距,c的值越大,說(shuō)明不論受測(cè)者能力高低,都容易猜對(duì)本道題目。當(dāng)c=0為雙參數(shù)模式,當(dāng)c=0且a=1時(shí)為單參數(shù)模式。通常、a、b、c都是未知的,要根據(jù)被試對(duì)項(xiàng)目的作答反應(yīng)對(duì)、a、b、c進(jìn)行估計(jì),一般采用雙參數(shù)Logistic的0-1評(píng)分模型進(jìn)行比較。根據(jù)具體問(wèn)題,

9、可出現(xiàn)幾種情況:第一是各項(xiàng)目參數(shù)已知,估計(jì)被試能力;第二是被試能力已知,估計(jì)項(xiàng)目參數(shù);第三是同時(shí)估計(jì)被試能力和項(xiàng)目參數(shù)。3試題參數(shù)的估計(jì)方法311極大似然估計(jì)法在測(cè)試過(guò)程中,對(duì)測(cè)試樣本進(jìn)行如下統(tǒng)計(jì):假設(shè)第j道試題的區(qū)分度為a(j,難度系數(shù)為b(j,猜測(cè)系數(shù)為c(j,應(yīng)試者在該試題的反應(yīng)函數(shù):U j =1:答對(duì)情況;0:答錯(cuò)情況。該應(yīng)試者參與了n道測(cè)試后,其能力計(jì)算的極大似然方程為: L(=L(U,a,b,c=nj=1exp(uj31n p j 3exp(1-u j31n(1-p j其中為應(yīng)試者的能力值,Pj為該應(yīng)試者對(duì)第j道題目的三參數(shù)Logistic函數(shù)值,Pj為在該應(yīng)試者能力下的反應(yīng)函數(shù)的

10、值。對(duì)上面的極大似然方程L(兩邊求對(duì)數(shù)有:1n L(=nj=1(uj31n p j+nj=1(1-uj31n(1-pj令F(=ln L(,則:dd1n L(=F(=D3nj=1a j3(u j-p j(p j-c j/p j3(1-c j通過(guò)解方程F(=0可求得能力參數(shù)的極大似然估計(jì)值。根據(jù)此模型計(jì)算可以得知,如果受測(cè)者答錯(cuò)了,能力的估計(jì)值就會(huì)降低;如果受測(cè)者答對(duì)了,能力的估計(jì)值就會(huì)提高。為了避免出現(xiàn)能力測(cè)試失敗,提高計(jì)算方法的收斂速度,使能力估計(jì)值快速趨于穩(wěn)定,可以通過(guò)兩種算法對(duì)此極大似然方程進(jìn)行求解。一種是常用Ne wt on-Raphs on迭代法,又稱切線法,切線法存在如下不足:(1方

11、程的可行解中不能出現(xiàn)導(dǎo)數(shù)為零的點(diǎn)(不收斂點(diǎn);(2方程的收斂速度較慢,特別是當(dāng)(t+1值趨近于方程的解時(shí),收斂明顯減慢;(3方程的解法中當(dāng)不存在解時(shí),缺少對(duì)實(shí)際能力值的調(diào)整;(4當(dāng)方程出現(xiàn)多解時(shí),缺少相應(yīng)的處理。第二種方法是中值法,可以解決切線法中存在的收斂問(wèn)題,中值法滿足條件的可能性相對(duì)切線法來(lái)說(shuō)是較為容易,采用中值計(jì)算法,收斂速度快,出現(xiàn)特殊情況時(shí)進(jìn)行簡(jiǎn)單的調(diào)整,這在一定程度上保證了最終的能力估計(jì)值曲線的平衡性。97312基于神經(jīng)網(wǎng)絡(luò)的參數(shù)估計(jì)方法運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)估計(jì)的方法,通過(guò)將所有考生在項(xiàng)目上的反應(yīng)作為網(wǎng)絡(luò)輸入,將項(xiàng)目的I RT參數(shù)值作為網(wǎng)絡(luò)輸出,進(jìn)行網(wǎng)絡(luò)建模,并通過(guò)錨題測(cè)驗(yàn)設(shè)計(jì),提

12、供訓(xùn)練樣本以及訓(xùn)練網(wǎng)絡(luò);訓(xùn)練好的網(wǎng)絡(luò)就可以對(duì)小樣本和連續(xù)記分的I RT參數(shù)進(jìn)行估計(jì),該方法可以得到較好的估計(jì)精度。在基于I RT的題庫(kù)建設(shè)中,連續(xù)記分模型已經(jīng)不再采用,取而代之的是更為實(shí)用的基于二值記分的三參數(shù)Logistic模型(3P L M。所謂二值記分,即指考生在項(xiàng)目上的作答要么正確,基于神經(jīng)網(wǎng)絡(luò)項(xiàng)目參數(shù)估計(jì)方法也適用于二值記分方式。GRNN是由Specht提出的一種前饋式監(jiān)督型神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)比較簡(jiǎn)單,它具有一個(gè)徑向基隱層和一個(gè)線性輸出層,只有一個(gè)網(wǎng)絡(luò)參數(shù)需要調(diào)節(jié),具有學(xué)習(xí)速度快、擬合能力強(qiáng)等優(yōu)點(diǎn),常用于解決回歸問(wèn)題,尤其非常成功地應(yīng)用在函數(shù)擬合中。Matlab神經(jīng)網(wǎng)絡(luò)工具箱

13、提供的廣義回歸網(wǎng)絡(luò)設(shè)計(jì)函數(shù)為ne wgrnn(P,T,SP,其中P為輸入樣本,T為輸出期望,SP為徑向基隱層神經(jīng)元的寬度。其中,網(wǎng)絡(luò)的隱層和線性層神經(jīng)元數(shù)均等于訓(xùn)練樣本數(shù),隱層權(quán)值為訓(xùn)練樣本輸入的轉(zhuǎn)置,且該層網(wǎng)絡(luò)輸入函數(shù)和傳遞函數(shù)分別為Euclidean距離函數(shù)和Gaussian函數(shù)。線性層權(quán)值為訓(xùn)練樣本的輸出期望值,該層的網(wǎng)絡(luò)輸入函數(shù)和傳遞函數(shù)分別規(guī)則化為點(diǎn)積函數(shù)和線性函數(shù)。在區(qū)分度和猜測(cè)系數(shù)上,神經(jīng)網(wǎng)絡(luò)方法比數(shù)理統(tǒng)計(jì)方法的估計(jì)誤差要小,但在難度上,神經(jīng)網(wǎng)絡(luò)方法的誤差較大;在一些情況下,神經(jīng)網(wǎng)絡(luò)方法的優(yōu)勢(shì)并不明顯,但是當(dāng)去掉對(duì)項(xiàng)目參數(shù)的先驗(yàn)概率分布的限制后,基于神經(jīng)網(wǎng)絡(luò)的參數(shù)方法才體現(xiàn)出一定

14、的優(yōu)勢(shì)。特別是在小樣本測(cè)驗(yàn)情況下,去掉對(duì)項(xiàng)目參數(shù)的先驗(yàn)概率分布的限制后,神經(jīng)網(wǎng)絡(luò)方法的優(yōu)勢(shì)更加明顯。313基于遺傳算法的參數(shù)估計(jì)方法遺傳算法(Genetic A lgorithm,G A是近些年發(fā)展起來(lái)的基于生物自然選擇和自然遺傳理論的隨機(jī)化全局優(yōu)化算法。與其它方法相比,遺傳算法具有其它算法所沒(méi)有的自適應(yīng)性、全局優(yōu)化性和隱含并行性,在解決問(wèn)題時(shí)具有很強(qiáng)的穩(wěn)健性。遺傳算法通過(guò)“優(yōu)勝劣汰”選擇個(gè)體,通過(guò)遺傳算子操作可產(chǎn)生新的優(yōu)良結(jié)構(gòu)的個(gè)體,采用與適應(yīng)值成比例的選擇策略,可以使適應(yīng)值高的個(gè)體具有更多的生存機(jī)會(huì),但也因此可能導(dǎo)致算法過(guò)早的不成熟收斂等。為了實(shí)現(xiàn)算法的自適應(yīng)性與避免早熟現(xiàn)象,可以用自適應(yīng)

15、的懲罰函數(shù)的方式調(diào)整適應(yīng)度函數(shù)。根據(jù)連續(xù)k代具有高適應(yīng)度的個(gè)體滿足約束條件的情況調(diào)整懲罰因子,進(jìn)而調(diào)整適應(yīng)函數(shù)為:=3(1-3(1+傳統(tǒng)遺傳算法采用的是二進(jìn)制編碼,現(xiàn)在應(yīng)用較多的是基于實(shí)數(shù)編碼的遺傳算法(Real cod2 ing Genetic A lgorithm,RG A。這種遺傳算法的過(guò)程為:在種群規(guī)模為L(zhǎng)的父代種群基礎(chǔ)上分別通過(guò)選擇、交叉和變異得到3個(gè)不同的子代種群,再?gòu)闹羞x擇L個(gè)互不相同的優(yōu)秀個(gè)體作為新的父代種群;然后重新對(duì)父代種群進(jìn)行評(píng)價(jià)、選擇、雜交和變異,如此反復(fù),直到滿足條件為止。顯然,改進(jìn)后的RG A實(shí)際搜索范圍廣,得到全局最優(yōu)點(diǎn)的機(jī)會(huì)也大。采用實(shí)數(shù)編碼進(jìn)行I RT的3P LM參數(shù)估計(jì),是連續(xù)參數(shù)優(yōu)化問(wèn)題的自然描述,取消了編碼、解碼的過(guò)程,提高了算法的速度和精度