具有認(rèn)知診斷功能的計(jì)算機(jī)自適應(yīng)測驗(yàn)的選題方法比較

1、具有認(rèn)知診斷功能的計(jì)算機(jī)自適應(yīng)測驗(yàn)的選題方法比較摘要：隨著認(rèn)知診斷理論及計(jì)算機(jī)自適應(yīng)測驗(yàn)的發(fā)展，具有認(rèn)知診斷功能的計(jì)算機(jī)自適應(yīng)測驗(yàn)已經(jīng)受到越來越多的關(guān)注。認(rèn)知診斷理論中比較重要的選題方法有Kullback-Leibler信息函數(shù)法和Shannon熵方法，本文的重點(diǎn)在于比較這兩種方法對于考生的屬性掌握模式判斷的優(yōu)劣，以便選擇更好的選題方法對今后的工作進(jìn)行指導(dǎo)。論文關(guān)鍵詞：認(rèn)知診斷,計(jì)算機(jī)自適應(yīng)測驗(yàn),選題方法,KL信息量,Shannon熵以往的傳統(tǒng)測驗(yàn)只能估計(jì)出考生的單維的潛在能力值，但是無法更深入揭示能力所表示的具體含義。認(rèn)知診斷（Cognitive Diagnosis）為考生提供更加直觀的教育

2、評價(jià)信息、知識點(diǎn)的掌握不足以及后續(xù)的知識補(bǔ)救信息。認(rèn)知診斷測驗(yàn)比傳統(tǒng)測驗(yàn)更加強(qiáng)調(diào)對于數(shù)學(xué)推理研究的問題，也更加關(guān)注于對于考生的知識結(jié)構(gòu)和加工過程。認(rèn)知診斷測驗(yàn)的重點(diǎn)是對每個(gè)考生關(guān)于每個(gè)屬性的掌握情況進(jìn)行評估并反饋?，F(xiàn)在已被證明的認(rèn)知診斷模型共有60多種，本文主要使用的是DINA模型（Deterministic Inputs, Noisy “And” Gate Model），DINA模型的項(xiàng)目反應(yīng)函數(shù)如下：其中，代表第j題的猜測參數(shù)，代表第j題的失誤參數(shù)，代表被試i的知識狀態(tài)，而代表第i個(gè)被試在第j個(gè)項(xiàng)目上的理想反應(yīng)模式。二、計(jì)算機(jī)自適應(yīng)測驗(yàn)計(jì)算機(jī)自適應(yīng)測驗(yàn)（Computerized Adapt

3、ive Testing，CAT），是借助計(jì)算機(jī)為媒介，按考生各自不同的情況，從題庫中選出最適合學(xué)生作答的題目，對考生進(jìn)行測驗(yàn)，并自動對考生的測驗(yàn)結(jié)果進(jìn)行評分的一種測驗(yàn)形式。計(jì)算機(jī)自適應(yīng)測試主要有以下幾個(gè)部分組成：1）題庫，2）初始值，3）評分方式，4）選題策略，5）終止規(guī)則。其中選題策略是CAT的核心。因?yàn)檫x用不同的選題方法，對自適應(yīng)測驗(yàn)的效率及精確度有著及其重要的影響。三、具有認(rèn)知診斷功能的計(jì)算機(jī)自適應(yīng)測驗(yàn)的選題策略認(rèn)知診斷功能的自適應(yīng)測驗(yàn)的選題方法是通過對二維的知識狀態(tài)的判斷，選擇出最適合被試作答的題目，提高測驗(yàn)的效率及估計(jì)的精度。1 Kullback-Lerbler信息函數(shù)法Kullba

4、ck-Lerbler信息函數(shù)法主要用于度量兩個(gè)分布的差異，然而在認(rèn)知診斷中，被試的知識狀態(tài)變量不是一個(gè)連續(xù)的變量，而是離散的向量。Xueli Xu（2003）將K-L信息量作了修改，將原有公式轉(zhuǎn)化成了以下形式：其中c指的是所有可能的的值，M是項(xiàng)目所考察的屬性個(gè)數(shù)。在具有認(rèn)知診斷功能的自適應(yīng)測驗(yàn)中，就是要選用K-L信息量最大的試題作為下一個(gè)試題給被試作答。2 Shannon熵選題法Shannon熵（Shannon Entropy，SHE）是香農(nóng)在1948年提出的，用于解決對信息的量化度量問題。熵的值越大，說明隨機(jī)數(shù)的不確定性越大。對于一個(gè)分布列，假設(shè)有k 個(gè)分布函數(shù)，則該分布列的Shannon熵

5、的計(jì)算公式為：其中約定，在具有認(rèn)知診斷的計(jì)算機(jī)自適應(yīng)測驗(yàn)的選題方法中，對于被試已作答t個(gè)項(xiàng)目后， 第t+1題的最小Shannon熵的期望值為：在具有認(rèn)知診斷功能的自適應(yīng)測驗(yàn)中，就是要選用Shannon熵最小的試題作為下一個(gè)試題給被試作答。四、試驗(yàn)設(shè)計(jì)本研究采用蒙特卡洛模擬。共使用無結(jié)構(gòu)的6個(gè)屬性，共有320名已知屬性掌握模式的被試，假設(shè)被試的屬性掌握個(gè)數(shù)是呈現(xiàn)正態(tài)分布，而在掌握同等數(shù)量屬性的考生中各屬性掌握模式是平均的。題庫中的題目根據(jù)每種不同的屬性掌握模式各分配15個(gè)題目，題庫中試題的S參數(shù)和G參數(shù)在0.05到0.25間均勻生成。在確定考生屬性掌握模式和題庫的Q矩陣后，模擬作答生成理想反應(yīng)模

6、式。當(dāng)?shù)玫嚼硐敕磻?yīng)模式后，使用EM算法獲得試題的三個(gè)項(xiàng)目參數(shù)和被試的能力參數(shù)。研究中分別使用不同的選題策略，來分別比較K-L選題法和SHE選題算法在計(jì)算機(jī)模擬測驗(yàn)時(shí)的效率。首先使用K-L選題法進(jìn)行選題，采用DINA模型進(jìn)行被試的評分，在被試作答后使用同樣也是期望后驗(yàn)估計(jì)法（Expect A Posteriori Estimate，EAP）對被試的屬性掌握模式進(jìn)行估計(jì)，再選題給被試作答，直到作答30個(gè)試題后停止測驗(yàn)；然后使用SHE選題方法重復(fù)試驗(yàn)。五、試驗(yàn)結(jié)果與討論以下表格是使用SHE方法與K-L方法對被試知識狀態(tài)的模式判準(zhǔn)率：K-LSHE模式判準(zhǔn)率0.7240.98756 個(gè)屬性的邊際屬性判準(zhǔn)

7、率：屬性數(shù)123456KL0.9740.8990.950.9460.9450.987SHE10.99062110.996870.99687從下圖可以觀察使用兩種選題方法時(shí)被試知識狀態(tài)的模式判準(zhǔn)率在30題中的變化過程：由此可見，無論是從模式判準(zhǔn)率上還是邊際屬性判準(zhǔn)率上而言，Shannon熵選題法都是優(yōu)于Kullback-Lerbler信息函數(shù)法。這樣的結(jié)論對今后的研究都有著指導(dǎo)作用。參考文獻(xiàn)：1Henson,R.&DouglasJ.(2005).Test construction for cognitive diagnosis. Applied Psychological Measurement ,29, 262-277.2Jimmy de la Torre. DINA Model and Parameter Estimation: A DidacticJ. Journal of Educational and Behavioral Statistics,2009,34:115-1303林海菁,丁樹良(2007),具有認(rèn)知診斷功能的計(jì)算化自適應(yīng)測驗(yàn)的研究與實(shí)現(xiàn).心理學(xué)報(bào)(4).pp747-7534