運(yùn)用計(jì)算機(jī)組卷和命題的考試系統(tǒng)介紹,現(xiàn)代教育技術(shù)論文

運(yùn)用計(jì)算機(jī)組卷和命題的考試系統(tǒng)介紹,現(xiàn)代教育技術(shù)論文隨著計(jì)算機(jī)和信息技術(shù)的發(fā)展，計(jì)算機(jī)化考試〔Computer-basedTest,CBT〕逐步應(yīng)用于考試實(shí)踐中，越來(lái)越多的考試機(jī)構(gòu)開(kāi)場(chǎng)使用計(jì)算機(jī)化考試取代傳統(tǒng)的紙筆考試。在過(guò)去的三十多年里，相繼開(kāi)發(fā)出的一些高水平的大型計(jì)算機(jī)化測(cè)試，宣告了世界測(cè)量已進(jìn)入一個(gè)高科技時(shí)代。甚至有研究者預(yù)言所有的考試總有一天都會(huì)采用某種計(jì)算機(jī)化測(cè)試形式.一般以為，利用計(jì)算機(jī)進(jìn)行題目命制、考試施行、評(píng)分、試卷分析及成績(jī)反應(yīng)的各類測(cè)試均可稱為計(jì)算機(jī)化測(cè)試.CBT省去了試卷印刷、發(fā)送等工作環(huán)節(jié)，更具有高效、快速的優(yōu)點(diǎn)，并由此帶來(lái)了試題編擬、組卷、管理等一系列的革命，因而CBT不僅僅是技術(shù)革命，更是命題管理的革命。本文將從試題情境設(shè)計(jì)、組卷系統(tǒng)、命題管理等幾個(gè)方面討論基于CBT的試題命制以及帶給我們的啟示。2試題情境設(shè)計(jì)試題的立意、情境和設(shè)問(wèn)是編制試題的三個(gè)要素。在明確試題考察目的之后，怎樣選取適宜的素材，設(shè)計(jì)恰當(dāng)?shù)那榫硜?lái)實(shí)現(xiàn)考核目的是試題命制的重點(diǎn)之一。利用計(jì)算機(jī)獨(dú)特的功能，如多媒體、互動(dòng)方式等，能夠開(kāi)發(fā)出更優(yōu)質(zhì)的創(chuàng)新試題〔InnovativeItems〕，創(chuàng)設(shè)出更新穎的情境，進(jìn)而提高考察效度。在CBT試題編制的設(shè)計(jì)中，需要注意下面因素：2.1利用計(jì)算機(jī)技術(shù)的創(chuàng)新隨著多媒體技術(shù)的發(fā)展，CBT不僅能夠呈現(xiàn)文字、圖像、表格等文本信息，而且能夠包含音頻、視頻、動(dòng)畫(huà)等多種形式的媒體，能夠呈現(xiàn)各種復(fù)雜的、動(dòng)態(tài)的信息，能夠模擬考生生活或工作中的真實(shí)場(chǎng)景，擴(kuò)大了考試的內(nèi)容范圍，更新試題呈現(xiàn)方式。另外，考生能夠通過(guò)點(diǎn)擊鼠標(biāo)、鍵盤輸入、對(duì)著麥克風(fēng)講話等行為作答，使得測(cè)量的渠道更為多元、更為互動(dòng)、更為直觀。這些技術(shù)創(chuàng)新拓展了命題設(shè)問(wèn)的空間。在進(jìn)行試題情境的創(chuàng)設(shè)時(shí)，能夠根據(jù)試題的考察目的和考察內(nèi)容，整合貼近考生的文字、圖像、表格、視頻、音頻、動(dòng)畫(huà)等素材，合理地設(shè)計(jì)試題呈現(xiàn)的內(nèi)容，將多種形式信息合理地組織利用起來(lái)。例如，一類新題型：熱門題，在屏幕上提供試題情境，讓考生通過(guò)點(diǎn)擊鼠標(biāo)，點(diǎn)擊不同區(qū)域作答。例如在計(jì)算機(jī)屏幕上呈現(xiàn)太陽(yáng)系，要求考生將太陽(yáng)系的八大行星拖拽到正確的屏幕位置?；蛟谄聊簧辖o出太陽(yáng)的影像，要求考生在圖上標(biāo)注出太陽(yáng)耀斑最強(qiáng)烈的地方。2.2能力要求的創(chuàng)新CBT創(chuàng)新試題具有素材來(lái)源廣泛、呈現(xiàn)形式多樣、信息量豐富、情境真實(shí)、設(shè)問(wèn)角度靈敏的特點(diǎn)。這些特點(diǎn)使得CBT能夠考察傳統(tǒng)紙筆考試所不能考察的新能力。例如數(shù)據(jù)處理能力、綜合推理能力等。數(shù)據(jù)處理能力是：從龐大的數(shù)據(jù)中排除次要信息，分析、整合并提煉出重要信息的能力。這個(gè)能力對(duì)今后的學(xué)習(xí)至關(guān)重要，也是職場(chǎng)上所必不可少的技能。在對(duì)數(shù)據(jù)處理能力進(jìn)行考察時(shí)，考生能夠利用計(jì)算機(jī)獨(dú)特的排序等功能對(duì)呈現(xiàn)的數(shù)據(jù)進(jìn)行編輯，挖掘數(shù)據(jù)背后的規(guī)律，發(fā)現(xiàn)解題的途徑，展現(xiàn)推理能力。綜合推理能力是：考生需要綜合各種不同的信息，選擇適宜的方式方法、途徑進(jìn)行推理論證。例如GMAT近期推出的綜合推理題型〔IntegrateReasoning〕，考生在回答以下問(wèn)題時(shí)，需要運(yùn)用表格分析、圖表解讀、統(tǒng)計(jì)推斷等方式方法，綜合分析多種形式、多種來(lái)源的輸入信息，評(píng)估可能的結(jié)果后，探尋求索能夠選擇的決策，尋求最恰當(dāng)?shù)目尚蟹桨?。試題考察了考生分析綜合、評(píng)估、批判性思維等更高層次層級(jí)的認(rèn)知技能。還有一些傳統(tǒng)紙筆考試中無(wú)法考察的能力，在CBT中也有不同的考察形式和內(nèi)涵。例如，實(shí)驗(yàn)?zāi)芰κ亲匀豢茖W(xué)研究中的一項(xiàng)重要能力，然而在傳統(tǒng)的自然科學(xué)考試中，實(shí)驗(yàn)?zāi)芰Φ目疾焱荒茉诩埳线M(jìn)行。借助計(jì)算機(jī)，通過(guò)模擬真實(shí)的實(shí)驗(yàn)情境，CBT的試題能夠考察考生實(shí)際動(dòng)手操作的能力，十分是設(shè)計(jì)實(shí)驗(yàn)的能力。這些試題提供大量的實(shí)驗(yàn)器材，要求考生根據(jù)實(shí)驗(yàn)?zāi)康?，設(shè)計(jì)原理和步驟，挑選適當(dāng)?shù)膶?shí)驗(yàn)器材，在仿真的實(shí)驗(yàn)環(huán)境中，獲取實(shí)驗(yàn)數(shù)據(jù)，分析和處理實(shí)驗(yàn)結(jié)果等，實(shí)現(xiàn)對(duì)考生實(shí)驗(yàn)?zāi)芰Φ目疾臁?.3為考生提供多種選擇每個(gè)考生的個(gè)性是不同的，傳統(tǒng)的紙筆考生往往難以照顧到這點(diǎn)，而計(jì)算機(jī)化的考試能夠方便地根據(jù)一定的方式分發(fā)試題，CBT呈現(xiàn)的試題情境能夠根據(jù)考生回答的情況變化，進(jìn)而有效地區(qū)分各類考生群體，使考試愈加個(gè)性化。例如，在模擬的實(shí)際辦公情境中，假設(shè)你是一名員工，需要與客戶聯(lián)絡(luò)，你能夠選擇、E-mail等方式。假如選擇，屏幕上呈現(xiàn)場(chǎng)景的試題；假如選擇E-mail,屏幕上呈現(xiàn)一封實(shí)際的E-mail,你需要給客戶發(fā)一封電子郵件。這種非線性的呈現(xiàn)試題的方式，具體表現(xiàn)出了考生的自主選擇性，有利于激發(fā)考生的真實(shí)的反響行為。2.4利于考后的評(píng)價(jià)值得注意的是，CBT試題進(jìn)行創(chuàng)新的同時(shí)，評(píng)價(jià)細(xì)則也同樣進(jìn)行創(chuàng)新。一般來(lái)講，評(píng)價(jià)細(xì)則應(yīng)與思維量相匹配，具有可操作性，以方便后期的數(shù)據(jù)統(tǒng)計(jì)分析。如GMAT推出的綜合推理題型，每一道試題的分值一樣，且都有2至3道子題?？忌饘?duì)全部子題得1分，否則得0分，降低了考生猜想的因素。另一種賦分方式是每一道子題1分，考生的得分為答對(duì)子題的個(gè)數(shù)。另外每個(gè)試題需要考生作答的量較小，這樣閱卷的工作量也就相對(duì)較小。近期，采用人工智能進(jìn)行評(píng)分成為CBT測(cè)試發(fā)展的新方向，更多科學(xué)技術(shù)被運(yùn)用到評(píng)價(jià)中來(lái)。例如：人工智能在CBT中的應(yīng)用主要具體表現(xiàn)出在：利用自動(dòng)語(yǔ)音辨別技術(shù)進(jìn)行白話評(píng)分，以及利用統(tǒng)計(jì)、自然語(yǔ)言處理和人工智能實(shí)現(xiàn)寫作自動(dòng)評(píng)分.2.5促進(jìn)考生充分發(fā)揮真實(shí)水平創(chuàng)新題型的情境復(fù)雜，信息量大，思維容量大，呈現(xiàn)方式多樣，對(duì)考生的思維能力要求較高。考生要求在2~3分鐘內(nèi)完成一道試題，因而需要集中注意力，激發(fā)全部的潛能，綜合分析屏幕的多個(gè)信息才能完成解答。試題情境的創(chuàng)設(shè)力求對(duì)所有考生都是公平的，不出現(xiàn)試題功能性偏差。試題的情境和設(shè)問(wèn)具有一定的挑戰(zhàn)性，能夠讓不同層級(jí)的考生發(fā)揮本身的水平，能夠在更高層次層級(jí)的思維水平上區(qū)分考生。3組卷系統(tǒng)單個(gè)的試題命制完成后，需要組拼成一個(gè)集合，即一套試卷。傳統(tǒng)組卷方式是在考試開(kāi)場(chǎng)前就組成一套固定的試卷，所有考生使用的試卷是完全一樣的。而CBT中的線性動(dòng)態(tài)考試系統(tǒng)〔Linearon-the-flyTesting,LOFT〕則是在這里基礎(chǔ)上進(jìn)行了改良，與傳統(tǒng)的組卷方式不同，LOFT是在考前為每位考生臨時(shí)組拼一套試卷，進(jìn)而組拼成多套平行試卷用于考試，并且考試的內(nèi)容和統(tǒng)計(jì)指標(biāo)嚴(yán)格受控。3.1線性動(dòng)態(tài)考試系統(tǒng)〔LOFT〕介紹線性動(dòng)態(tài)考試系統(tǒng)以題庫(kù)為依托，在每位考生坐到計(jì)算機(jī)前，題庫(kù)就為其組拼了一套試卷。組拼試卷詳細(xì)的指標(biāo)主要包括下面內(nèi)容。〔1〕內(nèi)容構(gòu)造〔ContentStructure〕。首先將題庫(kù)中考試科目的考試內(nèi)容分為若分，分別存儲(chǔ)。在組卷之前確定試卷中每部分內(nèi)容試題的數(shù)量。每部分題目的數(shù)量=本部分內(nèi)容在大綱中的比例試卷題目數(shù)量。同時(shí)，根據(jù)考察重點(diǎn)內(nèi)容的題目在本部分內(nèi)容中的比例，決定考察重點(diǎn)題目數(shù)量。在組卷經(jīng)過(guò)中，注意避免敵對(duì)題的出現(xiàn)，所謂敵對(duì)題就是互相之間有提示影響的試題?！?〕試題曝光率〔ItemExposureRate〕。由于題庫(kù)中的試題是重復(fù)使用的，所以要控制每道試題的曝光率，使每道試題被抽到的概率大體一樣。避免統(tǒng)計(jì)數(shù)據(jù)較好的試題曝光率過(guò)高?！?〕試卷之間題目重疊率〔FormOverlappingRate〕。由于每個(gè)考生的試卷既不是完全一樣，也不是完全不同，每張?jiān)嚲碇g都可能有部分一樣的題目，必須控制試卷間一樣試題的數(shù)量，或者講一樣試題的比例。這個(gè)比例根據(jù)題庫(kù)中試題的數(shù)量、考生人數(shù)、考試次數(shù)、試題難度等因素綜合考慮確定?！?〕試卷難度區(qū)間〔FormOverallDifficultyRange〕。在考試中，為保證公平，要保證每張?jiān)嚲淼碾y度是等值的，所以每張?jiān)嚲淼恼w難度要控制在一個(gè)基本一樣的區(qū)間。因而每張?jiān)嚲黼y度的估計(jì)區(qū)間不能過(guò)大，以便使不同試卷等值?！?〕信度〔RaschReliability〕。為保證考試的穩(wěn)定性和可靠性，也要控制試卷的信度區(qū)間，使考生的成績(jī)穩(wěn)定、可靠。3.2線性動(dòng)態(tài)考試系統(tǒng)的基礎(chǔ)LOFT的設(shè)計(jì)和使用是以題庫(kù)為基礎(chǔ)的，為了保證考生的成績(jī)等值、可信，要采取多項(xiàng)措施，一是全面規(guī)劃題庫(kù)中試題的數(shù)量，二是施行共同題等值，三是進(jìn)行大規(guī)模的試測(cè)，分析考試試測(cè)數(shù)據(jù)，使每個(gè)試題都有一整套數(shù)據(jù)指標(biāo)。這樣就使考生能力水平在每次考試間具有可比性，考試數(shù)據(jù)年度間具有可比性。另外LOFT更適用于標(biāo)準(zhǔn)參照測(cè)驗(yàn)，由于標(biāo)準(zhǔn)參照測(cè)驗(yàn)主要測(cè)試考生的知識(shí)、技能和表現(xiàn)，一般不進(jìn)行考生個(gè)人之間的比擬，考生通過(guò)與否是關(guān)鍵，因而能夠?qū)嵭姓嗟碾y度分布，在標(biāo)準(zhǔn)附近多設(shè)計(jì)試題，以測(cè)試考生能否到達(dá)了規(guī)定的標(biāo)準(zhǔn)。3.3LOFT特點(diǎn)分析線性動(dòng)態(tài)考試系統(tǒng)和固定試卷相比有三個(gè)優(yōu)點(diǎn)：一是提高考試安全性，由于每個(gè)考生使用的試卷中的題目不完全一樣，降低由于考生考試后相互對(duì)題而產(chǎn)生的潛在漏題風(fēng)險(xiǎn)。二是減少由于試題僅僅使用一次，所以命制大量試題而增加的研發(fā)的費(fèi)用。三是提高題庫(kù)試題的利用率。4命題管理CBT不僅改變了試題的呈現(xiàn)形式，而且對(duì)命題管理也帶來(lái)了宏大的變化，十分是對(duì)基于題庫(kù)命題的考試項(xiàng)目。利用題庫(kù)管理系統(tǒng)，能夠?qū)⒔槿朊}的人員分成幾類，例如項(xiàng)目管理者、試題編寫者、審題專家等。項(xiàng)目的管理者在題庫(kù)建立伊始就要規(guī)劃和設(shè)計(jì)好考試項(xiàng)目的管理流程，進(jìn)而設(shè)定不同的用戶。借助計(jì)算機(jī)的功能，項(xiàng)目管理者能夠增減用戶、限定不同用戶的權(quán)限、記錄用戶的登錄記錄等。這些不同用戶之間的權(quán)限有所不同，例如，審題專家有權(quán)限看到已經(jīng)編寫完成的試題，而無(wú)法看到已經(jīng)進(jìn)入題庫(kù)中的試題?；陬}庫(kù)命題管理后，項(xiàng)目管理者能夠不用再把試題編寫者聚集到一起進(jìn)行面對(duì)面的討論，而是能夠借助計(jì)算機(jī)和互聯(lián)網(wǎng)實(shí)現(xiàn)遠(yuǎn)程管理。項(xiàng)目管理者利用題庫(kù)軟件的功能，甚至能夠回溯試題編寫者的命題經(jīng)過(guò)，這樣能更好地從命題的立意、材料的選取、方式方法的使用等多個(gè)角度來(lái)審定和處理試題。試題編寫者可以以根據(jù)自個(gè)的時(shí)間來(lái)布置工作，當(dāng)試題編寫者登錄到題庫(kù)系統(tǒng)后，他能夠明確知道自個(gè)所需要編寫的試題內(nèi)容、題型、數(shù)量、難易度等要求。項(xiàng)目管理者能隨時(shí)從命題藍(lán)圖中把握試題編寫進(jìn)度〔見(jiàn)表1〕。當(dāng)試題編寫者完成試題編寫后，項(xiàng)目管理者能夠把這些試題發(fā)送給其他的試題編寫者進(jìn)行審校，或者是發(fā)給審題專家進(jìn)行裁決。這些反應(yīng)意見(jiàn)都能夠通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程傳輸，并最終具體表現(xiàn)出在題庫(kù)管理系統(tǒng)中〔見(jiàn)表2〕。5考慮與啟示〔1〕計(jì)算機(jī)化考試不但是試題呈現(xiàn)方式的變革，而且是試題情境設(shè)計(jì)、組卷和統(tǒng)計(jì)方式的變革，命題人員要勇于面對(duì)挑戰(zhàn)，開(kāi)拓思路，積極研究CBT的特點(diǎn)，擅長(zhǎng)應(yīng)用計(jì)算機(jī)技術(shù)，設(shè)計(jì)適應(yīng)CBT的試題。能夠選擇一些科目或一些科目的部分試題實(shí)行CBT,總結(jié)經(jīng)歷體驗(yàn)，逐步推廣。〔2〕應(yīng)用技術(shù)手段是為了更好地實(shí)現(xiàn)考試目的，要恰如其分地使用技術(shù)手段，不能機(jī)械地為使用而使用，要充分發(fā)揮其獨(dú)特的作用，為實(shí)現(xiàn)考試目的服務(wù)。在試題情境的開(kāi)發(fā)中，應(yīng)合理使用多媒體技術(shù)，要根據(jù)測(cè)量目的，挑選最合適計(jì)算機(jī)呈現(xiàn)的、合適作答的情境和呈現(xiàn)形式，而不能本末倒置，由于濫用多媒體技術(shù)而影響了考試目的的實(shí)現(xiàn)?！?〕LOFT組卷系統(tǒng)既不同于傳統(tǒng)的固定試卷，也不同于計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)，而是根據(jù)考試需要開(kāi)發(fā)的組卷系統(tǒng)。這就啟示我們，在題庫(kù)的建設(shè)經(jīng)過(guò)中要本著實(shí)事求是的原則，不能教條主義、，以單題形式存儲(chǔ)的是題庫(kù)，以試卷形式存儲(chǔ)的也是題庫(kù)，只要能靈敏、快速、高效完成考試任務(wù)，全面、準(zhǔn)確、完好實(shí)現(xiàn)考試目的就是好的題庫(kù)?！?〕CBT改變了試題的命制方式，也同時(shí)改變了命題管理，怎樣利用新的技術(shù)、新的管理平臺(tái)完成命題工作是命題人員需要研究和實(shí)踐的任務(wù)。命題人員要總結(jié)出題庫(kù)管理的經(jīng)歷體驗(yàn)和特點(diǎn)，結(jié)合不同的科目構(gòu)成具有學(xué)科特點(diǎn)的管理流程和經(jīng)歷體驗(yàn)。以下為參考文獻(xiàn)[1]Bennett,R.E.Inexorableandevitable:Thecontinuingstoryoftechnologyandassessment[J].JournalofTechnolo