計算機自適應(yīng)測驗中沉思-沖動型認(rèn)知風(fēng)格、能力水平、試題難度與試題作答時間的關(guān)系分析

1、    計算機自適應(yīng)測驗中沉思沖動型認(rèn)知風(fēng)格、能力水平、試題難度與試題作答時間的關(guān)系分析    摘要：伴隨著教育測量與評價理論的發(fā)展，試題作答時間已被逐步納入被試能力水平的計算模型。因此，在計算機自適應(yīng)測驗中，試題作答時間的影響因素及其關(guān)系是否會隨正答概率的變化而變化，受到了研究者的持續(xù)關(guān)注。文章旨在探討在不同正答概率條件下，自適應(yīng)性測驗中被試的沉思沖動型認(rèn)知風(fēng)格、能力水平、試題難度與試題作答時間之間的關(guān)系。通過多組分析模型，文章發(fā)現(xiàn)測驗環(huán)境由難變易時，個體差異與試題特征對試題作答時間的總效應(yīng)顯著減少，這有利于提高測驗結(jié)果的精確性和有效性，并改善測驗的公

2、平性。關(guān)鍵詞：計算機自適應(yīng)測驗，認(rèn)知風(fēng)格，能力水平，試題難度，試題作答時間基金項目：本文為全國教育科學(xué)“十三五”規(guī)劃課題“計算機自適應(yīng)測驗中認(rèn)知風(fēng)格對試題應(yīng)答時間的影響機制”（項目編號：bba170069）的階段性研究成果。隨著現(xiàn)代測量理論和計算機技術(shù)的發(fā)展，計算機自適應(yīng)測驗（computerized adaptive testing，cat）因能為被試提供與其能力相匹配的試題，并能在最大程度上反映出被試真實的能力水平，受到教育測量與評價領(lǐng)域內(nèi)研究者的廣泛關(guān)注。一般情況下，cat使用最大信息量法進行選題。在單參數(shù)或雙參數(shù)模型下，被試的正答概率（p）是0.5，然而，häusler等1發(fā)

3、現(xiàn)，在cat中，施測較容易的試題（如p=0.7）能夠在提高被試考試動機的同時，并不損害測驗的信度和效度。與紙筆測驗不同的是，cat是一種基于計算機的測驗，它不僅可以記錄試題作答結(jié)果，還可以記錄試題作答時間。伴隨著教育測量與評價理論的發(fā)展，試題作答時間已被逐步納入被試能力水平的計算模型，因而與cat中試題作答時間相關(guān)的因素以及這些因素之間的關(guān)系是否會隨正答概率的變化而變化，受到了研究者的持續(xù)關(guān)注。以往研究發(fā)現(xiàn)，試題作答時間與被試的能力水平和試題難度有關(guān)2，不同被試間試題作答時間的差異可通過認(rèn)知風(fēng)格來解釋3。因而，本研究將探討不同正答概率下認(rèn)知風(fēng)格、能力水平和試題難度對cat試題作答時間的影響，期

4、待所得研究結(jié)果可為提高測驗結(jié)果的精確性和公平性提供指導(dǎo)。一研究綜述1認(rèn)知風(fēng)格對能力水平和試題作答時間的影響認(rèn)知風(fēng)格具體表現(xiàn)在個體對外界信息刺激的感知、注意、思維、記憶和解決問題過程中所偏愛、習(xí)慣化的態(tài)度和方式。其中，最常見的一種認(rèn)知風(fēng)格類型是沉思沖動型認(rèn)知風(fēng)格kagan等4將此風(fēng)格定義為個體做決定時在應(yīng)答速度和準(zhǔn)確性上存在的差異：沉思型個體傾向于認(rèn)真思考，用充足的時間審視問題、分析問題、尋找解決方法、確定最佳方案；而沖動型個體傾向于快速給出一個可能的答案。sulisawati等5發(fā)現(xiàn)，在學(xué)習(xí)和記憶的所有評測指標(biāo)上，沖動型個體明顯少于沉思型個體。2能力水平對試題作答時間的影響能力水平與試題作答時

5、間的關(guān)系在不同的實證研究結(jié)論中并不一致。如sheppard等6總結(jié)了19552005年的172項研究結(jié)果，發(fā)現(xiàn)能力水平與試題作答時間的相關(guān)性趨于中等水平。而naumann等7發(fā)現(xiàn)，這一關(guān)系在不同的測驗領(lǐng)域中是不同的，在較易的任務(wù)（如閱讀或語言任務(wù)）中，能力水平與作答時間負(fù)相關(guān)；而在較難的任務(wù)（如復(fù)雜推理或問題解決）中，兩者正相關(guān)7。3試題難度對試題作答時間的影響在以往的大多數(shù)研究中，試題難度與試題作答時間的關(guān)系是一致的。已有研究傾向于認(rèn)為，在不同的認(rèn)知領(lǐng)域，試題難度與試題作答時間均呈正相關(guān)關(guān)系8，如閱讀理解、批判性推理、句子糾正、數(shù)據(jù)推理和問題解決等。4研究假設(shè)與模型本研究通過對被試認(rèn)知風(fēng)格、

6、能力水平、試題難度和試題作答時間之間關(guān)系的分析，認(rèn)為在cat中無論是p=0.5還是p=0.7，均可提出以下假設(shè)：h1：沉思沖動型認(rèn)知風(fēng)格對被試的能力水平有顯著影響；h2：沉思沖動型認(rèn)知風(fēng)格對試題作答時間有顯著影響；h3：被試的能力水平對試題作答時間有顯著影響；h4：試題難度對試題作答時間有顯著影響。基于上述假設(shè)，本研究構(gòu)建了沉思沖動型認(rèn)知風(fēng)格、能力水平、試題難度和試題作答時間的關(guān)系模型，如圖l所示。圖1沉思沖動型認(rèn)知風(fēng)格、能力水平、試題難度和試題作答時間的關(guān)系模型二研究方法1實驗對象與過程本研究選取某師范大學(xué)選修“教育科學(xué)研究方法”課程的308名三年級師范生參加認(rèn)知風(fēng)格測驗，作答結(jié)果顯示：有1

7、22名沉思型被試、114名沖動型被試、34名快速準(zhǔn)確型被試、38名緩慢非準(zhǔn)確型被試，其中的122名沉思型被試、114名沖動型被試被選擇參加接下來的實驗。236名被試接受內(nèi)含兩個步驟的cat培訓(xùn)，每個步驟歷時45分鐘：培訓(xùn)者首先為被試播放一段持續(xù)15分鐘的、有關(guān)cat基本知識介紹的視頻，然后培訓(xùn)者針對視頻中的關(guān)鍵問題進行細(xì)致講解。例如，cat通常從一道中等難度的試題開始，通過動態(tài)選題策略為每一名被試提供與其能力相匹配的試題。兩天后，進入步驟2的培訓(xùn)。培訓(xùn)者為被試講解在cat中應(yīng)該注意的問題，如必須在做完當(dāng)前試題后才能跳轉(zhuǎn)至下一題試題、不能回顧并修改已做過的試題。20分鐘后，被試可使用培訓(xùn)者提供的

8、cat系統(tǒng)進行實際操作。cat培訓(xùn)之后，4名被試因時間沖突，主動退出最后的測驗，共計232名被試（含75名男性，157名女性）分成兩組參加了測驗，分組的具體情況如下：p=0.5的cat中有60名沉思型被試和57名沖動型被試（共117名被試）；p=0.7的cat中有60名沉思型被試和55名沖動型被試（共115名被試）。測驗在一個小型計算機實驗室進行，為了減少被試之間的相互干擾，每次只有4名被試進入實驗室；測驗的時間限制是50分鐘，大部分被試在2035分鐘內(nèi)完成了測驗，而最快的被試僅用了11分鐘、最慢的被試卻用了45分鐘。cat系統(tǒng)會估計出被試的能力值，并記錄被試的平均試題難度與平均作答時間。初步

9、統(tǒng)計結(jié)果顯示，試題的平均作答時間呈正偏態(tài)分布，因此需要進行對數(shù)變換，以確保其呈近似正態(tài)分布。2測量工具的開發(fā)（1）沉思沖動型認(rèn)知風(fēng)格cairns等9開發(fā)了適用于721歲年齡段兒童和青少年的“匹配相似圖形測驗（mfft-20）”。在此基礎(chǔ)上，本研究使用計算機版mfft-20測量被試的沉思沖動型認(rèn)知風(fēng)格，量表中包含20道試題，每道試題有一張標(biāo)準(zhǔn)圖和8張相似的選項圖，要求被試在8張選項圖中選擇一張與標(biāo)準(zhǔn)圖完全一致的圖片。如果被試選擇錯誤，那么測驗界面的邊界就會閃爍3次，彈出提示框，并要求被試?yán)^續(xù)選擇。只有被試選擇正確，系統(tǒng)才會跳轉(zhuǎn)到下一試題。（2）cat系統(tǒng)本研究使用的“教育科學(xué)研究方法”cat系統(tǒng)

10、中的題庫包括211道符合單參logistic模型的試題，難度參數(shù)范圍是-2.892.65，所有的試題都是文本形式，沒有圖像和表格。為了能提供近似的信息量，p=0.5的cat中包含30道試題，難度參數(shù)與當(dāng)前能力估計值最接近的試題被選為下一道；p=0.7的cat中包含35道試題，難度參數(shù)與當(dāng)前能力估計值減ln（7/3）最接近的試題被選為下一道。另外，當(dāng)p=0.5時，試題平均字符數(shù)為90.11，施測于沉思型、和沖動型被試的試題平均字符數(shù)分別為89.39和、90.87；當(dāng)p=0.7時，試題平均字符數(shù)為92.20，施測于沉思型、和沖動型被試的試題平均字符數(shù)分別為92.13和、92.28。因此，本研究中可

11、忽略試題長度對測試結(jié)果的影響。（3）統(tǒng)計分析本研究采用amos 24.0軟件，分兩個步驟對圖1所示的關(guān)系模型進行多組路徑分析：使用單組路徑分析建立基線模型，即分別利用總樣本、p=0.5和p=0.7的樣本，獲得關(guān)系模型中的路徑系數(shù)；進行多組路徑分析，即比較兩組在相同約束條件下的基線模型，不變性檢驗是通過比較基線模型和約束模型之間差異的x2值實現(xiàn)的。三研究結(jié)果1描述性統(tǒng)計分析描述性統(tǒng)計分析的結(jié)果如表1所示，可以看出：無論是p=0.5還是p=0.7，沉思沖動型認(rèn)知風(fēng)格、能力水平、平均試題難度、平均試題作答時間之間均存在顯著正相關(guān)關(guān)系，說明可以進行下一步模型分析。表1描述性統(tǒng)計分析的結(jié)果（n1=117

12、，n2=115）正答概率研究變量平均值標(biāo)準(zhǔn)差認(rèn)知風(fēng)格能力水平平均試題難度log（平均作答時間）p=0.5認(rèn)知風(fēng)格0.510.50-   能力水平0.600.450.36*-  平均試題難度0.770.360.34*0.72*- log（平均作答時間）3.700.430.44*0.61*0.54*-p=0.7認(rèn)知風(fēng)格0.520.50-   能力水平0.550.400.30*-  平均試題難度0.450.180.26*0.56*- log（平均作答時間）3.710.400.40*

13、0.28*0.20*-注：n1是p=0.5時被試的數(shù)量，n2是p=0.7時被試的數(shù)量；沉思沖動型認(rèn)知風(fēng)格是啞變量，沉思型=1，沖動型=0，平均值是沉思型被試所占比例；試題作答時間的單位是秒；*p<0.05，*p<0.01，*p<0.001。2單組分析模型利用總樣本、p=0.5和p=0.7樣本的作答數(shù)據(jù)分別與圖1中的假設(shè)模型進行擬合，結(jié)果如表2所示。其中，x2/df<2、tli>0.9、cfi>0.9、rmsea<0.08，說明模型與數(shù)據(jù)擬合良好。圖2是總樣本與模型擬合的標(biāo)準(zhǔn)化路徑系數(shù)，與假設(shè)基本一致，大多數(shù)參數(shù)估計具有統(tǒng)計學(xué)意義。其中，沉思沖動型認(rèn)知風(fēng)

14、格對能力水平和試題作答時間有顯著影響，能力水平對試題作答時間有顯著影響，試題難度對試題作答時間無顯著影響，這個基線模型將被用于多組分析。表2單組分析模型的擬合指數(shù)modelx2dfx2/dfrmseatlicfim01.34011.3400.0380.9900.998m11.71211.7120.0780.9740.996m21.55211.5520.0700.9550.993注：m0是總樣本（n=232），m1是p=0.5的樣本（n=117），m2是p=0.7的樣本（n=115）。圖2利用總樣本（m0）估計模型的路徑系數(shù)（虛線代表在0.05水平上不顯著）3多組分析模型（1）跨組不變性檢驗得到

15、基線模型后，本研究通過設(shè)置約束條件檢驗p=0.5和p=0.7之間是否存在不變性。無約束模型與形態(tài)等同模型（即模型中的因果路徑在兩組被試間完全相同）的擬合指數(shù)如表3所示。結(jié)果表明，無約束模型和形態(tài)等同模型的差異顯著（x2（5）=30.684，p<0.001）；形態(tài)等同模型的rmsea>0.1，tli和cfi均小于0.9，說明模型與數(shù)據(jù)擬合不好，也就是說不同正答概率的cat中認(rèn)知風(fēng)格、能力水平、試題難度和試題作答時間之間的關(guān)系無法用相同形態(tài)來建模。表3跨組不變性的擬合指數(shù)（n=232，n1=117，n2=115）模型x2dfptlicfirmsea無約束模型3.26420.1960.9

16、680.9950.052形態(tài)等同模型33.94870.000*0.8050.8860.129注：n是總樣本，n1是p=0.5的樣本，n2是p=0.7的樣本。（2）多組模型中的直接和間接影響p=0.5和p=0.7時無約束模型的標(biāo)準(zhǔn)化路徑系數(shù)分別如圖3、圖4所示?？梢钥闯?，兩組之間存在部分統(tǒng)計意義上相同的效應(yīng)。例如，從沉思沖動型認(rèn)知風(fēng)格到能力水平、試題作答時間的路徑系數(shù)都是顯著的，從能力水平到試題難度的路徑系數(shù)都在0.001水平上顯著。這一結(jié)果符合cat的原理，即被試所做試題的難易程度是由被試作答表現(xiàn)決定的；從試題難度到試題作答時間的路徑系數(shù)都不顯著。然而，從能力水平到試題作答時間的路徑系數(shù)只在p

17、=0.5時顯著，即能力水平與試題作答時間的關(guān)系在兩組之間是不同的。圖3無約束模型的標(biāo)準(zhǔn)化路徑系數(shù)（p=0.5）圖4無約束模型的標(biāo)準(zhǔn)化路徑系數(shù)（p=0.7）不同正答概率下的間接效應(yīng)和總效應(yīng)如表4所示。當(dāng)p=0.5時，沉思沖動型認(rèn)知風(fēng)格通過能力水平、試題難度對試題作答時間的間接效應(yīng)不顯著（=0.046，p>0.05），通過能力水平對試題作答時間的間接效應(yīng)顯著（=0.143，p<0.01）；總的間接效應(yīng)顯著，能力水平通過試題難度對試題作答時間的間接效應(yīng)顯著。可見，當(dāng)p=0.5時，在認(rèn)知風(fēng)格對試題作答時間的影響中能力水平具有顯著中介作用，在能力水平對試題作答時間的影響中試題難度具有顯著中介

18、作用。而當(dāng)p=0.7時，沉思沖動型認(rèn)知風(fēng)格通過能力水平、試題難度對試題作答時間的間接效應(yīng)不顯著（=0.004，p>0.05），通過能力水平對試題作答時間的間接效應(yīng)不顯著（=.048，p>0.05）；總的間接效應(yīng)不顯著，能力水平通過試題難度對試題作答時間的間接效應(yīng)不顯著。表4不同正答概率下的間接效應(yīng)和總效應(yīng)路徑p=0.5p=0.7間接效應(yīng)總效應(yīng)間接效應(yīng)總效應(yīng)沉思-沖動型認(rèn)知風(fēng)格能力水平0.3600.303沉思-沖動型認(rèn)知風(fēng)格試題難度0.260*0.2600.171*0.171沉思-沖動型認(rèn)知風(fēng)格試題作答時間.046+.143*=.189*0.4230.004+0.048=0.0520

19、.397能力水平試題難度0.7210.564能力水平試題作答時間0.126*0.5220.0140.170試題難度試題作答時間0.1750.024注：“”代表兩者直接關(guān)聯(lián)，不存在間接效應(yīng)；*p<0.05，*p<0.01，*p<0.001。四研究結(jié)論與啟示1研究結(jié)論針對提出的h1h4假設(shè)，本研究通過多組分析模型進行分析，發(fā)現(xiàn)在cat中，無論p=0.5還是p=0.7，都能得出以下結(jié)論：沉思沖動型認(rèn)知風(fēng)格對被試的能力水平有顯著影響，這可以通過沉思沖動型認(rèn)知風(fēng)格的概念和理論來解釋，即沉思型被試在面對問題時習(xí)慣謹(jǐn)慎、全面地權(quán)衡各種可能的解決辦法，然后從中選取最優(yōu)方案；而沖動型被試在遇到

20、問題時總想盡快給出答案，而事先不會對問題進行全面徹底的思考，這使得沉思型被試在閱讀、推理類比、元記憶方面的能力明顯優(yōu)于沖動型被試。沉思沖動型認(rèn)知風(fēng)格對被試的試題作答時間有顯著的直接影響；當(dāng)p=0.5時，沉思沖動型認(rèn)知風(fēng)格對試題作答時間有顯著的間接效應(yīng)，但當(dāng)p=0.7時，沉思沖動型認(rèn)知風(fēng)格對試題作答時間無顯著的間接效應(yīng)；當(dāng)p=0.5時，沉思沖動型認(rèn)知風(fēng)格對試題作答時間的總效應(yīng)大于p=0.7，這與沉思沖動型認(rèn)知風(fēng)格理論是一致的，即當(dāng)需要解決的問題難度降低時，沉思沖動型認(rèn)知風(fēng)格間的差異會逐漸減小。試題難度對試題作答時間的影響均不顯著，這與以往的研究結(jié)論并不一致其原因可能在于，一是以往的研究往往通過計

21、算相關(guān)系數(shù)來分析試題難度與試題作答時間的關(guān)系，但本研究采用多組分析模型，同時分析了沉思沖動型認(rèn)知風(fēng)格、能力水平、試題難度、試題作答時間之間的關(guān)系，消除了誤差干擾，得到了更具信服力的結(jié)論；二是與固定序列的測驗不同，cat提供了適合被試能力的試題，這在一定程度上減少了試題難度對試題作答時間的影響。此外，被試能力水平對試題作答時間的影響在p=0.5和p=0.7上存在不同：當(dāng)p=0.5時，被試能力水平對試題作答時間有顯著的影響，這與前期的研究結(jié)論一致，即在復(fù)雜問題解決的任務(wù)中，高能力被試要比低能力被試花費更多的作答時間；當(dāng)p=0.7時，被試能力水平對試題作答時間沒有顯著的影響，原因可能在于簡單試題考查

22、的是基礎(chǔ)知識，高能力被試回答這些問題不需要進行深入思考，作答時間會縮短，而低能力被試遇到簡單試題時會減少猜測行為，從而投入更多的作答時間去解決問題。2研究啟示在教育測量與評價領(lǐng)域，越來越多的研究成果表明被試的測驗結(jié)果與試題作答時間有關(guān)，故試題作答時間應(yīng)納入能力值估計模型之中。而本研究發(fā)現(xiàn)，當(dāng)測驗環(huán)境由難（p=0.5）變易（p=0.7）時，個體差異與試題特征對試題作答時間的總效應(yīng)顯著減少，故有利于提高測驗結(jié)果的精確性。由此可知，可以通過減小測驗難度，來弱化個體差異與試題特征對被試學(xué)習(xí)風(fēng)格判斷結(jié)果的影響，從而提升測驗的公平性。以往探討個體間差異時，研究者往往采用固定序列的線性測驗，導(dǎo)致被試面臨的是

23、同樣的問題任務(wù)78。而本研究利用cat，為被試提供與其能力水平相匹配的問題任務(wù)，無疑會使研究結(jié)果更具科學(xué)性和說服力，得到的研究結(jié)論也可以在一定程度上豐富、完善沉思沖動型認(rèn)知風(fēng)格理論。此外，部分研究者提出被試的作答行為可以根據(jù)試題作答時間分為“快速猜測行為”和“解題行為”，而本研究的研究結(jié)論揭示出無論測驗難易，沉思沖動型認(rèn)知風(fēng)格對試題作答時間都有顯著影響。因此在未來的研究中，如果能將沉思沖動型認(rèn)知風(fēng)格和試題作答時間同時納入作答行為的判斷標(biāo)準(zhǔn)，那么判斷結(jié)果將會更加精確、有效。參考文獻：1häusler j, sommer m. the effect of success probabil

24、ity on test economy and self-confidence in computerized adaptive testsj. psychology science quarterly, 2008, （1）: 75-87.2borter n, troche s j, rammsayer t h. speed-and accuracy-related measures of an intelligence test are differentially predicted by the speed and accuracy measures of a cognitive tas

25、kj. intelligence, 2018, 71: 1-7.3yan j h. cognitive styles affect choice response time and accuracyj. personality and individual differences, 2010, （6）: 747-751.4kagan j, rosman b l, day d, et al. information processing in the child: significance of analytic and reflective attitudesj. psychological monographs: general and applied, 1964, （1）: 1-37.5sulisawati d n, lutfiyah l, murtinasari f. difference of mistakes reflective-impulsive students in mathematical problem solving