智能導(dǎo)師系統(tǒng)對學(xué)業(yè)成就的影響研究：量化元分析的視角_4

1、    智能導(dǎo)師系統(tǒng)對學(xué)業(yè)成就的影響研究量化元分析的視角    摘要：智能導(dǎo)師系統(tǒng)是運用人工智能技術(shù)模擬人類教師輔導(dǎo)行為，為學(xué)習(xí)過程提供自適應(yīng)的交互反饋，是信息技術(shù)促進個性化學(xué)習(xí)的重要標(biāo)志性產(chǎn)品。然而，在智能導(dǎo)師系統(tǒng)能否改進學(xué)業(yè)成就的問題上仍然存在著較大爭議。為此，研究主要采用量化元分析方法，針對1990年以來國際上關(guān)于智能導(dǎo)師系統(tǒng)提升學(xué)業(yè)成就的58篇實證研究進行了綜合分析。研究發(fā)現(xiàn)：智能導(dǎo)師系統(tǒng)對學(xué)業(yè)成就的平均效應(yīng)量為0.492，具有中等的正向提升作用，能將第50個百分位的學(xué)生成就提高至約第68個百分位；在不同的學(xué)生特征、發(fā)表特征與研究設(shè)計特征中都發(fā)現(xiàn)

2、了智能導(dǎo)師系統(tǒng)的正向促進作用，其中測試類型、持續(xù)時間與樣本量對平均效應(yīng)量具有顯著的調(diào)節(jié)作用，本地測試的平均效應(yīng)量大于標(biāo)準(zhǔn)化考試，實驗處理時間越長的平均效應(yīng)量越大，而樣本量超過200后，平均效應(yīng)量顯著下降。建議國內(nèi)教育技術(shù)領(lǐng)域擴大實證研究規(guī)模，建立規(guī)范、嚴(yán)謹(jǐn)?shù)母深A(yù)規(guī)范與實踐指南，促進學(xué)科領(lǐng)域的健康發(fā)展。關(guān)鍵詞：智能導(dǎo)師系統(tǒng)，元分析，學(xué)業(yè)成就，個性化學(xué)習(xí)，計算機輔助教學(xué)，效應(yīng)量，人工智能，認(rèn)知輔導(dǎo)系統(tǒng)一、引言從孔子私塾式的一對一啟發(fā)式教學(xué)到現(xiàn)代班級制度的一對多授課，從大眾媒體的單向知識傳播到人工智能的人機對話交互，人類輔導(dǎo)學(xué)習(xí)的歷史可謂源遠(yuǎn)流長，而基于機器的輔導(dǎo)是學(xué)業(yè)輔導(dǎo)歷史中較晚出現(xiàn)的一種新形式

3、。雖然利用機器輔助或代替人類個體開展教學(xué)活動的實踐探索遠(yuǎn)早于數(shù)字電子計算機與人工智能的發(fā)明（張志禎，等，2019），但正是電子計算機的出現(xiàn)才讓機器輔導(dǎo)的大規(guī)模探索與應(yīng)用成為現(xiàn)實。20世紀(jì)50年代開始出現(xiàn)的教學(xué)機器與程序化教學(xué)系統(tǒng)，基于行為主義學(xué)習(xí)理論，以片段分塊、順序分支的方式呈現(xiàn)事先準(zhǔn)備好的固定教學(xué)內(nèi)容，提供適度的交互反饋并引出后續(xù)學(xué)習(xí)內(nèi)容。這種系統(tǒng)被統(tǒng)稱為計算機輔助教學(xué)系統(tǒng)（computer-aided instruction，cai），具有機械性、程序化、預(yù)設(shè)性與封閉性特征。20世紀(jì)70年代出現(xiàn)了一種新型的機器輔導(dǎo)系統(tǒng)，它扎根于人工智能理論與認(rèn)知理論，從專家知識庫中創(chuàng)建自動化的提示與反饋

4、，依據(jù)學(xué)生知識水平與風(fēng)格提供自適應(yīng)性的精細(xì)化腳手架，被統(tǒng)稱為“智能導(dǎo)師系統(tǒng)”（intelligent tutoring systems，itss）。智能導(dǎo)師系統(tǒng)與純粹的cai有明顯區(qū)別，智能導(dǎo)師系統(tǒng)增強了學(xué)習(xí)環(huán)境的自適應(yīng)能力，具備一定的情境感知、自然語言理解、推理進化、智能適應(yīng)和自我學(xué)習(xí)的能力。智能導(dǎo)師系統(tǒng)是按照人類輔導(dǎo)行為的理念來開發(fā)的（woolf，2009），以幫助具有不同基礎(chǔ)、風(fēng)格與背景的學(xué)生實現(xiàn)個性化學(xué)習(xí)。特別是隨著人工智能技術(shù)的不斷發(fā)展，智能導(dǎo)師系統(tǒng)能有效追蹤學(xué)生的知識水平、學(xué)習(xí)策略、情感狀態(tài)、學(xué)習(xí)風(fēng)格并給予自適應(yīng)的智能輔導(dǎo)等，這可能是人類輔導(dǎo)人員都無法做到的精細(xì)化水平，但人工智能實

5、現(xiàn)教學(xué)自動化依然會存在限度（張志禎，等，2019）?，F(xiàn)階段，智能導(dǎo)師系統(tǒng)能否提升學(xué)習(xí)成效？是否比傳統(tǒng)課堂教學(xué)更有效？哪些因素會影響智能導(dǎo)師系統(tǒng)提升學(xué)業(yè)成就？這些是教育技術(shù)領(lǐng)域需要回答的重要問題。二、相關(guān)研究綜述范萊恩（vanlehn，2011）總結(jié)了不同輔導(dǎo)形式對于提升學(xué)業(yè)成就的影響效應(yīng)，認(rèn)為計算機輔助教學(xué)系統(tǒng)比常規(guī)教學(xué)提高約0.3個標(biāo)準(zhǔn)差，智能導(dǎo)師系統(tǒng)能提高約1個標(biāo)準(zhǔn)差，而人類輔導(dǎo)被認(rèn)為是最有效的，能提高2個標(biāo)準(zhǔn)差，即將第50個百分位的學(xué)生提升至第98個百分位。這是范萊恩根據(jù)前幾十年的相關(guān)研究所做出的推斷，結(jié)果是否真實呢？關(guān)于計算機輔助教學(xué)系統(tǒng)有效性的觀點還是比較可信的。從元分析的整體視角考

6、察，早期計算機輔助教學(xué)系統(tǒng)的影響效應(yīng)量處在0.370.42之間（burns，1981；hartley，1978）。庫利克等人（kulik，et al.，1991；kulik，1994，2002）持續(xù)開展了多次跟蹤性分析，發(fā)現(xiàn)cai能帶來0.300.38個標(biāo)準(zhǔn)差的提升。巴伊拉克塔爾（bayraktar，2001）也發(fā)現(xiàn)cai能為中學(xué)生與大學(xué)生的科學(xué)教育成績提高0.273個標(biāo)準(zhǔn)差。最近，索薩等人（sosa，et al.，2011）發(fā)現(xiàn)cai能為大學(xué)生帶來0.33個標(biāo)準(zhǔn)差的成績提升。塔米姆等人（tamim，et al.，2011）針對25項關(guān)于教學(xué)技術(shù)與系統(tǒng)有效性的元分析進行了二次綜述，發(fā)現(xiàn)14個c

7、ai的平均效應(yīng)量是0.26個標(biāo)準(zhǔn)差。然而，cai在特定領(lǐng)域的影響差異較大，如在早期閱讀（blok，et al.，2002）中存在偏低的效應(yīng)量（0.19），而在特殊教育領(lǐng)域（kroesbergen，et al.，2003）又具有偏高的效應(yīng)量（0.75）。但從整體上考察，提高約1/3個標(biāo)準(zhǔn)差是cai影響效應(yīng)較為一致的結(jié)論。關(guān)于人類輔導(dǎo)的有效性難以找到一致的直接證據(jù)。人類輔導(dǎo)提高2個標(biāo)準(zhǔn)差的觀點來自于布魯姆的一篇頗具影響力的文章（bloom，1984），他提出了著名的“雙西格瑪（two-sigma）”問題，認(rèn)為每個學(xué)生通過一對一的個性化輔導(dǎo)都能取得2個標(biāo)準(zhǔn)差的成績提升。他在實驗中發(fā)現(xiàn)，在無人輔導(dǎo)的情

8、況下，掌握學(xué)習(xí)小組比常規(guī)教學(xué)小組提高了1.2個標(biāo)準(zhǔn)差，而有教師輔導(dǎo)的掌握學(xué)習(xí)小組又額外提高了0.8個標(biāo)準(zhǔn)差，共產(chǎn)生2個標(biāo)準(zhǔn)差的效應(yīng)。這種改進效應(yīng)是人類輔導(dǎo)與掌握學(xué)習(xí)策略混合干預(yù)的結(jié)果，并沒有單獨評估人類輔導(dǎo)的直接效應(yīng)。范萊恩（van-lehn，2011）發(fā)現(xiàn)了人類輔導(dǎo)的改進效應(yīng)量為0.79個標(biāo)準(zhǔn)差，明顯低于布魯姆的結(jié)論。此外，柯恩等人（cohen，et al.，1982）發(fā)現(xiàn)中小學(xué)同伴輔導(dǎo)僅能提高0.4個標(biāo)準(zhǔn)差，成人輔導(dǎo)能給小學(xué)生成績帶來0.3個標(biāo)準(zhǔn)差的提升（ritter，2009），劉珊珊與楊向東（2015）發(fā)現(xiàn)課外輔導(dǎo)對學(xué)業(yè)成績的效應(yīng)量僅為0.27，甚至李佳麗（2017）還發(fā)現(xiàn)一對一家教補

9、習(xí)對于小學(xué)生的成績有顯著的消極影響。這些研究結(jié)論與布魯姆得出的2個標(biāo)準(zhǔn)差的效果有巨大差異，有待更嚴(yán)謹(jǐn)?shù)暮铣煞治?。智能?dǎo)師系統(tǒng)從誕生起就被賦予實現(xiàn)個性化學(xué)習(xí)輔導(dǎo)的期望，然而對于學(xué)業(yè)成就提升的成效影響至今爭議很大。認(rèn)知輔導(dǎo)系統(tǒng)（cognitive tutor，ct）是美國k-12廣泛應(yīng)用的一款數(shù)學(xué)智能導(dǎo)師系統(tǒng)，安德森等人（anderson，et al.，1995）發(fā)現(xiàn)早期版本的ct能產(chǎn)生1個標(biāo)準(zhǔn)差的成績提升，但利特等人（ritter，et al.，2007）發(fā)現(xiàn)較新版本的ct只能提高0.38個標(biāo)準(zhǔn)差。按照美國教育部有效教育策略資料中心（what works clearinghouse，wwc，20

10、17）的標(biāo)準(zhǔn)，認(rèn)為能提高0.25個標(biāo)準(zhǔn)差就表示有實質(zhì)性的重要影響，因此，他們認(rèn)為ct具有實質(zhì)性的重要影響。近年來，通過元分析，范萊恩（vanlehn，2011）發(fā)現(xiàn)智能導(dǎo)師系統(tǒng)能平均提高0.76個標(biāo)準(zhǔn)差。庫里克與弗萊徹（kulik & fletcher，2016）分析了50項itss應(yīng)用于學(xué)業(yè)改進的獨立研究，發(fā)現(xiàn)能提高0.66個標(biāo)準(zhǔn)差?，?shù)热耍╩a，et al.，2014）針對73個獨立實證研究進行元分析，發(fā)現(xiàn)其平均效應(yīng)量是0.43個標(biāo)準(zhǔn)差，且產(chǎn)品類型、對照組類型、測試類型等因素的調(diào)節(jié)作用顯著。斯滕貝格·胡與庫珀（steenbergen-hu & cooper，201

11、4）發(fā)現(xiàn)itss能為大學(xué)生學(xué)業(yè)成績帶來0.37個標(biāo)準(zhǔn)差的提升。然而，美國教育部有效教育策略資料中心（wwc，2016）另一項綜合評估報告發(fā)現(xiàn)，ct的平均效應(yīng)量接近零。斯滕貝格·胡與庫珀（steenbergen-hu & cooper，2013）的另一項元分析發(fā)現(xiàn)，itss在k-12數(shù)學(xué)科目中只能提高0.05個標(biāo)準(zhǔn)差，也微不足道。itss是從cai發(fā)展而來的，能實現(xiàn)更智能化、個性化的學(xué)習(xí)輔導(dǎo)。根據(jù)cai能提高1/3個標(biāo)準(zhǔn)差的基本共識，itss與傳統(tǒng)教學(xué)比較，應(yīng)該還能額外增加效應(yīng)量。然而，目前針對itss的有效性評價卻是如此缺乏共識，令人吃驚。如今，人工智能正從1.0走向2.0（

12、潘云鶴，2018），人工智能在教育領(lǐng)域中的應(yīng)用不斷發(fā)展升級，作為典型的教育類人工智能產(chǎn)品，吸引了越來越多的社會關(guān)注，若itss在有效性這個重要問題上不能達成一個基本共識，不利于人工智能在教育領(lǐng)域的規(guī)?；瘧?yīng)用。因此，本研究采用量化元分析方法（quantitative meta-analysis）來試圖回應(yīng)這個重要問題。三、研究過程量化元分析（也稱“元分析”）是國際上廣泛使用的一種合成性實證研究方法，能針對一個主題的多項獨立實驗研究的結(jié)果進行再次合并分析，充分挖掘不同實驗特征對總體結(jié)果的影響程度，獲得更具普適性的研究結(jié)論。根據(jù)格拉斯等（glass，et al.，1981）關(guān)于元分析的研究，本研究包

13、括文獻準(zhǔn)備、特征編碼、效應(yīng)量計算與分析和結(jié)果討論四個階段。（一）文獻準(zhǔn)備1.文獻搜索廣泛搜集關(guān)于智能導(dǎo)師系統(tǒng)的實驗或準(zhǔn)實驗研究，一方面，通過國外權(quán)威文獻數(shù)據(jù)庫（eric，proquest dissertation and theses，sciencedirect，wiley，springerlink）與google學(xué)術(shù)引擎搜索候選文獻，檢索時用技術(shù)關(guān)鍵詞（如intelligent tutoring system、artificial tutor、pedagogical agents等）與學(xué)業(yè)關(guān)鍵詞（如learning gains、outcome、achievement、performance、

14、improvement、evaluate等）進行交叉檢索，限定時間為1990年1月1日至2018年11月30日），同時在cnki采用“智能導(dǎo)師系統(tǒng)”“智能輔導(dǎo)”“智能教學(xué)系統(tǒng)”等關(guān)鍵詞進行檢索。另一方面，通過相關(guān)研究的參考文獻進行回溯倒查（vanlehn，2011；steenbergen-hu & cooper，2013；kulik & fletcher，2016），對在學(xué)校應(yīng)用較為廣泛的itss產(chǎn)品進行專題搜索（如cognitive tutor、auto-tutor、wwc等）。最后，做初步數(shù)據(jù)處理，剔除軟件開發(fā)報告、滿意度調(diào)查、技術(shù)優(yōu)化研究等不相關(guān)文獻，最后總共產(chǎn)生了489

15、篇可供進一步分析的候選文獻。2.文獻篩選在粗略考察了小部分候選樣本之后，制定了一份文獻篩選標(biāo)準(zhǔn)，入選的候選文獻必須滿足這些條件：采用實驗或準(zhǔn)實驗設(shè)計，有對照組與實驗組，且匯報了兩組前測無顯著差異，單組實驗或未報告前測無顯著差異的不予納入。實驗組必須接受了智能導(dǎo)學(xué)系統(tǒng)的干預(yù)實踐。如今計算機輔助教學(xué)系統(tǒng)層出不窮，對于智能導(dǎo)師系統(tǒng)概念的準(zhǔn)確理解非常關(guān)鍵。cai與itss的主要區(qū)別在于：前者只提供固定的機械性交互反饋，而后者能在學(xué)習(xí)過程中提供顆粒更精細(xì)的自適應(yīng)反饋。同時，根據(jù)范萊恩（vanlehn，2006）提出的itss包含外循環(huán)（outer loop）和內(nèi)循環(huán)（inner loop）的反饋機制進行識別。對照組接受了相同內(nèi)容的常規(guī)教與學(xué)，但不能接受其他類型的計算機輔助教學(xué)或人類單獨輔導(dǎo)等。實驗組與對照組都測量了知識、技能等學(xué)業(yè)目標(biāo)，可以是卷面測試、現(xiàn)場技能評估、真實任務(wù)遷移等，但滿意度、情感目標(biāo)的測量結(jié)果不被接受。被試群體是具有正常需求的學(xué)習(xí)群體，剔除有身心障礙、學(xué)習(xí)障礙的相關(guān)研究，但知識與能力基礎(chǔ)有差異的相關(guān)研究是可接受的。文獻報告了必要的數(shù)據(jù)資料，可用于計算相應(yīng)的效應(yīng)量（effect size）。最后從候選文獻中遴選出58個符合標(biāo)準(zhǔn)的獨立研究，可供分析的效應(yīng)量達83個，其中部分獨立研究提供了多個效應(yīng)量，如表1所