網(wǎng)絡課程在線評價指標體系的設計與實現(xiàn)

1、    網(wǎng)絡課程在線評價指標體系的設計與實現(xiàn)    摘要：目前我國網(wǎng)絡課程的評價指標體系的可操作性不強，因而限制了其進一步的推廣和完善。針對這鑒國外在線課程評價標準的研制思路，結(jié)合國內(nèi)外學者的研究成果，在分析網(wǎng)絡課程特性的基礎上提出了新的網(wǎng)絡課程在線評價指標體系；運用層次分析法確定了各級指標的權(quán)重，通過驗證、檢測形成了包含4個維度、26個二級指標的在線評價指標體系。實驗結(jié)果表明，在線評價指標體系的權(quán)重評判的一致性程度理想，評價體系具有很強的操作性和開放性。關(guān)鍵詞：網(wǎng)絡課程，評價體系，設計，實現(xiàn)一、引言教育部提出了“實施現(xiàn)代遠程教育工程，形成開放式教育網(wǎng)絡

2、，構(gòu)建終身學習體系”1，“建立和完善繼續(xù)教育制度，適應終身學習和知識更新的需要。依托現(xiàn)代遠程教育網(wǎng)絡開設高質(zhì)量的網(wǎng)絡課程，實現(xiàn)跨越時空的教育資源共享”2等一系列有力舉措。這些政策極大地調(diào)動了遠程教育工作者建設網(wǎng)絡課程的積極性，掀起了我國網(wǎng)絡課程建設的高潮。2002年教育部信息化標準技術(shù)委員會發(fā)布了關(guān)于網(wǎng)絡課程評價的教育信息化技術(shù)標準網(wǎng)絡課程評價規(guī)范（標準草案征求意見稿），但這個規(guī)范在權(quán)重賦值等方面還不夠完善。一個科學的評價指標體系，其構(gòu)建一般應包括確定評價指標、確定指標權(quán)重、確定指標標準三方面的內(nèi)容。3以往的網(wǎng)絡課程評價大多是對學習者學習成果的評價，本研究的側(cè)重點主要針對教學內(nèi)容、學習資源和寓

3、于內(nèi)容之中的教學策略和學習策略的評價，從系統(tǒng)論的角度出發(fā)，對涉及學生、教師、學習資料、網(wǎng)絡教學支撐系統(tǒng)、學習支持與服務系統(tǒng)中的各個部分的關(guān)聯(lián)情況和綜合性能進行評價。4研究者通過對大量文獻資料的查閱與分析，總結(jié)國外網(wǎng)絡課程評價標準具有以下幾個特點：突出了交互的重要性。在網(wǎng)絡課程中，不僅師生之間在空間上是分離的，學習者之間也是分離的。重視對創(chuàng)設學習環(huán)境的情況的評價。網(wǎng)絡課程絕不是簡單地把黑板、講臺、教材、圖書館搬到網(wǎng)上。網(wǎng)絡雖然是虛擬的，但人們卻可以通過這種虛擬把實質(zhì)存在的內(nèi)容乃至關(guān)系映射出來。教學管理與支持的評價內(nèi)容占很大比重。我國的“全國信息技術(shù)標準化技術(shù)委員會教育技術(shù)分技術(shù)委員會”制定了一系

4、列與網(wǎng)絡教育密切相關(guān)的規(guī)范和標準，其中網(wǎng)絡課程評價規(guī)范被放在“教育管理”一類里，這說明評價具有監(jiān)督與管理的功能。技術(shù)方面的評價內(nèi)容比較少。國外標準與國內(nèi)構(gòu)建的評價標準明顯不同的一個特點就是在技術(shù)方面規(guī)定的評價內(nèi)容和權(quán)重比較少。這些標準主要的權(quán)重都集中在教學方面，重視網(wǎng)絡課程的可用性評價。標準實施的商業(yè)化。這是國外標準最突出的特點。標準制定出來了，如果不能得到廣泛使用，也就沒有什么價值。國外一般的做法是成立認證中心。e-learning courseware certification（數(shù)字學習課件認證）的制定者美國培訓與發(fā)展協(xié)會(astd)作為國際化的培訓協(xié)會，在網(wǎng)上建立了全套的網(wǎng)上認證遞單系

5、統(tǒng)，以“幫助用戶做購買決策，幫助廠家增強市場競爭力，全面提高e-learning課程質(zhì)量”為口號，接收所有人的申請，提供價值不菲的課程評估，每門課程的評估費用根據(jù)課程教學時間長短而定。因為網(wǎng)上課程評估需要專家的參與，并不能完全成為生產(chǎn)線操作，所以成本會很高。而且，這些指標是取得好的教學效果的必要條件，但不是充分條件，最好將其作為引導性的規(guī)范，而不是營利性的產(chǎn)品?？疾煲陨纤榻B的網(wǎng)絡課程評價研究，研究者發(fā)現(xiàn)，國外的大部分網(wǎng)絡課程評價方案關(guān)注的是學習環(huán)境或網(wǎng)絡學習平臺，并非對網(wǎng)絡課程本身的評價?！熬W(wǎng)絡課程”似乎是中國教育界特有的稱謂，在國外相關(guān)的文獻資料中我們只能看到類似的一些概念，如在線課程(o

6、nline course)、基于網(wǎng)絡的課程(web-based course)等。所以對于網(wǎng)絡課程本身來說，依舊缺乏標準或質(zhì)量認證體系。同時，不能直接奉行“拿來主義”，中國有自己的國情和網(wǎng)絡教育發(fā)展的特點，在參考國外資料的同時，應該進行本土化的改造工作，融入具有中國教育特色的內(nèi)容和先進的教育教學評價理論，使之更適合評價我們自己的網(wǎng)絡課程。目前除評價標準、指標體系的建立之外，評價實施的過程也存在一些問題：一是評價者單一，一般都是在教育部門進行統(tǒng)一評估時，參與者提交自己的課程，然后由組織者聘請遠程教育專家采用商定的統(tǒng)一指標體系進行評價。這樣的方式忽略了使用網(wǎng)絡課程的學習者和教師的使用感受和意見，而

7、課程的科學性也需要本學科的專家來鑒定，這種只采用遠程教育專家評價的方式顯然不夠全面和公正。二是評價方法主要采用量化評價法，缺少定性評價和分析。由于考慮到可操作性和客觀性，大多采用指標量表進行評價，以避免主觀隨意性，但是這種量表不能反映出指標體系之外的內(nèi)容，不能廣泛地收集意見和建議。如何協(xié)調(diào)好主觀和客觀的關(guān)系，明確定性分析和定量分析的比例，設計出既避免主觀隨意性又能收集廣泛意見的評價指標體系，是目前網(wǎng)絡課程評價工作的重點和難點。本研究的評價標準依據(jù)的是美國密歇根虛擬大學（michigan virtual university）制定的一套在線教學設計( online instruction des

8、ign)評價標準，以下簡稱mvu-oid標準。5該標準認為，在評價任何一門網(wǎng)絡課程以前，首先要確定這門網(wǎng)絡課程的開放程度如何，不同的開放程度將導致不同的課程呈現(xiàn)方式，因而也應有不同的評價方式。除了理念之外，這套標準最大的特點就是具有很強的可操作性和實用性，開發(fā)者把它做成excel電子數(shù)據(jù)表，簡便易用，評價者只需到相應的網(wǎng)址注冊即可免費獲得該評價工具。教學要素包含目標、解釋、例證、實踐、反饋和評估；強調(diào)績效對于學習過程的重要性；開發(fā)者把真實的學習看作可測量的而且必須被測量，所有在線教學活動應該能夠通過測試來發(fā)現(xiàn)它們是否有效。比如從“你是否喜歡這個課程”到“你在關(guān)于你是否學習了某些東西的評價方面得

9、了多少分”的改變。需要指出的是，mvu-oid標準中的教學設計與通常所說的教學設計有所不同。傳統(tǒng)意義上的教學設計一般是指教學需求分析、學習者分析、教學內(nèi)容分析、策略選擇、媒體選擇、評價工具制定、實行評價和修改等步驟和過程。但mvu-oid評價工具中的教學設計評價更多是從網(wǎng)絡課程在學生完成預期學習目標上的輔助和指導作用出發(fā)的，而且這些指標與課程的目標直接相關(guān)。6二、mvu-oid標準分析（一）維度和一級指標mvu-oid包含四個維度，即技術(shù)性(t)、可及性(a)、可用性(u)和教學設計(id)。7每個維度下又包含若干一級指標。技術(shù)性維度包含三個一級指標，分別是t1（技術(shù)要求的確定）、t2（學習者

10、技能的確定）、t3（技術(shù)的功能性）?？杉靶跃S度包含a1（基本內(nèi)容）、a2（表格和框架）、a3（媒體）三個一級指標?？捎眯跃S度包含五個一級指標，分別是u1（界面的一致性）、u2（學習者支持）、u3（導航的有效性和高效性）、u4（圖形和多媒體的功能）、u5（交流的整合）。教學設計維度包含十三個一級指標，分別是f（回憶事實）、e（回憶元素）、c1（回憶概念）、c2（辨認概念）、c3（應用概念）、k1（回憶任務）、k2（辨認任務）、k3（執(zhí)行任務）、p1（回憶原理）、p2（辨認原理）、p3（應用原理）、m（產(chǎn)生方法）、s（產(chǎn)生解決方案）。（二）二級指標mvu-oid中的24個一級指標又細分為107個二

11、級指標，幾乎考慮到了每個細節(jié)問題。由于篇幅有限，研究者以技術(shù)性維度為例，展示其設計的二級指標，如表1。二級指標的評分采用5點評分，5分最高，3分居中，1分最差。（三）關(guān)于權(quán)重mvu-oid根據(jù)各個一級指標在一門課程里發(fā)揮作用的重要性不同給出了不同的權(quán)重分配。權(quán)重分為三級：m（mild，輕微）、s（serious，重要）、f（fatal，相當重要）。開發(fā)者對其中一些一級指標的權(quán)重有明確的規(guī)定：t2、t3、u2、u4以及全部的可及性一級指標均無權(quán)重；u1的權(quán)重為輕微，u3的權(quán)重為重要。教學設計的全部一級指標權(quán)重均為重要。另外，還有兩個一級指標（t1和u5）的權(quán)重開發(fā)者沒有規(guī)定，而是留待評價者自行規(guī)

12、定。以t1.3為例，說明是：“任何水平的聲卡和音箱都可以滿足要求，權(quán)重為輕微；要求高級的聲卡、音箱或要求附加的聲音設備，權(quán)重為重要?！边@里的權(quán)重給得是否準確，在相當程度上會影響到最終的評價結(jié)果的精確性，如表2。三、網(wǎng)絡課程在線評價指標體系的設計與實現(xiàn)本研究希望借鑒mvu的研究思路，創(chuàng)建一套簡便易行的網(wǎng)絡課程評價指標體系。（一）網(wǎng)絡課程在線評價指標體系的設計整個指標體系的確立分為兩個階段。第一階段，利用文獻綜述法和內(nèi)容分析法充分調(diào)研國內(nèi)國外在不同時期構(gòu)建的較有代表性的評價標準，從中選取有借鑒意義的內(nèi)容，并綜合不同評價標準中共同強調(diào)的內(nèi)容，以此確定新指標體系的基本維度。在此基礎上，再用理論推演法擬

13、出二級指標，形成初步完整的框架。在初步整理出指標體系的原始框架后，對有關(guān)的文字表述進行修正或厘清，以避免表達不清、有歧義或含義不全等問題。然后，再反復與本專業(yè)的教師及研究生討論各項指標的必要性及針對性，經(jīng)過多次討論，確定表3中呈現(xiàn)的評價指標體系。在各個具體指標的評價上采取5級評分標準，完全符合標準為5分，完全不符合標準為1分，中間分數(shù)代表符合標準的不同中間程度。這樣，整體評價結(jié)果的滿分為5分。我們將4.5分以上評定為“優(yōu)”，將4 0分以上評定為“良”，將3.o分以上評定為“中”，將3.0分以下評定為“差”。第二階段，采用問卷調(diào)查法在較大范圍內(nèi)對指標體系框架進行多次討論和修改。討論的參與者包括部

14、分專家教授、網(wǎng)絡課程授課教師以及使用網(wǎng)絡課程的學習者等各類人員，他們從各自不同的角度來討論初步確定的指標體系框架是否科學合理，是否需要修改，需要怎樣修改，等等。（二）網(wǎng)絡課程在線評價指標體系的實現(xiàn)評價指標體系確定以后，接下來就需要確定權(quán)重。權(quán)重也稱權(quán)數(shù)，是指某一項指標在整個指標體系中的重要性程度。在本研究中，采用層次分析法，通過專家評判法確定權(quán)重。在小范圍內(nèi)請專家對各級指標進行重要性的比較，從而確定權(quán)重賦值的規(guī)則，如表4。匯總結(jié)果后整理出如下所示的判斷矩陣。首先是各維度的判斷矩陣及其歸一化處理結(jié)果，如表5、表6所示。由歸一矩陣算得max=4.222，則ci=（-n）（n-)=0.074，查隨機

15、一致性指標，可知rl為0.90。故而cr=ci/r1=0.082<0.1，表明權(quán)重的判斷具有理想的內(nèi)部一致性，如表7。cr=0.082<0.1，表明權(quán)重評判的一致性程度理想，接下來，對課程內(nèi)容與資源維度的二級指標權(quán)重進行分析計算，如表8。對判斷矩陣進行歸一處理，獲得歸一矩陣，如表9。由歸一矩陣算得max=5.184，則ci=（一n）（n-l）=0.046，查隨機一致性指標，可知rl為1.12。故而cr=ci/r1=0.041<0.1，表明權(quán)重評判的一致性程度理想。然后，對教學設計維度的二級指標權(quán)重加以分析計算，如表10。對判斷矩陣進行歸一處理，獲得歸一矩陣，如表11。由歸一矩

16、陣算得max=7.138，則ci=（-n）（n-1）=0.023，查隨機一致性指標，可知r1為1.32。故而cr=ci/r1=0.017<0.1，表明權(quán)重評判的一致性程度理想。接下來計算學習管理維度的權(quán)重，如表12。對判斷矩陣進行歸一處理，獲得歸一矩陣，如表13。由歸一矩陣算得max=5.189，則ci=（-n）（n-l）=0.047查隨機一致性指標，可知rl為1.12。故而cr=gi/r1=0.042<0.1，表明權(quán)重評判的一致性程度理想。最后，計算網(wǎng)絡技術(shù)維度的權(quán)重，如表14。對判斷矩陣進行歸一處理，獲得歸一矩陣，如表15。由歸一矩陣算得max=9.672，則ci=（-n）（n

17、-1）=0.084，查隨機一致性指標，可知r1為1.45。故而cr=ci/r1=0.058<0.1，表明權(quán)重評判的一致性程度理想。最后，我們將上述權(quán)重的評定結(jié)果加以整理，形成本研究所得的網(wǎng)絡課程評價指標體系，如表16。四、檢測與評價為了檢驗開發(fā)出來的評價指標體系的有效性和適用性，本研究隨機選擇了10門網(wǎng)絡課程（10門課程依次命名為a、b、c、d、e、f、g、h、i、j）進行評價。選擇方法是在百度搜索網(wǎng)頁中輸入“網(wǎng)絡課程”作為關(guān)鍵詞，在搜索結(jié)果中隨機打開一些網(wǎng)絡課程，最終找到了以下10門網(wǎng)絡課程，它們均可以遠程訪問。然后，由兩位教育評價方面的專家使用本研究開發(fā)的評價指標體系獨立進行評價，然

18、后對比評價結(jié)果，以此來檢驗本評價指標體系的信度和效度。a“大學計算機基礎”、b“計算機網(wǎng)絡”、c“教育學”、d“中國舞蹈”、e“高中語文”、f“大學體育”、g“網(wǎng)站網(wǎng)頁初學”、h“網(wǎng)站設計與網(wǎng)頁制作”、i“電子政務”、j“教育技術(shù)學導論”。兩位評價者分別稱之為評價者1和評價者2。其中，評價者1的評價結(jié)果如表17所示。從評價者1的結(jié)果匯總表反映的情況來看，10門網(wǎng)絡課程的質(zhì)量參差不齊2門課程評價結(jié)果為“差”（分別是“高中語文”“網(wǎng)站設計與網(wǎng)頁制作”），4門課程評價結(jié)果為“中”（分別是“大學計算機基礎”“教育學”“大學體育”和“網(wǎng)站網(wǎng)頁初學”），3門課程評價結(jié)果為“良”（分別是“計算機網(wǎng)絡”“中國

19、舞蹈”和“電子政務”），1門課程評價結(jié)果為“優(yōu)”（“教育技術(shù)學導論”），而“教育技術(shù)學導論”也是這10門課程中唯一的一門國家級精品課程。下面是評價者2對10門課程評價結(jié)果的匯總表。如表18。從評價者2的結(jié)果匯總表反映的情況來看，10門網(wǎng)絡課程的質(zhì)量同樣參差不齊，但是具體情況與評價者1的結(jié)果略有出入-2門課程評價結(jié)果為“差”（分別是“高中語文”“網(wǎng)站設計與網(wǎng)頁制作”），4門課程評價結(jié)果為“中”（分別是“大學計算機基礎”“教育學”“大學體育”和“網(wǎng)站網(wǎng)頁初學”），2門課程評價結(jié)果為“良”（分別是“中國舞蹈”和“電子政務”），2門課程評價結(jié)果為“優(yōu)”（分別是“計算機網(wǎng)絡”和“教育技術(shù)學導論”）。對照兩位評價者的評價結(jié)果，可以看到二者具有較高的一致性：從評價等級來看，有9門課程的評價等級相同，只有“計算機網(wǎng)絡”課程被評價者1評為“良”，被評價者2評為“優(yōu)”。具體到最終結(jié)果的分數(shù)上，每門課程的得分其實也只有細微的差異。這樣的結(jié)果表明：第一，評價體系中的每個指標提供的評價標準是清晰具體的，便于評價者理解；第二，每個指標提供的評價標準是客觀的，便于評價者操作。所以，這一步的檢測工作表明本研究研制的評價指標體系具有較好的可操作性。五、總結(jié)與展望評價研究要想取得實質(zhì)性的突破，必須采用開放研究的思路，采用理論與實證交互循環(huán)的思路。本研究正是遵循該研究思路，在總結(jié)有關(guān)前人研究的基礎上，采用文獻分析法和