基于多元評價的教師授課水平排序方法研究

基于多元評價的教師授課水平排序方法研究

在高等教育體系中，教育、學(xué)習(xí)、培訓(xùn)、管理和安全五個系統(tǒng)是否能夠高效運(yùn)作，必須與“考法”相結(jié)合。教師教育質(zhì)量評價體系作為大學(xué)評估體系的重要組成部分，是評價教師教育是否恰當(dāng)、教育方法是否正確的重要手段。它也是提高教師教育質(zhì)量和促進(jìn)大學(xué)教育質(zhì)量改革的重要手段。應(yīng)當(dāng)指出，在教師教育質(zhì)量評價過程中，評價法長期不到位，存在以科研成果取代教育成就、代替教育時間的現(xiàn)象。即使一些相對成熟的評估方法沒有形成科學(xué)、合理、有效的比較分析法，也無法獲得各方面的認(rèn)可，因此也難以產(chǎn)生應(yīng)有的效果。本文的目的,就是建立一個基于多元評價(學(xué)生評判、同行評判與專家評判)的、實(shí)現(xiàn)全員排序的教師授課質(zhì)量評價系統(tǒng),通過排序分析的方式,給出某一時間段上(通常為一學(xué)期)所有任課教師按照學(xué)生、同行與專家認(rèn)可度確定的排序結(jié)果.1當(dāng)前分析目前,我們曾經(jīng)或正在使用的授課質(zhì)量評議方法約有下列5種,首先我們來分析一下各種方法的利與弊.1.1學(xué)生評分法學(xué)生打分法是由學(xué)生給任課教師按百分制打分的方法,從一定程度上可以了解學(xué)生對教師教學(xué)過程的認(rèn)可程度,但也存在著明顯的弊端:1教師的得分分布由于大部分學(xué)生不愿意得罪任課教師,給分普遍偏高,導(dǎo)致了分值過于集中,大部分教師的平均得分都在97分上下,從統(tǒng)計學(xué)的角度來看,其數(shù)值已不具備任何比較的意義.2教師為學(xué)生土壤打100分不正?，F(xiàn)象存一些學(xué)員隊干部為了與任課教師保持良好的關(guān)系,要求學(xué)生必須打高分,一些教師也會在私下給學(xué)生打招呼,導(dǎo)致全隊人員百分之百地給教師打100分等不正?，F(xiàn)象的出現(xiàn).1.2教育的優(yōu)美性針對上述現(xiàn)象,在2005年前后,曾經(jīng)試行過同行評議法,試圖通過自評與他評(由同一教研組的教師對其它任一教師的教學(xué)態(tài)度、教學(xué)能力、教學(xué)質(zhì)量等方面指標(biāo)打等第)的方式來區(qū)分教師教學(xué)的好壞.盡管其出發(fā)點(diǎn)是好的,但由于不愿招惹是非以及“你好、我好、大家都好”的心態(tài),教師普遍按照最高等第勾選,使得這一方法最后無疾而終.1.3學(xué)生評分法的注意事項學(xué)生排序法對所有任課教師按照自己對各教師的教學(xué)認(rèn)可程度進(jìn)行排序,解決了打分法隨意“放水”的現(xiàn)象,是較為合理的一種教學(xué)評價手段.但學(xué)生打分法也存在著一些難以克服的缺點(diǎn),需要加以注意:1教師的排序是排論總統(tǒng)一在學(xué)生排序法下,和藹可親、與學(xué)生打成一片的教師容易名列前茅,而要求嚴(yán)格、鐵面無私的教師則不易得到認(rèn)同.如果一切按排序論英雄的話,會在一定程度上誤傷認(rèn)真負(fù)責(zé)的教師.2教師排序位次的影響由于學(xué)時少的課程(例如20學(xué)時上下的選修課)重要性相對較小,教師跟學(xué)生接觸的時間也相對較少,名次很難靠前,故教師排名位次的前后與其上課時數(shù)的長短有著一定的關(guān)聯(lián)性.1.4基于成績分析的績效評價法針對同一教學(xué)班歷次考試中平均成績在所有教學(xué)班中的位次變化而設(shè)計的績效評價法,適用于跨學(xué)期教學(xué)的大型課程(如《高等數(shù)學(xué)》、《大學(xué)物理》等).這種基于成績分析的評價法,其缺點(diǎn)是顯而易見的:1個明證的課堂,能考出差異的成績,是一個明證學(xué)習(xí)成績是由教、學(xué)、訓(xùn)、管、保諸方面因素共同作用的結(jié)果,再好的教師也不可能解決由于學(xué)生學(xué)習(xí)動力不足、訓(xùn)練安排不合理等因素造成的學(xué)生成績下滑的問題,同一教師同一時間帶的不同教學(xué)班能考出迥異的成績,就是一個明證.2再好的教師的績效從技術(shù)層面看,該法無法解決按成績變化排序的不合理性:再好的教師帶了首次考試成績最好的班,其相對成績不可能再進(jìn)步,其績效只能是零或負(fù)值;再差的教師帶了首次考試成績最差的班,其相對成績不會再差,其績效反而會是正值.1.5隨堂聽證實(shí)施過程中存在的問題作為專家評價法,目前實(shí)行的由各級督導(dǎo)專家隨堂聽課的方式,對于促進(jìn)教學(xué)質(zhì)量提高、推進(jìn)教學(xué)模式改革起到了積極作用.但在實(shí)施過程中,也顯現(xiàn)出一些問題,主要有下列兩點(diǎn):1專家對于“二優(yōu)兩良”掌握情況,是“兩優(yōu)一良”比得更嚴(yán)、形成比較由于督導(dǎo)專家個性的差異,有些專家掌握標(biāo)準(zhǔn)較嚴(yán),有些專家則掌握較松,導(dǎo)致不同專家的打分沒有比較意義,得“二優(yōu)兩良”的不一定比得“兩優(yōu)一良”的差,不具備直接排序的功能.2全員排序困難由于督導(dǎo)專家組人力與精力的限制,難以將所有任課教師的課都聽到,給全員排序造成了困難;同時由于所從事專業(yè)的不同,督導(dǎo)專家的聽課面各有側(cè)重,一些邊緣課程得不到及時評價.2也存在著三種評價方法基于上述分析可以看出,各種評價法各有優(yōu)劣,但學(xué)生排序法、督導(dǎo)評價法相對較為合理,同時,類似于學(xué)生排序法,我們認(rèn)為同行排序法也有其可行性.盡管這些方法還存在著這樣或那樣的缺點(diǎn),但在大樣本情況下其合理性、代表性還是其他所難以替代的.余下的問題,就是如何建立科學(xué)、合理的排序模型,將這三種無序的評價方法,改造成為有序的評價模式.2.1a,b比例a,a排序分析的關(guān)鍵在于,如何在最大限度減少信息流失的情況下,將不可排序的多元指標(biāo),轉(zhuǎn)化為可比較的一元評價函數(shù).例如,在學(xué)生排序法中,我們能得到的是學(xué)生將一位教師排在第1、第2、……直至最后一位(設(shè)為第n位)的比例a1,a2,…,an,在數(shù)學(xué)上看就是一個n維向量(a1,a2,…,an).人們曾經(jīng)嘗試過用教師被排在前三位的比例來構(gòu)造評價函數(shù),但其缺點(diǎn)至少有三條:1)它抹殺了排名第一、排名第二與排名第三意義的不同,將a1,a2,a3的權(quán)重看做是一樣的;2)它剔除了排名靠后的比例特別是排名最后的比例an的影響,造成重要信息的缺失;3)它忽視了a1+a2+a3的大小是和在該教學(xué)班任課教師的人數(shù)n密切的,教師數(shù)少的班級a1+a2+a3值就相對較大,因?yàn)樵谥挥?個教師的班級中,你永遠(yuǎn)都是排名前三的(反映在數(shù)值上,就是a1+a2+a3=1),從而無法用于排序.明白了上述道理,我們就可以來建立數(shù)值模型了.2.1.1每一門教師的排名比例表設(shè)某學(xué)期某教學(xué)班共有n位教師參與教學(xué),通過每位學(xué)生給每位教師排序的方式,我們可以得到每一位教師的排名比例表(見表1).其中ai是將該教師排在第i位(i=1,2,…,n)的學(xué)生占班級總?cè)藬?shù)的百分比.2.1.2評估函數(shù)由于在排序分析中排名越前越好,故我們將基于學(xué)生排序的系統(tǒng)評價函數(shù)PS定義為且PS是按照下列4條原則構(gòu)建而成的:1拉格爾間競爭值的上界由于在有n個教師參與教學(xué)的教學(xué)班中,教師的排名在區(qū)間[1,n]上(與n有關(guān)),使得不同教學(xué)班的教師的排名值無法比較,故通過上式將排名值壓縮到區(qū)間(0,1)內(nèi):使得不同的教師的排名值能夠加以比較.2系統(tǒng)評價函數(shù)比例表假設(shè)一個教學(xué)班自始至終只有一個教師上課,則他的排名比例表為系統(tǒng)評價函數(shù)值為剛好位于(0,1)區(qū)間的中央,符合其既排名第一,又排名最后的地位.3關(guān)于各社會主體的系統(tǒng)評價函數(shù)值在一個有n名任課教師的教學(xué)班上,如果所有學(xué)生都把某位教師排在第一的位置,則該名教師的系統(tǒng)評價函數(shù)值為如果所有學(xué)生都把某位教師排在最后一名,則該名教師的系統(tǒng)評價函數(shù)值為兩者對稱于區(qū)間(0,1)的中點(diǎn)0.5.4最短時排最后顯然,在只有4個任課教師的班上排第一,不如在有6個任課教師的班上排第一;反之,在只有4個任課教師的班上排最后,要強(qiáng)于在有6個任課教師的班上排最后.注意到上一小節(jié)中提到的兩個極端數(shù)值與區(qū)間端點(diǎn)的最短距離是,并隨著n的增大而縮小:符合本小節(jié)開頭所提到的排序原則,故PS的構(gòu)造是有序的,從而是合理的.2.1.3平均課時數(shù)的權(quán)重以上是針對一個學(xué)期只上一個教學(xué)班的情形而設(shè)計的,如果一個教師同時負(fù)責(zé)幾個教學(xué)班,則他在不同教學(xué)班中有不同的排序值,需要將它們加權(quán)平均起來.設(shè)某位教師某學(xué)期共帶了m個教學(xué)班,各教學(xué)班的課時數(shù)分別為t1,t2,…,tm,該教師在各教學(xué)班所得的系統(tǒng)評估函數(shù)值為P1,P2,…,Pm(見表3),則對該教師的最終系統(tǒng)評估函數(shù)為這是一個以課時比例為權(quán)重的評估函數(shù),課時數(shù)少的課程權(quán)重就小,無形中提升了教師在少課時教學(xué)班上的排名位次,解決了學(xué)生排序法對少課時課程排名不利的問題.2.2基于同事分類的評估模型此模型與基于學(xué)生排序的評價模型相似,但在一些細(xì)節(jié)上存在差別.2.2.1基于同一可選擇性的教師評價函數(shù)pm通過由每位教師給同教研組其他教師排序的方式,得到每一位教師的排名比例表(見表4).考慮到“當(dāng)局者迷,旁觀者清”,為避免教師在給自己評價時定位不準(zhǔn),我們在給同一教研組教師排序時首先把自己排除在外.2.1.2評價函數(shù)由于在同行評價中較小名次優(yōu)勝,我們可以將基于同行排序的系統(tǒng)評價函數(shù)PM定義為其中bi是將該教師排在第i位(i=1,2,…,n)的投票教師數(shù)占總投票教師數(shù)的百分比.系統(tǒng)評價函數(shù)PM的構(gòu)建同樣滿足歸一化、中心化、對稱化、有序化這四條原則.2.3每區(qū)域?qū)＜业梅纸Y(jié)果標(biāo)準(zhǔn)化前面已經(jīng)指出,由于督導(dǎo)專家寬嚴(yán)程度的不同,不同專家打出的分值缺乏比較意義.因此,有必要將每位督導(dǎo)專家的打分結(jié)果做標(biāo)準(zhǔn)化處理,使得不同專家的打分可用于排序分析.2.3.1樣品本容量對pt有相關(guān)度的概率統(tǒng)計理論設(shè)某位督導(dǎo)專家共聽了p次課,打出了p個成績s1,s2,…,sp(見表6).其中,按照概率統(tǒng)計的理論,當(dāng)樣本容量較大時,PT近似地服從標(biāo)準(zhǔn)正態(tài)分布,該數(shù)值以99.9%的概率落在區(qū)間(-3,3)中,得正值的課相對較好,得負(fù)值的課相對較弱.2.3.2平均得分的確定設(shè)某位教師一學(xué)期被聽了q次課,得到q個標(biāo)準(zhǔn)分P1,P2,…,Pq(見表7).則該教師的平均得分就是我們所要的系統(tǒng)評價函數(shù)根據(jù)每個教師所得的PT值,就可以進(jìn)行全員排序了.2.3.3改“打勾”,提高督導(dǎo)專家的科學(xué)化水平使用標(biāo)準(zhǔn)分的一個最大好處,就是打分時不需要考慮控制打多少個“優(yōu)”,多少個“良”,因?yàn)樗蟹謹(jǐn)?shù)都是相對的,不同專家的打分不管是寬是嚴(yán),標(biāo)準(zhǔn)化后都落到同一區(qū)間[-3,3]中去了,這就為打分過程的科學(xué)化、標(biāo)準(zhǔn)化提供了契機(jī).建議督導(dǎo)專家改“打分”為“打勾”,聽課時嚴(yán)格按照《聽查課情況登記表》中的各個二級指標(biāo)勾選“優(yōu)”、“良”、“中”、“差”4個評價等級,然后按照表8所示的對應(yīng)分值,乘以相應(yīng)的權(quán)重,就可以得到每堂課在五分制下的綜合評分了.實(shí)際上,這樣做有3大好處:1)促使督導(dǎo)專家嚴(yán)格按照評價標(biāo)準(zhǔn)來打分,以確保評價過程的科學(xué)性;2)避免督導(dǎo)專家按照個人的好惡打印象分,以確保評價體系的指導(dǎo)性;3)避免督導(dǎo)專家打人情分,以確保評價結(jié)果的公正性.3基于綜合評價函數(shù)的確定一個評價函數(shù)最后,綜合基于學(xué)生排序的評價模型和基于專家評判的評價模型,就可以得到我們所需要的綜合評價模型.在此之前,我們還需要將上節(jié)中所得到的兩個評價函數(shù)加以改造,使其數(shù)值落在同一區(qū)間內(nèi).3.1分制ps值基于學(xué)生排序的系統(tǒng)評價函數(shù)為其標(biāo)準(zhǔn)取值在區(qū)間(0,1)內(nèi),且PS值越小越好,故我們可以通過式子將其轉(zhuǎn)化為五分制下的分值,且分值越大越好.3.2pm值的轉(zhuǎn)化基于同行排序的系統(tǒng)評價函數(shù)為其標(biāo)準(zhǔn)取值在區(qū)間(0,1)內(nèi),且PM值越小越好,故我們也可以通過式子將其轉(zhuǎn)化為五分制下的分值,且分值越大越好.3.3分制分值的轉(zhuǎn)化基于專家評判的系統(tǒng)評價函數(shù)為其正常取值在區(qū)間(-3,3)內(nèi),且數(shù)值越大越好,故我們可