淺析大學(xué)教師教學(xué)評價方法之技術(shù)效能

淺析大學(xué)教師教學(xué)評價方法之技術(shù)效能在我國，盡管大學(xué)教學(xué)與科研的失衡問題很早就引起了高等教育工作者的重視，但該領(lǐng)域?qū)虒W(xué)評價方法和技術(shù)的研究卻一直比較薄弱，實務(wù)界對教學(xué)評價方法的運用也不盡如人意。辨識、分析以及解決我國大學(xué)教師評價存在的主要問題，對教學(xué)評價方法的技術(shù)效能進(jìn)行系統(tǒng)化梳理，對提高評價使用者的認(rèn)知、選擇和運用能力，落實教學(xué)在教師管理中的應(yīng)有地位具有十分重要的意義。本文所做技術(shù)分析適用于與教師崗位分類管理、職稱晉升、人才計劃、獎勵與懲罰等高風(fēng)險人事決策掛鉤的教師教學(xué)總結(jié)性評價。一、教師評價制度中的教學(xué)評價問題我國高等教育教師評價的“應(yīng)然”和“實然”之間存在很大的差距，突出表現(xiàn)在制度框架中科研與教學(xué)的嚴(yán)重失衡。有學(xué)者認(rèn)為制度失衡僅僅是表象，真正的原因在于高?！敖虒W(xué)學(xué)術(shù)”理念的缺失。這些學(xué)者以美國著名學(xué)者博耶1990年對“教學(xué)學(xué)術(shù)”的界定為理論支撐，認(rèn)為中國高校如果能沿著博耶的邏輯，轉(zhuǎn)變觀念、更新理念，那么評價制度中教學(xué)將獲得與科研同等的重要地位，進(jìn)而教育活動中教師職業(yè)道德與職業(yè)素養(yǎng)下滑等問題均能迎刃而解。然而，在我國導(dǎo)致中國大學(xué)科研與教學(xué)失衡的因素并非僅在觀念層面。中國歷來是一個教育大國，中國人對教育的重視為世界稱道，無論教學(xué)是否歸屬學(xué)術(shù)范疇，中國教育者對教書育人這一基本使命的重要性是達(dá)成普遍共識的。制度不合理的主要原因在于貫徹支撐這一觀念的教師評價技術(shù)沒有跟上現(xiàn)代化教育管理實踐的要求。現(xiàn)行中國高等教育教師評價制度的邏輯起點源于西方的現(xiàn)代教育評價，其體系的框架搭建和方法技術(shù)的應(yīng)用雖也結(jié)合我國過往經(jīng)驗，但主要還是以學(xué)習(xí)和模仿發(fā)達(dá)國家模式為演進(jìn)路線。這種安排在鑒定教師科學(xué)研究活動質(zhì)量方面是行得通的，盡管各高校的科研評價體系仍存在許多為人詬病的地方，但通過學(xué)習(xí)西方經(jīng)驗依據(jù)學(xué)科特色構(gòu)建多個本土論文影響因子系統(tǒng)，科研評價在技術(shù)上已基本達(dá)到“公平公正”這一基礎(chǔ)要求，能夠基本滿足大學(xué)對科研的評價需求。相比之下，教學(xué)評價在引進(jìn)西方成熟做法的過程中卻遇到了本土化難題。由于西方教學(xué)評價主要采用主觀、質(zhì)性的評價方法與技術(shù)，在我國以“差序格局”為主導(dǎo)的社會結(jié)構(gòu)和文化土壤環(huán)境下，其評價的公平公正性遭到了廣泛爭議和質(zhì)疑。換言之，中國高等教育教學(xué)與科研失衡的原因雖表面看來源自制度的價值取向，而實質(zhì)在于評價實踐長期面臨著技術(shù)瓶頸。有部分學(xué)者也注意到了評價方法與技術(shù)應(yīng)用水平低下對我國高等教育評價實踐的影響。遺憾的是，這方面的研究一直都比較薄弱。研究者要么僅從整個教育評價架構(gòu)層面對評價方法的技術(shù)價值、技術(shù)效用等問題進(jìn)行陳述，未深入到機(jī)理層面對各方法進(jìn)行逐一鑒別；要么羅列各方法的概念、理論依據(jù)、基本程序、指標(biāo)體系等，在方法的技術(shù)問題上卻淺嘗輒止，缺乏深度開掘，難以對實踐提供具有系統(tǒng)性的理論指導(dǎo)。鑒于此，本文將致力于填補(bǔ)當(dāng)前研究空白，針對實踐中面臨的技術(shù)難點，提供一套對評價方法效能進(jìn)行元分析的指標(biāo)體系，并根據(jù)此體系對各教學(xué)評價方法進(jìn)行具體到操作層面的系統(tǒng)化梳理，為高校落實和提高教學(xué)評價的公平公正性探索一條切實可行的路徑。二、衡量教學(xué)評價方法之效能的技術(shù)指標(biāo)評估標(biāo)準(zhǔn)，根據(jù)美國教育評估標(biāo)準(zhǔn)聯(lián)合委員會的定義，是指從事評估專業(yè)實踐的人們相互之間達(dá)成的共識原則，旨在通過標(biāo)準(zhǔn)的設(shè)立與達(dá)成，提高評估質(zhì)量，增強(qiáng)其公平公正性。評估技術(shù)作為評估標(biāo)準(zhǔn)的主要構(gòu)成，其共識原則的指向首先集中于可供選擇的各種評價方法的技術(shù)效用；然后關(guān)注評價方法所涉及的評估程序和工具操作條件的實際可行度。需要指出的是，本文所建議的技術(shù)指標(biāo)較為寬泛，不能代替諸如定性和定量研究設(shè)計與分析、測量與數(shù)據(jù)收集、數(shù)據(jù)分析等研究方法領(lǐng)域的具體指標(biāo)與標(biāo)準(zhǔn)。提供這一技術(shù)指標(biāo)的目的是為高校教師教學(xué)評價的利益相關(guān)者提供一個簡單明了的認(rèn)知框架，為短期內(nèi)解決當(dāng)前大學(xué)教師教學(xué)評價難題，提高評價質(zhì)量尋找突破口。本文提出的評價技術(shù)指標(biāo)具體如下：（一）準(zhǔn)確性教育評價以事實判斷為基礎(chǔ)，教育事實判斷的科學(xué)性直接影響價值判斷的科學(xué)性?？茖W(xué)準(zhǔn)確的事實判斷必須具有兩個基本屬性：有效、可靠。這是各學(xué)科科學(xué)解釋自然或社會現(xiàn)象所須遵循的兩大基本準(zhǔn)則。1.有效性在測量學(xué)中，有效性通常通過效度這個概念來體現(xiàn)，指一個測量工具（或操作性定義）是否測量了它本應(yīng)測量的內(nèi)容。保羅考茲比教授（PaulCozby）在其所著的方法論教材中講述了一個關(guān)于零效度的例子：假設(shè)你想測測自己的智力，測試者卻讓你站到一個類似鞋碼器的測試儀器上，顯然鞋碼信息對智力程度的表達(dá)是完全無效的。以此類推，教育評價的有效性主要取決于評價結(jié)果與評價客體的事實本質(zhì)是否相符以及相符的程度如何。2.可靠性可靠性在測量學(xué)中是通過信度這個概念來體現(xiàn)的，是任何總能夠產(chǎn)生相同結(jié)果的系統(tǒng)所具備的一種屬性。再借用保羅·考茲比教授的舉例，鞋碼器雖然在測量智力方面是無效的，卻顯示出許多類型的信度，例如這個儀器無論測量多少次，對同一客體都會呈現(xiàn)出一致的讀數(shù)（測量學(xué)稱之為“重測信度”），并且無論誰操作它，它都會給出一樣的讀數(shù)（稱之為“評分者信度”）。信度的形式較多，但是與教師總結(jié)性評價最相關(guān)的是重測信度以及評分者信度。信度在教育評價領(lǐng)域通常是指評價結(jié)果的一致性，即如果對同一教育事物進(jìn)行多次測評，是否能夠得到相同或相似的結(jié)果。（二）可行性設(shè)立可行性指標(biāo)是為了確保教學(xué)評價的方案是實際可行的。要注意的方面具體包括（但不僅限于）：在數(shù)據(jù)和資料收集方案決定之前，確保各種信息收集計劃的可操作性；主要選擇那些與評價人員相關(guān)技術(shù)水平一致的程序步驟；必要的時候，對評價人員進(jìn)行短期培訓(xùn)；對于可能出現(xiàn)的問題，提前做好后備方案，等等。嚴(yán)格來講，可行性指標(biāo)并不完全屬于技術(shù)范疇，其內(nèi)涵通常還涵蓋政治與成本效益方面的考慮。三、評價技術(shù)指標(biāo)在實踐應(yīng)用時應(yīng)注意的關(guān)鍵點教師評價作為一種對人的價值判斷活動，一開始就與社會科學(xué)研究方法的應(yīng)用密切聯(lián)系。本人根據(jù)在社會科學(xué)研究、教育測量以及教育評價等領(lǐng)域積累的知識與經(jīng)驗，梳理出高等教育教師評價過程的幾個關(guān)鍵節(jié)點，以期幫助在評價實踐中提高對教學(xué)事實的準(zhǔn)確判斷：第一，清楚地了解評價主體的反映能力。從高等教育評價方法的技術(shù)起源來看，任何一種方法都是為了解決與特定對象有關(guān)的問題而開發(fā)出來的，在教師評價實踐中，如果不結(jié)合評價目的，批判考慮評價主體在達(dá)成評價任務(wù)方面的有效程度，則評價很難達(dá)到預(yù)期的目的。以目前我國高等教育界運用最普遍的學(xué)生評教為例，其在西方發(fā)達(dá)國家的發(fā)源與全面質(zhì)量管理以及人本主義思潮對教育界的沖擊緊密相關(guān)。學(xué)生評價教學(xué)在彰顯主體關(guān)系平等、價值意義同構(gòu)等現(xiàn)代教育理念方面具有其他方法不能望其項背的功能。然而當(dāng)評價目的轉(zhuǎn)向衡量教師勞動質(zhì)量時，學(xué)生評教本身的局限就凸顯出來。教師的知識傳播行為具有非常強(qiáng)的復(fù)雜性和學(xué)術(shù)性，盡管學(xué)生是教學(xué)過程的重要參與方，但是學(xué)生在教師掌握知識的深度廣度、課程設(shè)計能力以及所用教學(xué)材料的科學(xué)合理性方面卻始終處于信息弱勢，因而很難準(zhǔn)確做出符合價值主體需求的判斷。第二，清楚地了解評價工具的信息收集能力。關(guān)于評價工具的測量能力，測量學(xué)中有專門的實證檢驗方法，但對于大多數(shù)教育管理者而言，這些檢驗方法也許并不實用。本文所談及的評價工具測量能力更為直觀。教師評價所涉及的資料收集方法大多源自社會科學(xué)研究方法，雖然這些方法經(jīng)過多年的發(fā)展已經(jīng)比較成熟，但是在人類復(fù)雜的情感、態(tài)度、認(rèn)知、行為等屬性特征面前，其準(zhǔn)確捕捉與評價目的一致的信息能力本身就各有長短。比如教學(xué)評價中常見的問卷受其書面形式的限制，對行為特征的測量能力就遠(yuǎn)不及對態(tài)度、情感等主觀感受特征的測量。而相較之下，直接觀察對行為信息的采集則更為敏銳。此外，由于問卷主要以量化的形式表達(dá)意見，有時會使一些評價項目帶上不太符合邏輯的精確性，反而導(dǎo)致其甄別精準(zhǔn)度降低。某些大學(xué)的學(xué)生評教數(shù)據(jù)，大部分老師的得分在98以上（百分制），人際差距精確到十分位。學(xué)校卻常將這些結(jié)果進(jìn)行排名，并以此作為鑒別教師教學(xué)水平高低的依據(jù)。那么得99.9分的老師真的優(yōu)于99.8的老師嗎？這樣的排名顯然是無效的，并有失公允。第三，清楚地了解評價程序的抗干擾能力。在現(xiàn)階段大學(xué)教師教學(xué)評價條件下，教學(xué)事實的許多方面是難以客觀量化的，主觀量化和主觀質(zhì)性評價便成為了主導(dǎo)。這些方法的共同特征是通過各類“人”對教學(xué)事實的“真”進(jìn)行主觀反映，因而評價實施的過程中，不可避免地會受到人對教育事物的認(rèn)識差異以及人際主觀情感或利益的沖突影響，某些情況下甚至出現(xiàn)評價主體不嚴(yán)格尊重事實，不按照科學(xué)標(biāo)準(zhǔn)進(jìn)行評議的“形式主義”和“好好先生”現(xiàn)象。評價工作者因此須對各個步驟在抵抗人為因素影響的優(yōu)勢與局限方面有清晰的了解，認(rèn)真思考如何利用某些程序的合理正義性降低甚至排除“人情關(guān)系”等對評價準(zhǔn)確性可能造成的負(fù)面干擾。此外，本文將內(nèi)涵多維的“可行性”指標(biāo)置于大學(xué)教師評價之“技術(shù)指標(biāo)”框架下，意在提醒高校頂層設(shè)計與決策人員在注重教學(xué)評價準(zhǔn)確性與公平公正性的前提下，充分考慮方案的實用性、政治性以及經(jīng)濟(jì)性，避免落入“唯技術(shù)論”之陷阱，設(shè)計出理論上可行但實際不可用的評價方案。不過，到目前為止大多數(shù)高校的教學(xué)評價實踐與“唯技術(shù)論”的方向正相反，往往在“利用現(xiàn)有管理條件”思想下，為可行性而犧牲準(zhǔn)確性要求。那么，可行性與準(zhǔn)確性之間究竟孰輕孰重？本人認(rèn)為鑒于總結(jié)性評價對個體教師的高風(fēng)險性，在評價成本與潛在政治影響或者經(jīng)濟(jì)成本尚未成為不可逾越的障礙的情況下，準(zhǔn)確性應(yīng)該總是優(yōu)先于可行性。畢竟，只有首先實現(xiàn)對教學(xué)事實的準(zhǔn)確把握，公平公正的教師評價才能有堅實的物質(zhì)基礎(chǔ)。四、教學(xué)評價方法之技術(shù)效能分析基于以上技術(shù)指標(biāo)及其在應(yīng)用時應(yīng)注意的要點，沿著“要素解構(gòu)——綜合歸納”的思路，本文借用“標(biāo)準(zhǔn)參照評估”法的比較視角對各方法的技術(shù)效能進(jìn)行了從局部到整體的等級區(qū)分。參照的基準(zhǔn)為美國高校廣泛使用的學(xué)生評教。作為基準(zhǔn)，此版本學(xué)生評教方法在有效性、可靠性以及可行性三個技術(shù)維度的評價等級設(shè)定均為“+”，其他評價方法高于此基準(zhǔn)則相應(yīng)增加“+”符號，反之則標(biāo)記“-”符號，“+”或“-”的個數(shù)由與基準(zhǔn)之間的差異程度決定。分析結(jié)果見表1。在表1中，整體技術(shù)效能是三個要素所涉及的準(zhǔn)確性效能之綜合，輔以方法可行性進(jìn)行總體評判。在評判各要素對評價方法有效性的影響時基于兩方面認(rèn)識：（1）評價主體對客體教學(xué)水平、教學(xué)質(zhì)量的反映能力。校內(nèi)外同行、懂教學(xué)的管理者被認(rèn)為比學(xué)生有更高的反映能力（有效性等級“++”），而管理者與用人單位由于不直接參與教學(xué)過程被認(rèn)為普遍比學(xué)生的反映能力低（有效性等級“-”）；（2）所采用評價工具對教學(xué)事實信息的收集能力。評價者直接觀察課堂教學(xué)行為（或教學(xué)錄像）被認(rèn)為比基準(zhǔn)工具（評教問卷）有更強(qiáng)的信息收集能力（有效性等級“++”）；輔以配套教學(xué)檔案材料則有效性提升一個等級（+++）；如果教學(xué)錄像是隨機(jī)獲取的，又有配套教學(xué)檔案材料，則此評價工具的有效性等級為最高（++++）。在評判各要素對評價方法可靠性的影響時處于以下兩方面考慮：（1）評價主體的數(shù)量（旨在關(guān)注“重測信度”）。主體數(shù)量少于基準(zhǔn)的，可靠性等級均為“-；（2）評價程序的抗干擾能力（旨在關(guān)注評分者信度）。非匿名式同事評價和管理者評價（校領(lǐng)導(dǎo)評價除外）因無法較圓滿的降低評議者與被評議教師之“人情關(guān)系”或“惡意競爭”的干擾，其評分者信度等級低于基準(zhǔn)（“-”）；省內(nèi)同行評價因存在專家與被評議教師認(rèn)識的可能性而被視為和基準(zhǔn)有同等的評分者信度；相比之下，省外同行匿名式評價、畢業(yè)生評價以及用人單位評價因在很大程度上克服了人情干擾而被認(rèn)為具有比基準(zhǔn)更高的評分者信度（“++”）。在評判可行性方面，管理者評價、省內(nèi)同行公開課評價、畢業(yè)生評價和用人單位評價因面臨比率嚴(yán)重失調(diào)的人力困境，均被賦予比基準(zhǔn)低的等級（“-”）；其他評價方法則與基準(zhǔn)的操作可行性等級相同。根據(jù)表1的分析結(jié)果，在構(gòu)建科學(xué)合理的大學(xué)教師教學(xué)評價體系時應(yīng)注意：表1

大學(xué)教師教學(xué)評價方法之技術(shù)效能

（一）運用多種方法，避免教學(xué)評價實踐的簡單化傾向教育評價是對教育事物或人物的組織價值（或社會價值）的系統(tǒng)判斷，屬于典型的主觀判斷。但是公平公正的教師評價最根本的依據(jù)仍然在客觀物質(zhì)世界，需要通過合目的、合規(guī)律地收集和分析信息，對教師教育活動的事實本質(zhì)進(jìn)行科學(xué)的認(rèn)識和反映。為實現(xiàn)這個目標(biāo)，評價方案應(yīng)同時具備高有效性、高可靠性與高可行性。然而，表1顯示，盡管目前大學(xué)教學(xué)評價方法的儲備是豐富的，但是沒有一種或一類方法在技術(shù)效能方面能同時達(dá)到此要求。因此，面對復(fù)雜的高等教育評價任務(wù)，有必要注意“方法多樣、主體多元、內(nèi)容多維”，根據(jù)評價目的與基礎(chǔ)條件，揚(yáng)長避短，互為補(bǔ)充。當(dāng)前在我國高等教育教師教學(xué)評價實踐中普遍存在的問題是，豐富的評價方法資源在實際中很少得到開發(fā)利用，甚至很少受到關(guān)注，這種將復(fù)雜的教育教學(xué)現(xiàn)象簡單化、單一化技術(shù)處理的做法，不能不說是我國大學(xué)教師評價發(fā)展的一大遺憾。充分發(fā)掘、合理利用現(xiàn)有高等教育教學(xué)評價方法之技術(shù)資源，是迅速高效提高我國教育評價水平的可行路徑，也是高等教育評價發(fā)展的客觀要求。（二）注意微觀細(xì)節(jié)，避免教學(xué)評價方法的誤用濫用表1同樣顯示，即使是同一類評價方法，細(xì)節(jié)的不同設(shè)計也會導(dǎo)致整個方法的技術(shù)效能出現(xiàn)較大差異。以學(xué)生評教為例，其主要信息收集方法為問卷調(diào)查。社會科學(xué)研究方法論強(qiáng)調(diào)使用“匿名制”與“自愿參與”兩個措施以保障調(diào)查結(jié)果準(zhǔn)確性。相較于美國高校，我國部分高校的學(xué)生評教活動卻并未意識到這兩項措施的重要性，為單純追求學(xué)生參與率，以選課權(quán)為交換籌碼，強(qiáng)迫每個學(xué)生對授課教師的教學(xué)進(jìn)行評價。表面看來，似乎參與評議的人數(shù)增加了，評議結(jié)果就更可靠，殊不知在非自發(fā)性動力驅(qū)使下的評價，使本來無興趣參與的問卷回答者極易罔顧評價目的與事實，胡亂填寫，并最終導(dǎo)致“純凈”數(shù)據(jù)被某些“污染”數(shù)據(jù)侵蝕，使得評教結(jié)果的整體可靠性降低。對比之下，“學(xué)生評價教學(xué)錄像”式評教卻由于既保證了足夠的評議者數(shù)量，又通過讓本校非授課班級學(xué)生或外校學(xué)生參與的方式基本克服了學(xué)生評教中自身背景、教師背景以及課程背景等因素對結(jié)果的消極影響，因此方法的整體有效性與可靠性得到了有力保障。從我國高等教育評價的發(fā)展歷程觀察，我國的相關(guān)理論研究、制度建設(shè)和實踐活動一直堅持走中西結(jié)合的道路。前面對不同版本“學(xué)生評教”及其技術(shù)效能差異的解釋表明，在“拿來”西方經(jīng)驗的時候，應(yīng)充分了解每種評價方法的國別土壤，歷史起源，教育文化，資源條件以及技術(shù)要求等等，以保障評價方法在我國的微觀選擇在評價目的、評價對象特點和操作條件的配套使用上科學(xué)合理，避免評價方法在實踐中的誤用、濫用等嚴(yán)重后果。（三）明晰技術(shù)效能，推動教學(xué)評價方法的不斷創(chuàng)新從高等教育評價發(fā)展的宏觀需求看，充分了解現(xiàn)有評價方法的技術(shù)要求與效能還有助于教育評價方法的技術(shù)創(chuàng)新，因為在方法與技術(shù)的形成過程中，根據(jù)現(xiàn)實需求，對原有方法的相關(guān)量度或程序作出一些調(diào)整和變化，本身就有可能衍生出一些新的方法與技術(shù)。1985年，美國學(xué)者霍瑞斯·曼（HoraceMann）在波士頓文法學(xué)校以小論文筆試取代傳統(tǒng)口試的改革雖是從口頭到書面的調(diào)整，卻開啟了以學(xué)生書面考試成績評估學(xué)校教學(xué)效能的傳統(tǒng)。表1列舉的教師教學(xué)評價方法中，包含很多通過細(xì)節(jié)微調(diào)實現(xiàn)方法創(chuàng)新的例子。比如，