第11章-評(píng)價(jià)研究方法

第十一章評(píng)價(jià)研究方法本章學(xué)習(xí)要點(diǎn)

評(píng)價(jià)研究要依據(jù)明確的目的和目標(biāo)，測(cè)量對(duì)象的功能、品質(zhì)和屬性，對(duì)評(píng)價(jià)對(duì)象做出價(jià)值性的判斷。評(píng)價(jià)研究主要由評(píng)價(jià)對(duì)象、評(píng)價(jià)指標(biāo)體系和評(píng)判者三個(gè)要素組成。根據(jù)事物發(fā)展的進(jìn)程中不同時(shí)期的目的和重點(diǎn)不同，可以將評(píng)價(jià)分為診斷型評(píng)價(jià)、形成型評(píng)價(jià)、總結(jié)型評(píng)價(jià)三類。本章介紹了評(píng)價(jià)研究的特征、要素、基本步驟及其類型等基本概念。具體從指標(biāo)體系設(shè)計(jì)的原則、目標(biāo)分解、評(píng)價(jià)標(biāo)準(zhǔn)的建立、指標(biāo)加權(quán)等方面論述了評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)。以“網(wǎng)絡(luò)教學(xué)的評(píng)價(jià)模型”為案例說(shuō)明評(píng)價(jià)研究法在教育技術(shù)研究中的具體應(yīng)用。通過(guò)本章的學(xué)習(xí)，應(yīng)了解評(píng)價(jià)研究的基本概念，明確評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)，并能夠運(yùn)用評(píng)價(jià)研究法，分析解決教育技術(shù)研究中的具體問(wèn)題。本章內(nèi)容結(jié)構(gòu)評(píng)價(jià)研究的特征評(píng)價(jià)研究的要素評(píng)價(jià)研究的基本步驟評(píng)價(jià)研究的類型指標(biāo)體系設(shè)計(jì)的原則網(wǎng)絡(luò)教學(xué)評(píng)價(jià)模型的建立目標(biāo)分解網(wǎng)絡(luò)教學(xué)的評(píng)價(jià)要素評(píng)價(jià)標(biāo)準(zhǔn)的建立網(wǎng)絡(luò)教學(xué)評(píng)價(jià)中評(píng)價(jià)者與評(píng)價(jià)要素的關(guān)系評(píng)價(jià)指標(biāo)體系網(wǎng)絡(luò)教學(xué)的評(píng)價(jià)過(guò)程評(píng)價(jià)研究的基本概念評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)案例—網(wǎng)絡(luò)教學(xué)的評(píng)價(jià)模型第一節(jié)評(píng)價(jià)研究的基本步概念評(píng)價(jià)，指依據(jù)明確的目標(biāo)，按照一定的標(biāo)準(zhǔn)，采用科學(xué)方法，測(cè)量對(duì)象的功能、品質(zhì)和屬性，并對(duì)評(píng)價(jià)對(duì)象做出價(jià)值性的判斷。一、評(píng)價(jià)研究的特征

1、評(píng)價(jià)的目標(biāo)性（一）評(píng)價(jià)活動(dòng)期望達(dá)到的結(jié)果類型：

(1)比較評(píng)等（a>b或a<b）

(2)達(dá)標(biāo)衡量（a≥a0）

(3)發(fā)展比較（a2≥a1）

(二)評(píng)價(jià)目標(biāo)做評(píng)價(jià)結(jié)論的依據(jù):(1)條件水平：擁有教學(xué)環(huán)境和資源的數(shù)量和質(zhì)量。

(2)品質(zhì)水平:教育性；科學(xué)性；技術(shù)性；藝術(shù)性。

(3)效果水平：如教學(xué)效果。

(4)管理水平：如對(duì)教學(xué)資源的管理。

2、評(píng)價(jià)研究的價(jià)值判斷性目標(biāo)分解二、評(píng)價(jià)研究的要素測(cè)量

1、評(píng)價(jià)對(duì)象考察分析

2、評(píng)價(jià)指標(biāo)體系（評(píng)價(jià)要素、評(píng)價(jià)標(biāo)準(zhǔn)、指標(biāo)權(quán)重）

3、評(píng)判者

評(píng)價(jià)研究的要素及其關(guān)系

對(duì)象評(píng)判者指標(biāo)體系三、評(píng)價(jià)研究的基本步驟

1、建立評(píng)價(jià)指標(biāo)體系（1）評(píng)價(jià)要素，反映被評(píng)對(duì)象特征的各個(gè)成分；（2）評(píng)價(jià)標(biāo)準(zhǔn)，衡量事物特征各個(gè)成分的比較基準(zhǔn)；（3）指標(biāo)權(quán)重，指各個(gè)成分在總體中所具有的重要程度的標(biāo)志。

2、資料的收集（1）訪問(wèn)調(diào)查（2）個(gè)案調(diào)查（3）問(wèn)卷調(diào)查（4）量表測(cè)量（專家評(píng)判）

3、資料的鑒別

4、價(jià)值判別

5、評(píng)價(jià)結(jié)果的綜述四、評(píng)價(jià)的類型

1、診斷性評(píng)價(jià)2、形成性評(píng)價(jià)評(píng)價(jià)研究的基本步驟

3、總結(jié)性評(píng)價(jià)

類型診斷性評(píng)價(jià)形成性評(píng)價(jià)總結(jié)性評(píng)價(jià)實(shí)驗(yàn)?zāi)康膶?shí)施時(shí)期事物發(fā)展新階段之前事物發(fā)展進(jìn)程之中事物發(fā)展某階段之后評(píng)價(jià)目的了解條件、基礎(chǔ)、診監(jiān)督事物發(fā)展，收評(píng)價(jià)整體效果，提供評(píng)斷原因集反饋信息價(jià)成績(jī)?cè)u(píng)價(jià)三種類型各自特點(diǎn)建立評(píng)價(jià)指標(biāo)體系要素、標(biāo)準(zhǔn)、權(quán)重資料的收集比較判斷資料的鑒別綜合評(píng)價(jià)第二節(jié)評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)一、指標(biāo)體系設(shè)計(jì)的原則

1、與目標(biāo)的一致性

2、直接的可測(cè)性

3、體系內(nèi)指標(biāo)的相互獨(dú)立性

4、指標(biāo)體系的整體完備性

5、指標(biāo)的可比性

6、可接受性二、目標(biāo)可被分解為三個(gè)基本層次：

1、總體指標(biāo)2、結(jié)構(gòu)指標(biāo)（一級(jí)指標(biāo)）

3、單項(xiàng)指標(biāo)（二級(jí)指標(biāo)）三、評(píng)價(jià)標(biāo)準(zhǔn)的建立概念：標(biāo)準(zhǔn)：衡量事物的準(zhǔn)則（一）評(píng)價(jià)標(biāo)準(zhǔn)的構(gòu)成：

1、標(biāo)準(zhǔn)的強(qiáng)度與頻率。評(píng)價(jià)標(biāo)準(zhǔn)要求的規(guī)范行為所表現(xiàn)的程度或相對(duì)次數(shù)。

2、標(biāo)號(hào)。不同強(qiáng)度和頻率的標(biāo)記符號(hào)。

3、標(biāo)度。測(cè)量的單位標(biāo)準(zhǔn)。（二）標(biāo)準(zhǔn)體系的特征：

1、完整性2、協(xié)調(diào)性3、比例性（三）標(biāo)準(zhǔn)的形式

1、描述式標(biāo)準(zhǔn)運(yùn)用文字描述每個(gè)不同要素的等級(jí),并賦給每個(gè)等級(jí)分值.2、期望評(píng)語(yǔ)量表式標(biāo)準(zhǔn)形式指標(biāo)標(biāo)準(zhǔn)分值數(shù)字衛(wèi)星地面站的資料收集保存狀況(1)已收集全部教育資源并妥善保存4(2)只把系統(tǒng)課程(中師或師專課程)以及部分教學(xué)參考資源收錄保存3(3)有計(jì)劃地收集其中部分資源作為參考資料2(4)無(wú)目的、無(wú)計(jì)劃、臨時(shí)性收集其中部分資料1表11-2描述式標(biāo)準(zhǔn)的形式等級(jí)期望評(píng)語(yǔ)4321非常滿意滿意基本滿意不滿意（1）講授概念準(zhǔn)確、條理清楚√（2）抓住了重點(diǎn)難點(diǎn)√（3）能聯(lián)系實(shí)際，有獨(dú)到見(jiàn)解√（4）講述生動(dòng)有啟發(fā)性√（5）態(tài)度認(rèn)真，學(xué)風(fēng)嚴(yán)謹(jǐn)√：3、客觀可數(shù)等級(jí)式標(biāo)準(zhǔn)形式四、指標(biāo)加權(quán)（一）加權(quán)的意義

1、評(píng)價(jià)研究的指標(biāo)加權(quán)：根據(jù)不同的測(cè)評(píng)目的、測(cè)評(píng)對(duì)象、測(cè)評(píng)時(shí)間和測(cè)評(píng)角度，將對(duì)不同的指標(biāo)指派不同的比例系數(shù)，這就是評(píng)價(jià)研究的指標(biāo)加權(quán)。

2、兩種權(quán)數(shù)：（1）自重權(quán)數(shù)。以權(quán)數(shù)作為指標(biāo)的分值（或分?jǐn)?shù)），或者以權(quán)數(shù)直接作為等級(jí)的分值。（2）加重權(quán)數(shù)。在各指標(biāo)的已知分值（即自重權(quán)數(shù)）前設(shè)立的權(quán)數(shù)。學(xué)校擁有的教育技術(shù)設(shè)備數(shù)量（臺(tái)（或間）/每百名學(xué)生4321計(jì)算機(jī)（臺(tái)）*多媒體計(jì)算機(jī)網(wǎng)絡(luò)教室（間）多媒體課堂教學(xué)平臺(tái)（套）表11-5加重權(quán)數(shù)的例子項(xiàng)目（多媒體教學(xué)軟件）等級(jí)（aj）權(quán)重（bi）得分（Fi）優(yōu)秀4良好3一般2較差1（1）符合教學(xué)大綱√1.56（2）解決教學(xué)得點(diǎn)難點(diǎn)√26（3）符合教學(xué)原則√14（4）利于培養(yǎng)學(xué)生世界觀√1.54.5在這種情況下，項(xiàng)目評(píng)判得分Fi應(yīng)為：Fi=bi·ajBi為項(xiàng)目加權(quán)得數(shù)，aj為等級(jí)分值即自得權(quán)重?cái)?shù)（二）加權(quán)的方式

1、總體加權(quán)。對(duì)評(píng)價(jià)的總分加權(quán)。

類型原來(lái)總分權(quán)數(shù)加權(quán)總分特點(diǎn)前測(cè)后測(cè)加權(quán)法前測(cè)F1a1F’1=a1F1兩次評(píng)價(jià)存在時(shí)間間隔上的差異后測(cè)F2a2F’2=a2F2類別加權(quán)法領(lǐng)導(dǎo)評(píng)價(jià)E1b1E’1=b1E1同時(shí)評(píng)價(jià)，但存在對(duì)評(píng)價(jià)對(duì)象了解程度的差異同行評(píng)價(jià)E2b2E’2=b2E2學(xué)生評(píng)價(jià)E3b3E’3=b3E3自我評(píng)價(jià)E4b4E’4=b4E4表11-6總體加權(quán)的方法2、局部加權(quán)。對(duì)系統(tǒng)的結(jié)構(gòu)指標(biāo)，即對(duì)第一級(jí)指標(biāo)的加權(quán)。例如，對(duì)于教育技術(shù)水平評(píng)價(jià)的四項(xiàng)一級(jí)指標(biāo)中，并非是完全平均的，而是有所側(cè)重，各項(xiàng)一級(jí)指標(biāo)的重要程度就體現(xiàn)在局部加權(quán)的各項(xiàng)權(quán)數(shù)上，如表11-7所示

3、單項(xiàng)加權(quán)。直接對(duì)指標(biāo)內(nèi)各要素加權(quán)，即對(duì)第二級(jí)指標(biāo)加權(quán)。單項(xiàng)權(quán)數(shù)可以是自重權(quán)數(shù)，也可以是加重權(quán)數(shù)；可以是先派到結(jié)構(gòu)，再派到要素。單項(xiàng)加權(quán)只對(duì)有關(guān)要素負(fù)責(zé)，但它影響到結(jié)構(gòu)乃至總體的得分。表11-8是某學(xué)校對(duì)教師科研成果評(píng)價(jià)表，對(duì)指標(biāo)內(nèi)各因素采用單項(xiàng)加權(quán)。各單項(xiàng)得分為Fi=aj×Wi

一級(jí)指標(biāo)權(quán)數(shù)指標(biāo)滿分值（1）工作條件a1F1=a1×F0（2）管理狀況a2F2=a2×F0（3）實(shí)施狀態(tài)與行為a3F3=a3×F0（4）實(shí)施效果a4F4=a4×F0表11-7中，F(xiàn)0是指總體滿分值。假定全部評(píng)價(jià)滿分時(shí)，總體分值為100分，則F0=100，指標(biāo)權(quán)數(shù)ai以百分?jǐn)?shù)或小數(shù)表示（三）權(quán)數(shù)的獲得

1、兩種加權(quán)方法：（1）經(jīng)驗(yàn)加權(quán)由富有經(jīng)驗(yàn)的專家和有關(guān)研究人員商定，把人們長(zhǎng)期的工作經(jīng)驗(yàn)和豐富的學(xué)識(shí)作為指派權(quán)數(shù)的依據(jù)。

姓名×××指標(biāo)體系等級(jí)（aj）單項(xiàng)加權(quán)（Wi）得分（Fi）優(yōu)4良3中2差1（1）科研項(xiàng)目獲獎(jiǎng)√0.41.6（2）論文公開(kāi)發(fā)表√0.31.2（3）論文獲獎(jiǎng)√0.31.2總得分4表11-8教師科學(xué)研究成果評(píng)價(jià)表（2）統(tǒng)計(jì)加權(quán)設(shè)計(jì)一項(xiàng)重要程度意見(jiàn)表，讓一部分有關(guān)人員對(duì)各項(xiàng)指標(biāo)的重要程度進(jìn)行投票，把投票結(jié)果按統(tǒng)計(jì)公式計(jì)算，以確定權(quán)數(shù)值。例，對(duì)于多媒體教學(xué)軟件綜合評(píng)判共有教育性、科學(xué)性、技術(shù)性、藝術(shù)性四項(xiàng)結(jié)構(gòu)指標(biāo)，我們邀請(qǐng)N=24名對(duì)教學(xué)軟件開(kāi)發(fā)有豐富經(jīng)驗(yàn)的人員進(jìn)行投票，其結(jié)果如表11=9所示。贊成重要性程度票人數(shù)評(píng)價(jià)指標(biāo)第一位4第二位3第三位2第四位1權(quán)重Wi(1)教育性98520.300(2)科學(xué)性451140.237(3)技術(shù)性355110.200(4)藝術(shù)性86370.263我們可以利用排序指數(shù)公式進(jìn)行運(yùn)算.根據(jù):∑aj×nij

Wi=——————

N∑aj按表11-9共有4個(gè)指標(biāo)，則∑aj=4+3+2+1=10;nij為對(duì)某一指標(biāo)、對(duì)某重要程度的投票人數(shù)；把表11-9的數(shù)據(jù)代入公式便分別得到4項(xiàng)指標(biāo)的權(quán)重：

W1=4×9+3×8+2×5+2/(24×10)=0.300W2=4×4+3×5+2×11+4/(24×10)=0.237W3=4×3+