教育技術學研究方法2

1、2022-6-121教育技術學研究方法劉明祥，信息技術與傳播學院，2022-6-12210 學習反應信息分析法n學習反應信息分析法以應答分析器應答分析器為手段，分析的結果以S-P表、S-P線和集體反應曲線的形式顯示。n廣泛用于課堂信息分析、教育質量管理、標準測驗題的編制以及試題難度、效度的檢驗分析，以及文字或視聽教材的評價，是教育技術研究中的有效方法之一。n重點在于如何對得分信息和反應時間信息進行分析。2022-6-12310 學習反應信息分析法n1 學習反應信息分析法概述n學習反應信息分析法，就是通過應答分析器應答分析器一類的專門裝置或以普通多重選擇方式命題的試卷或問卷，收集各種學習反應信息

2、，并做出分析判斷的一種研究方法。n1969年日本藤田廣一等人，提出采用S-P表的方法來處理分析課堂信息的一種方法。n20世紀90年代初，華東師范大學華東師范大學利用微機設計了一套學習反應信息分析系統(tǒng)。2022-6-12410 學習反應信息分析法n學習反應信息分析的特點n1 集團傾向性的動態(tài)描述nS-P表、S-P線和集體反應曲線所描述的是一組受試者的集體傾向，而且是描述時間和得分積累的效果，是描述變化的動態(tài)結果。n2 模型化的直觀結果n圖表結果以模型化形態(tài)出現(xiàn)，分別與測驗類型的標準形態(tài)及應答分布函數(shù)形態(tài)相比較而獲得直觀的結果。n3 學習反應信息分析的實時性n以微機為主體，做出實時的處理和顯示20

3、22-6-12510 學習反應信息分析法n學習反應信息分析系統(tǒng)的構成n1 信息的采集部分n設置在學生座位上的答案選擇器組成。n2 控制器部分n以微機為核心的數(shù)據(jù)處理器，負責對數(shù)據(jù)進行處理。n3 顯示部分n主要包括熒光屏字符顯示器、正確答案表示器或回答分布表示器等。2022-6-12610 學習反應信息分析法n學習反應信息分析系統(tǒng)的構成n顯示的幾種結果n1 個別學生應答分布及對問題回答的分布n2 S-P表n3 學生警告系數(shù)n4 問題警告系數(shù)n5 各問題間的相互關系數(shù)n6 問題正答分布百分率n7 學生得分分布百分率n8 時間積累曲線，即集體反應曲線2022-6-12710 學習反應信息分析法n學習

4、反應信息的類型n在學習反應信息分析法中，若在課堂進行，則可利用投影器或其它提問方式，向學生提出具有多重選擇答案的問題，在規(guī)定時間內學生選擇其中一個答案。n也可通過選擇性問題的考卷或問卷，讓受試者進行選擇回答。n在幾個可選答案中，只有一個是合理的答案只有一個是合理的答案，其余則是帶有傾向性的典型錯誤答案。n需要收集、處理的學習反應信息主要包括：得分信得分信息息和反應時間信息反應時間信息。2022-6-12810 學習反應信息分析法n學習反應信息的類型n1 得分信息n每個受試者對每道問題回答的得分情況，得分信息用得分矩陣表示。nXij為第i個學生回答第j個問題時的得分1111nmmnxxxxXij

5、=2022-6-12910 學習反應信息分析法n學習反應信息的類型n2 反應時間信息n每個受試者對每道問題做出反應的時間，可以用反應時間矩陣表示。nTij為第i個學生對第j個問題做出反應的時間1111nmmnttttTij=2022-6-121010 學習反應信息分析法n2 得分信息的處理n1 原始得分矩陣n現(xiàn)有10個學生，對5個問題做出反應，每個問題有5個可選答案，正確答案只有一個。n首先得到原始得分表，如表表10.210.2所示。n對原始得分數(shù)據(jù)進行規(guī)格化處理，并轉換為原始得分布爾矩陣。n轉換規(guī)則：正確為“1”，不正確為“0”。對記分式的轉化為：超過該題平均得分者為“1”，低于該問題平均得

6、分者為“0”。2022-6-121110 學習反應信息分析法n2 S-P表的形成nS-P表是在原始得分矩陣的基礎上，經處理而形成的。把原始得分矩陣進行重新排列，原則是：n學生排列順序按得分多少，從上到下上到下排列。n問題排列順序按被學生正確回答人數(shù)的多少，從左到右左到右排列。n參考參考P255P255，S-PS-P表的形成表的形成。2022-6-121210 學習反應信息分析法n3 得分累積分布處理n1 求第i個學生所得總分Yi,即S-P表中第i行各元素值累加。n2 求第i個學生的得分率n3 求第j個問題被正答總數(shù)Yj，即S-P表中第j列元素值累加。n4 求第j個問題的正答率。2022-6-1

7、21310 學習反應信息分析法n4 作S線和P線nS線即學生得分分布曲線，它是S-P表上的階梯狀實線，對于第對于第i i個學生，實線左面的格個學生，實線左面的格數(shù)等于該學生的得分總數(shù)。數(shù)等于該學生的得分總數(shù)。(自上向下)nP線即問題正答分布曲線，它是在S-P表上的階梯狀虛線，對于第對于第j j個問題，虛線上面的個問題，虛線上面的格數(shù)等于該問題的正答總數(shù)格數(shù)等于該問題的正答總數(shù)。(由左到右)2022-6-121410 學習反應信息分析法n5 警告系數(shù)的計算n警告系數(shù)是為了確定某個研究對象與整體傾向性之間的偏離程度而規(guī)定的一個判斷指數(shù)。n學生警告系數(shù)Csi(對應于S線左邊為“0”的問題答對人數(shù)之和

8、）(對應于S線右邊為“1”的問題答對人數(shù)之和）(S線左邊各題目正答數(shù)之和)(Si學生的得分率）(全體學生得分總和)2022-6-121510 學習反應信息分析法n5 警告系數(shù)的計算n問題警告系數(shù)Cpi(對應于P線上方為“0”的學生得分總數(shù)之和）(對應于P線下方為“1”的學生得分總數(shù)之和）(P線上方各學生的得分總數(shù)之和)(Pj問題的正答率）(全體學生得分總和)2022-6-121610 學習反應信息分析法n3 得分信息的分析n1 S線的斷層與幅n如果在S線的中間部位出現(xiàn)有較長的水平部分，則這一水平距離稱為S S線的斷層線的斷層。斷層的存在，說明學生中出現(xiàn)了成績優(yōu)劣懸殊的兩部分；如果斷層很長，說明

9、學生中出現(xiàn)了兩極分化的現(xiàn)象。n從S線的最右端(表示最高得分)到最左端(表示最低得分)的范圍稱為S線的幅，幅的大小，反映學生之間的差別程度，幅越大，學生之間的差別程度就越大。2022-6-121710 學習反應信息分析法n3 得分信息的分析n2 P線的斷層和幅nP線中間部位出現(xiàn)有較長的垂直部分垂直部分，則此垂直部分的距離稱為P線的斷層。斷層的存在，表明問題的難易程度出現(xiàn)懸殊的差別，反映出測試設計的問題不合理，影響測量的效度。nP線的最上端(表示最低正答數(shù))到最下端(表示最高正答數(shù))的范圍稱為P線的幅，幅的大小，反映了試題難度的差別程度。2022-6-121810 學習反應信息分析法n3 得分信息

10、的分析n3 學生警告系數(shù)Csi與S線兩邊的“1”和“0”的分布nCsi數(shù)值的大小，反映了該學生與學生集團的整體傾向之間的偏差程度。此數(shù)值的大小，與在S線兩邊“1”和“0”的分布相聯(lián)系的。n正常情況下，S線左邊“1”的個數(shù)應多于“0”的個數(shù)，因為在S線左邊的問題，是大多數(shù)學生能正確回答的。因此，學習穩(wěn)定的學生，其“1”值應基本在S線的左邊。n如果某學生在S線左邊的“0”值偏多，或S線右邊的“1”值偏多時，都說明該學生的學習穩(wěn)定性差。尤其是當“0”值處在S線最左側，而“1”卻在S線的最右側時，這意味著，大多數(shù)學生能正確回答的問題，他卻不能正確回答；大部分學生不能正確回答的問題，他卻能正確回答。此學

11、生的可靠性或偏離程度較大。2022-6-121910 學習反應信息分析法n3 得分信息的分析n經驗表明，警告系數(shù)CSi0.50時，可以忽略n當0.75 CSi 0.50時，就要提醒注意。n當CSi0.75時，就要對這個學生進行分析，給予特別注意。2022-6-122010 學習反應信息分析法n3 得分信息的分析n4 問題警告系數(shù)CPj與P線兩方的“1”和“0”的分布n問題警告系數(shù)CPj的大小反映了問題的合理性。CPj數(shù)值的大小，是與P線兩方“1”和“0”的分布相聯(lián)系的。n通常情況下，P線上方“1”的個數(shù)多于“0”的個數(shù)，因為在P線上方，代表學生是成績較好的學生，他們應有較多人能正確回答這個問題

12、。因此，合理的問題，應該是能被較多的成績好的同學正確回答。n如果P線上方的“0”較多，或者“0”處在較高的位置(即對應成績優(yōu)秀的學生)，而在P線下方的“1”較多，或“1”處在較低位置時(即對應成績較差的學生)，這就表明這個問題存在不合理性。2022-6-122110 學習反應信息分析法n3 得分信息的分析n當CPj0.50時，可以忽略n當0.75 CPj 0.50時，就要提醒注意。n當CPj0.75時，就要對這個問題進行分析，給予特別注意。2022-6-122210 學習反應信息分析法n3 得分信息的分析n5 總得分率與S線和P線的形態(tài)關系n總得分率Gn定義為：nGn=G/G0*100%=G/

13、(m*n)*100%nG為全體學生的得分總和， G0為全體學生對全部問題都正答時的理論滿分值，m為學生總數(shù)，n為問題總數(shù)。n總得分率Gn的大小，又決定了S線左邊或P線上方面積占S-P表總面積的大小。由于S線左方或P線上方都是以“1”為主的，所以得分率越高，S線越往右移，而P線越往下移。2022-6-122310 學習反應信息分析法n3 得分信息的分析n得分信息的分析n通常，在不同條件下進行測驗，總得分率是不同的，S、P線具有不同的形態(tài)特征。nS、P線的幾種標準形態(tài)如圖10.4所示。2022-6-122410 學習反應信息分析法n4 時間信息的處理n1 原始反應時間矩陣n反應時間信息是指每個受試

14、者對每道問題做出反應的時間，它可以用反應時間矩陣表示。n規(guī)格化的原則是：若第i個學生回答第j個問題的反應時間，若大于第j個問題的平均反應時間則規(guī)定為“0”，若小于或等于平均反應時間則規(guī)定為“1”，這樣反應時間矩陣元素就只有兩種狀態(tài)：“1”或“0”。n規(guī)格化后，得到反應時間矩陣。2022-6-122510 學習反應信息分析法n4 時間信息的處理n2 集體反應曲線的形成n集體反應曲線就是對某一個問題，在規(guī)定的時間內，回答人數(shù)隨時間變化的積累曲線。n圖圖10.5 10.5 集體反應曲線集體反應曲線n響應曲線：記錄在規(guī)定時間內，每個受試者反應時間積累曲線，不考慮反應是否正確。n正答曲線：只記錄在規(guī)定時

15、間之內正確回答者的反應時間的積累曲線，即同時考慮受試者的得分情況。2022-6-122610 學習反應信息分析法n5 時間信息的分析n1 正答曲線類型的考查n根據(jù)正答曲線的形狀，可以歸納為三類模型，即指數(shù)分布型、正態(tài)分布型和階段型。nP264，表10.1 正答曲線類型。n三類正答曲線蘊涵的意義n指數(shù)分布型n正態(tài)分布型n階段型2022-6-122710 學習反應信息分析法n2 T-R平面分析nT-R平面就是以平均反應時間T為橫坐標，以某問題正答人數(shù)R為縱坐標所構成的平面。n在T坐標上，以限定停止回答時間te為上限，在R坐標上，以全體應答人數(shù)N為上限，取te/2和N/2位置為中點，得到四個象限。n

16、P265 P265 ，圖，圖10.7 T-R10.7 T-R平面平面n利用集體反應曲線所得的直觀結果，可以根據(jù)T和R兩個數(shù)值在T-R平面上所在的象限位置，判斷題目的難易程度。2022-6-122810 學習反應信息分析法n2 T-R平面分析n第象限，RN/2、Tte/2，表示問題很富于想象，許多人在經過長時間思考才能做出正答。n第象限，RN/2、Tte/2，表示問題偏于容易，許多人在很短時間內便能做出正答。n第象限，RN/2、Tte/2，表示問題似是而非，把學生引入迷途，盡管在短時間內作答，但正答者甚少。n第象限，Rte/2，表示問題難度較大，長時間內只有少數(shù)人可做出正答。2022-6-122

17、910 學習反應信息分析法n案例研究n小學語文“四結合”閱讀理解效果的研究n重點理解如何做S-P表分析nP270，學生的分析模型n補充案例n作業(yè)nP271，第2題2022-6-123011 評價研究方法n評價研究要依據(jù)明確的目的和目標，測量對象的功能、品質和屬性，對評價對象做出價值性的判斷。n評價研究主要由評價對象、評價指標體系和評判者三個要素組成。n根據(jù)事物發(fā)展的進程中不同時期的目的和重點不同，可以將評價研究分為診斷型評價、形成型評價、總結型評價三類。n具體從評價指標體系設計的原則、目標分解、評價標準的建立、指標加權等方面論述了評價指標體系的設計n“網絡教學的評價模型”案例2022-6-12

18、3111 評價研究方法n1 評價研究的基本概念n評價，就是依據(jù)明確的目標，按照一定的標準，采用科學方法，測量對象的功能、品質和屬性，并對評價對象做出價值性的判斷。n評價研究的關鍵是要依據(jù)目標，利用收集的資料做出價值性的判斷。n在評價研究中，可以通過問卷調查、量表測量等收集資料，但它們只是評價研究中收集資料的工具，而不等同于評價研究。2022-6-123211 評價研究方法n評價研究的特征n評價研究的目標性n評價的目標性是指評價研究是一項具有明確目的和目標的研究活動。評價的目的是通過評價活動所期望達到的結果，通常有三種不同類型的期望結果。n比較評等：屬于相對性評價，通過對兩個不同對象的評價，以期

19、對這兩個對象的差異性做出判斷。n達標衡量：屬于絕對性評價，以某一對象作為比較的標準。n發(fā)展比較：屬于自我評價，以自身的前后狀況進行比較。2022-6-123311 評價研究方法n評價研究的特征n評價研究的價值判斷性n評價研究的價值判斷性表現(xiàn)在評價過程中，需要根據(jù)目標分解出若干評價要素(項目)，由評判者根據(jù)一定的標準，對評價對象的各項功能、品質和屬性進行等級的判斷。n在獲得逐項的評判結果之后，還要根據(jù)各項目的重要程度制定權重，把各項目的評判等級與權重綜合，從而對總體做出等級比較、達標狀況或發(fā)展程度的判斷。2022-6-123411 評價研究方法n評價研究的要素n評價對象：指被評價、被研究的人或事

20、物。n評價指標體系：是評價研究工作的工具，通過它有目的地進行資料的搜集、整理、分析；同時它又是評價判斷的依據(jù)，依據(jù)它做出價值性的判斷。評價指標體系包括有評價要素(指標項)、評價標準和指標權重三個部分。n評判者：包括組織領導機關、研究人員、專家、同行、教師、學生以及評價對象本身。2022-6-123511 評價研究方法n評價研究的基本步驟n1 建立評價指標體系n評價要素、評價標準、指標權重n2 資料的收集n通過多種途徑收集資料，例訪問調查、個案調查、問卷調查、量表測量(專家評判)等。n3 資料的鑒別n4 價值判斷n5 評價結果的綜述2022-6-123611 評價研究方法n評價的類型n1 診斷性

21、評價n事物發(fā)展進程的某一階段開始之前所做的評價，是了解人們對這一事物某一發(fā)展階段的興趣、態(tài)度，以及發(fā)展所必須具備的條件存在程度等。n診斷性評價的目的是為了摸清條件、基礎，發(fā)展問題和診斷原因，根據(jù)評價的結果，可以修定階段發(fā)展目標，提出指導發(fā)展的計劃。2022-6-123711 評價研究方法n評價的類型n2 形成性評價n是一種在事物發(fā)展進程中所做的評價，具有反饋的功能。其目的是監(jiān)督事物的發(fā)展，并調整、修正發(fā)展進程。此評價是按照原來預定的發(fā)展目標作為評價依據(jù)。n對于學生學習，形成性評價就是通過平時的小測驗、期中考試、作業(yè)等測量手段來進行評價，起到督促學生學習，有助于改進教師教學的作用。2022-6-

22、123811 評價研究方法n評價的類型n3 總結性評價n是一種在事物發(fā)展某一個階段之后所進行的評價，這種評價目的是了解整體的效果，提供一個總體評價成績的資料。n總結性評價往往又具有后續(xù)新階段的診斷性評價的作用。2022-6-123911 評價研究方法n2 評價指標體系的設計n評價指標體系n把評價對象根據(jù)某種特定的目標分解為若干層次，每個層次又可分解出若干組成要素，依據(jù)每個要素和每一結構層次所起的作用和功能形成評價指標體系。n指標實際上是目標在一個方面的規(guī)定，它是具體的、可測的、行為化和操作化的目標。2022-6-124011 評價研究方法n指標體系設計的原則n1 與目標的一致性n指標要充分地反

23、映目標，要與教育目標或管理目標相一致。體系內各條具體指標必須具有一致性，不能互相沖突。n2 直接的可測性n指標作為具體的目標，可用操作化的語言加以定義，它所規(guī)定的內容可通過實際觀察加以直接測量，以獲得明確的結論。2022-6-124111 評價研究方法n指標體系設計的原則n3 體系內指標的相互獨立性n評價指標體系是由一組相互間有著緊密聯(lián)系的指標結合而成，體系內的各條指標又必須是相互獨立的。n4 指標體系的整體完備性n指標的整體完備性就是指標體系的指標全面性，要能夠全面地、毫無遺漏地反映教育目標和管理目標。2022-6-124211 評價研究方法n指標體系設計的原則n5 指標的可比性n指標必須反

24、映被評價對象共同的屬性。這種屬性的一致性，是可比的前提，也是可比的基礎。n6 可接受性n指標的可接受性具有兩層含義：其一是符合我國的國情，從實際出發(fā)提出指標才是可接受的。其二是指按指標進行評價是可行的。2022-6-124311 評價研究方法n目標分解n指標必須與目標相一致，可以通過分解目標的方式來形成指標體系，這是建立指標體系的基本途徑。n我們可以把目標分解為三個基本層次，分為總體指標(零級指標)、結構指標(一級指標)、單項指標(二級指標)三部分。2022-6-124411 評價研究方法n評價標準的建立n1 描述式標準n運用文字描述每個不同要素的等級，并賦給每個等級的分值。n這種標準形式要求

25、所描述的各要素概念明確、清楚、合理、方便辨別。nP281 ，表11.2 描述式標準的形式2022-6-124511 評價研究方法n描述式標準指標標準分值數(shù)字衛(wèi)星地面站的資料收集與保存狀況已全部收集并妥善保存4只把系統(tǒng)課程以及部分教學參考資料收錄保存3有計劃地收集其中部分資源作為參考資料2無目的無計劃，臨時性收集其中部分資料12022-6-124611 評價研究方法n評價標準的建立n2 期望評語量表式標準n這種標準是根據(jù)目標要求，寫出期望達到的評語或要求，同時把該項指標分為若干等級，給每個等級賦予分值，評判者根據(jù)達到期望評語或要求的程度逐項打分。nP281頁，表11.3 期望評語量表式標準形式2022-6-124711 評價研究方法 等級期望評語43210非常滿意滿意基本滿意不滿意非常不滿意講授概念準確，條理清楚抓住了重點難點能聯(lián)系實際，有獨到見解講述生動有啟發(fā)性2022-6-124811 評價研究方法n評價標準的建立n3 客觀可數(shù)等級式標準n對于某些條件指標，可以采用客觀、可數(shù)的定量數(shù)值作為標準，標準分成不同的等級，凡達到一定的數(shù)額者則可歸屬到某一等級之中。2022-6-124911 評價研究方法n客觀可數(shù)等級式標準學校擁有的技術設備54321計算機(臺)網絡教室(間)多媒體教學平臺2022