戴海崎舊版-心理與教育測量1-3課件

1、1,第三章,經(jīng)典測驗理論的基本假設,2,第一節(jié) 心理特質及其可測性假設,心理特質 表現(xiàn)在一個人身上所特有的相對穩(wěn)定的行為方式 一組內部相關的行為的概括，如善良、聰明； 比較穩(wěn)定，對不同的刺激做相同的反應； 特質可以分為多個層次，智力可以分語言和操作，語言可以分為詞匯和文法。 通過特質可以對人的行為作出預測； 心理特質的可測性 Thorndike“凡客觀存在的事物都有其數(shù)量?！?McCall“凡有數(shù)量的東西都可以測量?！?3,第二節(jié) 測量誤差及其來源,測量誤差 在測量過程中由那些與測量目的無關的變化因素所產(chǎn)生的一種不準確或不一致的測量效應 種類 系統(tǒng)誤差：由與測量目的無關的變因引起的一種恒定而有

2、規(guī)律的效應 隨機誤差：由與測量目的無關的、偶然因素引起而又不易控制的誤差,4,測量誤差的來源 測量工具 題目取樣 指導語 難度 時限 測驗復本不等值 被測對象 測驗的經(jīng)驗 練習因素 應試動機 測驗焦慮 生理因素,5,施測過程 物理環(huán)境 主試者方面 意外干擾 評分計分,6,第三節(jié) 真分數(shù)及其有關的假設,真分數(shù)的含義 真分數(shù)（True Score，T分數(shù)）反映被試某種心理特質真正水平的那個數(shù)值，一個測量工具在沒有測量誤差時，所得到的純正值。 操作定義：經(jīng)過無數(shù)次測量所得到的平均值。 觀測分數(shù)（Observed Score）實測分數(shù),7,二、數(shù)學模型及其假設 X = T + E 觀測分數(shù)=真分數(shù)+隨

3、機誤差,8,測量誤差的假設： 1. 如果一個人的某種心理特質可以用平行的測驗反復測量足夠多次，則其觀測分數(shù)的平均值會接近于真分數(shù)。 即 （X）= T 或 （E）= 0,9,2. 真分數(shù)和誤差分數(shù)之間的相關為零。 即 （T，E）= 0,10,3. 各平行測驗上的誤差分數(shù)之間的相關為零。 即 （E1，E2）= 0,11,第2.3條假設意在說明E是一個隨機誤差，沒有包含系統(tǒng)誤差在內， 第1條假設則在于說明E是個服從均值為零的正態(tài)分布的隨機變量。,12,對于經(jīng)典真分數(shù)理論（CTT）的理解： （1）在問題的研究范圍之內，反應個體某種心理特質水平的真分數(shù)是假定不會變的，測量的任務就是估計這一真分數(shù)的大小。

4、 （2）觀測分數(shù)被假定等于真分數(shù)與誤差分數(shù)之和，即假定觀測分數(shù)與真分數(shù)之間是線性關系，而不是其他關系。 （3）測量誤差是完全隨機的，并服從均值為零的正態(tài)分布。,13,平行測驗： 如果兩個題目不同的測驗測的是同一特質，并且題目形式、數(shù)量、難度、區(qū)分度以及測查等值團體后所得分數(shù)的分布都是一致的，則這兩個測驗稱作彼此平行的測驗。,14,根據(jù)CTT模型和假設，推導如下關系： （1）在一次測量中，被試觀測分數(shù)的方差等于其真分數(shù)方差與誤差分數(shù)方差之和 即 SX2 = ST2 + SE2 （2）真分數(shù)分為兩部分：與測量目的有關變異和與測驗目的無關的變異 即ST2 = SV2 + SI2 （3）由 （2）帶入

5、（1）得 SX2 = SV2 + SI2 + SE2 在一次測驗中，一個團體的實測分數(shù)之間的變異性是由與測驗目的有關的變異數(shù)、穩(wěn)定的但出自無關來源的變異數(shù)和測量誤差的變異數(shù)所決定的。,15,第四章,測量信度,16,第一節(jié) 信度概述,什么是信度？ 信度（reliability）是指測量結果的穩(wěn)定性程度，也叫測量的可靠性。 操作定義： rxx=ST2 / Sx2 rXX=TX2 rXX=XX 注意： 信度指的是一組測驗分數(shù)或一系列測量的特性，而不是個人分數(shù)的特性； 真分數(shù)的變異數(shù)是不能直接測量的，因此信度是一個理論上構想的概念，只能根據(jù)一組實得分數(shù)作出估計。,17,信度系數(shù)與信度指數(shù) 信度指數(shù)：相

6、關系數(shù) 信度系數(shù)：相關系數(shù)的平方 注意： 信度系數(shù)有多種。 同一種信度系數(shù)也會因樣本、測查時間不同而有多個。 信度系數(shù)只是對測量分數(shù)一致性的估計，但并沒有指出不一致的原因。 獲得較高的信度只是測驗有效的必要條件。,18,三、信度的作用 信度是測量過程中所存在的隨機誤差大小的反映 信度可以用來解釋個人測驗分數(shù)的意義 SE=SX1 - rXX 真分數(shù)的置信區(qū)間（95%）=X1.96SE 信度可以幫助進行不同測驗分數(shù)的比較,19,假設在一個智力測驗中，某個被試的IQ為100，這是否反映了他的真實水平？如果再測一次他的分數(shù)將改變多少？已知該測驗的標準差為15，信度系數(shù)為0.84、 某被試在韋氏成人智力

7、測驗中言語智商為102，操作智商為110.已知兩個分數(shù)都是以100為平均數(shù)，15為標準差的標準分數(shù)。假設言語測驗和操作測驗的分半信度分別是0.87和0.88.問其操作智商是否顯著高于言語智商呢？,20,一個測驗可以有多個信度估計值，因而其誤差估計值也會有多個，在實際工作者要注意選擇。 本理論假定同一個團體中所有人的測量誤差都是相同的，但實際上水平高的人與水平低的人在做測量時會有不同的隨機誤差。 測量的結果不能僵硬地看成一個點，而應看成是一個以該點為中心，以SE的某個倍數(shù)為半徑上下波動的一個范圍（區(qū)間估計）,21,第二節(jié) 信度的估計方法,一、重測信度 含義和計算 重測信度（test-retest

8、 reliability）是指用同一量表對同一組被試施測兩次所得結果的一致性程度。 皮爾遜積差相關系數(shù) (教材p48) 使用的前提條件 所測量的心理特質必須是穩(wěn)定的； 練習和遺忘的效果基本上相互抵消； 在兩次施測的間隔時期內，被試在所要測查的心理特質方面沒有獲得更多的學習和訓練。,22,使用重測信度時應注意 兩次測驗的時間間隔要適當（研究報告中需要說明）。 再測信度適用于速度測驗或人格測驗，不適用于難度測驗。 重測時應注意提高被試的積極性。 優(yōu)缺點 用再測法估計信度的優(yōu)點是能提供測驗結果是否隨時間而變化的資料，可作為預測被試將來行為的依據(jù)。 其缺點是易受練習和記憶的影響。,23,SPSS計算,

9、求出兩次測量的總分 Analyze-Correlate-Bivariate,24,二、復本信度 1含義和計算 復本信度（Alternate-form reliability）指的是兩個平行的測驗測量同一批被試所得結果的一致性程度，其值等于同一批被試在兩個復本測驗上所得分數(shù)的積差相關系數(shù)。復本信度又稱為等值性系數(shù)。 測驗實施的時間不同，復本信度所表達的含義略有不同。 如果兩個復本測驗是同時連續(xù)施測的，則稱這種復本信度為等值性系數(shù)。 如果兩個復本測驗是相距一段時間分兩次施測的，則稱這種復本信度為穩(wěn)定性與等值性系數(shù)。,25,使用的前提條件 兩測驗真正平行； 被試要有條件接受兩個測驗。 優(yōu)點 避免記憶

10、效果和學習效應,26,復本信度的局限性 如果所考慮的行為機能受到練習的影響很大，那么使用復本只能減少但不能消除這種影響。 測驗的性質會由于重復而有所改變，比如遷移的影響 編制真正的等值測驗實際困難重重，因此許多測驗沒有復本。,27,內部一致性信度（1）,三、分半信度 含義和計算 分半信度（split-half reliability）是指將一個測驗分成對等的兩半后，所有被試在這兩半上所得分數(shù)的一致性程度。由于分半信度描述的是兩半題目間的一致性，所以有時也被稱作內部一致性系數(shù)。 計算方法：皮爾遜積差相關 校正公式：斯皮爾曼-布朗公式 rxx= 2 rhh /（1+ rhh）,28,斯布公式只有在

11、兩半測驗分數(shù)的方差相等時才能使用，否則，應選擇下面兩個等價的公式之一： 弗郎那根（Flanagan）公式： rxx = 2 1 -（Sa2 + Sb2）/ Sx2 ， Sa2 ，Sb2 ，Sx2 分別為分半測驗的方差和總分的方差 盧侖（Rulon）公式 rxx = 1 - Sd2 / Sx2 ， Sd2 是兩分半測驗之差的方差,29,應用前提及范圍 分半信度通常是在只能施測一次或沒有復本的情況下使用。 試卷存在任選題或試卷為速度測驗時，不宜采用分半法。,30,常見的分半方法是按測題序號奇偶分半： 測驗題目按某種順序（如難度）排列； 如果是隨機排列的題目，則必須是所有題目是平等的（要么難度相等，

12、要么性質一致，是測同一個心理特質的）； 如果測驗有多個分量表，應在分量表內部排好順序，再把各分量表的兩半組合起來求相關。,31,SPSS計算,第一種算法 題目排序，分半 求積差相關 進行斯-布公式校正 第二章算法 直接求分半系數(shù),32,內部一致性信度（2）,四、同質性信度 含義 同質性信度（homogeneity reliability）也叫內部一致性系數(shù)，它是指測驗內部所有題目間的一致性程度。 同質性信度是指一個測驗所測內容或特質的相同程度。,33,題目間的一致性含有兩層意思：其一是指所有題目都測的是同一種心理特質，其二是指所有題目得分之間都具有較高的正相關。 值得注意的是，一些表面上看起來

13、是測量同一種心理特質的題目，如果其題目間不具有較高的正相關，則不能認為它們具有同質性。,34,計算及適用范圍 rxx = K rij / 1 +（K - 1）rij ， 其中K為一個測驗的題目個數(shù)， rij 為項目間相關系數(shù)的平均數(shù) （1）KR20公式： rxx = K /（K - 1） 1-（piqi）/ Sx2 pi為答對第i題的人數(shù)的比例；qi為答錯第i題的人數(shù)的比例。 K為題目數(shù)， Sx2為測驗總分的變異。僅適用于（0，1）記分的測驗。 （2）KR21公式： rxx = K /（K - 1） 1 -（K p q ）/ Sx2 只有當所有題目的難度接近時才適用,35,（3）克龍巴赫系數(shù)：

14、 = K /（K - 1） 1 -（Si2）/ Sx2 克倫巴赫系數(shù)可以處理任何測驗的內部一致性系數(shù)的計算問題。 實際上，K-R 20 和K-R 21 只是系數(shù)的特例。 系數(shù)是所有可能的分半信度的平均值。 是測量信度的下界的一個估計值。即值大，必有測量信度高，但值小時，卻不能斷定測量信度不高。,36,計算步驟： 按一定要求抽取n個被試的試卷，計算幾個人測驗總分的方差 這幾個人在每一個題上都會有一個得分，分別求出這幾個人在每道題上得分的方差。 代入公式，最后求出。,37,SPSS計算,Analyze-Scale-Reliability Analysis 單擊“Statistics”出現(xiàn)relia

15、bility Analysis：Statistics 在Descriptives for 方框中選取 “item”、“scale”、“scale if item deleted” 在“inter-item”，單擊“correlations”，單擊“continue”按鈕回到“reliability Analysis”對話框，單擊“ok”按鈕。,38,當研究者采用試題的標準分數(shù)總和作為量表分數(shù)時，此情況應該選用標準化系數(shù)； 當研究者采用試題的標準分數(shù)總和作為量表分數(shù)時，則不選用標準化系數(shù),39,（4）荷伊特信度 測試分數(shù)的總變異可分解為被試間變異、項目間變異和人與試題交互作用三部分。荷伊特認為可

16、用MS人作為被試方差估計值，用MS人題作為誤差方差估計值。 Rxx=1-MS人題/MS人 一般用于預測的測驗或學績測驗可不考慮同質性。而驗證理論構想時必須考慮同質性。因此，同質性不但與信度有關，還與效度有關。,40,五、評分者信度 含義 評分者信度（scorer reliability）是指多個評分者給同一批人的答卷進行評分的一致性程度。 計算 2人時：相關系數(shù) 多人時：肯德爾和諧系數(shù) W=12 R i2 -（R i）2 / N / K2（N3 -N） （K=320；N=37時，查W表檢驗） K是評分者人數(shù)，N是被評的對象數(shù)，R I為第i個被試被評的水平等級之和,41,將數(shù)據(jù)導入到SPSS中，

17、點擊：analyse-nonparametrics tests-K related samples 把所有變量選中（所有作品的列） 再選中Kendalls W , Ok 結果出來了， 主要看最下面一個表的數(shù)據(jù)，一個是Kendalls Wa , 這個數(shù)字應該在0.7以上，另一個是Asymp ,這個數(shù)字應該小于0.05,如果結果不是符合這兩個規(guī)則的話，一致辭性檢驗不通過，成績要重新打分。,42,43,評判間一致性系數(shù) 給出一個評分說明，讓兩個或更多人來打分，分數(shù)是順序或者稱名（等級或者是/否） 公式 Cohens kappa 參考心理測量駱方 孫曉敏譯 中國輕工業(yè)出版社 評分者內部一致性系數(shù) 計算

18、一個評分者在給不同測驗打分時分數(shù)的一致性 系數(shù)或KR-20,44,各種信度系數(shù)相應誤差變異的來源,45,幾種心理測驗的信度系數(shù),46,第三節(jié) 提高測量信度的方法,影響測量信度的主要因素 被試方面 被試團體同質性越高（個體差異越?。孟嚓P系數(shù)（信度）就越低。 被試團體異質性越高（個體差異越大），所得相關系數(shù)（信度）就越高。 主試方面 指導語、態(tài)度、期望等 施測情境,47,四）測量工具 測驗長度：測驗越長，信度越高。 測驗難度：過難或過易都會使個體間得分差異減小，降低信度。顯然只有當測驗難度水平可以使測驗分數(shù)的分布范圍最大時，測驗的信度才會最高。通常這個難度水平為0.50。 測驗內容：試題取樣

19、不當，內部一致性低，題意模糊，信度則低。 （五）兩次施測的間隔時間 間隔時間越短，信度越高； 間隔時間越長，信度越低。,48,斯皮爾曼布郎公式,公式中，K為改變后長度與原長度之比 rxx為原測驗的信度 rkk為測驗長度是原來K倍時的信度估計,49,例：某一測驗有10個項目，信度是0.60，問測驗應增加到多少個項目，才能使信度達到0.90？,50,解:,即，應擴大為原來的6倍，才能滿足要求。 調整后的測驗長度應是60個項目。,51,提高測量信度的常用方法 適當增加測驗的長度 使測驗中所有試題的難度接近正態(tài)分布，并控制在中等水平 努力提高測驗試題的區(qū)分度 選取恰當?shù)谋辉噲F體，提高測驗在各同質性較強

20、的亞團體上的信度 主試者嚴格執(zhí)行施測規(guī)程，評分者嚴格按照標準給分，施測場地按測驗手冊的要求進行布置，減少無關因素的干擾,52,洛德（Lord）提出學績測驗難度,53,幾點說明,提高測量信度的方法還有很多。 本章所討論的各種信度計算方法僅適用于常模參照性測驗。 目標參照性測驗的信度必須以測量的概化理論為基礎才能進行很好的處理。 信度的標準 信度高低的標準：標準化能力或學績測驗：0.90；人格測驗：0.80；教師自編學績測驗：0.60 測驗解釋的標準：一般來說，當信度0.70，測驗不能用于對個人作出評價與預測，而且不能作團體間比較；當0.70信度0.85時，可用于團體比較；當信度0.85時，才能用

21、來鑒別或預測個人成績。,54,速度測驗的信度,對于速度測驗，不存在評分者信度，也無法計算同質性信度，而重測信度和復本信度均可按傳統(tǒng)的方法求得，只有分半信度不能按傳統(tǒng)方法估計 要估計速度測驗的分半信度，不能按題目的奇偶項來劃分測驗，而應按測驗時間劃分相等的兩部分，再求出兩部分測驗的相關，才是分半信度。 將測驗分成兩部分，然后以總測驗的一半時間分別進行施測，計算兩部分得分的相關系數(shù)。 整個時限分為四部分，并求出在每個時限內的得分。計算第一部分和第四部分的總分數(shù)；第二部分和第三部分的總分數(shù)，然后計算相關。,55,第五章,測量效度,56,效度 效度（validity）是指一個測驗或量表實際能測出其所要

22、測的心理特質的程度。 在測驗的眾多質量指標中，效度是一個最重要的指標。,57,效度是一個相對的概念：每個測量工具都有自己的目的；內隱特質是通過外顯行為間接測得的。 效度是測量的隨機誤差和系統(tǒng)誤差的綜合反映。 判斷一個測量是否有效要從多方面收集證據(jù),58,在測量理論中，效度被定義為：在一列測量中，與測量目的有關的真實變異數(shù)（由所要測量的變因引起的有效變異）與總變異數(shù)（實得變異數(shù)）的比率。即： 公式中，rxy表示測量的效度系數(shù)； SV2表示有效變異數(shù)， SX2 表示總變異數(shù),59,效度與信度的關系 信度高是效度高的必要而非充分的條件 測驗的效度受它的信度制約 信度高，效度未必高， 信度低，效度必然

23、低； 效度高，信度必然高， 效度低，信度未必低。,60,第二節(jié) 效度的估計,測量效度是就測量結果達到測量目的的程度而言的，所以測量效度的估計在很大程度上取決于人們對測量目的的解釋。 常見的解釋角度主要有三種： 測驗內容 內容效度 理論結構 構想效度 工作實效 實證效度,61,內容效度,1. 含義及應用范圍 內容效度（content validity）是指測驗題目對有關內容或行為取樣的適當程度，即一個測驗實際測到的內容與所要測量的內容之間的吻合程度。 因此，一個測驗要有內容效度必須具備兩個條件： （1）要有定義完好的內容范圍 （2）測驗題目應是所界定的內容范圍的代表性取樣。,62,內容效度主要應

24、用于成就測驗。 因為成就測驗主要是測量被試掌握某種技能或學習某門課程所達到的程度。 在這種測驗中，題目取樣的代表性問題是內容效度的主要考察方面。 編制雙向細目表就是為了提高內容效度。,63,內容效度也適合于某些用于選拔和分類的職業(yè)測驗。 這種測驗所要測的內容就是實際工作中所需的知識和技能，編制這種測驗應首先對實際工作做較細的分析，否則，題目取樣的代表性就難以令人滿意。,64,內容效度不適合用于能力傾向測驗和人格測驗。 此外，在使用內容效度時，要避免與表面效度（surface validity）相混淆。 表面效度是外行人對某個測驗從表面上看好像是測某種心理特質的一種現(xiàn)象。 表面效度可以取得被試者

25、的合作 最佳行為測驗往往表明效度高；典型行為測驗表面效度低 職業(yè)興趣測驗；成就測驗 人格測驗,65,2內容效度的確定方法 （1）邏輯分析法：專家判斷根據(jù)自己的知識經(jīng)驗對量表的有效性（邏輯性）作出判斷，也稱邏輯效度。 為使內容效度的判斷過程更客觀，一般采用下列步驟： 確定測驗內容的總體范圍； 編制雙向細目表； 編制評定量表，從測驗內容所測的技能、題目對所定義的范圍的覆蓋率、各種題目數(shù)量和分數(shù)的比例以及題目形式的適當性等方面，對測驗作出總的評價。,66,（2）統(tǒng)計方法：用兩個測驗復本來測同一批被試，若相關高，則內容效度可能高，但若相關低，則說明必有一個測驗缺乏內容效度。 （3）再測法： 前測教學后

26、測 如果后測成績優(yōu)于前測成績，說明該測驗具有一定的內容效度。,67,內容效度既具有一定的優(yōu)點，也有一定的局限。其主要缺點是缺乏可靠的數(shù)量指標，因而妨礙了各測驗間的相互比較。,68,結構效度,含義、特點與應用范圍 結構效度（structure validity）是指一個測驗實際測到所要測量的理論結構或特質的程度，或者說測驗分數(shù)能夠說明心理學理論的某種結構或特質的程度。 特點： 構想效度的大小首先取決于事先假定的心理特質理論。 當實際測量的資料無法證實我們的理論假設時，并不一定就表明該測驗構想效度不高 。 不可能有單一的數(shù)量指標來描述構想效度。 構想效度主要用于智力測驗、人格測驗等 。,69,結構

27、效度的確定方法 （1）提出理論框架； （2）依據(jù)理論框架推演出有關測驗成績的假設； （3）用邏輯或實證的方法來證明假設。,70,確定構想效度的基本方法 （1）測驗內部尋找證據(jù)法 分析測驗的內容效度：若內容效度高，說明其結構效度也高； 分析被試對題目反應的特點： 有無社會稱許性的題目，如“當事情不順我意時，我時常動怒?！睂υ擃}的回答，也許反映不了要測的性格。 計算測驗的同質性信度：分半信度、系數(shù)、KR20、KR21,71,（2）測驗之間尋找證據(jù)法 相容效度：新老測驗之間的相關（兩測驗測的是同一心理特質）。若相關高，則說明新測驗可能有較高的效度。 區(qū)分效度：新老測驗之間的相關（兩測驗測的不是同一心

28、理特質），若相關低，則說明新測驗可能有較高的效度。 因素分析法：得出的因素符合理論的構思，說明效度高。,72,（3）考察測驗的實證效度法 根據(jù)效標把被試分組，考察其得分差異。 根據(jù)測驗得分差異把被試分組，考察其所測特質（行為表現(xiàn)）的差異。 成就測驗：分為高分組和低分組 人格測驗：分為不同類型的效標組,73,（4）多種特質-多種方法矩陣法 方法：1、2、3 特質：A、B、C,74,75,（5）驗證性因素分析 （confirmatory factor analysis） 驗證性因素分析是目前心理學研究中應用的一種重要統(tǒng)計分析方法，是在研究的范圍內，對已有的理論結構進行驗證性分析的方法。 在研究中，

29、這一方法可以幫助我們討論測驗研究是否具有構想效度。,76,對構想效度的評價 總的來說，構想效度促使研究者把著眼點放在提出假設、檢驗假設上，使得測驗成為理論研究的重要工具，而不再只是實際決策的輔助工具，從而使測驗有了更廣闊的發(fā)展前景。,77,三、實證效度 1含義、種類及作用 實證效度是指一個測驗對處于特定情境中的個體的行為進行估計的有效性。 被估計的行為是檢驗測驗效度的標準，簡稱效標。 所以，實證效度又稱效標關聯(lián)效度（criterion-related validity）。 同時效度：測驗分數(shù)與效標資料是同時收集的。 預測效度：先獲得測驗分數(shù)，隔一段時間后，再收集效標資料。,78,例：某大學研究

30、生入學考試要求達到一定的分數(shù)線，但偶爾也會錄取一名沒有達到分數(shù)線的學生，但要求這名學生在獲得學位之前必須達到研究生入學的最低分數(shù)線。 你怎樣看這個問題？,79,2效標 （1）效標與效標測量 效標（criterion）就是衡量一個測驗是否有效的外在標準，獨立于測驗并可以從實踐中直接獲得我們所感興趣的行為。 常用的效標：學業(yè)成就、臨床診斷、實際工作表現(xiàn)、特殊訓練成績、不同團體的總體表現(xiàn)、先前有效的測驗、等級評定。 觀念效標：理論定義，如“大學的成功” 效標測量：操作定義，如“大學成績”,80,（2）效標的特性 a.多樣性： 一個測驗可能有不同的觀念效標，同一個觀念效標又可能有不同的效標測量。 b.復雜性： 幾乎每一種效標行為都由多種特質構成，包含復雜的成分。 c.特殊性： 即使一個普通的效標，在應用時也有特殊性。 d.時間性： 近期效標與最后效標,81,（3）效標測量的條件 a.有效性：效標測量能真正反映觀念效標。 b.可靠性：有較高的信度 c.客觀性： 效標測量必須能真正反映觀念效標，防止效