第四章 信度與隨機誤差

1、第四章 信度與隨機誤差l誤差與測量的準確性和穩(wěn)定性誤差與測量的準確性和穩(wěn)定性 誤差就是在測量中與目的無關的因素所產(chǎn)生的誤差就是在測量中與目的無關的因素所產(chǎn)生的不準確或不一致的效應。不準確或不一致的效應。 準確性與一致性的關系：準確性與一致性的關系：一. 測量的誤差l誤差的種類誤差的種類: : 隨機誤差 系統(tǒng)誤差 抽樣與測量誤差l誤差的來源誤差的來源:( :(編制過程中編制過程中,測題本身存在的誤差測題本身存在的誤差) 測量自身引起的誤差測量自身引起的誤差 題目取樣時,題量少,或無代表性 其他編制過程 Eg:句子意義不明確,題目太難,測驗時間設定不對 施測過程引起的誤差施測過程引起的誤差: :

2、物理環(huán)境 測試時間 主試因素 意外干擾 評分記分 被試引起的誤差被試引起的誤差: : 應試動機 測驗焦慮 測驗經(jīng)驗 練習效應 反應傾向 生理因素l真分數(shù)真分數(shù) 指的是在測量沒有誤差時所得到的真值。指的是在測量沒有誤差時所得到的真值。 在測量學中在測量學中, ,真分數(shù)是一個很重要的概念。真分數(shù)是一個很重要的概念。 定義化 假設 X = T + EX = T + E (Gullikson,1950)：lX=觀測分數(shù)(你的實得分數(shù)) 1 對一個人測量無數(shù)lT=真分數(shù)(構想分數(shù)) 次,其平均誤差為0,lE=誤差分數(shù)(猜測,疲勞); 即E=0 誤差是一種隨機的、 2 真分數(shù)與誤差沒有 正態(tài)的偏離 關系,

3、即rTE=0 3 不同測量上的誤差 沒有關系,即rE1E2=0 如果進行無數(shù)次測量如果進行無數(shù)次測量,X,X的平均值等于的平均值等于T Tl對于一個團體來說對于一個團體來說,實得分數(shù)、真分數(shù)實得分數(shù)、真分數(shù) 和測量誤差之間有如下關系和測量誤差之間有如下關系: : S SX2 2 = S = ST2 2 + S + SE2 2 即實得分數(shù)的變異數(shù)S SX2 2等于真分數(shù)的變異數(shù)S ST2 2加上誤差變異數(shù)S SE2 2 而真分數(shù)變異數(shù)可分成與測量目的有關(有效)的變異數(shù)S SV2 2和與測量目的無關但卻穩(wěn)定的變異數(shù)S SI2 2 S ST2 2 = S = SV2 2 + S + SI2 2最后

4、二式合并可得 S SX2 2 = S = SV2 2 + S + SI2 2 + S + SE2 2l穩(wěn)定性穩(wěn)定性 可靠性可靠性 一致性一致性 你的觀測分數(shù)在多大程度上反映了你的“真實”分數(shù)？ 在不同時間測驗同一個人獲得的結果是一致嗎？l人們通常把測量結果的可靠性稱為信度人們通常把測量結果的可靠性稱為信度,即測即測量結果的一致性或可信性程度。量結果的一致性或可信性程度。l信度的意義信度的意義 1.信度指實測值和真值相差的程度 2.信度指統(tǒng)計量與參數(shù)之間的接近程度 3.信度是指一種測驗對相同的應試者再次測驗時引起 同樣反應的程度二二. 測量信度測量信度l信度定義一信度定義一: : 信度乃是一組測

5、驗分數(shù)中真分數(shù)的變信度乃是一組測驗分數(shù)中真分數(shù)的變異數(shù)與實得分數(shù)的變異數(shù)之比。異數(shù)與實得分數(shù)的變異數(shù)之比。 即即 rXXXX=S=ST T2 2/S/SX X2 2l信度定義二信度定義二: : 信度乃是一個測驗信度乃是一個測驗X X與它的任意一個與它的任意一個平行測驗平行測驗XX的相關系數(shù)。的相關系數(shù)。 即即 r rXXXX= =XXXXl信度定義三信度定義三: : 信度乃是一組測驗分數(shù)中真分數(shù)與信度乃是一組測驗分數(shù)中真分數(shù)與實得分數(shù)的相關系數(shù)的平方。實得分數(shù)的相關系數(shù)的平方。 即即 r rXXXX= =2 2TXTX實測分數(shù)對真分數(shù)的回歸圖l1.1.穩(wěn)定性系數(shù)穩(wěn)定性系數(shù)( (重測信度重測信度

6、) )l2.2.等值性系數(shù)等值性系數(shù)( (復本、分半信度復本、分半信度) )l3.3.等值穩(wěn)定性系數(shù)等值穩(wěn)定性系數(shù)( (復本、分半信度復本、分半信度) )l4.4.內(nèi)部一致性系數(shù)內(nèi)部一致性系數(shù)( (同質(zhì)性信度同質(zhì)性信度) )l5.5.評分者的信度系數(shù)評分者的信度系數(shù)估計信度的方法估計信度的方法重測信度重測信度(Test-Retest Reliability)(Test-Retest Reliability)l定義定義: : 同一量表同一量表, ,同一被試群體同一被試群體, ,在不同在不同 時間時間, ,兩次施測兩次施測, ,求其相關。求其相關。l實質(zhì)實質(zhì): : 表示測驗結果的穩(wěn)定性。故稱之表示

7、測驗結果的穩(wěn)定性。故稱之 為穩(wěn)定性系數(shù)為穩(wěn)定性系數(shù)(Coefficient of (Coefficient of Stability) Stability) l形式形式: : 施測施測適當時間適當時間再施測再施測 計算公式參見教材P4343時間間隔的把握l間隔時間越長間隔時間越長, ,穩(wěn)定性系數(shù)越低。適宜時間間隔依照穩(wěn)定性系數(shù)越低。適宜時間間隔依照測驗目的、性質(zhì)及被試特點而定。幾分鐘至幾年。測驗目的、性質(zhì)及被試特點而定。幾分鐘至幾年。l年幼兒童年幼兒童, ,間隔要?。荒觊L群體間隔要??；年長群體, ,間隔可大。智力測間隔可大。智力測驗的間隔不能太短驗的間隔不能太短, ,成就測驗的間隔不能太長。成

8、就測驗的間隔不能太長。 l一般間隔時間不超過六個月。一般間隔時間不超過六個月。( (既不能讓被試記住上既不能讓被試記住上一次測驗的內(nèi)容一次測驗的內(nèi)容, ,又不能讓其特質(zhì)發(fā)生變化又不能讓其特質(zhì)發(fā)生變化, ,或對所或對所學知識產(chǎn)生遺忘學知識產(chǎn)生遺忘) )復本信度復本信度(Alternate-form raliability)l因為任何測驗只是所有可能題目中的一份取樣因為任何測驗只是所有可能題目中的一份取樣( (行為樣本行為樣本), ),所以可編制許多平行的等值測驗所以可編制許多平行的等值測驗, ,叫叫做復本。做復本。l復本等值要符合下列條件復本等值要符合下列條件: : 1.1.各份測驗測量的是同一

9、種心理特性。各份測驗測量的是同一種心理特性。 2.2.各份測驗具有相同的內(nèi)容和形式。各份測驗具有相同的內(nèi)容和形式。 3.3.各份測驗的題目不應重復。各份測驗的題目不應重復。 4.4.各份測驗題目數(shù)量相等各份測驗題目數(shù)量相等, ,難度和區(qū)分度大體相同。難度和區(qū)分度大體相同。 5.5.各份測驗的分數(shù)分布各份測驗的分數(shù)分布( (平均數(shù)和標準差平均數(shù)和標準差) )大致相等。大致相等。 6.6.復本編好后復本編好后, ,應再測一次應再測一次, ,以確保各份測驗的等值。以確保各份測驗的等值。計算方法: 兩個復本施測同一被試群體,求其相關。l等值性系數(shù)等值性系數(shù): :同時連續(xù)施測同時連續(xù)施測, ,反映內(nèi)容變

10、異。反映內(nèi)容變異。l形式形式: :復本復本A A最短時間最短時間復本復本B Bl穩(wěn)定性與等值性系數(shù)：穩(wěn)定性與等值性系數(shù)：l時間間隔施測時間間隔施測, ,內(nèi)容變異重測信度誤差內(nèi)容變異重測信度誤差l形式形式: :復本復本A A適當時間適當時間復本復本B B 分半信度分半信度(Split-Half Reliability)l定義定義: : 在測驗沒有復本且只能實施一次的情況在測驗沒有復本且只能實施一次的情況下下, ,可將測驗項目分成對等的兩半可將測驗項目分成對等的兩半, ,根據(jù)被試在根據(jù)被試在這兩半測驗中所得的分數(shù)計算相關系數(shù)這兩半測驗中所得的分數(shù)計算相關系數(shù), ,即得即得分半信度。分半信度。 l計

11、算分半信度先要對測驗分半。不同的分半法計算分半信度先要對測驗分半。不同的分半法可能會得到不同的信度值。可能會得到不同的信度值。l為了使兩半基本等值為了使兩半基本等值, ,可將項目按由易到難的順序排可將項目按由易到難的順序排列編號列編號, ,然后按奇數(shù)和偶數(shù)序號將項目分半。要注意然后按奇數(shù)和偶數(shù)序號將項目分半。要注意使那些性質(zhì)相同、聯(lián)系緊密的項目分在相同的一半使那些性質(zhì)相同、聯(lián)系緊密的項目分在相同的一半, ,否則會使信度值偏高。否則會使信度值偏高。l由于分半信度實際上只是半個測驗的信度由于分半信度實際上只是半個測驗的信度, ,測驗越長、測驗越長、項目越多項目越多, ,兩半分數(shù)的相關就越高。因此兩

12、半分數(shù)的相關就越高。因此, ,對長度不對長度不同的測驗同的測驗, ,要用校正公式。要用校正公式。 l計算公式參見教材P P35363536 斯皮爾曼斯皮爾曼布朗校正公式布朗校正公式 弗朗那根公式弗朗那根公式 盧倫公式盧倫公式同質(zhì)性信度同質(zhì)性信度(Homogeneity Reliability)l同質(zhì)性指測驗的所有題目測量的是同一種心同質(zhì)性指測驗的所有題目測量的是同一種心理特質(zhì)理特質(zhì), ,表現(xiàn)為各個題目得分之間有較高的表現(xiàn)為各個題目得分之間有較高的相關相關, ,相關越高則同質(zhì)性越強。相關越高則同質(zhì)性越強。 l因素分析的思路因素分析的思路l計算公式: 參見教材P P36373637 基本公式 庫德

13、理查遜公式 克倫巴赫系數(shù)評分者信度評分者信度(Scorer ReliabilityScorer Reliability)l評分者信度是指不同評分者之間在測驗結果計評分者信度是指不同評分者之間在測驗結果計分上的一致性。分上的一致性。l在心理測驗中在心理測驗中, ,評分者信度的計算評分者信度的計算, ,通常是隨機通常是隨機抽取若干份試卷抽取若干份試卷, ,由至少兩位受過訓練的評分由至少兩位受過訓練的評分者按計分規(guī)則分別判分者按計分規(guī)則分別判分, ,然后計算它們的相關。然后計算它們的相關。幾個評分者的評分越一致幾個評分者的評分越一致, ,評分者信度越高。評分者信度越高。l評分者信度評分者信度最簡單的

14、估計方法就是隨機抽最簡單的估計方法就是隨機抽取若干份答卷取若干份答卷, ,由兩個獨立的評分者打分由兩個獨立的評分者打分, ,再求每份答卷兩個評判分數(shù)的相關系數(shù)。再求每份答卷兩個評判分數(shù)的相關系數(shù)。這種相關系數(shù)的計算可以用積差相關方法這種相關系數(shù)的計算可以用積差相關方法, ,也可以采用斯皮爾曼等級相關方法。也可以采用斯皮爾曼等級相關方法。l如果評分者在三人以上如果評分者在三人以上, ,而且又采用等級記而且又采用等級記分時分時, ,就需要用肯德爾和諧系數(shù)來求評分者就需要用肯德爾和諧系數(shù)來求評分者信度。信度。l計算公式: 肯德爾和諧系數(shù)肯德爾和諧系數(shù)W各種信度系數(shù)相應誤差變異的來源信度系數(shù)的類型信度

15、系數(shù)的類型誤差變異的來源誤差變異的來源再測信度再測信度復本信度（連續(xù)施測）復本信度（連續(xù)施測）復本信度（間隔施測）復本信度（間隔施測）分半信度分半信度同質(zhì)性信度同質(zhì)性信度評分者信度評分者信度時間取樣時間取樣內(nèi)容取樣內(nèi)容取樣時間與內(nèi)容取樣時間與內(nèi)容取樣內(nèi)容取樣內(nèi)容取樣內(nèi)容的異質(zhì)性內(nèi)容的異質(zhì)性評分者間的差異評分者間的差異假設對假設對100100個六年級學生以兩個月的時間間隔個六年級學生以兩個月的時間間隔先后施測一個創(chuàng)造力測驗的先后施測一個創(chuàng)造力測驗的ABAB兩個復本兩個復本, ,所得的所得的l等值性與穩(wěn)定性系數(shù)為等值性與穩(wěn)定性系數(shù)為0.700.70。l根據(jù)被試對每個復本的反應計算出分半信度為根據(jù)被

16、試對每個復本的反應計算出分半信度為0.80(0.80(先計算每個復本的分半相關系數(shù)。將二者平先計算每個復本的分半相關系數(shù)。將二者平均后再用斯皮爾曼均后再用斯皮爾曼- -布朗公式校正）。布朗公式校正）。l同時同時, ,我們讓另一個評分者隨機抽取我們讓另一個評分者隨機抽取5050份卷子另外份卷子另外評分評分, ,得到評分者信度為得到評分者信度為0.920.92。l然后然后, ,我們對這三種方法所產(chǎn)生的誤差變異進行分我們對這三種方法所產(chǎn)生的誤差變異進行分析。析。這個假想測驗的誤差變異來源分析信度類型信度類型誤差變異量誤差變異量誤差變異來源誤差變異來源復本信度（間隔施測復本信度（間隔施測)1-0.70

17、=0.30時間與內(nèi)容取樣時間與內(nèi)容取樣分半信度分半信度1-0.80=0.20內(nèi)容取樣內(nèi)容取樣上述二者差異上述二者差異0.30-0.20=0.10 時間取樣時間取樣評分者信度評分者信度1-0.92=0.08評分者差異評分者差異誤差變異總和誤差變異總和0.20+0.10+0.08=0.38真實變異真實變異1-0.38=0.62這個假想測驗的誤差變異來源分析真實變異真實變異誤差變異誤差變異時間上的穩(wěn)定性，復本時間上的穩(wěn)定性，復本之間的一致性，評分者之間的一致性，評分者之間的一致性之間的一致性 內(nèi)容取內(nèi)容取樣誤差樣誤差時間取時間取樣誤差樣誤差評分者評分者間差異間差異62%20%10%8%l信度的作用信

18、度的作用 反映了測量過程中所存在的隨機誤差大小 可以用來解釋個人測驗分數(shù)的意義 可以幫助進行不同測驗分數(shù)的比較l影響信度的因素影響信度的因素: : 被試的樣本樣本團體的異質(zhì)程度與平均水平 測驗的長度一般說來,測驗越長,信度值超高 測驗的難度測驗難度水平使測驗分數(shù)的分布 范圍最大時,信度才最高(此難度水平為0.5)測量的隨機誤差控制測量的隨機誤差控制l測量標準誤與信度測量標準誤與信度 具體計算方法及例證：P40l影響測驗信度的隨機誤差來源影響測驗信度的隨機誤差來源 被試因素 主試因素 測試情境 測量工具本身 測試時間間隔l控制隨機誤差提高測量信度的常用方法控制隨機誤差提高測量信度的常用方法 適當增加測驗長度 盡量保證測驗題目內(nèi)容的同質(zhì)性 控制試題的難度分布 努力提高試題的區(qū)分度 測驗使用者嚴格按規(guī)范的測驗程序施測 嚴格控制