第四章測量的信度與效度

第四章測量的信度與效度第一頁，共八十七頁，編輯于2023年，星期五第一節(jié)測量信度一、什么是信度1.信度的描述定義信度（reliability）是指測量結(jié)果的穩(wěn)定性和可靠性程度。第二頁，共八十七頁，編輯于2023年，星期五2.信度的測量學定義（操作性定義）第三頁，共八十七頁，編輯于2023年，星期五3.誤差方差與信度的關(guān)系第四頁，共八十七頁，編輯于2023年，星期五二、信度的估計方法（一）重測信度（test-retestreliability）1.含義與計算重測信度是指用同一量表對同一組被試測試兩次所得結(jié)果的一致程度，其大小等于同一組被試在兩次測驗上所得分數(shù)的積差相關(guān)系數(shù)。即：第五頁，共八十七頁，編輯于2023年，星期五第六頁，共八十七頁，編輯于2023年，星期五第七頁，共八十七頁，編輯于2023年，星期五2.重測信度使用的條件（1）所測量的心理特質(zhì)必須是穩(wěn)定的（2）遺忘和練習的效果基本上相互抵消（3）在兩次測試時間間隔內(nèi)，被試在所要測查的心理特質(zhì)方面沒有其他的學習和練習第八頁，共八十七頁，編輯于2023年，星期五3.計算重測信度應注意的問題（1）兩次測驗時間間隔要適當（2）應提高被試的積極性（3）適宜于人格測驗與速度測驗，不適合于智力等難度測驗第九頁，共八十七頁，編輯于2023年，星期五（二）復本信度（Alternate-formreliability）1.含義與計算是指兩個平行測驗測量同一批被試所得結(jié)果的一致程度，其大小等于同一組被試在兩個復本測驗上所得分數(shù)的積差相關(guān)系數(shù)。計算公式同重測信度。第十頁，共八十七頁，編輯于2023年，星期五兩個復本測驗實施的時間不同，復本信度所表達的含義略有不同。（1）等值性系數(shù)如果兩個復本測驗是同時連續(xù)測試的，則稱這種復本信度為等值性系數(shù)。等值性系數(shù)的大小主要反映著兩個復本測驗的題目差別帶來的變異情況。第十一頁，共八十七頁，編輯于2023年，星期五（２）穩(wěn)定性與等值性系數(shù)如果兩個復本測驗是相距一段時間分兩次測試，則稱這種復本信度為穩(wěn)定性與等值性系數(shù)。此時兩個題目間的差別、兩次施測情境、被試特質(zhì)水平等方面的差別都會成為測驗結(jié)果不一致的原因。第十二頁，共八十七頁，編輯于2023年，星期五2.復本信度使用的條件（1）兩個測驗必須在項目的內(nèi)容、形式、數(shù)量、難易、時限、指導語等方面相同或相似。（2）兩次測驗的時間間隔要適當。局限：（1）復本法只能減少而不能排除練習和記憶效應。（2）對于許多測驗來說要建立復本是非常困難的。第十三頁，共八十七頁，編輯于2023年，星期五（三）分半信度（Split-halfreliability）1.含義與計算是指將一個測驗分成對等的兩半后，所有被試在這兩半上得分的一致性。分半信度信度與等值性系數(shù)的解釋一樣，即可以把對等的兩半測驗看成是最短時距內(nèi)施測的兩個平行測驗。分半信度描述的是兩半題目間的一致性，所以也叫內(nèi)部一致性系數(shù)。第十四頁，共八十七頁，編輯于2023年，星期五注意題目分半的方法：按題號奇偶性分半、按題目難度分半、按題目內(nèi)容分半等。計算方法與復本信度類似，但被試在兩半測驗上得分的相關(guān)系數(shù)只是半個測驗的信度，所以必須用斯皮爾曼—布朗公式加以校正：第十五頁，共八十七頁，編輯于2023年，星期五第十六頁，共八十七頁，編輯于2023年，星期五第十七頁，共八十七頁，編輯于2023年，星期五第十八頁，共八十七頁，編輯于2023年，星期五2.使用的前提條件和范圍分半信度通常是在只能施測一次或沒有復本的情況下使用。其中使用斯皮爾曼—布朗公式時要求全體被試在兩半測驗分數(shù)的變異數(shù)相等。當測驗無法分成對等的兩半時，無法使用。第十九頁，共八十七頁，編輯于2023年，星期五（四）同質(zhì)性信度（Homogeneityreliability）1.含義同質(zhì)性信度也叫內(nèi)部一致性系數(shù)，它是測驗內(nèi)部所有題目間的一致性程度。這里的一致性有兩種含義：一是所有題目都測的是同一種心理特質(zhì)，二是所有題目得分之間都具有較高的正相關(guān)。同質(zhì)性信度就是一個測驗所測內(nèi)容或特質(zhì)的相同程度。第二十頁，共八十七頁，編輯于2023年，星期五第二十一頁，共八十七頁，編輯于2023年，星期五第二十二頁，共八十七頁，編輯于2023年，星期五第二十三頁，共八十七頁，編輯于2023年，星期五第二十四頁，共八十七頁，編輯于2023年，星期五實際上α系數(shù)是所有可能分半信度的平均值，但它是測驗信度的一個下界值，即α系數(shù)值大，測量信度必然高，但α系數(shù)值小，卻不能判斷測量信度不高。第二十五頁，共八十七頁，編輯于2023年，星期五例題：某態(tài)度量表共７道題目，100個被試在各題上得分的方差分別是0.81,0.82,0.80,0.86,0.88,0.79,0.89,測驗總分的方差是26.00,計算該測量的信度。第二十六頁，共八十七頁，編輯于2023年，星期五第二十七頁，共八十七頁，編輯于2023年，星期五（五）評分者信度（Scorerreliability）1.含義與計算評分者信度指的是多個評分者給同一批人的答卷進行評分的一致性程度。對于主觀試題，不同的評分者給出的分數(shù)是不等的，這樣會造成誤差，如何降低評分者信度是心理測量的重要任務之一。第二十八頁，共八十七頁，編輯于2023年，星期五當評分者人數(shù)為2時，評分者信度等于兩個評分者給同一批被試答卷所給分數(shù)的相關(guān)系數(shù)。如果是多個評分者，評分者信度采用肯德爾和諧系數(shù)進行估計。第二十九頁，共八十七頁，編輯于2023年，星期五第三十頁，共八十七頁，編輯于2023年，星期五第三十一頁，共八十七頁，編輯于2023年，星期五第三十二頁，共八十七頁，編輯于2023年，星期五第三十三頁，共八十七頁，編輯于2023年，星期五三、信度的作用（一）評價測驗信度是測量過程中所存在的隨機誤差大小的反映。信度低，測量隨機誤差大，測量結(jié)果就會與真分數(shù)發(fā)生較大偏離。信度是衡量一個測驗好壞的重要指標之一，測驗的信度達到多少才可以接受呢？一般來講，能力與成就測驗的信度應該在0.90以上，人格測量信度系數(shù)應該在0.80以上。測量中的系統(tǒng)誤差與信度無關(guān)。第三十四頁，共八十七頁，編輯于2023年，星期五（二）解釋分數(shù)1.解釋個人測驗分數(shù)的意義從理論上講，一個人的真分數(shù)本來是用同一測驗對他反復施測所得的平均值，其誤差則是這些實測值的標準差。但實際上，這是做不到的。實際的做法是用一個團體（人數(shù)足夠多）兩次施測得結(jié)果來代替對同一個人的反復施測，以估計測量誤差的變異數(shù)。第三十五頁，共八十七頁，編輯于2023年，星期五此時每個人兩次測量的分數(shù)之差構(gòu)成一個新的分布，這個分布的標準差就是測量的標準誤，它是此次測量中誤差大小的客觀指標，有了這一指標，就可以對團體中任何一個人的測驗成績做出恰當?shù)慕忉?。第三十六頁，共八十七頁，編輯?023年，星期五第三十七頁，共八十七頁，編輯于2023年，星期五2．不同測驗分數(shù)的比較第三十八頁，共八十七頁，編輯于2023年，星期五四、影響測量信度的主要因素測量信度是測量過程中隨機誤差大小的反映，隨機誤差大，信度就低，隨機誤差小，信度就高。因此，在測量過程中凡是能引起測量隨機誤差的因素都會影響測量信度。影響信度的幾種主要因素為：第三十九頁，共八十七頁，編輯于2023年，星期五（一）被試方面就單個被試而言，其身心健康狀況、應試動機、注意水平、作答態(tài)度等會影響測量信度。第四十頁，共八十七頁，編輯于2023年，星期五就團體而言，團體的異質(zhì)程度與分數(shù)的分布密切相關(guān)，一個團體越是異質(zhì)，其分數(shù)分布范圍越大，計算出來的信度系數(shù)值越高，這樣會高估真正的信度值。當團體內(nèi)部水平相差不大（同質(zhì)）時，其得分分布必然會狹窄，以相關(guān)為基礎計算出來的信度值必然小，可能會低估真正的信度值。此外若團體的平均數(shù)太高或太低，同樣使測驗的總分分布變窄，低估測驗的真正信度。第四十一頁，共八十七頁，編輯于2023年，星期五（二）主試者方面就主試者而言，若不按指導手冊中的規(guī)定施測，或故意制造緊張氣氛，或給考生一定的暗示、協(xié)助等，測量信度會大大降低。就閱卷評分者而言，若評分標準掌握不一，或前后標準不統(tǒng)一，甚至隨心所欲，則也會降低測量信度。第四十二頁，共八十七頁，編輯于2023年，星期五（三）施測情境方面實施測驗時，環(huán)境是否安靜，光線和通風狀況是否良好，所需設備是否齊全，桌面是否合乎要求等都可能影響到測量信度。第四十三頁，共八十七頁，編輯于2023年，星期五（四）測量工具方面測量的取樣、測驗的長度、難度等是影響測量信度的主要因素或關(guān)鍵因素。一般來說，測驗越長，信度值越高。這是因為：測驗加長，能夠改進項目取樣的代表性，從而能夠更好地反映受測者的真實水平。測驗的項目越多，每個項目上得隨機誤差會相互抵消。測驗太難或太容易，都會降低測驗的信度。第四十四頁，共八十七頁，編輯于2023年，星期五第四十五頁，共八十七頁，編輯于2023年，星期五（五）兩次施測之間的時間間隔計算重測信度、穩(wěn)定性與等值性系數(shù)時，兩次測驗相隔時間越短，其信度值可能會越大；兩次測驗相隔時間越長，其信度值可能會越小。第四十六頁，共八十七頁，編輯于2023年，星期五五、提高測量信度的常用方法（一）適當增加測驗的長度增加新項目必須與原試卷中的所有項目同質(zhì)，新增項目必須適度。（二）使測驗中題目的難度接近正態(tài)分布，并控制在中等難度（三）努力提高測驗試題的區(qū)分度（四）選取適當?shù)谋辉噲F體（五）主試者嚴格按照要求去做第四十七頁，共八十七頁，編輯于2023年，星期五

第二節(jié)測量效度一、什么是效度（validity）（一）效度的概念效度是指一個測驗或量表實際能測出其所要測的心理特質(zhì)的程度?；蛘哒f實測結(jié)果與所要測查的結(jié)果的吻合或一致程度。第四十八頁，共八十七頁，編輯于2023年，星期五例如：一個小學數(shù)學測驗的成績?nèi)敉瑫r受到數(shù)學能力和語文能力（讀懂題意的能力）的影響，測試結(jié)果成績低，就不能認為實際所要測的數(shù)學能力這一心理特質(zhì)水平不高。第四十九頁，共八十七頁，編輯于2023年，星期五關(guān)于效度應該注意以下幾個方面：1.效度是一個相對的概念，其相對性表現(xiàn)在：（1）效度是相對于測量目的而言的。一個測驗或量表是否有效主要看它是否達到了測量的目的。（2）心理特質(zhì)是比較隱蔽的特性，心理測量不可能百分之百的準確，只能達到一定的準確度。2.效度是隨機誤差和系統(tǒng)誤差的綜合反映。3.判斷一個測量是否有效要從多方面收集證據(jù)。第五十頁，共八十七頁，編輯于2023年，星期五

（二）效度的測量學定義第五十一頁，共八十七頁，編輯于2023年，星期五第五十二頁，共八十七頁，編輯于2023年，星期五二、效度與信度的關(guān)系第五十三頁，共八十七頁，編輯于2023年，星期五第五十四頁，共八十七頁，編輯于2023年，星期五三、效度的估計由于測量效度是就測量的結(jié)果達到測量目的的程度而言的，所以測量效度在很大程度上取決于人們對于測量目的的解釋。效度的種類很多，分類方法也有所不同。目前被廣泛采用的是弗蘭士（J.W.French）和米希爾（B.Michel）提出的分類方法：他們將效度分為內(nèi)容效度、結(jié)構(gòu)效度（構(gòu)想效度）和效標效度（實證效度）。第五十五頁，共八十七頁，編輯于2023年，星期五（一）內(nèi)容效度（contentvalidity）1.內(nèi)容效度的含義及其應用的范圍內(nèi)容效度是指一個測驗實際測到的內(nèi)容與所要測的內(nèi)容之間的吻合程度。估計一個測驗的內(nèi)容效度就是確定該測驗在多大程度上代表了所要測量的心理特質(zhì)?；蛘哒f內(nèi)容效度就是測驗的測題對測驗內(nèi)容范圍的代表程度。第五十六頁，共八十七頁，編輯于2023年，星期五一個測驗要有好的內(nèi)容效度必須滿足以下兩個條件：（1）確定好測驗內(nèi)容的范圍，并使得測驗的全部項目均在此范圍內(nèi)。（2）確定好行為樣本及其不同行為樣本項目的比例。第五十七頁，共八十七頁，編輯于2023年，星期五2.確定內(nèi)容效度的方法（1）專家判斷的方法內(nèi)容效度的確定方法主要是邏輯分析的方法。其工作思路是請專家對測驗題目與原定內(nèi)容范圍的吻合程度作出判斷。步驟如下：第五十八頁，共八十七頁，編輯于2023年，星期五①明確測驗目的及測驗內(nèi)容的范圍②確定每個題目所測的內(nèi)容，并與測驗編制者所列的雙向細目表對照③制訂評定量表，考察題目對所定義的內(nèi)容范圍的覆蓋率、判斷題目難度與能力要求之間的差異等。第五十九頁，共八十七頁，編輯于2023年，星期五（2）復本法（3）重測法（4）經(jīng)驗法第六十頁，共八十七頁，編輯于2023年，星期五3.內(nèi)容效度的應用內(nèi)容效度主要應用于成就測驗以及職業(yè)選拔和分類測驗。在這類測驗中，測驗內(nèi)容是實際工作所需要的知識和技能。使用內(nèi)容效度要注意與表面效度（surfacevalidity）的區(qū)別。表面效度是指一個測驗在使用者和被試看來，直覺地認為它在測量什么，是否測到了測驗所要測量的內(nèi)容。表面效度不是效度。第六十一頁，共八十七頁，編輯于2023年，星期五（二）結(jié)構(gòu)效度（constructvalidity）1.結(jié)構(gòu)效度的含義、特點與應用范圍結(jié)構(gòu)效度是指一個測驗實際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說測驗分數(shù)能夠說明測量的理論結(jié)構(gòu)和特質(zhì)的程度。結(jié)構(gòu)效度有如下特點：

第六十二頁，共八十七頁，編輯于2023年，星期五（1）結(jié)構(gòu)效度首先取決于事先假定的心理特質(zhì)的結(jié)構(gòu)理論（2）當實際測量的資料無法證實事先的理論假設時，并不一定就表明該測驗結(jié)構(gòu)效度不高。（3）結(jié)構(gòu)效度通過測量什么、不測量什么的證據(jù)積累起來給以確定的，因而不可能有單一的數(shù)量指標來描述結(jié)構(gòu)效度。結(jié)構(gòu)效度主要應用于智力測驗、人格測驗等一些心理測驗方面。第六十三頁，共八十七頁，編輯于2023年，星期五2.結(jié)構(gòu)效度的確定確定結(jié)構(gòu)效度的基本程序第一，對所研究的心理特質(zhì)的結(jié)構(gòu)進行界定第二，依據(jù)理論框架，提出可能的假設第三，收集數(shù)據(jù)，驗證假設第六十四頁，共八十七頁，編輯于2023年，星期五確定結(jié)構(gòu)效度的具體方法（１）測驗內(nèi)法研究測驗的內(nèi)部結(jié)構(gòu)，如測驗的內(nèi)容與題目間的相關(guān)來分析測驗的結(jié)構(gòu)效度。①確定測驗的內(nèi)容效度：對于“語文能力”的測驗，語文能力是對詞匯下定義、對語言進行類比推理和文章篇句中正確運用文字的能力。第六十五頁，共八十七頁，編輯于2023年，星期五②分析被試對項目反應的過程：觀察被試的操作，詢問他們的解題過程，做必要的數(shù)據(jù)相關(guān)分析。③考察測驗的同質(zhì)性。④因素分析的方法⑤結(jié)構(gòu)方程的方法第六十六頁，共八十七頁，編輯于2023年，星期五（2）測驗間法通過對幾個測驗的比較研究，找出它們所測的共同特質(zhì)，這樣便可以確定這些測驗是否具有結(jié)構(gòu)效度。①相容效度：計算被試在新舊兩個同類測驗上的分數(shù)的相關(guān)。如果相關(guān)高，則說明兩個測驗測的是相同的特質(zhì)。②區(qū)分效度：一個有效的測驗不僅與其它測量同一構(gòu)想的測驗有比較高的相關(guān)，而且還應與測量不同構(gòu)想的測驗具有比較低的相關(guān)。第六十七頁，共八十七頁，編輯于2023年，星期五（３）效標關(guān)聯(lián)法（４）實際操作法第六十八頁，共八十七頁，編輯于2023年，星期五（三）效標效度（實證效度）1.效標效度的含義、種類與作用效標效度是指一個測驗對于特定情境中的個體的行為進行估計的有效性，即根據(jù)測驗所作出的預測能否被實際的結(jié)果所證實。第六十九頁，共八十七頁，編輯于2023年，星期五比如學習能力測驗，如果測得某些學生的學習能力高，他們實際的學習成績高，測得某些學生的學習能力低，實際的學習結(jié)果成績低。測量的實證效度高。這里被估計或預測的行為的實際結(jié)果是檢驗測驗效度的標準，簡稱效標。

第七十頁，共八十七頁，編輯于2023年，星期五根據(jù)效標資料搜集的時間，效標效度可以分為同時效標和預測效標。效標資料與測驗分數(shù)是同時收集的，獲得的效度叫同時效度；效標資料是根據(jù)測驗之后的實際業(yè)績定的，獲得的效度叫預測效度。同時效度主要用于診斷現(xiàn)狀，預測效度在于預測個體將來的行為。第七十一頁，共八十七頁，編輯于2023年，星期五2．效標與效標測量估計測驗效標效度首要條件是必須具有效標，什么是效標？效標就是衡量一個測驗是否有效的外在標準，是我們所要預測的行為。第七十二頁，共八十七頁，編輯于2023年，星期五效標可以是連續(xù)變量（如分數(shù)），也可以是分類變量（如職業(yè)）；可以是自然的現(xiàn)成的指標（如產(chǎn)量、薪水），也可以是人為設計的指標（如考試測驗）；可以是主觀評判，也可以是客觀測量。歸納起來，常見的效標主要有學業(yè)成就、等級評定、臨床診斷、特殊訓練的籌集、實際工作表現(xiàn)和其他測驗成績。第七十三頁，共八十七頁，編輯于2023年，星期五阿斯?。ˋ.W.Astin）將效標分為觀念效標和效標測量。觀念效標是一個概念，效標測量是觀念效標的量化。如對于大學入學考試這個測驗來說，觀念效標是“大學學習成功”，而大學學習成績是效標測量。第七十四頁，共八十七頁，編輯于2023年，星期五好的效標測量應符合以下條件：（1）必須真實的反映觀念效標的重要側(cè)面（2）必須可靠穩(wěn)定（3）必須客觀，不存在偏見（4）在保證有效性的前提下，盡量簡單省時、代價低。第七十五頁，共八十七頁，編輯于2023年，星期五2.效標效度的確定方法效標效度的確定方法一般有三個步驟：明確觀念效標，確定效標測量，考察測驗分數(shù)與效標測量的關(guān)系。效標效度的