測量的信與效

會計學(xué)1測量的信與效PPT課件第一節(jié) 測量信度一、什么是信度1.信度的描述定義

信度（reliability）是指測量結(jié)果的穩(wěn)定性和可靠性程度。第1頁/共87頁2.信度的測量學(xué)定義（操作性定義）第2頁/共87頁3.誤差方差與信度的關(guān)系第3頁/共87頁二、信度的估計方法（一）重測信度（test-retest

reliability）1.含義與計算

重測信度是指用同一量表對同一組被試測試兩次所得結(jié)果的一致程度，其大小等于同一組被試在兩次測驗上所得分?jǐn)?shù)的積差相關(guān)系數(shù)。即：第4頁/共87頁第5頁/共87頁第6頁/共87頁2.重測信度使用的條件（1）所測量的心理特質(zhì)必須是穩(wěn)定的（2）遺忘和練習(xí)的效果基本上相互抵消

（3）在兩次測試時間間隔內(nèi)，被試在所要測查的心理特質(zhì)方面沒有其他的學(xué)習(xí)和練習(xí)第7頁/共87頁3.計算重測信度應(yīng)注意的問題（1）兩次測驗時間間隔要適當(dāng)（2）應(yīng)提高被試的積極性

（3）適宜于人格測驗與速度測驗，不適合于智力等難度測驗第8頁/共87頁（二）復(fù)本信度（Alternate-form

reliability）1.含義與計算

是指兩個平行測驗測量同一批被試所得結(jié)果的一致程度，其大小等于同一組被試在兩個復(fù)本測驗上所得分?jǐn)?shù)的積差相關(guān)系數(shù)。計算公式同重測信度。第9頁/共87頁

兩個復(fù)本測驗實施的時間不同，復(fù)本信度所表達(dá)的含義略有不同。（1）等值性系數(shù)

如果兩個復(fù)本測驗是同時連續(xù)測試的，則稱這種復(fù)本信度為等值性系數(shù)。等值性系數(shù)的大小主要

反映著兩個復(fù)本測驗的題目差別帶來的變異情況。第10頁/共87頁（２）穩(wěn)定性與等值性系數(shù)

如果兩個復(fù)本測驗是相距一段時間分兩次測試，則稱這種復(fù)本信度為穩(wěn)定性與等值性系數(shù)。此時兩個題目間的差別、兩次施測情境、被試特質(zhì)水平等方面的差別都會成為測驗結(jié)果不一致的原因。第11頁/共87頁2.復(fù)本信度使用的條件

（1）兩個測驗必須在項目的內(nèi)容、形式、數(shù)量、難易、時限、指導(dǎo)語等方面相同或相似。（2）兩次測驗的時間間隔要適當(dāng)。局限：（1）復(fù)本法只能減少而不能排除練習(xí)和記憶效應(yīng)。（2）對于許多測驗來說要建立復(fù)本是非常困難的。第12頁/共87頁（三）分半信度（Split-half

reliability）1.含義與計算

是指將一個測驗分成對等的兩半后，所有被試在這兩半上得分的一致性。

分半信度信度與等值性系數(shù)的解釋一樣，即可以把對等的兩半測驗看成是最短時距內(nèi)施測的兩個平行測驗。分半信度描述的是兩半題目間的一致性，所以也叫內(nèi)部一致性系數(shù)。第13頁/共87頁

注意題目分半的方法：按題號奇偶性分半、按題目難度分半、按題目內(nèi)容分半等。

計算方法與復(fù)本信度類似，但被試在兩半測驗上得分的相關(guān)系數(shù)只是半個測驗的信度，所以必須用斯皮爾曼—布朗公式加以校正：第14頁/共87頁第15頁/共87頁第16頁/共87頁第17頁/共87頁2.使用的前提條件和范圍

分半信度通常是在只能施測一次或沒有復(fù)本的情況下使用。其中使用斯皮爾曼—布朗公式時要求全體被試在兩半測驗分?jǐn)?shù)的變異數(shù)相等。當(dāng)測驗無法分成對等的兩半時，無法使用。第18頁/共87頁（四）同質(zhì)性信度（Homogeneity

reliability）1.含義

同質(zhì)性信度也叫內(nèi)部一致性系數(shù)，它是測驗內(nèi)部所有題目間的一致性程度。這里的一致性有兩種含義：一是所有題目都測的是同一種心理特質(zhì)，二是所有題目得分之間都具有較高的正相關(guān)。同質(zhì)性信度就是一個測驗所測內(nèi)容或特質(zhì)的相同程度。第19頁/共87頁第20頁/共87頁第21頁/共87頁第22頁/共87頁第23頁/共87頁

實際上α系數(shù)是所有可能分半信度的平均值，但它是測驗信度的一個下界值，即α系數(shù)值大，測量信度必然高，但α系數(shù)值小，卻不能判斷

測量信度不高。第24頁/共87頁例題：某態(tài)度量表共７道題目，100個被試在各題上得分的方差分別是0.81,0.82,0.80,0.86,0.88,0.0.89,測驗總分的方差是26.00,計算該測量的信度。第25頁/共87頁第26頁/共87頁（五）評分者信度（Scorer

reliability）1.含義與計算

評分者信度指的是多個評分者給同一批人的答卷進(jìn)行評分的一致性程度。對于主觀試題，不同的評分者給出的分?jǐn)?shù)是不等的，這樣會造成誤差，如何降低評分者信度是心理測量的重要任務(wù)之一。第27頁/共87頁

當(dāng)評分者人數(shù)為2時，評分者信度等于兩個評分者給同一批被試答卷所給分?jǐn)?shù)的相關(guān)系數(shù)。如果是多個評分者，評分者信度采用肯德爾和諧系數(shù)進(jìn)行估計。第28頁/共87頁第29頁/共87頁第30頁/共87頁第31頁/共87頁第32頁/共87頁三、信度的作用（一）評價測驗

信度是測量過程中所存在的隨機(jī)誤差大小的反映。信度低，測量隨機(jī)誤差大，測量結(jié)果就會與真分?jǐn)?shù)發(fā)生較大偏離。

信度是衡量一個測驗好壞的重要指標(biāo)之一，測驗的信度達(dá)到多少才可以接受呢？一般來講，能力與成就測驗的信度應(yīng)該在0.90以上，人格測量信度系數(shù)應(yīng)該在0.80以上。測量中的系統(tǒng)誤差與信度無關(guān)。第33頁/共87頁（二）解釋分?jǐn)?shù)1.解釋個人測驗分?jǐn)?shù)的意義

從理論上講，一個人的真分?jǐn)?shù)本來是用同一測驗對他反復(fù)施測所得的平均值，其誤差則是這些實測值的標(biāo)準(zhǔn)差。但實際上，這是做不到的。實際的做法是用一個團(tuán)體（人數(shù)足夠多）兩次施測得結(jié)果來代替對同一個人的反復(fù)施測，以估計測量誤差的變異數(shù)。第34頁/共87頁

此時每個人兩次測量的分?jǐn)?shù)之差構(gòu)成一個新的分布，這個分布的標(biāo)準(zhǔn)差就是測量的標(biāo)準(zhǔn)誤，它是

此次測量中誤差大小的客觀指標(biāo)，有了這一指標(biāo)，就可以對團(tuán)體中任何一個人的測驗成績做出恰當(dāng)

的解釋。第35頁/共87頁第36頁/共87頁2．不同測驗分?jǐn)?shù)的比較第37頁/共87頁四、影響測量信度的主要因素

測量信度是測量過程中隨機(jī)誤差大小的反映，隨機(jī)誤差大，信度就低，隨機(jī)誤差小，信度就高。因此，在測量過程中凡是能引起測量隨機(jī)誤差的因素都會

影響測量信度。影響信度的幾種主要因素為：第38頁/共87頁（一）被試方面

就單個被試而言，其身心健康狀況、應(yīng)試動機(jī)、注意水平、作答態(tài)度等會影響測量信度。第39頁/共87頁

就團(tuán)體而言，團(tuán)體的異質(zhì)程度與分?jǐn)?shù)的分布密切相關(guān)，一個團(tuán)體越是異質(zhì)，其分?jǐn)?shù)分布范圍越大，計算出來的信度系數(shù)值越高，這樣會高估真正的

信度值。當(dāng)團(tuán)體內(nèi)部水平相差不大（同質(zhì)）時，

其得分分布必然會狹窄，以相關(guān)為基礎(chǔ)計算出來

的信度值必然小，可能會低估真正的信度值。此

外若團(tuán)體的平均數(shù)太高或太低，同樣使測驗的總

分分布變窄，低估測驗的真正信度。第40頁/共87頁（二）主試者方面

就主試者而言，若不按指導(dǎo)手冊中的規(guī)定施測，或故意制造緊張氣氛，或給考生一定的暗示、協(xié)助等，測量信度會大大降低。

就閱卷評分者而言，若評分標(biāo)準(zhǔn)掌握不一，或前后標(biāo)準(zhǔn)不統(tǒng)一，甚至隨心所欲，則也會降低測量信度。第41頁/共87頁（三）施測情境方面

實施測驗時，環(huán)境是否安靜，光線和通風(fēng)狀況是否良好，所需設(shè)備是否齊全，桌面是否合乎要求等都可能影響到測量信度。第42頁/共87頁（四）測量工具方面

測量的取樣、測驗的長度、難度等是影響測量信度的主要因素或關(guān)鍵因素。一般來說，測驗越長，信度值越高。這是因為：

測驗加長，能夠改進(jìn)項目取樣的代表性，從而能夠更好地反映受測者的真實水平。測驗的項目越多，每個項目上得隨機(jī)

誤差會相互抵消。測驗太難或太容易，都會降低測驗的信度。第43頁/共87頁第44頁/共87頁（五）兩次施測之間的時間間隔

計算重測信度、穩(wěn)定性與等值性系數(shù)時，兩次測驗相隔時間越短，其信度值可能會越大；兩次測驗相隔時間越長，其信度值可能會越

小。第45頁/共87頁五、提高測量信度的常用方法（一）適當(dāng)增加測驗的長度增加新項目必須與原試卷中的所有項目同質(zhì)，新增項目必須適度。（二）使測驗中題目的難度接近正態(tài)分布，并控制在中等難度（三）努力提高測驗試題的區(qū)分度（四）選取適當(dāng)?shù)谋辉噲F(tuán)體（五）主試者嚴(yán)格按照要求去做第46頁/共87頁第二節(jié) 測量效度一、什么是效度（validity）（一）效度的概念

效度是指一個測驗或量表實際能測出其所要測的心理特質(zhì)的程度?；蛘哒f實測結(jié)果與所要測查的結(jié)果的吻合或一致程度。第47頁/共87頁

例如：一個小學(xué)數(shù)學(xué)測驗的成績?nèi)敉瑫r受到數(shù)學(xué)能力和語文能力（讀懂題意的能力）的影響，測試結(jié)果成績低，就不能認(rèn)為實際所要測的數(shù)學(xué)能力這一心理特質(zhì)水平不

高。第48頁/共87頁關(guān)于效度應(yīng)該注意以下幾個方面：1.效度是一個相對的概念，其相對性表現(xiàn)在：

（1）效度是相對于測量目的而言的。一個測驗或量表是否有效主要看它是否達(dá)到了測量的目的。

（2）心理特質(zhì)是比較隱蔽的特性，心理測量不可能百分之百的準(zhǔn)確，只能達(dá)到一定的準(zhǔn)確度。2.效度是隨機(jī)誤差和系統(tǒng)誤差的綜合反映。3.判斷一個測量是否有效要從多方面收集證據(jù)。第49頁/共87頁（二）效度的測量學(xué)定義第50頁/共87頁第51頁/共87頁二、效度與信度的關(guān)系第52頁/共87頁第53頁/共87頁三、效度的估計

由于測量效度是就測量的結(jié)果達(dá)到測量目的的程度而言的，所以測量效度在很大程度上取決于人們對于測量目的的解

釋。效度的種類很多，分類方法也有所不同。目前被廣泛

采用的是弗蘭士（J.W.French）和米希爾（B.Michel）

提出的分類方法：他們將效度分為內(nèi)容效度、結(jié)構(gòu)效度（構(gòu)想效度）和效標(biāo)效度（實證效度）。第54頁/共87頁（一）內(nèi)容效度（content

validity）1.內(nèi)容效度的含義及其應(yīng)用的范圍

內(nèi)容效度是指一個測驗實際測到的內(nèi)容與所要測的內(nèi)容之間的吻合程度。估計一個測驗的內(nèi)容效度就是確定該測驗在多大程度上代表了所要測量的心理特質(zhì)。

或者說內(nèi)容效度就是測驗的測題對測驗內(nèi)容范圍的代表程度。第55頁/共87頁一個測驗要有好的內(nèi)容效度必須滿足以下兩個條件：

（1）確定好測驗內(nèi)容的范圍，并使得測驗的全部項目均在此范圍內(nèi)。（2）確定好行為樣本及其不同行為樣本項目的比例。第56頁/共87頁2.確定內(nèi)容效度的方法（1）專家判斷的方法

內(nèi)容效度的確定方法主要是邏輯分析的方法。其工作思路是請專家對測驗題目與原定內(nèi)容范圍的吻合程度作出判斷。步驟如下：第57頁/共87頁①明確測驗?zāi)康募皽y驗內(nèi)容的范圍

②確定每個題目所測的內(nèi)容，并與測驗編制者所列的雙向細(xì)目表對照

③制訂評定量表，考察題目對所定義的內(nèi)容范圍的覆蓋率、判斷題目難度與能力要求之間的差異等。第58頁/共87頁（2）復(fù)本法（3）重測法（4）經(jīng)驗法第59頁/共87頁3.內(nèi)容效度的應(yīng)用

內(nèi)容效度主要應(yīng)用于成就測驗以及職業(yè)選拔和分類測驗。在這類測驗中，測驗內(nèi)容是實際工作所需要的知識和技能。

使用內(nèi)容效度要注意與表面效度（surface

validity）的區(qū)別。表面效度是指一個測驗在使用者和被試看來，直覺地

認(rèn)為它在測量什么，是否測到了測驗所要測量的內(nèi)容。表

面效度不是效度。第60頁/共87頁（二）結(jié)構(gòu)效度（construct

validity）1.結(jié)構(gòu)效度的含義、特點與應(yīng)用范圍

結(jié)構(gòu)效度是指一個測驗實際測到所要測量的理論結(jié)構(gòu)和特質(zhì)的程度，或者說測驗分?jǐn)?shù)能夠說明測量的理論結(jié)構(gòu)和特質(zhì)的程度。結(jié)構(gòu)效度有如下特點：第61頁/共87頁

（1）結(jié)構(gòu)效度首先取決于事先假定的心理特質(zhì)的結(jié)構(gòu)理論

（2）當(dāng)實際測量的資料無法證實事先的理論假設(shè)時，并不一定就表明該測驗結(jié)構(gòu)效度不高。

（3）結(jié)構(gòu)效度通過測量什么、不測量什么的證據(jù)積累起來給以確定的，因而不可能有單一的數(shù)量指標(biāo)來描述結(jié)構(gòu)效度。

結(jié)構(gòu)效度主要應(yīng)用于智力測驗、人格測驗等一些心理測驗方面。第62頁/共87頁2.結(jié)構(gòu)效度的確定確定結(jié)構(gòu)效度的基本程序第一，對所研究的心理特質(zhì)的結(jié)構(gòu)進(jìn)行界定第二，依據(jù)理論框架，提出可能的假設(shè)第三，收集數(shù)據(jù)，驗證假設(shè)第63頁/共87頁確定結(jié)構(gòu)效度的具體方法（１）測驗內(nèi)法

研究測驗的內(nèi)部結(jié)構(gòu)，如測驗的內(nèi)容與題目間的相關(guān)來分析測驗的結(jié)構(gòu)效度。

①確定測驗的內(nèi)容效度：對于“語文能力”的測驗，語文能力是對詞匯下定義、對語言進(jìn)行類比推理和文章篇句中正確運(yùn)用文字的能力。第64頁/共87頁

②分析被試對項目反應(yīng)的過程：觀察被試的操作，詢問他們的解題過程，做必要的數(shù)據(jù)相關(guān)分析。③考察測驗的同質(zhì)性。④因素分析的方法⑤結(jié)構(gòu)方程的方法第65頁/共87頁（2）測驗間法

通過對幾個測驗的比較研究，找出它們所測的共同特質(zhì)，這樣便可以確定這些測驗是否具有結(jié)構(gòu)效度。

①相容效度：計算被試在新舊兩個同類測驗上的分?jǐn)?shù)的相關(guān)。如果相關(guān)高，則說明兩個測驗測的是相同的特質(zhì)。

②區(qū)分效度：一個有效的測驗不僅與其它測量同一構(gòu)想的測驗有比較高的相關(guān)，而且還應(yīng)與測量不同構(gòu)想的測驗具有比較低的相關(guān)。第66頁/共87頁（３）效標(biāo)關(guān)聯(lián)法（４）實際操作法第67頁/共87頁（三）效標(biāo)效度（實證效度）1.效標(biāo)效度的含義、種類與作用

效標(biāo)效度是指一個測驗對于特定情境中的個體的行為進(jìn)行估計的有效性，即根據(jù)測驗所作出的預(yù)測能否被實際的結(jié)果所證實。第68頁/共87頁

比如學(xué)習(xí)能力測驗，如果測得某些學(xué)生的學(xué)習(xí)能力高，他們實際的學(xué)習(xí)成績高，測得某些學(xué)生的學(xué)習(xí)能力低，實際的學(xué)習(xí)結(jié)果成績低。測量的實證效度高。這里被估計或預(yù)測的行為的實際結(jié)果是檢驗測驗效度的標(biāo)準(zhǔn)，簡稱效標(biāo)。第69頁/共87頁

根據(jù)效標(biāo)資料搜集的時間，效標(biāo)效度可以分為同時效標(biāo)和預(yù)測效標(biāo)。效標(biāo)資料與測驗分?jǐn)?shù)是同時收集的，獲得的效

度叫同時效度；效標(biāo)資料是根據(jù)測驗之后的實際業(yè)績定的，獲得的效度叫預(yù)測效度。

同時效度主要用于診斷現(xiàn)狀，預(yù)測效度在于預(yù)測個體將來的行為。第70頁/共87頁2．效標(biāo)與效標(biāo)測量估計測驗效標(biāo)效度首要條件是必須具有效標(biāo)，什么是效標(biāo)？

效標(biāo)就是衡量一個測驗是否有效的外在標(biāo)準(zhǔn)，是我們所要預(yù)測的行為。第71頁/共87頁

效標(biāo)可以是連續(xù)變量（如分?jǐn)?shù)），也可以是分類變量（如職業(yè)）；可以是自然的現(xiàn)成的指標(biāo)（如產(chǎn)量、薪水），也可以是人為設(shè)計的指標(biāo)（如考試測驗）；可以是主觀評判，也可以是客觀測量。歸納起來，常見的效標(biāo)主要有學(xué)業(yè)成就、等級評定、臨床診斷、特殊訓(xùn)練的籌集、實際工作表現(xiàn)和其他測驗成績。第72頁/共87頁阿斯?。ˋ.W.Astin）將效標(biāo)分為觀念效標(biāo)和效標(biāo)測量。

觀念效標(biāo)是一個概念，效標(biāo)測量是觀念效標(biāo)的量化。如對于大學(xué)入學(xué)考試這個測驗來說，觀念效標(biāo)是“大學(xué)學(xué)習(xí)成功”，而大學(xué)學(xué)習(xí)成績是效標(biāo)測量。第73頁/共87頁好的效標(biāo)測量應(yīng)符合以下條件：（1）必須真實的反映觀念效標(biāo)的重要側(cè)面（2）必須可靠穩(wěn)定（3）必須客觀，不存在偏見（4）在保證有效性的前提下，盡量簡單省時、代價低。第74頁/共87頁2.效標(biāo)效度的確定方法

效標(biāo)效度的確定方法一般有三個步