《信度與效度分析》課件

研究方法

信度與效度分析12/19/20221研究方法

信度與效度分析12/16/20221信度的涵義什么是信度（reliability）即是指測量工具本身的可靠程度。信度分析亦稱為可靠性分析。兩個方面：測量結果的穩(wěn)定性和一致性

穩(wěn)定性高的測量工具則是指一群人在不同時空下接受同樣的衡量工具時，結果的差異很小。

反例：一把尺子在上午和下午測量同一個人的身高，相差5厘米。一致性高的測量工具是指同一群人接受性質相同，題型相同，目的相同的不同問卷測量后，在各衡量結果間顯示出強烈的正相關。

反例：測量血壓的不同工具得出的結果相差很大12/19/20222信度的涵義什么是信度（reliability）12/16/2信度的類型不同的測量方式導致不同類型的信度再測信度(test-retestreliability)

復本信度（alternative-formreliability）內部一致性信度（internalconsistencyreliability）12/19/20223信度的類型不同的測量方式導致不同類型的信度12/16/202再測信度再測信度同一個測量工具在不同的時間對同一受試者重復測量兩次，兩次測量結果的相關系數(shù)即為再測信度。這一指標反映測量工具的穩(wěn)定性，亦稱為穩(wěn)定系數(shù)(coefficientofstability)

缺點：受試者具有學習功能，測試結果易受記憶及經驗的影響，從而導致假性高相關兩次測試難時有相同的測試情境兩次測試的間隔時間并沒有統(tǒng)一標準，較難把握12/19/20224再測信度再測信度12/16/20224復本信度復本信度是以兩個測驗復本（在內容、型式、題數(shù)、難度、指導說明、時間限制與例題等方面，必須類似或相等

）來測量同一群體，然后求得應試者在這兩個測驗上得分的相關系數(shù)。復本信度的高低反映了這兩個測量復本在內容上的等值性程度，亦稱等值性系數(shù)(coefficientofequivalence)。實施方法：同時實施：測量一致性，獲得等值性系數(shù)間隔實施：測量穩(wěn)定性和一致性，獲得穩(wěn)定與等值系數(shù)(coefficientofstabilityandequivalence)

12/19/20225復本信度復本信度12/16/20225復本信度缺點：復本測驗的編制不易，不但費時，且成本較高易受練習影響的測量行為，即使采用復本方法，影響只能減少，但無法完全避免

計算再測信度與復本信度的共同問題是：

需要進行兩次測量。受試者的合作、動機、疲勞和厭煩等都可能影響測驗的實施。因此，尋求只根據(jù)一次測驗結果就可以估計信度的方法12/19/20226復本信度缺點：12/16/20226折半信度折半信度(split-halfreliability)指使用測量工具先對一組受試者施測，然后把題目分成兩半計分，依兩半所得的分數(shù)算出相關系數(shù)。在無副本且不準備重測的情況下，我們就用折半信度來計算信度系數(shù)，類似于復本信度。計算折半信度的模型有：Spearman-Brown公式,Guttman公式,Rulon公式。

使用SPSS計算折半信度12/19/20227折半信度折半信度(split-halfreliabilit內部一致性信度涵義：折半信度高表明內部項目的相關性高，這實際上反映的是測量工具內部各項目之間的一致性問題，因此衍生出內部一致性信度。內部一致性信度是指量表內容與題目之間的關系，考察的是量表的各個題目是否測量了相同的內容或特質。例如：市場導向的測量量表計算內部一致性信度的常用方法：Cronbach‘s系數(shù)

12/19/20228內部一致性信度涵義：12/16/20228Cronbach‘s系數(shù)LeeJ．Cronbach，伊利諾伊大學教授，心理測量學家。1951年將庫德-理查德20(適合與0，1記分的信度計算公式)進一步推廣，提出著名的多重記分項目的信度計算公式，即著名的一致性系數(shù)12/19/20229Cronbach‘s系數(shù)LeeJ．Cronbach，伊利Cronbach‘s系數(shù)12/19/202210Cronbach‘s系數(shù)12/16/202210信度的檢驗標準信度.30不可信.30信度.40初步的研究，勉強可信.40信度.50稍微可信.50信度.70可信(最常見的信度范圍).70信度.90很可信(次常見的信度范圍).90信度十分可信使用SPSS計算Cronbach'sa系數(shù)12/19/202211信度的檢驗標準12/16/202211

效度分析（validityanalysis）12/19/20221212/16/202212效度的涵義效度的涵義：簡言之，就是測量結果的有效性?；蚰稠棞y量活動能夠測量到測量者所希望了解的特性的程度。效度與測量目的相關，同一種測量工具在某些測量中具有高效度，但在另一些測量中卻效度不高。例如：一把信度很高的尺子在測量身高時具有很好的效度，但在測量血壓時效度顯然不佳。因此有人將效度定義為：測驗能夠達到某種目的的程度(Mehens&Lehmann,1978,p.109)

12/19/202213效度的涵義效度的涵義：12/16/202213效度的類型由于效度是相對于研究目的和研究側面而言的，具有多層面的特征，因此效度具有多種類型。主要有：內容效度(contentvalidity)

效標關聯(lián)效度(criterion-relatedvalidity)

構念效度(constructvalidity)

12/19/202214效度的類型由于效度是相對于研究目的和研究側面而言的，具有多層內容效度涵義：內容效度是指測量工具的內容是否能夠代表所欲測量的行為領域，即量表內容是否具有代表性。例如：一位教師給學生做一個數(shù)學測驗，該測驗的題目如果涵蓋了教學所欲達成的目標，及教材的重要內容，我們說該測驗有內容效度。

測量方法：尚沒有一種數(shù)量的測量方法，它的確定主要是采用邏輯的分析方法，仔細判斷每一項目是否符合及涵蓋所要測量的研究領域12/19/202215內容效度12/16/202215效標關聯(lián)效度效標關聯(lián)效度是以經驗性的方法，研究測驗分數(shù)與一些外在效標間的關系，故又可稱為經驗效度或統(tǒng)計效度(empiricalorstatisticalvalidity)，(Thorndike&Hagen,1977,p.60)。根據(jù)選擇效標的時間不同，可分為：同時效度和預測效度同時效度(concurrentvalidity)：是指測驗分數(shù)與實施測驗同一個時間所取得的效標之間的相關，旨在使用測驗分數(shù)估計個人在效標方面的目前實際表現(xiàn)。例如測量學生智力時，將學生當時的成績作為效標。預測效度：(predictivevalidity)是指測驗分數(shù)與實施測驗后一段時間所取得的效標之間的相關，旨在使用測驗分數(shù)預測個人在效標方面的未來表現(xiàn)。例如測量學生智力時，將測量之后一段時間的學生成績作為效標。12/19/202216效標關聯(lián)效度效標關聯(lián)效度是以經驗性的方法，研究測驗分數(shù)與一些構念效度構念效度，就是指測驗能夠測量到理論上的構念或特質的程度(Anastasi,1982,p.144)。分為聚合效度（convergentvalidity）和辨別效度（discriminantvalidity）兩類。聚合效度：如果某一測量工具的測量分值與測量相同構念或特質的其它測量工具的分值有高的相關度時，則可以說明聚合效度高；辨別效度：如果某一測量工具的測量分值與測量不同構念的其它其它測量工具的分值有低的相關程度時，即辨別效度高。12/19/202217構念效度構念效度，就是指測驗能夠測量到理論上的構念或特質的程構念效度的測量方法－MTMM

確定構念效度，首先一個測驗的分數(shù)不僅要和測量相同構念或特質的其它測驗分數(shù)有高的相關，即輻合效度高；而且要和測量不同構念的其它測驗的分數(shù)有低的相關，即辨別效度高方法：多元特質－多重方法矩陣(multitrait-multimethodmatrix)

使用條件：兩個以上的構念以及能夠測量這些構念的兩種以上的量表

例如，使用人格量表（方法1）和教師評定（方法2）兩種測量方法，測量學生的三種特質：成就性(A)、社會性(B)、獨立性(C)

12/19/202218構念效度的測量方法－MTMM確定構念效度，首先一個測驗的１．相同方法測量相同特質(信度系數(shù))：｛.77,.81,.92,.71,.78,.83｝２．相同方法測量不同特質(辨別效度)：｛.40,.31,.29,.37,.18,.25｝３．不同方法測量相同特質(聚合效度)：｛.59,.63,.68｝４．不同方法測量不同特質(辨別效度)：｛.29,.18,.27,.09,.11,.12｝此例就是最理想的構念效度，就是1,3所得相關比2,4所得相關為高。案例介紹12/19/20221912/16/202219CFA法聚合效度：AVE超過0.5(Fornell&Larcker1981),所有因子載荷均大于0.5(Bagozzi&Yi1988)。辨別效度：AVE大于所有因子相關系數(shù)的平方0.5(Fornell&Larcker1981)。雙變量的CFA模型中，固定協(xié)方差模型的卡方值顯著地大于自由估計協(xié)方差模型的卡方值，以兩倍標準誤構筑的協(xié)方差的置信區(qū)間不包含1(Anderson1987)12/19/202220CFA法聚合效度：AVE超過0.5(Fornell&La12/19/20222112/16/202221信度與效度的關系信度是效度的必要條件，但不是充分條件。概括兩者的關系：信度低，效度不可能高。因為如果測量的數(shù)據(jù)不準確，也并不能有效地說明所研究的對象信度高，效度未必高。例如用尺子量血壓效度低，信度很可能高。效度高，信度也必然高。12/19/202222信度與效度的關系信度是效度的必要條件，但不是充分條件。12/謝謝大家！12/19/202223謝謝大家！12/16/202223研究方法

信度與效度分析12/19/202224研究方法

信度與效度分析12/16/20221信度的涵義什么是信度（reliability）即是指測量工具本身的可靠程度。信度分析亦稱為可靠性分析。兩個方面：測量結果的穩(wěn)定性和一致性

穩(wěn)定性高的測量工具則是指一群人在不同時空下接受同樣的衡量工具時，結果的差異很小。

反例：一把尺子在上午和下午測量同一個人的身高，相差5厘米。一致性高的測量工具是指同一群人接受性質相同，題型相同，目的相同的不同問卷測量后，在各衡量結果間顯示出強烈的正相關。

反例：測量血壓的不同工具得出的結果相差很大12/19/202225信度的涵義什么是信度（reliability）12/16/2信度的類型不同的測量方式導致不同類型的信度再測信度(test-retestreliability)

復本信度（alternative-formreliability）內部一致性信度（internalconsistencyreliability）12/19/202226信度的類型不同的測量方式導致不同類型的信度12/16/202再測信度再測信度同一個測量工具在不同的時間對同一受試者重復測量兩次，兩次測量結果的相關系數(shù)即為再測信度。這一指標反映測量工具的穩(wěn)定性，亦稱為穩(wěn)定系數(shù)(coefficientofstability)

缺點：受試者具有學習功能，測試結果易受記憶及經驗的影響，從而導致假性高相關兩次測試難時有相同的測試情境兩次測試的間隔時間并沒有統(tǒng)一標準，較難把握12/19/202227再測信度再測信度12/16/20224復本信度復本信度是以兩個測驗復本（在內容、型式、題數(shù)、難度、指導說明、時間限制與例題等方面，必須類似或相等

）來測量同一群體，然后求得應試者在這兩個測驗上得分的相關系數(shù)。復本信度的高低反映了這兩個測量復本在內容上的等值性程度，亦稱等值性系數(shù)(coefficientofequivalence)。實施方法：同時實施：測量一致性，獲得等值性系數(shù)間隔實施：測量穩(wěn)定性和一致性，獲得穩(wěn)定與等值系數(shù)(coefficientofstabilityandequivalence)

12/19/202228復本信度復本信度12/16/20225復本信度缺點：復本測驗的編制不易，不但費時，且成本較高易受練習影響的測量行為，即使采用復本方法，影響只能減少，但無法完全避免

計算再測信度與復本信度的共同問題是：

需要進行兩次測量。受試者的合作、動機、疲勞和厭煩等都可能影響測驗的實施。因此，尋求只根據(jù)一次測驗結果就可以估計信度的方法12/19/202229復本信度缺點：12/16/20226折半信度折半信度(split-halfreliability)指使用測量工具先對一組受試者施測，然后把題目分成兩半計分，依兩半所得的分數(shù)算出相關系數(shù)。在無副本且不準備重測的情況下，我們就用折半信度來計算信度系數(shù)，類似于復本信度。計算折半信度的模型有：Spearman-Brown公式,Guttman公式,Rulon公式。

使用SPSS計算折半信度12/19/202230折半信度折半信度(split-halfreliabilit內部一致性信度涵義：折半信度高表明內部項目的相關性高，這實際上反映的是測量工具內部各項目之間的一致性問題，因此衍生出內部一致性信度。內部一致性信度是指量表內容與題目之間的關系，考察的是量表的各個題目是否測量了相同的內容或特質。例如：市場導向的測量量表計算內部一致性信度的常用方法：Cronbach‘s系數(shù)

12/19/202231內部一致性信度涵義：12/16/20228Cronbach‘s系數(shù)LeeJ．Cronbach，伊利諾伊大學教授，心理測量學家。1951年將庫德-理查德20(適合與0，1記分的信度計算公式)進一步推廣，提出著名的多重記分項目的信度計算公式，即著名的一致性系數(shù)12/19/202232Cronbach‘s系數(shù)LeeJ．Cronbach，伊利Cronbach‘s系數(shù)12/19/202233Cronbach‘s系數(shù)12/16/202210信度的檢驗標準信度.30不可信.30信度.40初步的研究，勉強可信.40信度.50稍微可信.50信度.70可信(最常見的信度范圍).70信度.90很可信(次常見的信度范圍).90信度十分可信使用SPSS計算Cronbach'sa系數(shù)12/19/202234信度的檢驗標準12/16/202211

效度分析（validityanalysis）12/19/20223512/16/202212效度的涵義效度的涵義：簡言之，就是測量結果的有效性?；蚰稠棞y量活動能夠測量到測量者所希望了解的特性的程度。效度與測量目的相關，同一種測量工具在某些測量中具有高效度，但在另一些測量中卻效度不高。例如：一把信度很高的尺子在測量身高時具有很好的效度，但在測量血壓時效度顯然不佳。因此有人將效度定義為：測驗能夠達到某種目的的程度(Mehens&Lehmann,1978,p.109)

12/19/202236效度的涵義效度的涵義：12/16/202213效度的類型由于效度是相對于研究目的和研究側面而言的，具有多層面的特征，因此效度具有多種類型。主要有：內容效度(contentvalidity)

效標關聯(lián)效度(criterion-relatedvalidity)

構念效度(constructvalidity)

12/19/202237效度的類型由于效度是相對于研究目的和研究側面而言的，具有多層內容效度涵義：內容效度是指測量工具的內容是否能夠代表所欲測量的行為領域，即量表內容是否具有代表性。例如：一位教師給學生做一個數(shù)學測驗，該測驗的題目如果涵蓋了教學所欲達成的目標，及教材的重要內容，我們說該測驗有內容效度。

測量方法：尚沒有一種數(shù)量的測量方法，它的確定主要是采用邏輯的分析方法，仔細判斷每一項目是否符合及涵蓋所要測量的研究領域12/19/202238內容效度12/16/202215效標關聯(lián)效度效標關聯(lián)效度是以經驗性的方法，研究測驗分數(shù)與一些外在效標間的關系，故又可稱為經驗效度或統(tǒng)計效度(empiricalorstatisticalvalidity)，(Thorndike&Hagen,1977,p.60)。根據(jù)選擇效標的時間不同，可分為：同時效度和預測效度同時效度(concurrentvalidity)：是指測驗分數(shù)與實施測驗同一個時間所取得的效標之間的相關，旨在使用測驗分數(shù)估計個人在效標方面的目前實際表現(xiàn)。例如測量學生智力時，將學生當時的成績作為效標。預測效度：(predictivevalidity)是指測驗分數(shù)與實施測驗后一段時間所取得的效標之間的相關，旨在使用測驗分數(shù)預測個人在效標方面的未來表現(xiàn)。例如測量學生智力時，將測量之后一段時間的學生成績作為效標。12/19/202239效標關聯(lián)效度效標關聯(lián)效度是以經驗性的方法，研究測驗分數(shù)與一些構念效度構念效度，就是指測驗能夠測量到理論上的構念或特質的程度(Anastasi,1982,p.144)。分為聚合效度（convergentvalidity）和辨別效度（discriminantvalidity）兩類。聚合效度：如果某一測量工具的測量分值與測量相同構念或特質的其它測量工具的分值有高的相關度時，則可以說明聚合效度高；辨別效度：如果某一測量工具的測量分值與測量不同構念的其它其它測量工具的分值有低的相關程度時，即辨別效度高。12/19/202240構念效度構念效度，就是指測驗能夠測量到理論上的構念或特質的程構念效度的測量方法－MTMM

確定構念效度，首先一個測驗的分數(shù)不僅要和測量相同構念或特質的其它測驗分數(shù)有高的相關，即輻合效度高；而且要和測量不同構念的其它測驗的分數(shù)有低的相關，即辨別效度高方法：多元特質－多重方法矩陣(multitrait-multi