測量工具的信度和效度分析

1、測量工具的信度和效度分析授課章節(jié)測量工具的信度和效度分析授課時數(shù)6學時課 型理論課+操作課授課地點教室、示教室、教學方法講授法、多媒體教學、示教、練習教學目標1.能說出信度、效度的概念2.能描述信度的三個特征3.能進行重測信度、內(nèi)部一致性信度的計算4.能說出效度的類別5.能進行內(nèi)容效度的計算6.能描述信度與效度的關系德育目標培養(yǎng)科學、嚴謹、求實的科研精神重點1、效度、信度的概念2、如何提高效度和信度的方法3、信度和效度的關系難點1、效度和信度的評價方法課程內(nèi)谷及環(huán)節(jié)【組織教學】【復習舊課】【導入新課】【講解新課】第一節(jié)信度分析概述一信度概念二信度評價方法三信度分析方法四提高信度的方法第二節(jié)效度

2、分析概述一效度概念二效度評價方法二 提圖效度的方法四效度和信度的關系第二節(jié)效度和信度分析應用實例一信度分析應用實例二效度分析應用實例【課堂小結】【課后作業(yè)】測量工具的信度和效度分析常用的測量工具主要有調(diào)查問卷和量表，它們都是對個人行為和態(tài)度的一種測量技術，是測量答卷者對問卷題目主觀認識的個體差異的工具，也是研究者用來搜集資料的一種技術。一般情況下，編制一份量表必須做效度和信度評價，而調(diào)查問卷則不是必須的。對于有些調(diào)查問卷，其包含了類似量表性質(zhì)對答卷者客觀指標測量的題目，對這部分題目需要進行效度和信度的評價。第一節(jié) 信度分析概述 一、信度的概念 信度是指測量工具的可靠性和穩(wěn)定性的程度，或是指使用

3、某測量工具所獲得結果的一致程度或準確程度。測量工具的信度包含2 層含義：一是相同的個體在不同時間，以相同的測量工具測驗或以復本測驗，或在不同的情景下測驗，是否能得到相同的結果，即測量工具的測驗結果是否隨時間和地點等因素而變化；二是能否減少隨機誤差對測量工具測驗結果的影響，從而反映測量工具所要測量的真實情況，即測量工具是否具有穩(wěn)定性、可靠性和可預測性。信度的三個特征是：穩(wěn)定性、內(nèi)部一致性和等同性。一個好的測量工具必須是穩(wěn)定可靠，且多次測驗結果應前后一致。信度本質(zhì)上是一個統(tǒng)計學概念，是用于估計測量誤差大小的尺度，主要說明測量工具測驗結果中測量誤差所占的比例。實際應用中主要通過構建平行測驗來計算測量

4、工具的信度。二、信度的評價方法信度研究的是測量工具測驗結果的可靠性與穩(wěn)定性，這種可靠性與穩(wěn)定性可以從4個不同的角度來評價：在相同條件下所得測量工具測驗結果一致程度；不同研究者用同一種測量工具同時測驗所得結果的一致程度；同一 研 究者用同一種測量工具在不同時間內(nèi)測驗所得結果的一致程度；同一答卷者在不同時間內(nèi)對同一種測量工具測驗的穩(wěn)定程度。根據(jù)研究角度不同，信度分為外在信度(external reliability )與內(nèi)在信度( internal reliability )兩大類。外在信度是指不同時間測量時測量工具測量的一致性程度。內(nèi)在信度是指測量工具是否測量的是單一概念，同時也表明測量工具各項

5、目之間的內(nèi)在一致性程度。衡量信度高低的統(tǒng)計指標是信度系數(shù)（r）來表示，r 0.75表明信度水平較高；r= 0.5-0.75 表示信度處于中等水平低水平；r 0.5 表示信度處于較低水平。常見的信度系數(shù)有重測信度、復本信度、分半信度和Cronbachs 系數(shù)等。重測信度是最常用的外在信度，Cronbachs 系數(shù)是最常用的內(nèi)在信度。三、信度的分析方法1 重 測 信 度（ test-retest reliability ）1.1 定義 ： 用同一工具兩次或多次測定同一研究對象， 所得結果的一致程度。1.2 指標：重測相關系數(shù)（r） r =0-1 ; r越接近1,重測信度越高計算公式：r=行兩次調(diào)查

6、，間隔30 分鐘，發(fā)現(xiàn)僅20的人對所有問題兩次回答一致，有5的人對 13 個及以上的問題兩次回答不一 致。2 復本 信 度 ( alternative form reliability ) ：也叫等值性系數(shù)( coefficientOf equivalence) 。指兩個大致相似的研究工具同時被用于研究對象，即題目不同但內(nèi)容相似的兩份測量工具。復本信度越高，測量工具越可靠，越能代表所欲測量的內(nèi)容。計算方法是用兩個復本間隔一定時間或同時施于同一答卷者所得分數(shù)的相關系數(shù)。3 分 析 測 量工 具 內(nèi) 部一 致 性 ( internal consistency) 的 信 度系 數(shù) ： 適用于由多個條

7、目組成的問卷或量表，是護理研究中最常用的信度測量方法。種類包括：折半信度(split-half reliability )、 Cronbachs a 系數(shù)以及適用于計算二分類是非題同質(zhì)性信度的庫德- 理查森 20 號公式(KR20)。3.1 折 半 系數(shù) ：將測量工具(量表)的各項目分成兩部分，分別加以計分，對這兩個部分的數(shù)值進行相關分析，然后采用Spearman-Brown公式計算信度。折半方法：奇偶折半法、前后折半法計算方法：先根據(jù)重測信度公式計算出相關系數(shù)r,再使用Spearman-Brown公式計算折半信度。折半系數(shù)測定的缺點是：不同的折半方法會導致不同的結果，而Cronbacha系數(shù)

8、與KR-20值所計算的是工具中所有項目的平均相關程度。3.2 Cronbacha系數(shù)： 該系數(shù)是Cronbach 于 1951 年創(chuàng)立的，取值范圍在0-1之間， a 系數(shù)越高，信度越高，測量工具內(nèi)部一致性越好。計算公式：=Np/1 +p(N-1)在SPSS計算重測信度的步驟：在任務欄中選 Analyzefscale f reliabilityfitemfalpha3.3 KR-20:是Cronbach a的一種特殊形式，適用于二分制的測量工具，例如回答“是”或“否 ”、“正確”或“錯誤”的測量工具。計算公式：a =k/(k - 1) .(52-2 piqi )/524 評分 者 信 度： 不同

9、評定者使用相同的工具，同時測量相同的對象時，需計算評定者間一致程度。檢驗方法：相關系數(shù)。信度系數(shù)的計算有多種方法，各種方法所適用的信度類型也不同，因此在計算信度系數(shù)時必須認真考慮實際所求信度的類型，然后選擇恰當?shù)男哦认禂?shù)公式。由于誤差來源不同，即使同一個測量工具用不同方法所計算的信度系數(shù)也會不同，所以各信度系數(shù)間也不具有可比性。一般在信度分析中，要分別報告不同方法計算出的信度值。各種信度及其誤差來源：重測信度：檢驗量表的穩(wěn)定性，考慮的誤差來源是時間取樣。分半信度：檢驗量表的一致性，它考慮的誤差來源是內(nèi)容取樣。內(nèi)部一致性系數(shù)：檢驗量表的一致性，考慮的是測驗內(nèi)容是否異質(zhì)。評分者信度：檢驗量表的等同

10、性，考慮的誤差來源是評分者間的差別。復本信度：檢驗量表的等同性，考慮的誤差來源是內(nèi)容取樣。四 提高測量工具信度的方法1 適當延長測量工具的長度。測量工具的題目越少，得分越容易受偶然因素的影響，測量工具的信度就越低；反之，測量工具題目越多，擴大了被測量者得分范圍，在一定程度上排除了偶然因素的影響，提高了測量工具的信度。但是測量工具長度的增加與測量工具信度的提高并不總成正比，當信度系數(shù)較小時，延長測量工具的題目，信度系數(shù)增加較大；而當信度系數(shù)較大時，延長測量工具的長度對信度系數(shù)的影響就較小。2測量工具難度適中。測量工具題目太難或太易都會使測量工具得分差異減小，從而降低了測量工具的信度。3測量工具的

11、內(nèi)容盡可能同質(zhì)。4測驗時間要充分，測驗程序要統(tǒng)一，測量工具的評分要客觀。第二節(jié) 效度分析概述一、效度的概念1 效度的定義：效度通常是指測量工具的有效性和正確性，即所用的測量工具能夠測量出研究者所欲測量特性的程度。效度是測量工具最重要的特征，效度越高表示該測量工具測驗的結果所能代表要測驗行為的真實度越高，越能夠達到測驗目的，該測量工具才越正確越有效。對于一個標準測驗來說，效度比信度更為重要，效度的大小由效度系數(shù)來表示。效度包括了兩方面的含義：其一是測量工具的測驗目的；其二是測量工具對測量目標測量的精確度和真實性。2 效度的性質(zhì)效度是指測驗結果的正確性或可靠性，而不是指測驗工具本身；效度并非全有或

12、全無，只是在程度上有高低不同的差別；效度是針對某一特殊功能或者某種特殊用途而言，不具有普遍性；效度無法實際測量，只能從現(xiàn)有信息作邏輯推斷或?qū)嵶C資料作統(tǒng)計檢驗分析。3 效度的分類 內(nèi)在效度(internal validity )是指某特定測量工具中自變量與因變量之間存在因果關系的程度，反應測量工具的內(nèi)容的正確性與真實性。內(nèi)在效度是測量研究工具中應具備的最基本的效度，測量工具的內(nèi)在效度越高，其價值也越高。外在效度(external validity )是指研究結果的概括性和代表性，即研究結果可否推論到研究對象以外的其它受試者，或研究情景以外的其它情境。一項研究越能實現(xiàn)以上目標，就表示該研究的外部

13、效度越好。二、效度的評價方法評價效度的指標有：表面效度(facevalidity )、內(nèi) 容效度(contentvalidity )、效 標關聯(lián)效度(criterion relatedvalidity )、結 構效度( construct validity )、判 別效度(discriminant validity )、聚 合效度( covergent validity )、因 子效度(factorial validity )等。1 表 面 效 度( Face validity) ：定義：指通過粗略觀察判斷研究工具是否能測出所期望的概念。表面效度屬一種直覺判斷用“有”或“無”來評價，在闡述表面

14、效度時，應詳細報告評價者的特點及其評價的可信度。缺點：缺乏科學性，不能體現(xiàn)效度在程度上差異2 內(nèi) 容 效 度( content validity ) ：2.1 定義：指量表中條目反映所測量內(nèi)容的程度。即每個條 目與所測內(nèi)容的相關性，以及量表中條目是否充分地反映了測量工具所測的領域。適用范圍：問卷或量表形式的研究工具。建立在大量查閱文獻、工作經(jīng)驗、綜合分析、判斷的基礎上。2.2 評價方法：專家組(expert panel )以文字形式評價評定，由專家對工具內(nèi)容的合適性進行判斷，一般需3 個以上專家。應包括社會心理學領域、相關領域的臨床護理專家、護理教育專家。專家資質(zhì)要求：在本領域具有較高的學術水

15、平；具有較高的教育背景；具有豐富的社會心理學知識；熟悉測量工具的發(fā)展與心理學特征測定的方法；嚴謹求實的科學態(tài)度。2.3 實施步驟：內(nèi)容效度指數(shù)CVI 公式 ( content validity index)專家兩兩配對成組，分別計算各組中兩個專家都認為相關的條目數(shù)占總條目數(shù)的百分比。如：AB-0.8AC-0.9AD-0.85、 AE-0.9、 BC-0.7、 BD-0.8、 BE-0.85、 CD-0.7、 CE-0.75、 DE-0.75。 計 算所有組的平均值，得到CVI 為 0.8 3、效 標 效度 ( criterion-related validity )定義 ： 以一個公認有效的研

16、究工具作為標準，檢驗新工具與標準工具測定結果的相關性。可分為同時效度(concurrent validity) 研究工具與現(xiàn)有標準之間的相關性和預測效度(predictive validity) 測量工具作為未來情況預測指標的有效程度。估計方法：相關法，即計算某測量工具得分與效標間的相關性性，其結果 即為效標效度。當測驗分數(shù)與效標測量分數(shù)都是連續(xù)變量時，用積差相關公式求相關系數(shù)；當測量工具分數(shù)是連續(xù)變量而效標分數(shù)是二分變量時，可用二列相關公式計算效標效度。區(qū)分法：即看測量工具測量分數(shù)是否可以區(qū)分由效標所劃分的團體，可以用t 檢驗進行差異性檢驗。4、 結 構 效度 ( constructive

17、validity)定義：反映研究工具所依據(jù)理論的程度，與理論框架相符合與否。用已知的具體的概念反映抽象的概念。檢驗方法：因子分析，其主要功能是從量表全部變量(題項)中提取一些公因子，各公因子分別與某一群特定變量高度關聯(lián)，這些公因子即代表了量表的基本結構。通過因子分析可以考察問卷是否能夠測量出研究者設計問卷時假設的某種結構。在因子分析的結果中，用于評價結構效度的主要指標有累積貢獻率、共同度和因子負荷。累積貢獻率反映公因子對量表或問卷的累積有效程度，共同度反映由公因子解釋原變量的有效程度，因子負荷反映原變量與某個公因子的相關程度。評價測量工具的效度較為復雜，實際應用時可以結合各種情況進行評價。三、

18、提高效度的方法1 提高內(nèi)在效度的方法：理論正確，解釋清楚，概念要明確，解釋要信而可證；操作規(guī)范以減少誤差；控制系統(tǒng)誤差；樣本適宜且要預防流失，測試的樣本容 量一般不應低于30 例 ；適當增加測量工具的長度，增加測量工具的長度既可以提高測量工具的信度又可以增加測量工具的效度，但增加測量工具長度對信度 的影響大于效度；排除無關因素干擾。2 提高外在效度的方法：測量工具測量結果的解釋分析應具有普遍性、客觀性、合理性與真實性；以可操作性定義代表抽象性定義，取樣應有足夠的代表性， 研究的情景要適宜，最好能與未來情景類似；觀察具有普遍性，資料搜集要注 意多元性，且要客觀；盡可能排除無關的干擾變量，并慎防實驗者效應發(fā)生。四 效度和信度的關系信度與效度，