統(tǒng)計學問卷效度、信度的檢驗

調(diào)查問卷的效度、信度2013年09月02日麗水學院商學院

何永達副教授題目效度？信度？what's

reliability?what'svalidity?一、QuestionnaireValidity二、ExampleofValidity三、QuestionnaireReliability四、ExampleofReliability五、ThecorrelationbetweenReliabilityandValidityMainContentPreparativeKnowledge1.誤差公理誤差(error)是指對事物某一特征的度量值偏離真實值的部分，即測定值與真實值之差，樣本統(tǒng)計量與總體參數(shù)之差。沒有一項研究推論能夠達到百分之百的真實。Nostudyisfreeoferrors,theinferencesareneverperfectlyvalid.

誤差公理：實驗結(jié)果都會有誤差，誤差自始至終存在于一切科學實驗的過程之中。

2.誤差的種類(typesoferror)（1）隨機誤差（randomerror）隨機誤差是由不確定原因引起的，不可避免和消除。其偏離總體的方向不能確定。包括隨機測量誤差和抽樣誤差。

隨機測量誤差（randommeasurementerror）：沒有固定的傾向，可使多次觀測結(jié)果有大有小。抽樣誤差（sampleerror）：由于抽樣造成的樣本指標與總體指標之間的差別。（2）系統(tǒng)誤差（systematicerror）由于偏倚（使研究結(jié)果按照一個方向偏離總體，bias）產(chǎn)生的錯誤結(jié)果，可校正和消除。

(3)過失誤差（grosserror)是由于科研設計錯誤，或?qū)嶒炚叩闹饔^片面、粗心大意引起的誤差。必須避免和剔除！問卷測驗中測量誤差通常來源于兩個方面：一是產(chǎn)生于問卷測驗過程中的誤差，稱為測量誤差（measurementError），也稱為隨機誤差（randomerror）；二是由問卷的結(jié)構(gòu)質(zhì)量造成的誤差，稱為系統(tǒng)誤差（systemError）。measurementErrorreliability（信度）systemErrorvalidity（效度）一、調(diào)查問卷的效度Thevalidityofaquestionnaire效度（validity）通常是指問卷的有效性和正確性，亦即問卷能夠測量出其所欲測量特性的程度。對于一個標準測驗來說，效度比信度更為重要。1.效度分析的意義效度是問卷調(diào)查研究中最重要的特征，問卷調(diào)查的目的就是要獲得高效度的測量與結(jié)論，效度越高表示該問卷測驗的結(jié)果所能代表要測驗的行為的真實度越高，越能夠達到問卷測驗目的，該問卷才正確而有效。問卷的準確性或稱為有效性是用問卷的效度加以刻劃的，它反映了對問卷的系統(tǒng)誤差的控制程度。2、效度的定義效度是指問卷測驗的準確性，即測驗能夠反映所要測量特性的程度.包括兩個方面的含義：一是問卷測驗的目的；二是問卷對測量目標的測量精確度和真實性。效度是一個具有相對性、連續(xù)性、間接性的概念。在測量理論中，效度被定義為在一系列測量中，與測量目的有關(guān)的真變異數(shù)(即有效變異)與總變異數(shù)之比：r2xy表示測量的效度系數(shù)，Sv2代表有效變異數(shù)，Sx2代表總變異數(shù)。3.常用的效度指標確定一個問卷效度的方法，通常是以答卷者的問卷得分和另一個效度標準求相關(guān)，以其相關(guān)系數(shù)的大小來表示效度。如果相關(guān)系數(shù)高，則該問卷的效度就高。一般常用的效度指標有內(nèi)容效度、結(jié)構(gòu)效度。(1)內(nèi)容效度(contentvalidity)內(nèi)容效度是指問卷內(nèi)容的貼切性（relevance）和代表性（representativeness）,即問卷內(nèi)容能否反應所要測量的特質(zhì)，能否達到測驗目的，較好地代表所欲測量的內(nèi)容和引起預期反應的程度。內(nèi)容效度常以題目分布的合理性來判斷，屬于命題的邏輯分析，所以，內(nèi)容效度也稱為“邏輯效度”(logicalvalidity)、“內(nèi)在效度（intrinsicValidity）”、“循環(huán)效度（circularvalidity）”內(nèi)容效度的評價主要通過經(jīng)驗判斷進行，通?？紤]3方面的問題：其一是項目所測量的是否真屬于應測量的領域；其二是測驗所包含的項目是否覆蓋了應測領域的各個方面；其三是測驗題目的構(gòu)成比例是否恰當常用的內(nèi)容效度的評價方法有兩種：一是專家法，即請有關(guān)專家對問卷題目與原來的內(nèi)容范圍是否符合進行分析,作出判斷，看問卷題目是否較好地代表了原來的內(nèi)容二是統(tǒng)計分析法，即從同一內(nèi)容總體中抽取兩套問卷，分別對同一組答卷者進行測驗,兩種問卷的相關(guān)系數(shù)就可用來估計問卷的內(nèi)容效度計算某個問題與去掉此問題后總得分的相關(guān)性情況，分析是否需要被剔除（敏感性分析）(2)結(jié)構(gòu)效度(Construct

Validity)結(jié)構(gòu)效度又稱構(gòu)想效度，是指問卷對某一理論概念或特質(zhì)測量的程度，即某問卷測驗的實際得分能解釋某一特質(zhì)的程度。如果我們根據(jù)理論的假設結(jié)構(gòu)，通過問卷測驗得到答卷者實際分數(shù)，經(jīng)統(tǒng)計檢驗，結(jié)果表明問卷能有效解釋答卷者該項特質(zhì)，則說此問卷具有良好的結(jié)構(gòu)效度。常用的確定結(jié)構(gòu)效度的方法有：(1)根據(jù)文獻、前人研究結(jié)果、實際經(jīng)驗等建立假設性理論建構(gòu)；(2)對問卷題目進行分析。主要是分析問卷的內(nèi)容，答卷者對題目所作的反應，問卷題目的同質(zhì)性以及分項目之間的關(guān)系來判斷問卷的結(jié)構(gòu)效度；(3)根據(jù)建構(gòu)的假設性理論編制適當?shù)膯柧恚?4)計算與同類權(quán)威問卷的相關(guān);(5)以統(tǒng)計檢驗的實證方法去考查問卷是否能有效解釋所欲建構(gòu)的特質(zhì)。3．效標效度（CriterionValidity）效標效度也稱為準則關(guān)聯(lián)效度（Criterion-RelatedValidity）、經(jīng)驗效度（EmpiricalValidity）、統(tǒng)計效度（StatisticalValidity）。效標效度是說明問卷得分與某種外部準則（效標）間的關(guān)聯(lián)程度，用問卷測量得分與效度準則之間的相關(guān)系數(shù)表示一般估計效標效度的主要方法有：（1）相關(guān)法，即求某問卷分數(shù)與效標間的相關(guān)，所得結(jié)果即效標效度。（2）區(qū)分法，即看問卷分數(shù)是否可以區(qū)分由效標所劃分的團體?？梢赃\用t檢驗對先后兩次問卷結(jié)果平均分數(shù)進行差異性檢驗。若差異有統(tǒng)計學意義，說明問卷是有效的；若差異無統(tǒng)計學意義，說明問卷是無效的。(4)判別效度（DiscriminantValidity）判別效標也稱為辨別效標，是指運用相同的問卷測定不同特質(zhì)和內(nèi)涵，測量結(jié)果之間不應有太大的相關(guān)性。(5)聚合效度（ConvergentValidity）聚合效度也稱為收斂效度，是指運用不同測量方法測定同一特質(zhì)所得結(jié)果的相似程度，即對同一特質(zhì)的兩種或多種測定方法間應有較高的相關(guān)性。6.效度的評價Spitzer認為如果滿足以下5個條件就可以認為問卷由效：（1）問卷有內(nèi)容效度和結(jié)構(gòu)效度；（2）在問卷制定階段應當請有關(guān)人員提出意見，供修正和提高內(nèi)容效度；（3）問卷經(jīng)過反復使用證明了其可靠性；（4）如果有公認標準存在，應以公認標準為準；（5）公認金標準時可由判別效度代替7.提高問卷效度的方法（1）理論正確，解釋清楚。問卷內(nèi)容要適合問卷測驗的目的，題目要清楚明了，易于理解，問卷的排列要由易到難，題目的難度和區(qū)分度要合適；（2）操作規(guī)范以減少誤差；（3）控制系統(tǒng)誤差。它主要包括儀器不準，題目和指導語有暗示性，答案安排不當(被試可以猜測)等,控制這些因素可以降低系統(tǒng)誤差,提高效度；（4）樣本適宜且要預防流失。重視問卷調(diào)查的回收率。樣本容量一般不應低于30；（5）適當增加問卷的長度。增加問卷的長度既可提高問卷的信度，也可以提高問卷的效度，但增加問卷的長度對信度的影響大于對效度的影響；（6）排除無關(guān)因素干擾。認清并排除足以混淆或威脅結(jié)論的無關(guān)干擾變量。二、效度分析實例(example)1．問卷的敏感性（可靠性）分析

（1）操作過程從菜單選擇Analyze→Scale→ReliabilityAnalysis…→Item（輸入問卷的各條目或各因子包含的條目）→單擊“Statistics”按鈕，彈出信度分析統(tǒng)計量對話框→Descriptivesfor:→√Scaleifitemdeleted→OKScaleifitemdeleted:去掉當前題目整個問卷的描述統(tǒng)計量，即敏感性分析，包括以下內(nèi)容：ScaleMeanifItemDeleted:去掉當前題目問卷合計分的均數(shù)；ScaleVarianceifItemDeleted:去掉當前題目問卷合計分的方差；CorrectedItem-TotalCorrelation:當前題目得分與去掉當前題目問卷合計分的Pearson相關(guān)系數(shù)；SquaredMultipleCorrelation:以當前題目為因變量，其它所有題目為自變量求得的決定系數(shù)R2；AlphaifItemDeleted:去掉當前題目后問卷的Cronbachα系數(shù)。（2）輸出結(jié)果SCL90各條目的敏感性分析結(jié)果:ItemScaleScaleCorrectedMeanVarianceItem-AlphaifItemifItemTotalifItemDeletedDeletedCorrelationDeletedA131.72501272.71730.63970.9736E231.75001253.62820.80270.9732B331.82501261.07120.74080.9734A431.75001259.78210.75570.9733D531.70001278.26670.38720.9740C631.82501300.04550.05960.9745I731.90001279.06670.53200.9737H831.57501255.12240.75900.9733B931.27501259.23010.65720.9735…………………..E8631.17501272.81470.37640.9742I8731.92501277.14810.62310.9736I8832.05001282.97180.60570.9737J8932.20001304.16410.00000.9741I9032.17501302.71220.12500.9741一般地，在做問卷的敏感性分析時，可以將“AlphaifItemDeleted”值，作為調(diào)整題目的一個重要參考依據(jù)如果“AlphaifItemDeleted”值越大，其相對應的題目越應是首先考慮調(diào)整的題目從本次問卷結(jié)果敏感性分析可以看出，量表的各個題目的“AlphaifItemDeleted”值均在0.97左右變化，且變化的幅度很小所以，根據(jù)“AlphaifItemDeleted”這項檢驗指標的檢驗值分析，本量表的各題目設置合理，均可以保留，無需調(diào)整2．問卷的結(jié)構(gòu)效度的分析問卷的結(jié)構(gòu)效度的評價較為復雜，可用各個題目與量表各因子的相關(guān)分析和因子分析方法來反映。該檢驗將問卷中的每一道題看著一個變量，然后通過調(diào)查的結(jié)果得分對所有問題做因子分析，提取一些較為顯著的因子，通過各個問題在每個因子上的載荷將問題分類。如果相同概念的問題都歸為同一因子，則說明問卷具有很好的結(jié)構(gòu)效度1.從菜單選擇Analyze→Scale→ReliabilityAnalysis…→Item(輸入問卷的各條目或各因子包含的條目)→Statistics彈出信度分析統(tǒng)計量對話框→Inter-Item→√Correlations→OK2.如果同一問題下的幾個調(diào)查項目之間相關(guān)系數(shù)較高，說明問卷結(jié)構(gòu)效度好！如果不同問題下的調(diào)查項目之間相關(guān)系數(shù)較低，說明問卷結(jié)構(gòu)效度好！（1）利用相關(guān)分析評價問卷的結(jié)構(gòu)效度（2）利用因子分析評價問卷的結(jié)構(gòu)效度因子分析不僅能夠評價量表結(jié)構(gòu)的相合性，還可以用共性變異（共性方差）與總變異之比作為結(jié)構(gòu)效度的衡量指標。結(jié)構(gòu)效度的分析最好使用證實性因子分析，它較探索性因子分析更能說明問題。執(zhí)行Analyze→DataReduction→Factor…,彈出“FactorAnalysis”對話框:單擊Descriptives→Statistics→√InitialSolution→CorrelationMatrix→√KMOandBartlett’stestofsphericity→Continue

結(jié)構(gòu)效度的評價標準KMOandBartlet檢驗考察量表是否適合作因子分析;通常按以下標準解釋,KMO(采樣充足度)值大小0.9以上表示非常適合;0.8一0.9表示適合；0.7一0.8表示一般;0.6一0.7表示不太適合;0.5一0.6表示很不適合;0.5以下表示不適合三、調(diào)查問卷的信度

QuestionnaireReliability

1.信度分析的意義信度主要是指問卷是否精準(precision)信度分析涉及了問卷測驗結(jié)果的一致性和穩(wěn)定性，其目的是如何控制和減少隨機誤差調(diào)查問卷的信度包含兩層含義：一是相同的個體在不同時間，以相同的問卷測驗，或以復本測驗，或在不同的情景下測驗，是否能得到相同的結(jié)果，即問卷測驗結(jié)果是否隨時間和地點等因素而變化；二是能否減少隨機誤差對問卷測驗結(jié)果的影響，從而能夠反映問卷所要測量的真實情況，即問卷測驗結(jié)果是否具有穩(wěn)定性、可靠性和可預測性。一個好的問卷必須是穩(wěn)定可靠的，且多次問卷測驗結(jié)果應前后一致2.信度的定義信度是用估計測量誤差大小的尺度，來說明問卷測驗結(jié)果中測量誤差所占的比率信度可定義為真實分數(shù)(truescore)的方差與測驗實得分數(shù)(observedscore)的方差之比，當實得分數(shù)變異可以全部由真實分數(shù)的變異解釋時，測驗誤差就是0，這時問卷測驗的信度為1若用表示問卷測驗的信度，理論應有或式中表示真實分數(shù)的方差；表示實得分數(shù)的方差；表示誤差的方差。3.信度的分類信度研究的是問卷測驗結(jié)果的可靠性與穩(wěn)定性，可以從不同的角度來評價：（1）在相同條件下所得問卷測驗結(jié)果的一致程度；（2）不同研究者用同一種問卷同時測驗所得結(jié)果的一致程度；（3）同一研究者用同一種問卷在不同時間內(nèi)測驗所得結(jié)果的一致程度4.常用的信度系數(shù)（1）重測信度(test-retestreliability)

假定短時間內(nèi)一批對象的狀況并沒有改變，對每個對象用同一個問卷先后測驗兩次，兩次測驗得分的相關(guān)系數(shù)就稱為重測信度。重測信度是用皮爾遜積差相關(guān)系數(shù)r公式計算的重測信度也存在著局限性：間隔時間長，環(huán)境影響；如果間隔時間短，記憶影響。(2)復本信度（alternateformreliability）復本通常是根據(jù)相同的設計說明分別獨立編制的兩個平行問卷，即題目不同但是內(nèi)容相似的兩份問卷。復本信度也叫等值性系數(shù)（coefficientofequivalence）。兩個復本間隔一定時間或同時施于同一答卷者所得分數(shù)的相關(guān)系數(shù)就是復本信度缺點：如復本編制不容易，易出現(xiàn)順序效應，受練習的影響；復本信度只能反應問卷內(nèi)容所造成的誤差，無法反應答卷者本身所造成的誤差等(3)分半信度(split-halfreliability)

當測驗沒有復本且測驗不可避免地受到時間的影響，只適合用于一次測驗時，可用分半信度。分半的方法很多，一般是將奇數(shù)題和偶數(shù)題各作為一半，而非前后分半，目的是避免順序效應。分半信度也叫折半信度，其計算方法是將問卷的題目分成對等的兩半，分別求出兩半題目的總分，再計算兩部分總分的相關(guān)系數(shù)。使用分半信度時要注意兩個問題：一是問卷題目所測的應是同一種特質(zhì)；二是兩半題目應是等值的。對問卷題目進行分半會造成了對整個問卷信度的低估，為此需要對分半信度進行校正，其校正公式為斯皮爾曼-布朗(Spearman—Brown)公式：為分半信度表示兩半題目各自得分和之相關(guān)系數(shù)，n為原問卷相對于變化后問卷長度的倍數(shù)，計算分半信度時n=2。Spearman—Brown公式要求兩個分半表的信度和方差均滿足齊性；Guttman:Guttman分半信度，可不滿足上述要求(4)庫得─理查森信度(Kuder─Richardson)庫德-理查森信度適用于計算“對或錯”的是非題的同質(zhì)性信度，其是計算所有可能的分半信度的平均數(shù)。最有代表性的計算公式是庫德-理查森公式:式中n為問卷包含的題目數(shù).為問卷測驗總得分的方差，pi表示答對該題的人數(shù)占總答卷人數(shù)的比例，pi可視為該題的難度，qi=1-pi。(5)克隆巴赫信度系數(shù)(cronbach’sα)

Cronbach’sα系數(shù)是Cronbach于1951年創(chuàng)立的，用于評價問卷的內(nèi)部一致性。α系數(shù)取值在0到1之間，α系數(shù)越高，信度越高，問卷的內(nèi)部一致性越好。Cronbach’sα系數(shù)不僅適用于兩級記分的問卷，還適用于多級計分的問卷Cronbach’sα系數(shù)是最常用的信度檢驗系數(shù)其計算公式為：式中n為問卷包含的題目數(shù)，為答卷者在第i題得分的方差，為答卷者問卷測驗總得分的方差。α系數(shù)有以下性質(zhì)：（1）α系數(shù)是所有可能的分半信度的平均值；（2）α系數(shù)是估計信度的最低限度；（3）當問卷計分為二分名義變量時，即答案為0或1，α系數(shù)與KR20值相同，即庫德-理查森信度公式是克隆巴赫的α系數(shù)的一個特例低信度：α<0.35中信度：0.35<α<0.70高信度：0.70<α一般地，問卷的α系數(shù)在0.8以上該問卷才具有使用價0.5—0.7問卷可信0.7---0.9問卷很可信信度的檢驗標準(6)評分者信度（inter-scorerreliability）*考察評分者信度的方法為，隨機抽取相當份數(shù)的問卷，由兩位評分者按記分規(guī)則分別給分；然后根據(jù)每份問卷的分數(shù)計算相關(guān)系數(shù)，就得到評分者信度。評分者信度也可以是一位評分者兩次評分的相關(guān)系數(shù)。如果是多個評分者或一位評分者兩次以上的評分，可采用肯德爾和諧系數(shù)和Kappa系數(shù)?？系聽柡椭C系數(shù)用于等級資料，Kappa系數(shù)用于定性資料。5.提高信度的方法問卷的信度越高，受到人、時、地、物的干擾就越低，其所能反應事實或讓人相信的程度越高，因此在問卷實施前如何有效提高信度是問卷測驗成敗的關(guān)鍵。通常提高問卷信度的方法為：（1）適當延長問卷的長度

問卷題目較多，其在一定程度上排除了偶然因素的影響，從而提高了問卷的信度。但是問卷長度的增加與問卷的信度的增加并不總是成正比的，當信度系數(shù)較小時，延長問卷長度，問卷的信度系數(shù)增加較大；而當信度系數(shù)較大時，延長問卷長度對信度系數(shù)的影響就較小。（2）問卷的難度適中

當問卷題目難度太大時，問卷得分普遍過低；當問卷題目難度太小時，問卷得分普遍較高。問卷題目太難或太易都會使問卷得分差異減小，使實得分數(shù)方差減小，從而降低了問卷的信度。（3）問卷的內(nèi)容盡量同質(zhì)

內(nèi)容同質(zhì)的問卷，要求答卷者具有相同的能力、知識和技能。因而為了提高問卷的信度，問卷的內(nèi)容應盡量保持同質(zhì)。（4）測驗的時間要充分

一份問卷應保證絕大多數(shù)答卷者在規(guī)定的時間內(nèi)能完成測驗。當答卷者不能從容地回答所有題目時，問卷的得分就不能反映答卷者的真實情況。（5）測驗的程序要統(tǒng)一問卷題目要統(tǒng)一，指導語、回答問題的方式、分收試卷的方法和問卷測驗的時間等都要統(tǒng)一，這些是問卷有較高信度的基本保證。四、信度分析實例

（example）例1某人在新入學的大學生中隨機抽取40人，組織癥狀自評量表（SCL-90）測驗，以了解新生心理健康的水平，及有針對性地進行心理教育和疏導，避免意外事件的發(fā)生。試就量表測驗結(jié)果，對此次測驗的可靠性進行分析SCL-90量表，包含90個題目，由受試者根據(jù)自己在最近一周以內(nèi)的實際感受，在：沒有、很輕、中等、偏重、嚴重各選項中選擇一個答案，每個選項分別計為0，1，2，3，4分SCL-90分為9個因子，分別為軀體化、強迫癥狀、人際關(guān)系敏感、憂郁、焦慮、敵對性、恐怖、偏執(zhí)和精神病性。分析對象為答卷者所選的五項答案得分，計算各因子得分和問卷總分。求各因子的各種信度系數(shù)和問卷總的信度系數(shù)表11-2各因子描述統(tǒng)計量在“Model:”選項中，SPSS提供5種信度分析模型:①Alpha:Cronbachα系數(shù)②Split-half:分半信度，又稱Spearman-Brown系數(shù),其應用的前提條件是兩個分半表的信度和方差均滿足齊性。③Guttman:Guttman分半信度，可不滿足上述要求④Parallel:平行模型⑤StrictParallel:嚴格平行模型量表的cronbachα系數(shù)從菜單選擇Analyze→Scale→ReliabilityAnalysis…→Item:a1/b2/c3/a4/．．．/j89/i90(共90個變量)→Model:Alpha→√Listitemlabels→OK

ReliabilityCoefficientsNofCases=40.0NofItems=90Alpha=0.9740量表有90個題目，量表總的Cronbachα系數(shù)為0.9740，信度較高。各因子的Cronbachα系數(shù)

操作過程從菜單選擇Analyze→Scale→ReliabilityAnalysis…→Item:輸入各因子的條目數(shù)a1/a4/a12/a27/a40/a42/a48/a49/a52/a53/a56/a58(軀體化因子，共12個變量)→Model:Alpha→OK量表的9個因子的Cronbachα系數(shù)分別為：軀體化0.8740；強迫0.8600；人際關(guān)系敏感0.7483；憂郁0.9445；焦慮0.8517；敵對性0.6009；恐怖0.9218；偏執(zhí)0.7210；精神病性0.6461憂郁、恐怖、軀體化、強迫、焦慮因子的信度較高；人際關(guān)系敏感和偏執(zhí)因子的信度尚可；但是敵對性和精神病性的信度偏低。從結(jié)果中我們還可以看出各項因子的Cronbachα系數(shù)小于問卷總的Cronbachα系數(shù)分半信度操作過程：從菜單選擇Analyze→Scale→ReliabilityAnalysis…→Model：Split-half→ok總量表的分半信度

總量表分半信度計算結(jié)果:Reliability