如何提高研究效度

1、如何提高研究效度花蓮師院科教所劉聖忠老師1如何提高研究效度何謂信度效度？何謂工具效度？何謂研究效度？研究效度裡的 內(nèi)在效度 和 外在效度影響研究效度的一些因素2信度 v.s. 效度 之1何謂信度？基本上，信度的定義不外乎穩(wěn)定度(stability)、 一致性(consistency)何謂效度？說(shuō)白話一點(diǎn)，效度的定義就是測(cè)到你想測(cè)的東西的程度3信度 v.s. 效度 之2信度高通常表示在研究的過(guò)程中所量得的data重複出現(xiàn)的機(jī)率高效度高通常表示結(jié)果(=data+explanation)重複出現(xiàn)的機(jī)率高所以信度高的不一定效度高效度高的一定信度高4信度 v.s. 效度 之3信度高的不一定效度高效度高的

2、一定信度高在口語(yǔ)的溝通上，我們常常以有沒(méi)有效度來(lái)代表效度的高低；因此有信度不一定有效度有效度一定有信度5以效度為例前面所定義的信、效度通常指的是一般的定義?？墒窃谘芯康倪^(guò)程中，我們常常會(huì)碰到的效度問(wèn)題卻有二個(gè)，一個(gè)稱之為工具效度，另外一個(gè)稱之為研究效度因?yàn)樗鼈兯幚?、所可能面?duì)的問(wèn)題是不同的。因此，它們就應(yīng)該有所區(qū)隔6工具效度 之1在談這個(gè)問(wèn)題之前，我們必須先釐清什麼是工具？工具通常意謂：在一個(gè)研究裡，為了測(cè)量被研究對(duì)象的某一特質(zhì)(智力、學(xué)習(xí)成就等)，所使用的一種測(cè)量工具，通常稱之為問(wèn)卷(questionnaire)通常它測(cè)的對(duì)象會(huì)是一個(gè)大的族群，例如600人或50人，很少小於25-30人7工

3、具效度 之2工具效度= 工具+效度一個(gè)測(cè)量工具測(cè)到它宣稱可以測(cè)到被研究對(duì)象的某一特質(zhì)的程度例如要看一個(gè)國(guó)小五年級(jí)自然科學(xué)習(xí)成就問(wèn)卷的工具效度就是要檢視其是否能忠實(shí)反映被研究對(duì)象的自然科學(xué)習(xí)成就工具效度高代表其測(cè)量結(jié)果和事實(shí)接近8研究效度 之1前面提過(guò)所謂的工具效度是一個(gè)測(cè)量工具測(cè)到它宣稱可以測(cè)到被研究對(duì)象的某一特質(zhì)的程度那所謂的研究效度就是一個(gè)研究中的研究結(jié)果可以被複製的程度研究效度高代表研究的結(jié)果被複製的程度高，也就是說(shuō)研究結(jié)果的可信度高9研究效度 之2一個(gè)有研究效度的研究通常所使用的工具應(yīng)該也是有效度的上面這句話在量化的研究中一定是對(duì)的，但在質(zhì)性的研究裡應(yīng)該成立卻不必然就是如此。(why?

4、)10研究效度 之3量的研究：要有高研究效度的研究一定得使用有高的信效度的測(cè)量工具質(zhì)的研究：使用具有高的信效度的測(cè)量工具一定有助於提昇研究的效度，但工具的信效度卻應(yīng)該只是研究效度成立的一個(gè)重要考量，不必然是全部每一個(gè)同學(xué)請(qǐng)舉例或用你自己的話語(yǔ)解釋一遍給同組的同學(xué)聽(tīng)11研究效度 之4研究結(jié)果的可信度高具有二層的含意第一層，可能只代表研究者自己或別人在完全相同的(exactly the same)研究過(guò)程中複製研究結(jié)果的程度第二層，才代表別的研究者在類推的族群中(generalized population) 複製研究結(jié)果的程度12內(nèi)部效度 v.s. 外部效度 之1在完全相同的研究過(guò)程中複製研究結(jié)

5、果的程度 指的是研究的內(nèi)部效度(internal validity)在類推的族群中複製研究結(jié)果的程度 指的是研究的外部效度(external validity)13討論問(wèn)題請(qǐng)?jiān)囍米约旱脑捳Z(yǔ)討論一下上面這二句話的含意請(qǐng)以Effects of Integrated Video為例14內(nèi)部效度 v.s. 外部效度 之2在這裡所謂的內(nèi)部和外部效度都是在談研究效度，只是我們談的更細(xì)一點(diǎn)而已或者應(yīng)該這麼說(shuō)如果我們想更進(jìn)一步的了解研究效度，我們就不能不談內(nèi)部效度和外部效度15內(nèi)部效度在教育的研究情境中，那來(lái)完全相同的研究過(guò)程！完全相同有那些要項(xiàng)是應(yīng)該考量的樣本相同，或除研究特質(zhì)之外的特質(zhì)均相同相同的或相等

6、的信效度的測(cè)量工具研究情境相同或雷同因果關(guān)係的成立16外部效度外部效度求的不過(guò)就是本次研究結(jié)果類推到母群體的複製程度，也可以說(shuō)外部效度看的就是本研究的推論力推論力有那些要項(xiàng)是應(yīng)該考量的樣本的代表性潛藏的變因高預(yù)測(cè)效度的測(cè)量工具17內(nèi)部效度 v.s. 外部效度 之3因此如果一個(gè)研究要有高的外部效度的話，一定先要有高的內(nèi)部效度有內(nèi)部效度的研究不一定有外部效度有外部效度的研究一定有內(nèi)部效度說(shuō)穿了，沒(méi)有人會(huì)去做一個(gè)沒(méi)有推論力的研究！18內(nèi)部效度 v.s. 外部效度 之4討論問(wèn)題在討論如何提高研究效度的議題上，有沒(méi)有必要區(qū)隔內(nèi)部效度和外部效度？有，為什麼？沒(méi)有 ，為什麼？19如何提高研究效度前面的上課中

7、討論過(guò)談如何提高研究效度就等同於討論如何降低研究誤差20如何降低研究誤差在此應(yīng)該考量的是如何降低，不是消除研究誤差有幾個(gè)重要的方向要考慮在研究者方面(即variable control)在研究對(duì)象方面(即sampling)研究工具的選用(即instrumentation)21如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個(gè)重要項(xiàng)目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)22取樣 之1主要的考量在於代表性(representativeness)和可行性(pr

8、atical)的問(wèn)題理想上，代表性是唯一在取樣的過(guò)程中需要考慮的事但在現(xiàn)實(shí)中，可能可行性會(huì)折殺大部分的理想性如何在研究設(shè)計(jì)中平衡理想與現(xiàn)實(shí)是一個(gè)挑戰(zhàn)23取樣 之2取樣的過(guò)程中，有以下的幾個(gè)問(wèn)題要回答母群體為何(普查 v.s. 樣本)取樣方法的簡(jiǎn)介(隨機(jī)取樣 v.s.方便取樣 v.s. 立意取樣)樣本大小的決定(how big is enough?)取樣誤差的控制(機(jī)誤 v.s. 常誤)24取樣之3樣本的代表性應(yīng)該考量的要項(xiàng)取樣的方法取樣的誤差樣本的數(shù)目分層取樣的分層依據(jù)為何自願(yuàn)樣本的問(wèn)題25取樣 之4隨機(jī)取樣方法的簡(jiǎn)介抽籤亂數(shù)表的使用等距取樣分層取樣(stratified)(等量 v.s. 比

9、率取樣)叢集取樣(clustered)多階段叢集取樣隨機(jī)分派26討論問(wèn)題請(qǐng)以Effects of Integrated Video為例，說(shuō)明它的選樣方法為何？又其代表性如何？27取樣 之5樣本大小將影響研究結(jié)果的準(zhǔn)確度一般而言，樣本愈大準(zhǔn)確度愈大，樣本愈小準(zhǔn)確度愈小根據(jù)統(tǒng)計(jì)學(xué)原理，準(zhǔn)確度因樣本數(shù)的平方根而不同例如原有25位樣本，若想使準(zhǔn)確度增加一倍，必須增加樣本數(shù)為100。How?28取樣 之6真正影響準(zhǔn)確度的是樣本的實(shí)質(zhì)大小，不是樣本佔(zhàn)族群的百分比根據(jù)楊榮祥老師的文章，相關(guān)性研究通常至少要有30個(gè)樣本；在實(shí)驗(yàn)研究裡，實(shí)驗(yàn)組和控制組各至少需15個(gè)樣本；在調(diào)查研究中，則至少要有100個(gè)樣本詳細(xì)決

10、定樣本大小的方法與考量，請(qǐng)參見(jiàn)楊老師文章的19-24頁(yè)29取樣 之7取樣誤差在此意指HistoryMaturationMemory effectStatistical regressionSelectionExperimental mortalitySelection-maturation interaction30如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個(gè)重要項(xiàng)目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)31研究工具之1研究工具(instrument

11、ation)在此應(yīng)該考量的是Use the right instrument! (check the manual)Use instrument right! (check the administration)缺少信度的測(cè)量工具不可靠缺少效度的測(cè)量工具測(cè)非所測(cè)缺少常模(norm)的測(cè)量工具不易解釋沒(méi)有標(biāo)準(zhǔn)施測(cè)流程的測(cè)量工具容易衍生常誤32討論問(wèn)題請(qǐng)以Effects of Integrated Video為例，討論常模參照(norm-reference)和效標(biāo)參照(criterion-reference) 之不同及其應(yīng)用33研究工具之2一般常用的信度(reliability)種類重測(cè)信度(te

12、st-retest reliability)複本信度(parallel-form reliability)折半信度(split-half reliability)內(nèi)容一致性(即一般常用的 reliability)K-20信度K-21信度34研究工具之3一般常用的效度(validity)種類內(nèi)容效度(content validity)：一般又稱為專家效度效標(biāo)效度(criterion validity)：concurrent validitypredictive validity構(gòu)念效度35研究工具之4Aikenhead對(duì)工具效度的研究結(jié)果顯示針對(duì)相同的一個(gè)研究而言，選用深度訪談(in-depth

13、 interview)的效度最高半結(jié)構(gòu)式訪談(semi-structured interview)次之經(jīng)驗(yàn)式發(fā)展的(empirical-developed)測(cè)驗(yàn)工具再次之一般的問(wèn)卷(questionnaire)末之36如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素有以下的幾個(gè)重要項(xiàng)目值得注意取樣(sampling)研究工具(instrumentation)變因控制(variable control)多元資料檢證(triangulation)37變因控制之1因果關(guān)係的成立在此應(yīng)該考量的是重要變因的被忽略或不被考慮變因間的獨(dú)立性即混淆變數(shù)、中介變數(shù)的存在或其和自變項(xiàng)間的交互作用使研究結(jié)果

14、的正確性大打折扣38變因控制之2潛藏的變因應(yīng)該考量的要項(xiàng)前測(cè)效應(yīng)實(shí)驗(yàn)組的自覺(jué)研究者的情結(jié)重複實(shí)驗(yàn)的學(xué)習(xí)效果39變因控制之3研究者情結(jié)在此應(yīng)該考量的是研究者的不自覺(jué)(teach-to-test)月暈效應(yīng)40變因控制之4變因間的獨(dú)立性請(qǐng)先以張美玉老師的文章為例，討論變因間的獨(dú)立性。此研究設(shè)計(jì)的問(wèn)題在那裡？請(qǐng)以Effects of video的文章為例，討論變因間的獨(dú)立性。此研究設(shè)計(jì)的問(wèn)題在那裡？你覺(jué)得那一個(gè)研究的變因控制做得比較周?chē)?yán)？理由，又該如何改善？41變因控制之4研究情境的控制(context)在此應(yīng)該考量的是在研究過(guò)程中的不同時(shí)間，宜保持研究情境的恆常一致在研究過(guò)程中，除了變因之外，實(shí)驗(yàn)組和控制組所得到的待遇應(yīng)力求一致42如何提高研究效度由以上的討論，我們發(fā)現(xiàn)影響研究效度的因素