《實驗心理學(xué)》第二章 實驗研究的基本問題 - 信效度

實驗心理學(xué)袁媛2017.10第二章實驗研究的基本問題實驗研究的信效度回顧：實驗研究的三個問題實驗要控制什么？如何控制？控制得好不好？變量實驗設(shè)計實驗的信度與效度一、實驗的信度實驗信度是指實驗結(jié)論的可靠性和前后一致性程度?？疾鞂嶒炐哦鹊姆椒ǎ和茢嘟y(tǒng)計實驗驗證實驗驗證方法：重復(fù)驗證項鏈問題(Silveira,1971)

你面前有四條小鏈子，每條鏈子有三個環(huán)。打開一個環(huán)要花2分錢，封合一個環(huán)要花3分錢。開始時所有的環(huán)都是封合的。你的任務(wù)是要把這12個環(huán)全部連接成一個大鏈子，但花錢不能超過15分錢。Silveira,J.M.(1971).Incubation:Theeffectofinterruptiontimingandlengthonproblemsolutionandqualityofproblemprocessing.Doctoraldissertation,UniversityofOregon.實驗安排（實驗設(shè)計）將被試隨機分為5組：第1組被試連續(xù)解題35分鐘（控制組）；第2組被試解題3分鐘，然后被要求停下來去做另外的事情30分鐘，然后再回頭解該題32分鐘；第3組被試解題3分鐘，然后被要求停下來去做另外的事情3.5小時，然后再回頭解該題32分鐘；第4組被試解題13分鐘，然后被要求停下來去做另外的事情30分鐘，然后再回頭解該題22分鐘；第5組被試解題13分鐘，然后被要求停下來去做另外的事情3.5小時，然后再回頭解該題22分鐘；自變量1：是否中斷解題自變量2：中斷前解題時間自變量3：中斷解題的時間結(jié)果第1組（控制組）半小時中有47％的人解決了問題；其他四組（醞釀組）有61％的人解決了問題；差異不顯著。第4、5組（解題13分鐘后被打斷）被試的解決問題的人數(shù)比例顯著高于第2、3組（解題3分鐘后被打斷）。繼續(xù)實驗……將被試隨機分為2組：第1組被試連續(xù)解題35分鐘；第2組被試解題13分鐘，然后被要求停下來去做另外的事情3.5小時，然后再回頭解該題22分鐘；（被試不知道還要回頭解題）結(jié)果：第1組38%，第2組81%拓展研究——解題一段時間中斷做別的事一段時間再解題一段時間解什么題？解多久？做什么？做多久？是否知道還要回頭解題？解多久？參考閱讀Sio,U.N.,&Ormerod,T.C.(2009).Doesincubationenhanceproblemsolving?Ameta-analyticreview.Psychologicalbulletin,135(1),94-120.Gallate,J.,Wong,C.,Ellwood,S.,Roring,R.W.,&Snyder,A.(2012).Creativepeopleusenonconsciousprocessestotheiradvantage.CreativityResearchJournal,24(2-3),146-151.心理學(xué)研究的可重復(fù)性(Reproducibility)參閱：Collaboration,O.S.(2015).Estimatingthereproducibilityofpsychologicalscience.Science,349(6251),aac4716.https://osf.io/ezcuj/OpenScienceCollaboration.Anopen,large-scale,collaborativeefforttoestimatethereproducibilityofpsychologicalscience[J].PerspectivesonPsychologicalScience,2012,7(6):657-660.Klein,R.,Ratliff,K.,Vianello,M.,&AdamsJr,R.(2014).Investigatingvariationinreplicability:A‘manylabs’replicationproject.SocialPsychology,45,142-152.http:///toc/zsp/45/3http:///toc/zsp/45/4推薦閱讀不可復(fù)制的研究就是“假的”或“錯的”嗎？？FailureIsMovingScienceForward:Thereplicationcrisisisasignthatscienceisworking.再推薦——Eklund,A.,Nichols,T.E.,&Knutsson,H.(2016).Clusterfailure:whyfmriinferencesforspatialextenthaveinflatedfalse-positiverates.ProceedingsoftheNationalAcademyofSciencesoftheUnitedStatesofAmerica,

113(28),7900.PNAS：假陽性率高達70%，大約4萬篇使用fMRI的論文不可信？二、實驗效度實驗效度是指實驗方法能達到實驗?zāi)康牡某潭?。也就是實驗結(jié)果的準確性和有效性程度。實驗效度是指實驗方法能達到實驗?zāi)康牡某潭?。即實驗的有效性和準確性。實驗?zāi)康氖球炞C假設(shè)，驗證自變量和因變量之間的關(guān)系，使實驗結(jié)果的推論可用以解釋和預(yù)測其他同類現(xiàn)象。由于不同實驗者在設(shè)計和額外變量的控制程度上極不相同，實驗的效度也會有很大的不同。實驗效度主要包括內(nèi)部效度和外部效度，以及又從中分出了構(gòu)想效度。人際熟悉感與生產(chǎn)率一名心理學(xué)家認為人們彼此增進了解時，他們的生產(chǎn)率就會上升，在到達某一點之后便開始慢慢下降。為了檢驗這個理論，這名心理學(xué)家建立了一個由陌生組成的群體并讓他們完成一系列的作業(yè)。這是5個各需要35分鐘才能完成的作業(yè)。他在各作業(yè)之間安排了5分鐘的休息時間。結(jié)果：這個組的生產(chǎn)率一直上升，直到在完成第五個任務(wù)的時候，成績出現(xiàn)了明顯的下降。他認為這個結(jié)果證明了他的理論。(一)實驗的構(gòu)想（構(gòu)念）效度指實驗研究假設(shè)和測量指標的理論構(gòu)思及其操作化問題，即理論構(gòu)思及其轉(zhuǎn)換的有效性。構(gòu)想效度直接決定了研究者的設(shè)想能不能以實驗的形式表現(xiàn)出來。構(gòu)想效度構(gòu)想效度考察問題或變量的概念測量或概念操作上的代表性問題。研究問題的構(gòu)想效度，反映了研究者對其感興趣研究對象的理論構(gòu)思或變量間關(guān)系構(gòu)思的全面性程度。研究變量的構(gòu)想效度，反映了研究者對其研究變量的操作性定義的代表性程度。例：睡眠鞏固記憶有研究者認為，睡眠是人類在長期進化過程中形成的一種適應(yīng)性機制，可以有效鞏固記憶。設(shè)計實驗考查睡眠對記憶鞏固作用。實驗構(gòu)想實驗假設(shè)：如果睡眠可以鞏固記憶，那么——如果記憶一組信息之后，得到睡眠機會人將比沒有得到睡眠機會的人回憶或再認成績更好。實驗設(shè)計：隨機選取有午睡習(xí)慣的被試；隨機分為兩組；兩組被試都在上午9點記詞語，晚上9點（即12小時后）進行再認測試，其中一組中間不可以睡覺或打盹，另一組被試照常午睡。最后比較兩組被試再認成績的差異。偽證對人的影響(Kassi&Kiechel,1996)在某些國家或地區(qū)，呈現(xiàn)偽證是警察審問嫌疑人獲取口供的常用方法之一。實驗?zāi)康模鹤C明其可靠性。研究者設(shè)計了一個2（高、低易感性）×2（有、無目擊者）的完全隨機實驗。SMKassin,KLKiechel.(1996).Thesocialpsychologyoffalseconfessions:Compliance,internalization,andconfabulation.PsychologicalScience,7(3),125-128.實驗方法1被試79名本科生（40男、39女），隨機分為4組：易感性高有目擊者易感性高無目擊者易感性低有目擊者易感性低無目擊者2程序每次實驗包括2名被試（實際上其中1人是主試的助手，即“假被試”），他們在一臺計算機上進行反應(yīng)時任務(wù)。實驗開始前，主試要求他們填寫一份關(guān)于打字經(jīng)驗和能力、空間知覺和反應(yīng)速度的問卷。然后，2名被試被帶到另一個房間，與主試在桌子兩側(cè)相對而坐。主試要求假被試大聲讀一系列字母，被試在鍵盤上打出這些字母。3分鐘后，兩人互換角色。在被試開始打字前，主試特別警告被試不要按空格鍵旁邊的“Alt”鍵，因為按這個鍵可能會導(dǎo)致程序死機和數(shù)據(jù)丟失。實驗開始后60秒鐘計算機停止運轉(zhuǎn)；然后，主試非常不高興地指責(zé)被試按了禁止按的Alt鍵。所有被試最初都否認。這時，主試大略地檢查了一下鍵盤，確認數(shù)據(jù)丟失后，問被試：“Didyouhitthe‘Alt’key?”自變量操縱易感性高低：主試助手（假被試）使用電子節(jié)拍器以每分鐘43個字母的較慢速度讀字母或者以每分鐘67個字母的速度讀字母。通過預(yù)測，兩種條件下正確與錯誤次數(shù)：43個/分：正確33.01、錯誤1.1267個/分：正確61.12、錯誤10.90兩種速度條件下正確與錯誤次數(shù)差異顯著有無目擊者：在被試最初否認控告后，主試會問假被試：“Didyouseeanything?”有目擊者條件：假被試承認看見被試按了Alt鍵，從而導(dǎo)致程序終止。無目擊者條件：假被試說沒有看見被試按了Alt鍵。因變量操縱和觀測屈從比例：實驗者手寫了一個標準化口供（“IhittheAltkeyandcausedtheprogramtocrash.Datawerelast.”），然后反復(fù)要求被試在上面簽字，記錄被試簽字的比例.內(nèi)化比例：在實驗因“錯誤按鍵”而中斷后，由正在等待下一次實驗的被試（也是假被試）假裝問被試：“Whathappened？”，記錄被試承認自己過錯的比例（如：“Ihitthewrongbuttonandruinedtheprogram.”“IhitabuttonIwasn’tsupposedto.）虛構(gòu)比例：實驗快結(jié)束時，主試過來問被試能否想起如何或者什么時候按了Alt鍵。檢驗被試是否為了配合斷言而“回憶”具體細節(jié)（如“Yes,here,Ihititwiththesideofmyhandrightafteryoucalledoutthe‘A’.”）事后解釋說明實驗結(jié)束后，實驗者向被試詳細介紹了實驗的目的與安排。有4名被試報告說自己在實驗中猜到了實驗的欺騙性質(zhì)，故這4名被試的數(shù)據(jù)被認為是無效數(shù)據(jù)而被刪除。對剩下的75名被試的有效數(shù)據(jù)進行統(tǒng)計。實驗結(jié)果該研究存在的主要問題實驗室模擬情景與真實的警察審問差異巨大，真實情景中嫌疑人承認犯罪后果嚴重，而實驗室情景并無嚴重后果。因此，本實驗?zāi)康氖且C明警察在審問中呈現(xiàn)偽證獲得的口供是否可靠，本實驗構(gòu)想難以回答該假設(shè)。解決的辦法：讓模擬情景更真實，甚至讓警察參與。涉及倫理問題，需要認真構(gòu)思。本研究中，實驗本身的設(shè)計是嚴謹?shù)模軌蜃C明偽證確實會導(dǎo)致人們承認自己并未犯過的過錯。（二）實驗的內(nèi)部效度實驗的內(nèi)部效度是指實驗中的自變量與因變量之間的因果關(guān)系的明確程度。核心是控制，其目的是通過對實驗條件的有效控制（包括研究變量和額外變量），保證實驗結(jié)果的準確性與可靠性，達到對自變量和因變量關(guān)系的明確解釋。影響實驗內(nèi)部效度的因素有：主試-被試間不恰當?shù)南嗷プ饔茫ㄒ筇卣骱蛯嶒炚咝?yīng)）統(tǒng)計回歸其他：歷史、成熟、選擇、前測、被試的亡失、實驗程序的不一致坎貝爾等人(1979)對內(nèi)部效度影響因素的總結(jié)：1.歷史（實驗時的特定事件）2.成熟（生理心理發(fā)展）3.被試選擇的偏差（未隨機、不等組）4.選擇與成熟的交互作用5.統(tǒng)計回歸6.前測7.測量工具8.被試丟失9.主試效應(yīng)與被試效應(yīng)10.因果方向不明11.其他影響因素散步與創(chuàng)造Oppezzo等(2014)散步對發(fā)散思維的影響所有參與者都在一個帶有椅子、桌子、跑步機的小房間里完成實驗任務(wù)。該實驗采用被試內(nèi)設(shè)計。所有參與者首先是坐在桌子前的椅子上，面向空白墻壁，完成第1組發(fā)散思維任務(wù)。然后，所有參與者來到跑步機上，調(diào)整跑步機的速度，使之與自己平時散步時的速度相當，面向空白墻壁，一邊在跑步機上“散步”，一邊完成第2組發(fā)散思維任務(wù)（與坐著時完成的任務(wù)不同但等價）。坐著和散步時完成的兩組發(fā)散思維任務(wù)在被試間做了平衡，即一半的被試坐著時做第1組任務(wù)，散步時做第2組任務(wù)；另一半的被試坐著時做第2組任務(wù)，散步時做第1組任務(wù)。結(jié)果：

散步時發(fā)散思維測試的成績顯著高于坐著時。內(nèi)部效度的特例——統(tǒng)計結(jié)論效度實驗研究的統(tǒng)計結(jié)論效度是指有關(guān)決定實驗處理效應(yīng)的數(shù)據(jù)分析程序的有效性和準確性，涉及到研究誤差的變異來源和如何恰當運用統(tǒng)計顯著性檢驗的問題。它取決于兩方面條件：數(shù)據(jù)的質(zhì)量統(tǒng)計檢驗的假設(shè)（三）實驗的外部效度實驗的外部效度是指實驗結(jié)果能夠普遍推論到樣本的總體和其他同類現(xiàn)象中去的程度，即實驗結(jié)果的普遍代表性和適用性。實驗的外部效度主要受下列三方面的影響：實驗環(huán)境的人為性被試者樣本缺乏代表性測量工具的局限性影響外部效度的因素：測驗的反作用效果選擇偏差與實驗變量的交互作用實驗安排的反作用效果重復(fù)實驗的干擾二戰(zhàn)期間，一名研究者想要檢驗在訓(xùn)練過程中懲罰還是獎勵更能提高訓(xùn)練效果。實驗任務(wù)是辨認敵、我飛機。他讓被試坐在雷達屏幕前，同時，敵、我飛機的剪影以非?？斓乃俣?一秒鐘)閃過屏幕。一旦飛機剪影出現(xiàn)，被試按鍵反應(yīng)(一個按鈕代表“敵機”，另一個按鈕代表“友機”)。每個被試都在連續(xù)5天的時間內(nèi)每天進行兩個小時的練習(xí)。第1天，被試在每個刺激辨別之后都會被告知其辨認是否準確。從第2天開始，將被試隨機分為A、B兩組。A組的被試在做出正確辨認之后可以獲得10美分的獎勵，而做出錯誤辨認的不受任何懲罰；B組的被試在每個錯誤辨認之后都會遭到電擊，而做出正確辨認不會獲得任何獎勵。第5天檢驗訓(xùn)練效果。被試在每100個剪影中正確辨認的數(shù)目被用來檢驗訓(xùn)練方法有效性。不過，到第5天，A組中5%的被試和B組中35%的被試已經(jīng)退出了實驗。實驗結(jié)果：第5天的測驗中，A組正確辨認的平均數(shù)為80,B組的平均數(shù)為92，差異顯著（p＜0.05）。實驗者認為實驗結(jié)果支持了訓(xùn)練中懲罰比獎勵更有效的實驗假設(shè)，并主張以懲罰的方式進行所有的訓(xùn)練。實驗的內(nèi)部效度和外部效度是相互聯(lián)系、相互影響的。提高實驗內(nèi)部效度的措施可能會降低其外部效度，而提高實驗外部效度的措施又可能會降低其內(nèi)部效度。這兩種效度的相對重要性，主要取決于實驗的目的和實驗的要求?？梢栽诒ＷC實驗內(nèi)部效度的前題下，采取適當措施以提高外部效度。

內(nèi)部效度和外部效度的關(guān)系實驗效度案例分析案例1一組研究者認為在喂養(yǎng)白鼠時，如果每天多加入20%的蔗糖，然后訓(xùn)練白鼠在一個有障礙的車輪上跑，這時跑的速度會顯著加快?？刂平M的白鼠只接受一般的喂養(yǎng)。實驗選用100只白鼠，將它們隨機分成兩組(順序由扔錢幣決定)。接受正常喂養(yǎng)的50只白鼠先跑，另50只接受蔗糖喂養(yǎng)的后跑。結(jié)果：第二組跑得比每一組快。實驗證明了假設(shè)，在高糖情況下老鼠有較多的能量。研究者將這一結(jié)果泛化到小學(xué)生中，認為應(yīng)該給他們吃一些加糖的食品。案例2有人假設(shè)感覺剝奪限制了動物智力的發(fā)展。為了檢驗這個假設(shè)，一名實驗者用兩只母老鼠和它們各自剛生下來的8只幼鼠進行實驗。他把一只母老鼠和她的后代一起放置在具有充足空間的大籠子里，籠子里有充足的物品。他把第二只母老鼠和它的幼鼠分開，并把它們單獨地放在隔離的籠子里，這個籠子里面空無一物，僅由外界給它們提供食物。5個月之后，兩個組都進行復(fù)合式T型迷津測驗，以食物作為獎勵。經(jīng)過20次嘗試之后，所有未被剝奪的幼鼠能夠完全準確地通過迷津；被剝奪的幼鼠總會出現(xiàn)一些失誤。后者反應(yīng)遲鈍，沒有刺激的話就呆著不動。因此，實驗者認為感覺剝奪限制了智力發(fā)展，因為被剝奪的幼鼠連簡單的迷津?qū)嶒灦疾荒芡瓿?。案?：在睡眠中可以學(xué)習(xí)嗎？實驗?zāi)康模簽榱搜芯吭谒咂陂g是否會發(fā)生學(xué)習(xí)。實驗材料是一些英文單詞和與這些單詞意思相同的德語單詞。被試是10名沒有德語知識的大學(xué)生。實驗程序在一個隔音的實驗室內(nèi)，被試睡在一張舒適的床上。每名被試在清晨1:30左右躺下休息，主試進入房間并問被試是否睡著，如果被試沒什么反應(yīng)，主試打開一個錄音機，其中錄有德語單詞和與它們意思相對的英文單詞:例如，“obne意思是沒有?！睂嶒灩灿?0個不同的單詞，持續(xù)放單詞直到4:30結(jié)束。如果中間被試醒了，他要叫主試停止播放直到被試再次入睡。為了測驗學(xué)習(xí)，主試在早晨向被試重放60個德語單詞，每放一個單詞要求被試說出它的英文對應(yīng)單詞。因變量為被試正確識別德語單詞的數(shù)量。實驗結(jié)果結(jié)果顯示，正確識別單詞的均數(shù)為9，最高識別量為20。主試認為這些結(jié)果可以證明實驗假設(shè)，即在睡眠時會發(fā)學(xué)習(xí)。

睡眠中真的可以學(xué)習(xí)嗎？如何證明？辦法：運用儀器監(jiān)控被試的睡眠程度，確定被試進入深度睡眠后開始學(xué)習(xí)實驗。參考相關(guān)研究：Hu,X.,Antony,J.W.,Creery,J.D.,Vargas,I.M.,Bodenhausen,G.V.,&Paller,K.A.(2015).Unlearningimplicitsocialbiasesduringsleep.Science,348(6238),1013-1015.Jia,H.,Hong-Qiang,S.,Su-Xia,L.,Wei-Hua,Z.,Jie,S.,&Si-Zhi,A.,etal.(2015).Effectofconditionedstimulusexposureduringslowwavesleeponfearmemoryextinctioninhumans.Sleep,

38(3).Arzi,A.,Shedlesky,L.,Ben-Shaul,M.,Nasser,K.,Oksenberg,A.,Hairston,I.S.,&Sobel,N.(2012).Humanscanlearnnewinformationduringsleep.Natureneuroscience,15(10),1460-1465.案例4：家庭經(jīng)濟環(huán)境對兒童語言發(fā)展的影響研究者隨機選擇了某市家庭經(jīng)濟收入高、低不同的兩組兒童各50名，在控制了除經(jīng)濟收入外的其他重要的額外變量后，測量了這兩組兒童分別在1歲和2歲時的語言發(fā)展水平。結(jié)果發(fā)現(xiàn)：兩組兒童在1歲時不存在語言發(fā)展上的差異，但在2歲時差異顯著，表現(xiàn)為來自高收入家庭的兒童比來自低收入家庭的兒童擁有明顯的語言優(yōu)勢。該研究推論，良好的家庭經(jīng)濟環(huán)境會促進兒童語言的發(fā)展。案例5：社會剝奪是否影響表揚的效