素質測評的質量分析方法

素質測評的質量分析方法素質測評的質量分析Hr-pku本講內容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質量分析及其分析方法結構效度結構效度又稱作構想效度、構思效度、構念效度、構建效度等。結構效度是指實際所測評的結果與想測評素質的同構程度。它表明了在多大程度上，實際測評結果能夠被看作是索要測評的素質在結構上的替代物。在素質測評中，它是人們最關心的一種效度。這是由素質測評的間接性所決定的。人們總是通過選取一些具體的行為測評來判斷實際的素質水平。結構效度與檢驗效度的人對素質結構的理解有直接關系。如果李某認為忠誠這一素質即對本企業(yè)的忠誠，張某認為忠誠這一素質表現為實事求是的態(tài)度，那么對于向其他企業(yè)說明本企業(yè)產品所存在的問題這一行為，顯然李某與張某會把它歸類到不同的素質成分中給與不同的素質成分中并給與不同的評價。因此結構效度的檢驗分析也是一種定性的主觀判斷。在分析考評過程中，要采取有力措施把主觀影響控制在最低點上。結構效度結構效度的分析可按一下幾步進行：1.給所要測評的素質的結構模式下一個操作化的定義“我們所要測評的素質是對的態(tài)度、有關的品質、有關的技能?！毕襁@樣一些表述所測評素質的具體形象是什么，結構是什么，我們并不清楚，它仍然是從具體行為概括出某種意識或觀念，因此對結構效度的分析沒有多大意義。這里的構建不是從行為向觀念構建，而是相反，由觀念向具體行為的構建。不是簡單還原，而是在更高的水平上抓住所測素質的本質特征，確定一個可感覺可操作的結構模式，由這種具體的結構模式作為抽象觀念建構的替代物。這種替代物的成分顯然應該是我們世紀能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應等。素質測評的目標體系實際上就是所測素質的一個行為構建模型，這種結構模型分別由項目、指標、權重、標度等組成。這種模型的建構，在很大程度上取決于所測素質本身的特征及其抽象程度等組成。2.收集事實資料，評判結構效度，具體方法有：排除法如果測評結果能明確的排除它所對應素質結構模型的其他解釋，那就表明所獲得的測評結果具有較好的結構效度。咨詢法可以請一些有經驗的專家就你所獲得的測評結果、所對應的素質結構進行判斷或推斷，問他們該測評結果實際測評的素質是什么。如果大家的回答與你所想測評的素質結構幾乎一致，那么說明你的測評有較好的結構效度。相關法找一個具有較高結構效度的測評工具或結果，與你所獲得的測評結果進行相關性分析，如果相關性很高，說明你的測評結果具有較高的結構效度。例如：某一個具有“自尊”結構效度的測評量表，它的測評結果就應該與自信、社交能力及領導作用等測評量表的測評結果成正比，而與諸如內向性、自卑、孤獨等測評量表測評的結果成反比。邏輯分析法當大家對所測素質的結構模型具有比較一致的認識時，只要能判定測評內容（工具）選擇正確，且整個測評過程除了一切外來干擾因素，就可以說測評結果具有較好的結構效度。例如：測評時間足以保證被測評者完成所有的工作，被測評者沒有受到催促因素的影響；測評工具的指導十分明確，被測操作準確。多元分析多元分析就是采取聚類分析與主成分分析等數學手段，對測評結果進行分析，看分析的結果。例如：所找出的主要因素與分類結果與所想測評素質的結構是否一致，如果一致，則說明所獲得的測評記過具有較好的結構效度。關聯效度又稱實證效度、效標效度、效標關聯效度，是指測評結果與效標的一致性程度。效標是一種用來衡測評有效性的外在參照標準,它可以是一種測評的結果,也可以是標準測評分數。根據效標是否可以同時獲得,可將關聯效度分為同時效度與預測效度。作為效標的結果與預測結果同時獲得,這種效度稱之為同時效度。當作為效標的結果是后來測評中獲得,這種效度稱為預測效度。它反映了現在的測評結果對未來素質發(fā)展的預測程度。例如：兩個人同時采用觀察評定與問卷測驗測評同一個人的工作態(tài)度，兩個測評結果相關系數很高，例如0.80，那么以后在類似的情況下，可以用問卷測驗代替花時太多的行為觀察法。效度分析中的幾個理論問題關于效度概念的研究1921年美國教育研究指導協(xié)會提出,效度是“測驗在多大程度上測到所要測的東西”。同時被提出的還有“預測效度”和“共時效度”,后來被統(tǒng)稱為“效標效度”。19世紀30年代,人們將更多的注意力放在測驗對于具體目標課程的代表性高低上。于是引入“課程效度”,后更名為“內容效度”。1954年美國心理學會出版了《關于心里測驗和診斷的技術建議書》，明確列舉了四種類型的效度：預測效度、同時效度、構想效度、內容效度。美國心理學會、美國教育研究學會和國家教育測量委員會1966年聯合出版的《教育與心理測驗的標準和指南》中，將效度類型進一步簡化為效標關聯效度、構想效度和內容效度三種。Ｃｒｏｎｂａｃｈ和Ｍｅｅｈｌ又進一步把前兩類歸結為準則關聯效度。這是一種三位一體的分類法觀點。Ｃｒｏｎｂａｃｈ指出,延續(xù)了30年的舊觀念(即把效度分為相互分離且并列的三類)已經過時,取而代之的是一元論的產生。Ｍｅｓｓｉｃｋ以建構效度概念為中心,提出了檢驗測驗效度的四個層面(漸進矩陣)。

測試解釋測驗使用證據基礎結構效度結構效度+適切性和實用性后果基礎結構效度+隱含的價值結構效度+適切性和實用性+社會效果關于效度概念的研究結構效度概念產生后第二年,Ｌ.Ｊ.Ｃｒｏｎｂａｃｈ和Ｐ.Ｅ.Ｍｅｅｈｌ提出了5種驗證方法,即分組區(qū)分法、相關矩陣與因素分析法、內部結構研究、不同場合下的變化研究、過程研究。提到,效度指的是一個測驗準確測量它所要測的東西的能力,包括內容效度、效標關聯效度和結構效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對效度概念演進及其新發(fā)展進行了研究。張厚粲、孫曉敏（孫曉敏、張厚粲，2004）回顧了心理測量學中效度概念發(fā)展的三個階段,早期效度概念關注的是兩個變量之間的相關.隨后重點轉向效度的多種類型,現階段則注重考察測驗的構想效度?？傊?效度確證成為一個持續(xù)不斷的動態(tài)過程;在這個過程中,運用各種技術不斷地評價、質疑和檢查由測驗分數所作推論和解釋的有效性成為心理與教育測量研究中不可或缺的組成部分。關于效度概念的研究效度應用內容效度分析適用于某些對員工進行選拔和分類的職業(yè)測驗，舍恩菲爾特、阿克、柏爾森（，,1976）清楚而詳細的說明了編織工業(yè)閱讀測驗是怎樣應用各種內容效度分析法。在編制聯邦政府和州政府公務員測驗時，這種方法得到了廣泛的采用。郭慶科（郭慶科，2002）對各種效度的應用進行了分析，他指出效標關聯資料可以應用于對個人分數的預測（包括簡單回歸法、多種測驗信息的綜合）、人員的分類與安置（人員分類的性質、人員分類的優(yōu)點、差異效度）。信度信度的概念信度是指測評結果所反映素質的準確性。對于這種準確性的考評目前大致有穩(wěn)定系數、等值系數、分半系數、內部一致系數、評分一致性系數等。以上幾種信度都是針對常模參照測驗而言的，標準參照測驗中的信度計算通常使用分類一致性信度，這種信度的的常用估計方法是考察同一批被測者在兩次是冊或者復本測驗中的分類是否一致。標準參照測驗中的信度也可以使用K系數計算，較分類一致性信度在統(tǒng)計上更合理（,1968,1988）。再測信度指以同樣的測評與選拔工具,按照同樣的方法,對于相同的對象再次進行測評與選拔,所得先后結果的一致性程度。再測信度的計算一般采用皮爾遜積差相關系數。個體的素質測評在測評過程中會涉及許多因素的影響，素質本身有時也無法精確定義。我們常常把對個體測評結果的準確性檢驗，置于群體測評結果的相互關系中，轉化為兩次位置關系的一致性分析。當同一對象的測評結果以同樣的測評方式再次獲得后，其順序位置關系變異很小時，則說明測評結果比較準確。例如：在技能測評中李某的分數是８８，在全體被測者中排名第一，這到底準不準呢？我們再重復測評一次，結果李某的分數是９５，還是排名第一，而且其他被測的位置順序變化很小，我們就可以說第一次的技能測評結果很可靠。一致性信度一致性信度又稱同質性信度，是一種常用的估計信度的方法，反映了測驗題目與所測量內容的一致性程度。一致性信度的計算公式主要有分半信度，主要采用斯皮爾曼-布朗修正公式計算；庫德-理查遜公式和克倫巴赫а系數。如果被測在第一個項目上比其他人分數高，在第二個項目上又比其他人高，在第三個項目上也比其他人高．．．．．．相反另一個人在第一個項目上比其他人分數低，在第二個項目上又比其他人低，在第三個項目上也比其他人低．．．．．．那么毫無疑問，我們會認為測評結果比較可靠。評分者信度評分者信度指多個測評者給同一組被測樣組進行評分的一致性程度。測評與選拔結果的差異程度來自兩方面一是被測評者自身,二是被測評者及其測評。信度主要是對后者的度,測評者及其測評的無關差異越小,測評與選拔結果就越可靠。測評者的評分是引起主觀性測評結果差異的主要原因。客觀性測評是利用計算機評分,不受主觀因素影響,不存在評分誤差。評分者信度主要采用肯德爾和諧系數計算。信度多高才算可靠對人事測評中信度系數與測評質量的關系，以下給出了幾種心理測驗的信度系數：測驗類型信度低中高成套成就測驗0．660．920．98學術能力測驗0．560．900．97成套傾向測驗0．260．880．96客觀人格測驗0．460．850．97興趣問卷0．420．840．93態(tài)度量表0．470．790．98各種信度系數應用信度系數類型估計方法應用穩(wěn)定性系數重測法（積差相關）人格、速度測驗等值性系數復本法（積差相關）智力、學績、速度測驗等值穩(wěn)定性系數復本法（積差相關）智力、學績、人格測驗內部一致性系數分半法（積差相關，用斯-布公式校正）庫德爾-理查森公式法α系數法智力、學績、選拔測驗評分信度系數斯皮爾曼等級相關法肯德爾和諧系數法作文、創(chuàng)造力、投射、道德判斷測驗項目分析適合度在素質測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點（指標），它們無難易之分，適合度指的是被測者行為符合項目測評標準的程度。當項目為試題時，適合度即難度；當項目是問卷中的問題時，符合度即所有選對的被測者人數與總人數之比；當項目為觀察評定量表中的指標時，符合程度即所有被測得分平均值與指標滿分值之比。區(qū)分度又稱鑒別力，指項目得分對被試實際能力或心理特質水平的區(qū)分能力或鑒別力，也即項目得分的高低與被試實際能力或心理特質水平高低的一致性程度。項目區(qū)分度的計算方法主要有相關分析法（包括積差相關法、二列相關法和點二列相關法）、極端組法（鑒別度指數、臨界比）和因素分析法獨立性在能力測評中，常常需要項目之間有一定的獨立性。所謂獨立性即非相關性或低相關性。獨立性的分析一般采用項目間分數的相關系數揭示，根據實際得分分布是否均勻，可以分別采用rφ系數法和列聯表χ2檢驗法。項目分析選項質量對于誘答或正答質量的分析方法有兩種：誘惑力分析法這種方法是采用表格形式，分別統(tǒng)計高分組與低分組中的被測者對同一項目各選項的選擇次數?！鞍字恰痹嚋y法這種方法是找一些對測驗內容一無所知或十分陌生的人作為被測者進行測試，通過分析這些人對每個誘答選擇的人次來分析選項的質量。趨中心理誤差趨中心理誤差是指因為測評者既不愿把被測評的過好，也不愿把被測評的過差而過于集中在中間段而產生的誤差。這種誤差使有差異的被測得到相同或相近的分數，缺乏區(qū)分性?？梢酝ㄟ^測量結果的分布及差異量分析來揭示這種誤差的情況。寬大心理誤差寬大心理誤差指因測評者不堅持測評的標準要求就高不就低的測評而產生的誤差。這種誤差表現為皆大歡喜，高分低能。另一種負向寬大心理誤差，則是過于嚴格，以一些脫離實際的高標準去測評人的素質，測評結果普遍較低。邏輯誤差邏輯誤差指測評者不是實事求是的對每個素質獨立地測評，而是依據其是否相關的特點而進行邏輯上的推斷。對比效應誤差對比效應誤差指測評者在測評過程中因被測與標準間存在某種明顯的反差而產生的誤差。這種誤差又叫托襯