人員素質測評質量分析課件

1、 第11章 素質測評的質量分析人員素質測評質量分析本講內容效度的概念及其分析方法信度的概念及其分析方法區(qū)分度的概念及其分析方法選題質量分析及其分析方法人員素質測評質量分析第一節(jié) 效度效度的概念 效度是指測評結果對所測評素質反映的真實程度。對這種真實性的考評，常見的方法有三種：從內容性質方面分析其內容效度從效標相關性方面分析其關聯(lián)效度從實證方面分析其結構效度人員素質測評質量分析一、內容效度定義 是指實際測評到的內容與期望測評的內容的一致性程度。當實際測評到的內容與我們事先所想測評到的內容越一致時，則說明測評結果的內容效度越高，測評結果就越有效。分析方法 內容效度在實際操作中的鑒定主要采用定性分析

2、的方法, 有藍圖對照分析法與專家比較判斷法。持肯定判斷的人數(shù)判斷總人數(shù)人員素質測評質量分析二、結構效度結構效度又稱作構想效度、構思效度、構念效度、構建效度等。結構效度是指實際所測評的結果與想測評素質的同構程度。它表明了在多大程度上，實際測評結果能夠被看作是所要測評的素質在結構上的替代物。在素質測評中，它是人們最關心的一種效度。這是由素質測評的間接性所決定的。人們總是通過選取一些具體的行為測評來判斷實際的素質水平。人員素質測評質量分析二、結構效度結構效度與檢驗效度的人對素質結構的理解有直接關系。如果李某認為忠誠這一素質即對本企業(yè)的忠誠，張某認為忠誠這一素質表現(xiàn)為實事求是的態(tài)度，那么對于向其他企業(yè)

3、說明本企業(yè)產品所存在的問題這一行為，顯然李某與張某會把它歸類到不同的素質成分中給與不同的素質成分中并給與不同的評價。因此結構效度的檢驗分析也是一種定性的主觀判斷。在分析考評過程中，要采取有力措施把主觀影響控制在最低點上。人員素質測評質量分析二、結構效度結構效度的分析可按一下幾步進行：1.給所要測評的素質的結構模式下一個操作化的定義 “我們所要測評的素質是對xx的態(tài)度、有關xx的品質、有關xx的技能?！毕襁@樣一些表述所測評素質的具體形象是什么，結構是什么，我們并不清楚，它仍然是從具體行為概括出某種意識或觀念，因此對結構效度的分析沒有多大意義。這里的構建不是從行為向觀念構建，而是相反，由觀念向具體

4、行為的構建。不是簡單還原，而是在更高的水平上抓住所測素質的本質特征，確定一個可感覺可操作的結構模式，由這種具體的結構模式作為抽象觀念建構的替代物。這種替代物的成分顯然應該是我們世紀能夠看到的、聽到的、感覺到的東西。例如：外顯行為、客觀性生理反應等。素質測評的目標體系實際上就是所測素質的一個行為構建模型，這種結構模型分別由項目、指標、權重、標度等組成。這種模型的建構，在很大程度上取決于所測素質本身的特征及其抽象程度等組成。人員素質測評質量分析要定義或建構一個素質的結構模型，可以從以下幾方面著手：首先，采取工作分析方法，對所想測評的素質進行結構分析與行為分析，確定各種素質結構及其代表的行為。其次，

5、用圖表的形式逐一列出工作分析得到的素質因素及其特征行為。除此之外，還可以通過查找歷史上或現(xiàn)在人們對所測評素質的模型的現(xiàn)成資料，豐富已有分析的結果。再次，還要另外準備一份與已經建構的模型可能混淆的但關系密切的其他模型圖表。要反問自己并向人說明為什么所測素質是你所定義的結構模型而不是其他別的結構模型。人員素質測評質量分析2.收集事實資料，評判結構效度，具體方法有：排除法 如果測評結果能明確的排除它所對應素質結構模型的其他解釋，那就表明所獲得的測評結果具有較好的結構效度。咨詢法 可以請一些有經驗的專家就你所獲得的測評結果、所對應的素質結構進行判斷或推斷，問他們該測評結果實際測評的素質是什么。如果大家

6、的回答與你所想測評的素質結構幾乎一致，那么說明你的測評有較好的結構效度。相關法 找一個具有較高結構效度的測評工具或結果，與你所獲得的測評結果進行相關性分析，如果相關性很高，說明你的測評結果具有較高的結構效度。 例如：某一個具有“自尊”結構效度的測評量表，它的測評結果就應該與自信、社交能力及領導作用等測評量表的測評結果成正比，而與諸如內向性、自卑、孤獨等測評量表測評的結果成反比。人員素質測評質量分析邏輯分析法 當大家對所測素質的結構模型具有比較一致的認識時，只要能判定測評內容（工具）選擇正確，且整個測評過程除了一切外來干擾因素，就可以說測評結果具有較好的結構效度。 例如：測評時間足以保證被測評者

7、完成所有的工作，被測評者沒有受到催促因素的影響；測評工具的指導十分明確，被測操作準確。多元分析 多元分析就是采取聚類分析與主成分分析等數(shù)學手段，對測評結果進行分析，看分析的結果。 例如：所找出的主要因素與分類結果與所想測評素質的結構是否一致，如果一致，則說明所獲得的測評記過具有較好的結構效度。人員素質測評質量分析三、關聯(lián)效度又稱實證效度、效標效度、效標關聯(lián)效度，是指測評結果與效標的一致性程度。效標是一種用來衡測評有效性的外在參照標準, 它可以是一種測評的結果, 也可以是標準測評分數(shù)。根據(jù)效標是否可以同時獲得, 可將關聯(lián)效度分為同時效度與預測效度。作為效標的結果與預測結果同時獲得, 這種效度稱之

8、為同時效度。當作為效標的結果是后來測評中獲得, 這種效度稱為預測效度。它反映了現(xiàn)在的測評結果對未來素質發(fā)展的預測程度。 例如：兩個人同時采用觀察評定與問卷測驗測評同一個人的工作態(tài)度，兩個測評結果相關系數(shù)很高，例如0.80，那么以后在類似的情況下，可以用問卷測驗代替花時太多的行為觀察法。人員素質測評質量分析關聯(lián)效度 例如想檢測一下自編品德測評的效度，決定采用效標關聯(lián)中的同時效度分析方法，故讓被測者同時接受自編品德測驗與卡特爾16因素問卷測驗。 關聯(lián)效標的分析關鍵在于效標的選擇。效標作為衡量測評結果有效性的參照標準，應該是可以測評到且獨立于所分析的測評結果的行為結果。效標可以分為行為效標與觀念效標

9、。 行為效標的選擇以客觀性為依據(jù)。常見的行為效標有以下幾種：學術成就特殊訓練成績實際工作表現(xiàn)與成績團體特征等級評定結果先前被證明是有效的測評結果人員素質測評質量分析效度分析中的幾個理論問題關于效度概念的研究 1921年美國教育研究指導協(xié)會提出,效度是“測驗在多大程度上測到所要測的東西”。同時被提出的還有“預測效度”和“共時效度”,后來被統(tǒng)稱為“效標效度”。19世紀30年代,人們將更多的注意力放在測驗對于具體目標課程的代表性高低上。于是引入“課程效度”,后更名為“內容效度”。1954年美國心理學會出版了關于心里測驗和診斷的技術建議書，明確列舉了四種類型的效度：預測效度、同時效度、構想效度、內容效

10、度。美國心理學會、美國教育研究學會和國家教育測量委員會1966年聯(lián)合出版的教育與心理測驗的標準和指南中，將效度類型進一步簡化為效標關聯(lián)效度、構想效度和內容效度三種。和又進一步把前兩類歸結為準則關聯(lián)效度。這是一種三位一體的分類法觀點。指出,延續(xù)了30年的舊觀念(即把效度分為相互分離且并列的三類)已經過時,取而代之的是一元論的產生。人員素質測評質量分析以建構效度概念為中心,提出了檢驗測驗效度的四個層面(漸進矩陣)。測試解釋測驗使用證據(jù)基礎結構效度結構效度+適切性和實用性后果基礎結構效度+隱含的價值結構效度+適切性和實用性+社會效果關于效度概念的研究人員素質測評質量分析結構效度概念產生后第二年,.和

11、.提出了5種驗證方法,即分組區(qū)分法、相關矩陣與因素分析法、內部結構研究、不同場合下的變化研究、過程研究。DeborahLee提到,效度指的是一個測驗準確測量它所要測的東西的能力,包括內容效度、效標關聯(lián)效度和結構效度。張厚粲、孫曉敏、王晶、葉映華、鄭全全對效度概念演進及其新發(fā)展進行了研究。張厚粲、孫曉敏（孫曉敏、張厚粲，2004）回顧了心理測量學中效度概念發(fā)展的三個階段,早期效度概念關注的是兩個變量之間的相關.隨后重點轉向效度的多種類型,現(xiàn)階段則注重考察測驗的構想效度?？傊?效度確證成為一個持續(xù)不斷的動態(tài)過程;在這個過程中,運用各種技術不斷地評價、質疑和檢查由測驗分數(shù)所作推論和解釋的有效性成為心

12、理與教育測量研究中不可或缺的組成部分。關于效度概念的研究人員素質測評質量分析關于結構效度的研究肯貝爾和菲斯克（D.W.Fiske）對構想效度的考驗辦法進行了研究（肯貝爾和菲斯克，1959），1960年肯貝爾指出，要確定一個測驗的構想效度，則該測驗不僅應與測量相同特質或構想等理論上有關的變量有高的相關，也應與測量不同特質或構想等理論上有關的變量有低的相關，前者稱為會聚效度，后者稱為區(qū)分效度。聶建中、湯曉媚（聶建中、湯曉媚，2006年5月）對結構效度的發(fā)展演變進行了綜述，文章分析了結構效度在內容、驗證方式和威脅因素這三方面所發(fā)生的變化,指出結構效度從概念、內容到與其他效度的關系上都發(fā)生了微妙的變化

13、,其概念內涵更加清晰,涵蓋內容更加廣泛,在整個效度概念中占據(jù)了更加重要的位置。同時,還指出了以往常用的結構效度驗證方法的不足,提出要對結構效度進行試前和實施階段的理論驗證。人員素質測評質量分析效度應用內容效度分析適用于某些對員工進行選拔和分類的職業(yè)測驗，舍恩菲爾特、阿克、柏爾森（Schoenfeldt，Acker&Perlson,1976）清楚而詳細的說明了編織工業(yè)閱讀測驗是怎樣應用各種內容效度分析法。在編制聯(lián)邦政府和州政府公務員測驗時，這種方法得到了廣泛的采用。郭慶科（郭慶科，2002）對各種效度的應用進行了分析，他指出效標關聯(lián)資料可以應用于對個人分數(shù)的預測（包括簡單回歸法、多種測驗信息的綜

14、合）、人員的分類與安置（人員分類的性質、人員分類的優(yōu)點、差異效度）。 人員素質測評質量分析小結： 效度研究兩個問題：一個是測量什么東西，即測驗所要測量的變量性質是什么？第二個是測驗對它所測量的東西達到什么程度，并在幫助取舍決定上效果如何？ 結構效度回答第一個問題； 準則關聯(lián)效度可用來了解測驗分數(shù)能否有效地預測或估計某種行為表現(xiàn)； 內容效度研究的變量的內容范圍，幫助解決測驗分數(shù)能否代表某種學習結果的成果。 任何一個測驗都需要各式各樣的效度證據(jù)，根據(jù)測驗目的，不同的測驗偏重不同的測驗效度。 效度的驗證通常是測驗編制好后進行的工作，但效度的基本指導思想在測驗編制中始終起主導作用。人員素質測評質量分析

15、第二節(jié) 信度信度的概念 信度是指測評結果所反映素質的一致性性。一個人的高度在同一天測量了兩次,一次是162厘米,一次是159厘米. 一個學生，參加研究生入學考試春季考了300分,秋季考了390分.一個人參加兩個不同形式的智力測驗,一個測驗獲得智商是100,另一個測驗上的智商是114.人員素質測評質量分析BDBBDD AA A CC C信度(Reliability):測驗是否精確(Precision)效度(Validity) :測驗是否正確(Accuracy)信度和效度的意義A：精準又正確(Reliable & Valid ) C： 精準但不正確(Reliable but Invalid ) D

16、：不精準也不正確(Unreliable & Invalid ) B：不精準但正確(Unreliable but Valid )人員素質測評質量分析信度在實踐中的重要性如果你打算招聘一個銷售代表,第一次職業(yè)能力測試某個人得分很高,有銷售天才;第二次得分很低,不適合銷售工作,那么你將如何進行這次招聘決策?人員素質測評質量分析第二節(jié) 信度信度的測量 目前大致有穩(wěn)定系數(shù)、等值系數(shù)、分半系數(shù)、內部一致系數(shù)、評分一致性系數(shù)等。 以上幾種信度都是針對常模參照測驗而言的，標準參照測驗中的信度計算通常使用分類一致性信度，這種信度的的常用估計方法是考察同一批被測者在兩次是冊或者復本測驗中的分類是否一致。標準參照測

17、驗中的信度也可以使用K系數(shù)計算，較分類一致性信度在統(tǒng)計上更合理（Cohen,1968;Aiken,1988）。人員素質測評質量分析一、再測信度指以同樣的測評與選拔工具, 按照同樣的方法, 對于相同的對象再次進行測評與選拔, 所得先后結果的一致性程度。再測信度的計算一般采用皮爾遜積差相關系數(shù)。個體的素質測評在測評過程中會涉及許多因素的影響，素質本身有時也無法精確定義。我們常常把對個體測評結果的準確性檢驗，置于群體測評結果的相互關系中，轉化為兩次位置關系的一致性分析。當同一對象的測評結果以同樣的測評方式再次獲得后，其順序位置關系變異很小時，則說明測評結果比較準確。例如：在技能測評中李某的分數(shù)是，在

18、全體被測者中排名第一，這到底準不準呢？我們再重復測評一次，結果李某的分數(shù)是，還是排名第一，而且其他被測的位置順序變化很小，我們就可以說第一次的技能測評結果很可靠。人員素質測評質量分析計算公式(圖片1）X1,X2分別代表首測和再測分數(shù),n代表樣本數(shù)人員素質測評質量分析重測信度的實際運用如你想設計一套題目,能夠精確地測量員工的長期工作表現(xiàn),那么這套題目就應該有較高的重測信度.人員素質測評質量分析二、復本信度（parallel-form coefficient) 兩套測驗包含相似的題目，但是又完全不同。這兩套測驗得分的相關，就是復本信度，也稱等值系數(shù)。 適用于同一測驗不能用來實施兩次，以及有關學業(yè)能

19、力、智力、特殊能力。X1,X2分別代表兩套測驗分數(shù),n代表樣本數(shù)（圖片2）人員素質測評質量分析三、內部一致性系數(shù)（internal consistency coefficients)被試者在同一測驗的不同題目上表現(xiàn)出的一致性.如果被測在第一個項目上比其他人分數(shù)高，在第二個項目上又比其他人高，在第三個項目上也比其他人高相反另一個人在第一個項目上比其他人分數(shù)低，在第二個項目上又比其他人低，在第三個項目上也比其人那么毫無疑問，我們會認為測評結果比較可靠。 適用于既無復本，也無法重復測量時；內部一致性不能反映施測條件和施測時間不同所產生的誤差。 人員素質測評質量分析內部一致性法分類分半法（split-

20、half method)克倫巴赫系數(shù)庫德-理查遜公式（Kuder-Richardson formulas）人員素質測評質量分析分半信度（split-half reliability) 用奇偶分半，難度排序奇偶分半，隨機安置，內容匹配等方法把一份測驗分成兩個盡可能平行的半分測驗，然后計算兩半之間的相關，即得到分半信度系數(shù) 分半信度常低估信度，需要修正，斯皮爾曼-布朗公式來估計。 人員素質測評質量分析分半信度（split-half reliability）估計方法：1、對被試施測一個測驗；2、人為地將測驗分為兩半，分別計分；3、將兩部分的分數(shù)進行比較：（1）計算兩個部分之間的相關系數(shù)（2）利用Sp

21、earman-Brown formula來修正。修正后的分半信度修正前的分半信度假設在一個測驗中,全部奇數(shù)項題目得分與全部偶數(shù)項題目得分的相關為0.80.那么這個測驗的信度為多少?人員素質測評質量分析分半信度中 的計算奇數(shù)項目得分偶數(shù)項目得分n是樣本數(shù)人員素質測評質量分析庫德-理查遜法由于分半法的平分方法不同，得到的信度系數(shù)也不同，無法說明哪種分法更好，解決方法是：將所有分半法得到的信度系數(shù)加以平均，用這個平均值作為對整個測驗信度的估計值。測驗題目數(shù)測驗的平均得分測驗得分的方差假設一個測驗包括75個題目,測驗平均得分為50,方差為100,那么測驗的信度是多少?人員素質測評質量分析克拉巴赫系數(shù)利

22、用每道題的方差或協(xié)方差計算信度，主要適用于測驗項目為0，1記分的一種內在一致性系數(shù)公式:題目數(shù)量在項目i上得分的方差測驗總分的方差人員素質測評質量分析四、評分者信度評分者信度指多個測評者給同一組被測樣組進行評分的一致性程度。測評與選拔結果的差異程度來自兩方面一是被測評者自身, 二是被測評者及其測評。信度主要是對后者的度, 測評者及其測評的無關差異越小, 測評與選拔結果就越可靠。測評者的評分是引起主觀性測評結果差異的主要原因?？陀^性測評是利用計算機評分, 不受主觀因素影響, 不存在評分誤差。評分者信度主要采用肯德爾和諧系數(shù)計算。人員素質測評質量分析 方法： 評分者為兩人：根據(jù)連續(xù)變量還是等級變量

23、，計算兩次評分的積差相關或等級相關 評分者多于三人：可計算肯德爾和諧系數(shù)評分者數(shù)受測者數(shù)每個受測者得分的總和人員素質測評質量分析速度測驗的信度速度測驗是指那種由于時限很緊或題目很多使被試不可能全部完成的測驗。以上介紹的幾種信度都是針對常模參照測驗而言的，速度測驗中的信度通常采用做答速度的一致性為依據(jù)。可以使用重測法和復本法，根據(jù)被試兩次回答題目數(shù)量的變化對速度的一致性作出估計。人員素質測評質量分析信度多高才算可靠 對人事測評中信度系數(shù)與測評質量的關系，以下給出了幾種心理測驗的信度系數(shù)：測驗類型信度低中高成套成就測驗066092098學術能力測驗056090097成套傾向測驗026088096客

24、觀人格測驗046085097興趣問卷042084093態(tài)度量表047079098人員素質測評質量分析各種信度系數(shù)應用 信度系數(shù)類型估計方法應用穩(wěn)定性系數(shù)重測法（積差相關）人格、速度測驗等值性系數(shù)復本法（積差相關）智力、學績、速度測驗等值穩(wěn)定性系數(shù)復本法（積差相關）智力、學績、人格測驗內部一致性系數(shù)分半法（積差相關，用斯-布公式校正）庫德爾-理查森公式法系數(shù)法智力、學績、選拔測驗評分信度系數(shù)斯皮爾曼等級相關法肯德爾和諧系數(shù)法作文、創(chuàng)造力、投射、道德判斷測驗人員素質測評質量分析項目分析適合度 在素質測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點（指標），它們無難易之分，適合度指的是被測

25、者行為符合項目測評標準的程度。當項目為試題時，適合度即難度；當項目是問卷中的問題時，符合度即所有選對的被測者人數(shù)與總人數(shù)之比；當項目為觀察評定量表中的指標時，符合程度即所有被測得分平均值與指標滿分值之比。區(qū)分度 又稱鑒別力，指項目得分對被試實際能力或心理特質水平的區(qū)分能力或鑒別力，也即項目得分的高低與被試實際能力或心理特質水平高低的一致性程度。項目區(qū)分度的計算方法主要有相關分析法（包括積差相關法、二列相關法和點二列相關法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法獨立性 在能力測評中，常常需要項目之間有一定的獨立性。所謂獨立性即非相關性或低相關性。獨立性的分析一般采用項目間分數(shù)的相關系數(shù)揭示

26、，根據(jù)實際得分分布是否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗法。 人員素質測評質量分析1、題目合適度即難度，指題目的難易程度（1）題目難度的計算總分前27%的受測者中答對該題目的人數(shù)總分在最后27%的受測者中答對該題目的人數(shù)總分前27%的受測者數(shù)總分后27%的受測者數(shù)項目難度（2）測驗難度水平的確定識別或挑選最優(yōu)秀者，題目難度應該大，P值最好較低；淘汰一些非常差的人，題目難度應該小，P值最好較高；測量寬范圍能力，適宜的題目難度P值應該接近0.5。P值越低，題目難度越大人員素質測評質量分析不同選項數(shù)情況下項目的適宜平均難度值選項數(shù)適宜的平均難度指標20.8530.7740.7450.69開放式題

27、目0.5人員素質測評質量分析2、題目區(qū)分度（discrimination）是對題目在區(qū)分測驗高分者和低分者方面的有效性的度量。（1）題目區(qū)分度的計算總分前27%的受測者中答對該題目的人數(shù)總分在最后27%的受測者中答對該題目的人數(shù)總分前27%的受測者數(shù)項目區(qū)分度（2）適當?shù)膮^(qū)分度通常認為區(qū)分度D=0.3或高于0.3的題目是可接受的。D值越高，題目越能有效區(qū)分高分者和低分者。人員素質測評質量分析3、獨立性P318人員素質測評質量分析項目分析選項質量對于誘答或正答質量的分析方法有兩種：誘惑力分析法 這種方法是采用表格形式，分別統(tǒng)計高分組與低分組中的被測者對同一項目各選項的選擇次數(shù)?！鞍字恰痹嚋y法 這種方法是找一些對測驗內容一無所知或十分陌生的人作為被測者進行測試，通過分析這些人對每個誘答選擇的人次來分析選項的質量。人員素質測評質量分析其他指標的分析客觀