教育統(tǒng)計與測量測量質(zhì)量研究分析

1、測量質(zhì)量分析 難度與區(qū)分度 信度與效度 教育統(tǒng)計與測量測量質(zhì)量研究分析 為了使測驗得到的分?jǐn)?shù)準(zhǔn)確可靠，我們要 求使用的測驗是高質(zhì)量的，因此必須對分 析測驗的質(zhì)量，而測驗又是由一個個題目 或者說測試項目所組成，整個測驗質(zhì)量要 高，必然要求各個題目的質(zhì)量要高。 因此分析一個測驗的質(zhì)量，一般就要從兩 個方面來進(jìn)行：一是考察整個測驗的質(zhì)量 指標(biāo)，即考察測驗效度與信度；二是考察 所含項目的質(zhì)量指標(biāo)，即考察測驗項目的 難度和區(qū)分度。 教育統(tǒng)計與測量測量質(zhì)量研究分析 測驗項目的難度 測驗項目的難度，就是被試完成項目作答任務(wù)時所遇到的 困難程度。 有的項目很容易，幾乎所有初試都能正確完成作答任務(wù)；有的項 目卻

2、很難，只有少數(shù)高水平被試能正確完成任務(wù)。 困難的項目，被試在其上得分的可能性就小，失分的可能性就大； 容易的項目，被試在其上得分的可能性就大，失分的可能性就小。 總之，每一個測驗項目都有自己的難度；不同項目間其難度常常 是不同的。 定量刻畫一個測驗項目的被試作答困難程度的量數(shù)就叫項 目的難度指數(shù)或難度系數(shù)。 教育統(tǒng)計與測量測量質(zhì)量研究分析 難度系數(shù)的求法 最通用的項目難度系數(shù)的求法就是計算被試 在項目上的得分率或者說通過率。 像選擇題這種測驗項目，評分采取“全 或無”的方式，答對給滿分，答錯給零 分，難度指數(shù)就可以求通過人數(shù)比例或 稱通過率。 1. 對于不采用“全或無”的方式給分的測 驗項目，

3、難度系數(shù)的求取方法是先求所 有被試在該項目上的平均得分值，可記 為 ；再用它去對測驗項目總分（滿 分），可記為K，求比值，這個比值就是 全體被試在該測驗項目上的得分率即難 度指數(shù)p了。 n r p K X p X R通過人數(shù) n 接受測試的總?cè)藬?shù) P難度指數(shù) 教育統(tǒng)計與測量測量質(zhì)量研究分析 例如，有一滿分值K=5的試題，測試10名被試，實得成 績?yōu)?,3,4.5,2,5, 0, 3.5, 1,3, 4 要求其難度指數(shù)p。 先求平均得分 然后用平均得分值對滿分值求比 1 . 3 10 31 X 62. 0 5 1 . 3 K X p 教育統(tǒng)計與測量測量質(zhì)量研究分析 整體試卷的難度，就是全體被試測

4、驗的總 分平均值與全卷滿分的比值。 教育統(tǒng)計與測量測量質(zhì)量研究分析 有人覺得用得分率p來表示難度別扭，主張 用失分率q來作為難度指數(shù)。 得分率p是可以與失分率q相互轉(zhuǎn)換的，q=1- p。我們一般用得分率p來表示難度，但也 有人用失分率q來表示難度，所以當(dāng)我們聽 取人家報告難度系數(shù)時，一定要弄清是指p 還是q值 不同目的的測試，測驗難度系數(shù)要求也不 相同。一般的標(biāo)準(zhǔn)化測試，目的是要盡可 以把握住被試的個別差異，因此希望測驗 后所有被試的分?jǐn)?shù)“盡可能拉開距離”。 這樣，測驗項目的恰當(dāng)難度，就應(yīng)該是p值 盡量接近0.5. 教育統(tǒng)計與測量測量質(zhì)量研究分析 如果一個測驗對某一被試團(tuán)體來說，難度 相對顯得

5、大，那么，被試團(tuán)體中大多數(shù)人 就會得低分，被試總分分布就會形成正偏 態(tài)分布； 如果相反，難度相對顯得小，被試團(tuán)體中 就會有很多人得高分，總分分布就會形成 負(fù)偏態(tài)。 教育統(tǒng)計與測量測量質(zhì)量研究分析 區(qū)分度 項目區(qū)分度就是項目區(qū)別被試水平高低的能力的量度。 項目是用來測試被試水平高低的；在所測特質(zhì)上，被試水 平也不會人人相等，總是會有高低水平差異的。倘若，高 水平被試，在測驗項目上能利市中分，而低水平被試則只 能得低分，測驗項目區(qū)分被試高低的能力就強(qiáng)；如果高水 平被試和低水平被試在測驗項目上所得分?jǐn)?shù)并無差別，項 目提供不出被試水平差異的信息，它的區(qū)分能力就弱，更 糟糕的是，高水平被試在測驗項目上反

6、而得低分，低水平 被試在測驗項目上所得分?jǐn)?shù)卻不低，這種項目的性能就跟 測驗?zāi)康南噙`背，只會起破壞作用。 所以，項目區(qū)分度是測驗性能的一個重要指標(biāo)，說明的正 是項目對測驗?zāi)康膩碚f的有效性程度 教育統(tǒng)計與測量測量質(zhì)量研究分析 區(qū)分度指數(shù)的求法 計算被試在該項目上的得分與其測驗總分 的相關(guān)系數(shù)。如相關(guān)一致性高就認(rèn)定該項 目區(qū)分力強(qiáng)；如果相關(guān)低，甚至負(fù)相關(guān)， 就認(rèn)定為區(qū)分力弱整形無效的項目。 這里，確定項目區(qū)分度的標(biāo)準(zhǔn)就是測驗總 分，要考察總分高的被試在該項目上是否 也得高分，總分低的被試在該項目上是否 也得低分。顯然，這種標(biāo)準(zhǔn)就是測驗內(nèi)部 而非測驗外部標(biāo)準(zhǔn)。 教育統(tǒng)計與測量測量質(zhì)量研究分析 假定有3

7、0名被試在兩個項目上的題分以及全卷總分情況如 下表，請計算項目與項目的區(qū)分度 教育統(tǒng)計與測量測量質(zhì)量研究分析 項目 計算項目的區(qū)分度指數(shù)，也就是計算被 試在該項目上的得分與總分的相關(guān)系數(shù)。 項目為二分稱名變量，總分為連續(xù)變量， 該用哪種相關(guān)法？ 教育統(tǒng)計與測量測量質(zhì)量研究分析 pq S XX r x qp pb 需要用點雙列相關(guān)，點雙列相關(guān) 公式為： 答對被試的比率為：p=18/300.6 答錯被試的比率為：q=0.4 答對被試的總分平均成績:(100+100+98+) 18=69.94 答錯被試的總分平均成績：(90+79+89+0) 12=59.42 所有被試總分標(biāo)準(zhǔn)差：29.23 18.

8、 04 . 06 . 0 23.29 42.5994.69 pb rD 教育統(tǒng)計與測量測量質(zhì)量研究分析 項目 項目2與總分都為連續(xù)變量，應(yīng)該采用哪種相關(guān)方法呢？ 積差相關(guān)的公式為： 22 YYXX YYXX r ii ii xy 教育統(tǒng)計與測量測量質(zhì)量研究分析 采用軟件分析，得到結(jié)果為 79. 0 xy rD 教育統(tǒng)計與測量測量質(zhì)量研究分析 高低分組法 求取項目區(qū)分度指數(shù)的主要辦法，是求題 分與總分的相關(guān)系數(shù)。但是，還有一種 “高低分組求得分率差”的辦法。 方法：將全體被試按總分寡加以排隊，然 后取得分最多的27%的被試作為“高分組”， 得分最少的27%的被試作為“低分組”，最 后求這兩個組上

9、項目得分率（通過率）的 差來作為區(qū)分度指數(shù)的取值。 DPH PL 教育統(tǒng)計與測量測量質(zhì)量研究分析 教育統(tǒng)計與測量測量質(zhì)量研究分析 以上面的30名被試為例 先將30名被試的總分從高至低排序 30人的27%：30*27%8.18（人） 計算高分組8人的得分率PH：PH10.63； PH2 4.44/5=0.89 計算低分組8人的得分率PL： P L1 0.50； Pl2 2.06/5=0.41 D1PH1 PL1 0.13; D2PH2 PL2 0.48 用高低分組法丟棄了中部的數(shù)據(jù)，因此只能是較為粗糙的 估計值，當(dāng)被試總?cè)藬?shù)夠多，高分組與低分組容量都相當(dāng) 大時，這種估計值還是可以滿足實用要求的。

10、所以高、低 分組法，是一種常用的項目區(qū)分度指數(shù)求取方法。 教育統(tǒng)計與測量測量質(zhì)量研究分析 項目區(qū)分度指數(shù)的取值范圍，跟一般的相 關(guān)系數(shù)的取值范圍一樣，在-1.00至+1.00之 間。 如果項目區(qū)分度指數(shù)D0.20,項目應(yīng)該被淘 汰 如果0.2D 0.3,需要修改 如果0.3D 0.4,合格 如果 0.4D ,性能優(yōu)良 教育統(tǒng)計與測量測量質(zhì)量研究分析 測驗信度 測驗信度，就是測驗在測量它所測特質(zhì)時得到的分?jǐn)?shù)的一致性 （穩(wěn)定性）。它是反映測驗性能的一個重要的質(zhì)量指標(biāo)。 各種類型的測量，無論是物理測量還是教育與心理測量，先后 對同一對象施測，所得測量值都很難做到絕對一致。 同一教育與心理測驗先后向同

11、一被試對象施測，所得測值會系 統(tǒng)地起伏變化，原因是多方面的。這可以是由于測驗項目抽樣 不妥，或語言表達(dá)引起誤解，也可以是施測環(huán)境影響，施測時 指導(dǎo)語、完成時限、主被試關(guān)系的影響或者是評分過程的偏向 與誤差，還可以是被試的動機(jī)和情緒等因素所造成的。 測驗信度，就是指對這種無系統(tǒng)的隨機(jī)誤差的控制。測驗本身 抗干擾能力強(qiáng)，測驗實施過程各方面誤差因素都控制得好，多 次施測時所得分?jǐn)?shù)的一致性程度就會好，這就叫測驗信度高， 人們在使用所得測值時就會感覺可靠。 教育統(tǒng)計與測量測量質(zhì)量研究分析 改進(jìn)測驗信度，就是要努力從各個方面控 制測量誤差，使所得分?jǐn)?shù)（測值）盡量接 近被試在所測特質(zhì)上的真值。 如果從測驗實

12、施過程中實際得到的被試分 數(shù)，叫做觀察分?jǐn)?shù)，這可記為X；被試在所 測特質(zhì)上客觀具有的水平值，叫真分?jǐn)?shù)， 這可記為T，那么，觀察分?jǐn)?shù)與真分?jǐn)?shù)的差 就是測量誤差，它可記為E。 XTE 教育統(tǒng)計與測量測量質(zhì)量研究分析 信度的測量方法與種類 重測相關(guān)法（重測信度） 平行相關(guān)法（復(fù)本信度） 內(nèi)部一致性系數(shù)法（折半系數(shù)，a-系數(shù)） 教育統(tǒng)計與測量測量質(zhì)量研究分析 重測信度 同一測驗向同一批被試重測兩次，將得到的兩批獨立測值 進(jìn)行相關(guān)分析，求出相關(guān)系數(shù)，就可為測驗信度的估計值。 這樣的相關(guān)系數(shù)，就叫信度系數(shù)，一般記為rxx。 例如，編制了一個詞匯理解測驗，測試一批被試共15人， 頭一次測驗與第二次測驗分開獨

13、立進(jìn)行，間隔時間兩周。 所獲資料如下表： 教育統(tǒng)計與測量測量質(zhì)量研究分析 計算兩次測驗的相關(guān)系數(shù)積差相關(guān) Rxx0.94 由于重測法十分強(qiáng)調(diào)特質(zhì)的穩(wěn)定性，所以， 用這種方法求取的信度系數(shù)就叫做穩(wěn)定性 系數(shù) 大家討論一下重測信度的局限性 教育統(tǒng)計與測量測量質(zhì)量研究分析 復(fù)本信度 復(fù)本信度是指通過使用兩個平行形式的測 驗來測查同一批被試，這樣也可獲得同一 批被試的兩批獨立值，從而通過求相關(guān)系 數(shù)，估出測驗的信度。 這要求兩個測驗所測的東西實質(zhì)完全相同， 只是使用的具體測驗項目不同。 這種用平行形式相關(guān)求得的信度系數(shù)，因 為特別強(qiáng)調(diào)兩測驗形式的等值關(guān)系，所以 又叫等值性系數(shù)。 教育統(tǒng)計與測量測量質(zhì)量

14、研究分析 內(nèi)部一致性系數(shù) 利用單一測驗內(nèi)的項目之間的一致性關(guān)系 來估出測驗信度。 常用的有折半相關(guān)系數(shù)，a系數(shù) 教育統(tǒng)計與測量測量質(zhì)量研究分析 折半相關(guān)系數(shù) “折半”是指將一個測驗拆成兩個半測驗，再計算兩個半 測驗的相關(guān)系數(shù)，通過此相關(guān)系數(shù)來估計整個測驗的信度。 拆分測驗，可以采用項目序號拆分，奇數(shù)項目構(gòu)成半個測 驗，偶數(shù)項目構(gòu)成另外半個測驗，例如： 教育統(tǒng)計與測量測量質(zhì)量研究分析 rxx=0.86 由“半測驗”得來的相關(guān)系數(shù)，還需要進(jìn)行校正，才能 得到估計“全測驗”的信度系數(shù)，校正公式是： xx xx u r r r 1 2 ru是經(jīng)校正后的“全測驗”信度系數(shù) 值 rxx是“半測驗”上的信度

15、系數(shù)值 92. 0 86. 01 86. 02 u r 教育統(tǒng)計與測量測量質(zhì)量研究分析 a一致性系數(shù) 用折半法求測驗信度系數(shù)， 可以利用單一測驗形式作 施測所得數(shù)據(jù)來進(jìn)行，顯 得簡單有效。但問題是要 把一個現(xiàn)成的測驗分拆成 真正平行等值的兩半，卻 并不容易。那能否不作分 拆而直接利用單一形式作 一次施測所獲資料來估計 測驗信度呢？ 于是就有人研究提出了求 a-系數(shù)的辦法，公式是： 2 0 2 1 1S S n n ar i xx a 就是測驗信度系數(shù) n 是測驗所含項目個數(shù) 是被試在第i個項目上得分的方差 是被試總分的方差 2 i S 2 0 S 教育統(tǒng)計與測量測量質(zhì)量研究分析 92. 0 0

16、4.31 56. 256. 236. 104. 3 1 14 4 arxx 教育統(tǒng)計與測量測量質(zhì)量研究分析 折半法（經(jīng)校正）求信度系數(shù)，可以看成 在測驗內(nèi)部求項目間的相關(guān)；研究說明， 求a-系數(shù)，也可看成在測驗內(nèi)部求項目間的 相關(guān)。因此，折半相關(guān)系數(shù)和a-系數(shù)都被叫 做測驗的內(nèi)部一致性系數(shù)。 測驗的內(nèi)部一致性系數(shù)取值高，說明測驗 項目同質(zhì)性好，都在有效測查同一特質(zhì)。 教育統(tǒng)計與測量測量質(zhì)量研究分析 信度系數(shù)的應(yīng)用 信度系數(shù)取值大，所得測值偏離真分?jǐn)?shù)值的幅度就小，誤差就得到 了較好控制。而實際測驗中所得測值偏離真分?jǐn)?shù)的程度，被叫做測 量標(biāo)準(zhǔn)誤差。可記為SEM，它跟信度系數(shù)之間顯然存在著必然的聯(lián)

17、系。這種關(guān)系可定量地表示為： xxX rSSEM1 rxx是測驗的信度系數(shù)； SX是被試在該測驗上所得觀察 分?jǐn)?shù)的標(biāo)準(zhǔn)差。 假設(shè)52名被試在拼寫測驗中，所得分?jǐn)?shù)的標(biāo)準(zhǔn)差SX=9.48,已知拼寫測驗 的信度系數(shù)rxx=0.92，按照上述公式，該測驗的測量標(biāo)準(zhǔn)誤為： 68. 292. 0148. 9SEM 也就是說，該拼寫測驗所測52名被試的真分?jǐn)?shù)，并不恰好就是所測到 的觀察值。觀察分?jǐn)?shù)與真分?jǐn)?shù)有一定程度的偏離，大約偏離2.68分。 就最高分59分的被試來說，其真分?jǐn)?shù)值應(yīng)為59+2.6861.68（分）， 或59-2.6856.32（分），或其間的任何一個值。 教育統(tǒng)計與測量測量質(zhì)量研究分析 從以

18、上公式可以看出，測量標(biāo)準(zhǔn)誤的大小，取決于測驗值 信度系數(shù)rxx取值的高低。rxx 值越高，則觀察分?jǐn)?shù)偏離真分 數(shù)越小。 假設(shè)上述例子中測驗的信度為0.82，則其SEM4.02；如 果信度為0.98,則其SEM1.34. 一個測驗其信度系數(shù)rxx的取值處在0.00和1.00之間；當(dāng)然 值越高越好。一般來說，公開大規(guī)模使用的標(biāo)準(zhǔn)化測驗， 其信度系數(shù)的取值不應(yīng)小于0.90；主要用來起預(yù)測作用的 標(biāo)準(zhǔn)化測驗，希望能更大一點，最好能接近或大于0.95； 當(dāng)然，教師自編的課堂測驗，對其信度系數(shù)值的要求就不 能過高 教育統(tǒng)計與測量測量質(zhì)量研究分析 測驗效度 測驗效度，就是測驗實際上測到它打算要 測的東西的程

19、度。 真正測到了要測的東西，就是有效、效度 高；否則，就是無效或不十分有效，就是 效度低。顯然，測驗只有真正測到了要測 的特性、特質(zhì)、結(jié)構(gòu)，測驗結(jié)果即測驗分 數(shù)的應(yīng)用與解釋，才能起到它應(yīng)起的作用， 才能發(fā)揮出有效性。 因此，測驗效度就是測驗工具的正確性問 題，是測驗分?jǐn)?shù)的真實有效性問題，是測 驗質(zhì)量高低的根本表現(xiàn)所在，是測驗性能 的最重要的指標(biāo)。 教育統(tǒng)計與測量測量質(zhì)量研究分析 心理與教育測量具有間接性特點，所測對 象是被試的內(nèi)部心理特性、特質(zhì)或結(jié)構(gòu)， 測量工具是否真正測到了它，絕非一目了 然，而且，這種特性、特質(zhì)、結(jié)構(gòu)本身到 底什么樣，許多都沒有公認(rèn)的定義，甚至 還存在嚴(yán)重的分歧。 如語言能

20、力和水平，就是一個不很清楚概 念，它的內(nèi)涵與外延是什么，存在著分歧， 那測量語言能力就存在著很大的困難。也 許目的是測量語言能力但是實際測到的是 語言知識。 教育統(tǒng)計與測量測量質(zhì)量研究分析 效度的種類 根據(jù)驗證測驗效度的角度與方法的差異， 可以把效度驗證工作大體分為三類，即內(nèi) 容效度、效標(biāo)關(guān)聯(lián)效度和結(jié)構(gòu)效度。三種 效度說明的都是測驗的正確性，不過是從 三個不同的方面來說明而已。 內(nèi)容效度通過對測所含項目作內(nèi)容的 系統(tǒng)考察，以確定由這些項目所構(gòu)成的測 驗，是否是測驗應(yīng)測特質(zhì)行為領(lǐng)域的代表 性樣本。 代表性程度高，就是內(nèi)容效度好；代表性程度 低，就是內(nèi)容效度差；根本不具任何代表性， 就是全無內(nèi)容效

21、度。 教育統(tǒng)計與測量測量質(zhì)量研究分析 內(nèi)容效度 內(nèi)容效度的分析首先就要求測驗所測特質(zhì)涵蓋的整個行為 領(lǐng)域有明確的范圍，有比較清楚的組織結(jié)構(gòu)。但許多心理 特質(zhì)，如“智力”、“創(chuàng)造力”等，都是外延范圍不明、 內(nèi)部結(jié)構(gòu)復(fù)雜，人們對其看法很不統(tǒng)一、無法滿足上述要 求的測量對象。所以，內(nèi)容效度主要適應(yīng)于對學(xué)業(yè)成就測 驗的正確有效性的分析。主要分析測驗項目所考核的知識 技能覆蓋面、能力水平的考核情況、以及各部分內(nèi)容的深 度廣度與結(jié)構(gòu)比例等。 分析的辦法一般是請學(xué)科專家作出系統(tǒng)評判；側(cè)重定性分 析，也輔之以定量評價；還可以采用恰當(dāng)辦法把不同遙意 見綜合起來。 教育統(tǒng)計與測量測量質(zhì)量研究分析 有一個跟內(nèi)容效度

22、有關(guān)的概念叫表面效度， 指的是從被試或非專業(yè)人員看來，測驗表 現(xiàn)得是否在有效地測驗著應(yīng)測的東西。 在那些需要被試盡其所能對所測問題正確 作答的測驗中，比如學(xué)業(yè)成就與智力測驗 中，它有改善與被試合作關(guān)系的作用。由 于合作改進(jìn)，測驗質(zhì)量也就更有保證。這 樣的測驗，應(yīng)力爭有高的表面效度。而人 格測驗和態(tài)度測量等，有時被試并不愿意 直陳自己內(nèi)心想法，所以就不必明白在測 查什么，不必追求高的表面效度。 教育統(tǒng)計與測量測量質(zhì)量研究分析 效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度就是指測驗預(yù)測個體在類似 或某種特定情境下行為表現(xiàn)的有效性。這 里的“預(yù)測”既指同時性的類似情境下的 行為的“預(yù)測”，也指間隔一段時間特定 情境下

23、的行為的“預(yù)測”。 因此，效標(biāo)關(guān)聯(lián)效度又包含“并存”效度 和“預(yù)測”效度這兩個小類別。 效標(biāo)關(guān)聯(lián)效度是可以測量的，可以通過求 取有待驗證的測驗的測值與效標(biāo)測驗所得 的測值之間的相關(guān)系數(shù)獲得。得到的相關(guān) 系數(shù)，就叫效度系數(shù) 教育統(tǒng)計與測量測量質(zhì)量研究分析 結(jié)構(gòu)效度 結(jié)構(gòu)效度指的是測驗測行心理學(xué)理論所定 義的某一心理結(jié)構(gòu)或特質(zhì)的程度。這種結(jié) 構(gòu)或特質(zhì)的例子有智力、學(xué)術(shù)能力傾向、 人格結(jié)構(gòu)以及焦慮等。 這種結(jié)構(gòu)或特質(zhì)都是理論上定義的，其內(nèi) 涵與外延并不十分確定，人們之間的看法 也可能有分歧；但又的確反映了客觀存在 著的心理現(xiàn)象與事實，所以又是可測的。 通過分析這些結(jié)構(gòu)與特質(zhì)的性質(zhì)，可以推 論出一些假設(shè)，然后使用測驗來檢驗這些 假設(shè)。倘若測驗結(jié)果能證實這些假設(shè)，那 么這就從一個方面驗證了測驗的結(jié)構(gòu)效度。 教育統(tǒng)計與測量測量質(zhì)量研究分析 比如，我們知道，智力在人們兒童和青少 年時期，會隨年齡增長而發(fā)展提高，因此， 智力測驗的分?jǐn)?shù)也應(yīng)隨年齡增大而增加， 直到個人成熟為止。如果所編出的智力測 驗，施測結(jié)果說明情況果真如此，能證實 這種看法，我們就說從發(fā)展成熟的角度看， 所編智力測驗確具有較好的結(jié)構(gòu)效度。 教育統(tǒng)計與測量測量質(zhì)量研究分析 效度系數(shù)與估計標(biāo)準(zhǔn)誤