一般化可能性理論

一般化可能性理論(generalizabilitytheory)とパフォーマンス評(píng)価(performanceassessment)日本學(xué)術(shù)振興會(huì)?東京工業(yè)大學(xué)村山航murakou@orion.ocn.ne.jp1Contents一般化可能性理論とはパフォーマンス評(píng)価に対する一般化可能性理論研究の現(xiàn)狀2Contents一般化可能性理論とはパフォーマンス評(píng)価に対する一般化可能性理論研究の現(xiàn)狀3古典的テスト理論信頼性

(reliability)

＝尺度の一貫性?安定性信頼性係數(shù)全分散における真?zhèn)帳畏稚ⅳ握激幛敫詈险`差分散が大きいと小さくなる推定方法再テスト法，平行テスト法，Cronbachのαなど4補(bǔ)足：信頼性と妥當(dāng)性妥當(dāng)性：測定したいものを測定できているか信頼性：高

妥當(dāng)性：高信頼性：低

妥當(dāng)性：低信頼性：高

妥當(dāng)性：低※妥當(dāng)性が高く信頼性が低いことは考えにくい（信頼性は妥當(dāng)性の必要條件）5古典的な「信頼性」概念の限界意味が多義的：「安定」「一貫」とは何か？時(shí)間的に安定しているのか：再テスト信頼性（同じ概念を測定する）テスト?項(xiàng)目間で一貫しているのか：α係數(shù)ポイント：「誤差」の意味によって信頼性の意味も変わってくる時(shí)間的な変動(dòng)?時(shí)間的安定性項(xiàng)目間の変動(dòng)?項(xiàng)目間一貫性評(píng)定者間の違い?評(píng)定者間一貫性6一般化可能性理論

(generalizabilitytheory)

とは古典的テスト理論より洗練された形で信頼性を評(píng)価する手法：以下の２つの段階があるGeneralizability(G)study分散分析

(ANOVA)の原理を用いて，異なるソースの誤差分散の成分を分離して推定するDecision(D)studyGstudy

で得られた分散成分をもとに，さまざまなデザインにおける信頼性を評(píng)価する7用語相(facet)評(píng)定者，項(xiàng)目，時(shí)間といったテストの諸側(cè)面．一般化可能性理論では，この相ごとに誤差を分離していく．測定の対象(objectofmeasurement)多くの場合，人（もしくは學(xué)校）．ここの分散が真?zhèn)帳畏稚ⅳ趣撙胜丹欷耄妤衰些`ス（universe)それぞれの相における母集団（のようなもの）．一般化可能性理論で「母集団」(population)という言葉は「測定の対象」にのみ使われる．8具體例(Brennanetal.,1996より）CaliforniaAssessmentProgram(CAP)の理科のアセスメント（一種のパフォーマンス評(píng)価）５つの課題(t)３人の評(píng)価者(r)がすべての課題を評(píng)価得點(diǎn)はどれも１點(diǎn)－４點(diǎn)評(píng)価の対象は當(dāng)然受験者(p)pxtxr

デザインと呼ぶ（すべての要因がクロス）課題ごとに評(píng)価者が違うなら

px(r:t)デザイン

（”A:B”は”AはBにネストされた”という意味）9Gstudy変量効果の分散分析により分散成分

(平均平方和MSではないので注意）を推定ユニバース?母集団における個(gè)々の効果の分散pxtxr

デザインのとき，求める分散成分は交互作用を含め，p,t,r,pt,pr,tr,ptr+e

の7つ．※注：複數(shù)の水準(zhǔn)がないとその相の分散は推定できない（例：評(píng)定者１人だと評(píng)定者相の分散成分は推定できない）10CAPの結(jié)果VariancecomponentsEstimatesofσPersons(p)0.298Tasks(t)0.092Raters(r)0.003

pt0.493

pr0.000

tr0.002

ptr+e0.148全ての課題?評(píng)定者の評(píng)定を平均したとき，生徒の得點(diǎn)が母集団でどれくらい分散しているか?大きいほどよい（生徒の能力を識(shí)別できている）得點(diǎn)の課題間での（ユニバースにおける）ばらつき．難易度にばらつきがあると，ここが大きくなる評(píng)定者間の評(píng)定のばらつき課題によって生徒の順序が入れ替わる程度(Ａ君はB君より課題１が得意だが，課題２はB君の方がA君より得意)評(píng)定者によって生徒の順序が入れ替わる程度全要因の交互作用＋その他の誤差11Gstudyより分かったこと個(gè)々の得點(diǎn)は生徒間の個(gè)人差をある程度は捉えているただし，課題によって生徒の順序が入れ替わってしまう?大問題（テスト結(jié)果が使われた課題に大きく依存してしまうから）評(píng)定者間のばらつきは思ったほど大きくない（むしろ小さい）12DstudyGstudyの分散成分「１つの観測得點(diǎn)」に関するもの（e.g.,A君の課題Pにおける評(píng)定者αの評(píng)定値）Dstudy

における信頼性の推定複數(shù)の相からのサンプルにおける「平均値」の信頼性（一般化可能性）を求める「評(píng)定者を４人に増やしたら？」といった仮想の実験デザインに対する信頼性の推定も可能実際に興味があるのは「5つの課題の平均點(diǎn)」や「2人の評(píng)定者の平均點(diǎn)」に関する信頼性13pxtxr

デザインにおける推定VariancecomponentinDstudy（平均値を取る相を大文字で表現(xiàn)）VariancecomponentinGstudy測定の対象の分散はそのまま平均値の標(biāo)準(zhǔn)誤差を算出する公式を適用（分散をサンプル數(shù)で割る）14２種類の信頼性係數(shù)DependabilityCoefficientΦ

以外すべてを誤差と考えるGeneralizabilityCoefficientρ2(orEρ2)Personとの交互作用のみを誤差と考える15Φとρ2

の違いポイント：やが大きいのは問題か？生徒の能力順位を知りたいとき課題Ａ（易）１位：太郎君（95點(diǎn)）

２位：直美さん（90點(diǎn)）

３位：亮君（80點(diǎn)）…５５位：瑛太君（35點(diǎn)）

５６位：拓也君（30點(diǎn)）課題B（難）１位：太郎君（55點(diǎn)）

２位：直美さん（50點(diǎn)）

３位：亮君（45點(diǎn)）…５５位：瑛太君（5點(diǎn)）

５６位：拓也君（0點(diǎn)）だけが大きい例問題ナシ（順位は課題によって変わらないから）．むしろ怖いのはが大きいときが高いのがよい16Φとρ2

の違いポイント：やが大きいのは問題か？生徒の絶対得點(diǎn)（e.g.,60點(diǎn)）で選抜したいとき課題Ａ（易）１位：太郎君（95點(diǎn)）

２位：直美さん（90點(diǎn)）

３位：亮君（80點(diǎn)）…５５位：瑛太君（35點(diǎn)）

５６位：拓也君（30點(diǎn)）課題B（難）１位：太郎君（55點(diǎn)）

２位：直美さん（50點(diǎn)）

３位：亮君（45點(diǎn)）…５５位：瑛太君（5點(diǎn)）

５６位：拓也君（0點(diǎn)）だけが大きい例大問題（選んだ課題により60點(diǎn)の意味が違ってくるから）．が高いのがよい17２種類の信頼性係數(shù)：まとめ受験者の相対順位に興味がある場合はの大きさをみる必要性多くの場合はこちらが重要相関に興味がある場合もこちらCronbachのα係數(shù)はpxIデザインにおけるこの係數(shù)と等しい受験者の絶対得點(diǎn)に興味がある場合（e.g.,standardsettingなど）は，の大きさをみる必要性18CAPの結(jié)果VariancecomponentsGstudy

EstimatesDstudy

Estimates

nr=3,nt=5Persons(p)0.2980.298Tasks(t)0.0920.018Raters(r)0.0030.001

pt0.4930.099

pr0.0000.000

tr0.0020.000

ptr+e0.1480.010Eρ2=0.73Φ=0.703人の評(píng)価者，5

つの課題の平均値を使うと信頼性はまずます（ユニバースから別の３人の評(píng)価者，５つの課題を選んできても結(jié)果は安定）19仮想のデザインに対する信頼性の推定評(píng)定者や課題を増やす（減らす）と信頼性はどうなるのか？nt

やnr

に値を代入することで，推定が可能Efficientなテスト設(shè)計(jì)が可能！20CAPの場合Brennan(1996)より課題が増えると信頼性はかなり改善：もともとが大きいので評(píng)定者の數(shù)を増やしても信頼性はそんなに増えない：もともと

が小さいので21Dstudyより分かったこと３人の評(píng)定者，５つの課題である程度は信頼性が保たれている課題を増やすことでより信頼性を高めることが可能．評(píng)定者を増やしてもそれほど信頼性は高まらない（コストによっては，課題を増やし，評(píng)定者を減らすという選択もよい）．22一般化可能性理論：その他１NestedデザインGstudy,Dstudyのどちらでも適用可能Nestedデザインでも基本はBalanceddesignアンバランスドデザインの場合分散成分の推定が難しい?できれば避けたい最尤法

(Searleetal.,1992)，もしくはAnalogousANOVA(Brennan,2001)を用いる多変量一般化可能性理論（後述）を用いる23多変量一般化可能性理論一般化可能性理論の拡張固定因子(fixedfactor)にあたる部分を多変量の従屬変數(shù)として一般化可能性理論を適用具體例：山森（2003)従屬変數(shù)ごとに各相の水準(zhǔn)數(shù)が違ってよい：単変量だとアンバランスドなデザインも，多変量だとバランスドデザインになるときがあり一般化可能性理論：その他２※注：複數(shù)の課題があっても，randomfactorであるならば，これらを従屬変數(shù)にしてはダメ24分散成分の標(biāo)準(zhǔn)誤差

(seeBrennan,2001)水準(zhǔn)數(shù)が少ない相で得られた分散成分は精度が低い可能性相の水準(zhǔn)數(shù)を増やすことで標(biāo)準(zhǔn)誤差は減るソフトウェアGstudy:SASのvarcomp,mixedDstudy:SASマクロ->http://flash.lakeheadu.ca/

~boconno2/gtheory/gtheory.htmlGENOVA(Brennan):http://cation.uiowa.

edu/casma/GenovaPrograms.htm一般化可能性理論：その他３25Contents一般化可能性理論とはパフォーマンス評(píng)価に対する一般化可能性理論研究の現(xiàn)狀26パフォーマンス評(píng)価実施者の陥穽「評(píng)定の客観性?一貫性が保たれなくてはいけないから，ルーブリックをしっかりと作成し，評(píng)定者も複數(shù)人確保しよう！」「評(píng)定者間の相関(inter-raterreliability)が高ければ問題がないだろう」「高い一般化可能性係數(shù)が得られた．これで萬事問題なし！」もちろん，これらは大切なこと．しかし…27Brennan(1996)より先行研究のまとめ近年の先行研究を見る限り，評(píng)定者によるばらつきはほとんどない！むしろ非常に大きいのは，人と課題の交互作用！28CAPの場合：repriseBrennan(1996)より課題が増えると信頼性はかなり改善：もともとが大きいので評(píng)定者の數(shù)を増やしても信頼性はそんなに増えない：もともと

が小さいので評(píng)定者より課題の數(shù)を増やすことが大切！（時(shí)間的制約があるとはいえ）29Inter-raterreliability神話の危険性基本的に，ある課題に対して２人の評(píng)定者が評(píng)定したときの相関係數(shù)非常によく使われる指標(biāo)複數(shù)の課題間の分散をまったく考慮に入れていないpxt

の成分が真?zhèn)帳冉唤j(luò)し，信頼性を過大推定してしまう

(Brennan,2000)しかし…パフォーマンス評(píng)価の大きな問題點(diǎn)を見逃す可能性30課題?評(píng)定者以外の相の効果SourceVC(%)SourceVC(%)p0.07(4)ro0.00r0.00to0.00t0.00prt0.00o0.01(1)pro0.01pr0.01(1)pto1.16(59)pt0.63(32)rto0.00po0.00prto+e0.08(4)rt0.00Eρ2=0.04,Φ=0.04Ruiz-Primoetal.(1993)o=occasion=時(shí)間間隔（５ヶ月）生徒が２回目の時(shí)には課題ごとにストラテジーを変えている可能性31信頼性と妥當(dāng)性は別村山(2008)：教師による生徒の意欲の評(píng)価複數(shù)の評(píng)定者を使用評(píng)定者間一貫性は非常に高い妥當(dāng)性（生徒の自己報(bào)告と教師の評(píng)定との相関）は非常に低い：r=0.00–0.15(!)32まとめパフォーマンス評(píng)価を?qū)g施すると，つい「評(píng)定者」の相だけに目が向きがちであるもちろんそれは大切しかし，これまでの研究でもっとも問題になっているのはpxtの成分（選ばれた課題によって受験者の得手?不得手が顕著に違う）対策：完全な対策は存在しない課題を増やす：時(shí)間的制約のコストがかかる出題領(lǐng)域を狹くする：測定できる能力も狹くなってしまう他の相（occasionなど）や妥當(dāng)性にも気を配る必要性33文獻(xiàn)１一般化可能性理論オリジナルCronbach,Gleser,Nanda,&Rajaratnam(1972).Thedependabilityofbehavioralmeasurements.初學(xué)者用文獻(xiàn)Brennan(1992).Elementsofgeneralizabilitytheory(rev.ed.).Shavelson&Webb(1991).Generalizabilitytheory:Aprimer.より包括的な文獻(xiàn)Brennan(2001).Generalizabilitytheory.日本語の文獻(xiàn)現(xiàn)代テスト理論（池田央）教育測定學(xué)（Linn著，池田央ら監(jiān)訳）第3章34文獻(xiàn)２一般化可能性理論のパフォーマンス評(píng)価への適用レビューBrennan(1996).Generalizabilityofperformanceassessments.InPhillips(Ed.).Technicalissuesinperformanceassessments.Cronbachetal.(1997).Generalizabilityanalysisforperformanceassessmentsofstudentachievementorschooleffectiveness.EducationalandPsychologicalMeasurement.事例Ruiz-Primoetal.(1993).Onthestabilityofperformanceassessment