量表的信度和效度實(shí)例分析

1、表的信度和效度評(píng)價(jià)實(shí)例分析本文介紹世界衛(wèi)生組織生存質(zhì)量測(cè)定量表簡(jiǎn)表(WHOQOL-BREF )的信度和效度分析。 通過(guò)這個(gè)例子加深對(duì)第二十章介紹的基本概念的理解，學(xué)會(huì)如何分析量表的信度和效度。隨著社會(huì)的發(fā)展，人們對(duì)健康的理解越來(lái)越全面。健康不僅僅意味著生理上的無(wú)疾，還 包括良好的心理狀態(tài)和社會(huì)關(guān)系。與健康有關(guān)的生存質(zhì)量的概念的提出源自世界衛(wèi)生組織對(duì)健康的定義的修訂。1985年， 世界衛(wèi)生組織把健康定義為“不僅是沒(méi)有疾病和病痛，而且是個(gè)體在身體上、精神上、社會(huì) 適應(yīng)上的完好狀態(tài)?！?(“as a state of complete physical, mental and social well

2、-being and not merely the absence of disease or infirmity”)。在這個(gè)定義的基礎(chǔ)上，人們希望在傳統(tǒng)的評(píng)價(jià)健康 的指標(biāo)諸如發(fā)病率、患病率、死亡率等之外提出一些新的指標(biāo)，用來(lái)評(píng)價(jià)疾病和傷殘對(duì)人們 的日常生活的影響、個(gè)人對(duì)健康的主觀感受、軀體的功能狀況等。于是，與健康有關(guān)的生存 質(zhì)量這個(gè)曾經(jīng)被稱(chēng)為“缺失的健康測(cè)量”(the missing measurement in health)的指標(biāo)就被提出 并且受到人們和許多研究者的關(guān)注。目前，與健康有關(guān)的生存質(zhì)量還沒(méi)有一個(gè)統(tǒng)一的定義。盡管缺乏統(tǒng)一的定義，但是人們 對(duì)與健康有關(guān)的生存質(zhì)量的內(nèi)涵還是達(dá)成了

3、共識(shí)。大多數(shù)的研究者都認(rèn)為與健康有關(guān)的生存 質(zhì)量應(yīng)該包括五個(gè)領(lǐng)域，即：生理健康領(lǐng)域、心理健康領(lǐng)域、社會(huì)關(guān)系領(lǐng)域、環(huán)境領(lǐng)域和精 神/信仰領(lǐng)域。世界衛(wèi)生組織生存質(zhì)量研究小組把與健康有關(guān)的生存質(zhì)量定義為“不同文化和價(jià)值體系 中的個(gè)體對(duì)與他們的目標(biāo)、愿望、標(biāo)準(zhǔn)以及所關(guān)心的事情有關(guān)的生存狀況的體驗(yàn)。這是一個(gè) 內(nèi)涵廣泛的概念，它包含了個(gè)體的生理健康、心理狀態(tài)、社會(huì)關(guān)系、與周?chē)h(huán)境的關(guān)系。在 這個(gè)定義之下，生存質(zhì)量主要指?jìng)€(gè)體的主觀評(píng)價(jià)，這種對(duì)自我的評(píng)價(jià)是根植于所處的文化、 社會(huì)環(huán)境之中的。如何測(cè)量與健康有關(guān)的生存質(zhì)量？需要利用專(zhuān)門(mén)的測(cè)量工具。這里所說(shuō)的測(cè)量工具指特 定的用于測(cè)量與健康有關(guān)的生存質(zhì)量的量表。量

4、表的研制是一個(gè)復(fù)雜的工程，需要時(shí)間、各 種資源和耐心。簡(jiǎn)而言之，研制量表的基本步驟包括：概念的確立、各個(gè)領(lǐng)域和方面的操作 化定義、條目的形成及篩選、量表的格式、預(yù)試驗(yàn)、量表的信度、效度以及反應(yīng)度等計(jì)量心 理學(xué)特征的考評(píng)、量表的修訂、現(xiàn)場(chǎng)試驗(yàn)等過(guò)程。世界衛(wèi)生組織與健康有關(guān)生存質(zhì)量測(cè)定量表（World Health Organization Quality of Life, WHOQOL）是由世界衛(wèi)生組織研制的、用于測(cè)量個(gè)體與健康有關(guān)的生存質(zhì)量的國(guó)際性量表。 目前，已經(jīng)研制成的量表有世界衛(wèi)生組織生存質(zhì)量測(cè)定量表（WHOQOL-100，包含100個(gè)問(wèn) 題條目）和世界衛(wèi)生組織生存質(zhì)量測(cè)定量表簡(jiǎn)表（WH

5、OQOL-BREF，包括26個(gè)問(wèn)題條目）。 量表是在世界衛(wèi)生組織的統(tǒng)一領(lǐng)導(dǎo)下，由15個(gè)（后來(lái)又增加了 9個(gè)）處于不同文化背景、不 同經(jīng)濟(jì)發(fā)展水平的國(guó)家和地區(qū)的研究中心共同研制的。世界衛(wèi)生組織生存質(zhì)量測(cè)定量表簡(jiǎn)表（WHOQOL-BREF）是根據(jù)實(shí)際需要、在 WHOQOL-100基礎(chǔ)之上、遵循一定的標(biāo)準(zhǔn)簡(jiǎn)化而成的。按照世界衛(wèi)生組織生存質(zhì)量研究小組 的設(shè)想，WHOQOL-BREF從四個(gè)領(lǐng)域來(lái)測(cè)量生存質(zhì)量，每個(gè)領(lǐng)域下面包含六個(gè)問(wèn)題條目。量 表另外包括兩個(gè)用于測(cè)量總的生存質(zhì)量和健康狀況的條目。量表一共包含26個(gè)問(wèn)題條目，結(jié) 構(gòu)見(jiàn)表1。表1WHOQOL-BREF量表的結(jié)構(gòu)領(lǐng)域各領(lǐng)域下屬的條目I.生理領(lǐng)域(

6、PHYSICAL HEALTH)3.您覺(jué)得疼痛妨礙您去做自己需要做的事情嗎？ pain16,您對(duì)自己的睡眠情況滿(mǎn)意嗎？ sleep10.您有充沛的精力去應(yīng)付日常生活嗎？ energy15.您行動(dòng)的能力如何？ mobility17,您對(duì)自己做日常生活事情的能力滿(mǎn)意嗎？ activities4.您需要依靠醫(yī)療的幫助進(jìn)行日常生活嗎？ medication18.您對(duì)自己的工作能力滿(mǎn)意嗎？ WorkII .心理領(lǐng)域 (PSYCHOLOGICAL)5.您覺(jué)得生活有樂(lè)趣嗎？ positive feelings7.您能集中注意力嗎？ think19.您對(duì)自己滿(mǎn)意嗎？ esteem11.您認(rèn)為自己的外形過(guò)得去嗎

7、？ body26.您有消極感受嗎？（如情緒低落、絕望、焦慮、憂(yōu)郁）negative feelings6.您覺(jué)得自己的生活有意義嗎？ spiritualitym社會(huì)關(guān)系領(lǐng)域(SOCILRELATIONSHIPS)20.您對(duì)自己的人際關(guān)系滿(mǎn)意嗎？ relationship22.您對(duì)自己從朋友那里得到的支持滿(mǎn)意嗎？ support21.您對(duì)自己的性生活滿(mǎn)意嗎？ sexIV環(huán)境領(lǐng)域8.日常生活中您感覺(jué)安全嗎？ safety（ENVIRONMENT） 23.您對(duì)自己居住地的條件滿(mǎn)意嗎？ Home您的錢(qián)夠用嗎？ Finances您對(duì)得到衛(wèi)生保健服務(wù)的方便程度滿(mǎn)意嗎？ Services在日常生活中您需要的信

8、息都齊備嗎？ Information您有機(jī)會(huì)進(jìn)行休閑活動(dòng)嗎？ leisure9.您的生活環(huán)境對(duì)健康好嗎？ environment您對(duì)自己的交通情況滿(mǎn)意嗎？ transport總的生存質(zhì)量和1.您怎樣評(píng)價(jià)您的生存質(zhì)量？健康狀況2.您對(duì)自己的健康狀況滿(mǎn)意嗎？量表初步研制出來(lái)后，需要通過(guò)預(yù)試驗(yàn)考核其信度和效度。在預(yù)試驗(yàn)階段，各個(gè)研究中 心采用量表調(diào)查至少300名對(duì)象。其中男女各半，病人約250名，健康人約50名。接下來(lái)如 何考核WHOQOL-BREF的信度和效度？可以通過(guò)下面的步驟來(lái)進(jìn)行考核。首先考核量表的效度，即量表是否能夠測(cè)量人們的生存質(zhì)量。根據(jù)事先對(duì)生存質(zhì)量的定 義以及其下屬各個(gè)領(lǐng)域的定義，對(duì)

9、照量表各個(gè)領(lǐng)域之下的條目，請(qǐng)專(zhuān)家評(píng)價(jià)該量表是否能夠 測(cè)量人們的生存質(zhì)量，從而考核量表的內(nèi)容效度。從量表的研制過(guò)程看，WHOQOL-BREF具 有較好的內(nèi)容效度。按照世界衛(wèi)生組織對(duì)生存質(zhì)量的定義，由于沒(méi)有公認(rèn)的測(cè)量生存質(zhì)量的 標(biāo)準(zhǔn)量表，所以這里沒(méi)有考核量表的標(biāo)準(zhǔn)效度。對(duì)于結(jié)構(gòu)效度，我們利用證實(shí)行因子分析方 法來(lái)考核。證實(shí)性因子分析的基本分析步驟有三：首先根據(jù)研制量表時(shí)假設(shè)的理論結(jié)構(gòu)畫(huà)出 因子結(jié)構(gòu)圖（見(jiàn)圖1），然后根據(jù)因子結(jié)構(gòu)圖寫(xiě)出模型，最后考察模型和實(shí)際數(shù)據(jù)的吻合程度。 考察模型對(duì)數(shù)據(jù)的總的擬合程度的指標(biāo)主要有Z2統(tǒng)計(jì)量、擬合優(yōu)度指數(shù)（goodness of fit index,GFI）。*統(tǒng)計(jì)

10、量的值對(duì)樣本量的大小和對(duì)正態(tài)性的偏離都十分敏感。一些研究者認(rèn)為， 最好把燈統(tǒng)計(jì)量看成是度量擬合優(yōu)度的量，而不要把它當(dāng)作檢驗(yàn)統(tǒng)計(jì)量。即相對(duì)于自由度， 大的燈值對(duì)應(yīng)于差的擬合，小的燈值對(duì)應(yīng)于好的擬合。常用的方法是比較兩個(gè)模型的燈值的 差。如果相對(duì)于兩個(gè)模型的自由度的差來(lái)說(shuō)，Z2值的減少是足夠大的，就說(shuō)明模型有了實(shí)質(zhì) 性的改善。擬合優(yōu)度指數(shù)（GFI）的值在01之間，較大的值對(duì)應(yīng)于較好的擬合；一般認(rèn)為， 必須大于0.9才能說(shuō)明模型與數(shù)據(jù)擬合較好。如果模型和數(shù)據(jù)擬合較好，則可以認(rèn)為量表具 有較好的結(jié)構(gòu)效度。我們對(duì)預(yù)試驗(yàn)收集得到的數(shù)據(jù)進(jìn)行證實(shí)性因子分析，擬合優(yōu)度指數(shù)等于 0.904，說(shuō)明實(shí)際數(shù)據(jù)和事先假設(shè)

11、的量表結(jié)構(gòu)是吻合的，量表具有較好的結(jié)構(gòu)效度。我們采用 t檢驗(yàn)比較正常人和病人在生理、心理、社會(huì)關(guān)系和環(huán)境領(lǐng)域平均得分的差別，發(fā)現(xiàn)差別具有 統(tǒng)計(jì)學(xué)意義（p0.05），于是可以認(rèn)為量表具有較好的區(qū)分效度。綜合上面的分析，可以認(rèn)為量表WHOQOL-BREF具有較好的效度。圖1 世界衛(wèi)生組織生存質(zhì)量測(cè)定量表簡(jiǎn)表(WHOQOL-BREF)的因子結(jié)構(gòu)圖然后考察量表的信度。由于沒(méi)有對(duì)被調(diào)查對(duì)象進(jìn)行重復(fù)測(cè)量，所以不能采用重復(fù)測(cè)量的 方法評(píng)價(jià)量表的信度。我們利用克朗巴哈的a系數(shù)評(píng)價(jià)量表的信度。WHOQOL-BREF從四個(gè) 領(lǐng)域評(píng)價(jià)生存質(zhì)量。四個(gè)領(lǐng)域分別是生理領(lǐng)域、心理領(lǐng)域、社會(huì)關(guān)系領(lǐng)域和環(huán)境領(lǐng)域?？己?量表的信

12、度需要分別計(jì)算各個(gè)領(lǐng)域的克朗巴哈的a系數(shù)。這里，我們以環(huán)境領(lǐng)域?yàn)槔榻B克朗 巴哈的a系數(shù)的計(jì)算。環(huán)境領(lǐng)域包含8個(gè)問(wèn)題條目，各個(gè)條目的內(nèi)容、平均得分和方差等列于表2。表2環(huán)境領(lǐng)域各個(gè)問(wèn)題條目得分情況環(huán)境領(lǐng)域問(wèn)題條目平均得分方差1.日常生活中您感覺(jué)安全嗎？3.360.572.您的生活環(huán)境對(duì)健康好嗎？3.110.7633.您的錢(qián)夠用嗎？2.860.7124.在日常生活中您需要的信息都齊備嗎？2.90.6275.您有機(jī)會(huì)進(jìn)行休閑活動(dòng)嗎？3.030.7666.您對(duì)自己居住地的條件滿(mǎn)意嗎？3.210.8657.您對(duì)得到衛(wèi)生保健服務(wù)的方便程度滿(mǎn)意嗎？3.230.748.您對(duì)自己的交通情況滿(mǎn)意嗎？3.210.

13、835環(huán)境領(lǐng)域總分*24.806118.473注：*:環(huán)境領(lǐng)域總分等于8個(gè)問(wèn)題條目得分相加。根據(jù)公式，計(jì)算信度系數(shù)a。寸S 2寸S 21 - =S 2T8 L 0.57 + 0.763 + + 0.835 1 -V18.473=0.779可以認(rèn)為信度較好。也可以計(jì)算量表的分半信度。把第一至第四個(gè)問(wèn)題條目分在前半部分，第五至第八個(gè)問(wèn) 題條目分在后半部分。計(jì)算第一至第四個(gè)問(wèn)題條目得分的總和，記為H1；再計(jì)算第五至第八 個(gè)問(wèn)題條目得分的總和，記為H2。計(jì)算H1和H2的相關(guān)系數(shù)，得r = 0.564。于是分半信度系數(shù)等于R = * = 2 = 0.7211 + r 1 + 0.564與信度系數(shù)a相近，

14、說(shuō)明量表的信度較好。按照相同的方法計(jì)算生理、心理和社會(huì)關(guān)系領(lǐng)域的a信度系數(shù)，結(jié)果分別是0.8474、0.7919、0.7179。從各個(gè)領(lǐng)域a信度系數(shù)的大小，可以得出結(jié)論：量表WHOQOL-BREF具有較好的信度。除了對(duì)量表的信度和效度進(jìn)行考核，還可以對(duì)量表的反應(yīng)度進(jìn)行評(píng)價(jià)。在臨床調(diào)查一批 病人，如果通過(guò)治療，病人在某些領(lǐng)域確有改善，那么治療前后病人在相應(yīng)領(lǐng)域的得分應(yīng)該 存在差別，反映病人的改善，從而說(shuō)明量表具有較好的反應(yīng)度。實(shí)例的實(shí)例的SPSS實(shí)現(xiàn)操作提示（如圖2）：AnalyzeScaleReliability Analysis.圖2信度分析對(duì)話框Reliability Analysis.圖

15、2信度分析對(duì)話框操作提示（如圖1操作提示（如圖1）：噩 Items： score1,score2,，score8噩 Model： Alpha噩 List item labels噩 Statistics孑定義需要分析的量表?xiàng)l目孑定義信度分析模型，此處選擇a系數(shù)孑列出條目的標(biāo)簽行定義需要計(jì)算的統(tǒng)計(jì)量注：（1）Model下拉列表：選擇需要計(jì)算的信度系數(shù)。包括5種常用的信度系數(shù)，系統(tǒng)默認(rèn)的是克朗巴哈a 系數(shù)。具體是：Alpha:克朗巴哈a系數(shù)。Split-half:分半信度系數(shù)。Guttman: Guttman信度系數(shù)，lambda1 U lambda6。Parallel:在滿(mǎn)足條目間方差相等條件下，

16、采用最大似然估計(jì)計(jì)算的信度系數(shù)。Strict parallel:在滿(mǎn)足條目間方差相等、均數(shù)相等的條件下，采用最大似然估計(jì)計(jì)算的信度系數(shù)， 檢驗(yàn)?zāi)Ｐ偷臄M合優(yōu)度，估計(jì)誤差方差、條目間相關(guān)系數(shù)等。（2）Statistics子對(duì)話框：該對(duì)話框包含了許多統(tǒng)計(jì)量。具體是：Descriptives for復(fù)選框組：Item給出各條目的均數(shù)和標(biāo)準(zhǔn)差；Scale給出量表總分的均數(shù)、標(biāo)準(zhǔn) 差和方差；Scale if item deleted給出量表中某一條目刪除后各個(gè)指標(biāo)的變化情況，常用于條目的 篩選。Inter-item復(fù)選框組：輸出各條目之間的相關(guān)系數(shù)矩陣(Correlation)和協(xié)方差矩陣(Covaria

17、nces)。Summaries:輸出所有分析變量的二次指標(biāo)的描述性統(tǒng)計(jì)量。例如：給出所有變量的均數(shù)、方差、全 距等。ANOVA Table復(fù)選框：用于分析同一個(gè)體對(duì)量表中各個(gè)問(wèn)題條目的回答是否相關(guān)。系統(tǒng)默認(rèn)值是不進(jìn) 行分析。如果需要分析，可以選擇F test(對(duì)各變量進(jìn)行重復(fù)測(cè)量的方差分析)、Friedman chi-square(對(duì)各變量進(jìn)行配伍組設(shè)計(jì)資料的非參數(shù)檢驗(yàn)，適用于資料呈非正態(tài)分布或?yàn)榈燃?jí)資料時(shí)X Cochran chi-square (適用于變量為兩分類(lèi)變量)。Descnptives： forterriScaleScale if item deletedInter-ItemDes

18、cnptives： forterriScaleScale if item deletedInter-ItemCorrelationsCovaridncesAWniiA 7 ahlaMeans-VariancesCa variances-CorrelationsWlNU vM 1 aDIt：& None廠 F testFriedman chi-squareCochran chi-squareReliability Analysis: StatisticsHctelling5Tuh&ys t汨 af additivity際 Injraclass correlation coelficientCon

19、fidence interval;Tp旦己 CcmsistenciJConfidence interval;T value; C圖25.2信度分析對(duì)話框Hotellings T-square:檢驗(yàn)量表中的所有條目的均數(shù)是否相等。Tukey s test of additivity:檢驗(yàn)條目之間是否存在相乘模型的交互作用。Intraclass correlation coefficient:計(jì)算組內(nèi)相關(guān)系數(shù)，評(píng)價(jià)測(cè)量的一致性。提供的分析模型有： 雙因素混合模型(Two-way mixed)、雙因素隨機(jī)模型(Two-way random)、單因素隨機(jī)模型(One-way random)。當(dāng)個(gè)體的效

20、應(yīng)是隨機(jī)的，條目的效應(yīng)是固定時(shí)選擇雙因素混合模型，當(dāng)個(gè)體的效應(yīng)和條目 的效應(yīng)都是隨機(jī)時(shí)選擇雙因素隨機(jī)模型，當(dāng)考慮個(gè)體的效應(yīng)是隨機(jī)時(shí)，可以選擇三因素隨機(jī)模型?？?供選擇的指標(biāo)類(lèi)型(Type)有一致性和絕對(duì)一致性系數(shù)兩種。還可以定義置信區(qū)間的置信度(Confidence interval)和比較的參數(shù)(Test value,默認(rèn)值是 0)。結(jié)果：采用Reliability Analysis過(guò)程對(duì)實(shí)例進(jìn)行分析，計(jì)算環(huán)境領(lǐng)域的分半信度系數(shù)、克朗巴哈系數(shù)(Cronbachs Alpha)和組內(nèi)相關(guān)系數(shù)。對(duì)SPSS給處的主要結(jié)果解釋如下。下表是當(dāng)選擇了 Model中的Split-half后給出的結(jié)果，包括

21、將8個(gè)條目平均分為兩半后各自的。ronbachs Alpha系數(shù)、兩部分的相關(guān)系數(shù)、Spearman-Brown分半信度系數(shù)和Guttman分半信度系數(shù)。Reliability StatisticsCronbachs AlphaPart 1Value.682N of Items4aPart 2Value.662N of Items4bTota N of Item8Correlation Betwen Forns.564Spearman-BrownCoefficientEqual Length.721Unequal Length.721GuttmanSplit-Half Coefficient.

22、719a- The i tem s are: f8, f9, f12, f13.b The i tem s are: f14, f23, f24, f25.卜表是當(dāng)選擇了 Mode l中的Alpha后給出的結(jié)果，該環(huán)境領(lǐng)域的C ronbachs Alpha系數(shù)等于0.779。Reliability StatisticsCronbachsAlphaN of Items.7798下表給出了組內(nèi)相關(guān)系數(shù)的計(jì)算結(jié)果，包括平均的組內(nèi)相關(guān)系數(shù)（0.779）、相關(guān)系數(shù)的95%置信區(qū)間 （0.743, 0.812）以及檢驗(yàn)總體相關(guān)系數(shù)是否為零的結(jié)果（P=0.000）。Intraclass Correlatio

23、n CoefficientIntraclassComUtioQJ弘 Ccnfieancathr/alH Tat with Trig VoliGawfiAMfidaiA皿df2Single Measures.30.266.3514.531360.02520.000Average Measures.779.743.8124.531360.02520.000Two-way mixeeffects model whereople effects are randoand measures effectsra fixed.a- Type C intraclass correl ati on coeffi

24、cients using a consistency defini tion-the between-m easure vari ance is ex cl uded from the denomi nator variance.b- The estim ator is the sam e, whether the i nteraction effect i s present or not.c- This esti mate is com puted assum ing the interaction effect is absent, because it is not estim abl

25、e otherwi se.附錄本文數(shù)據(jù)SCORE1SCORE2SCORE3SCORE4SCORE5SCORE6SCORE7SCORE8SCOREALL423232211944332343264333333325443323332544332333254322322321313344442633443344283322321117331234422243333223234333233425344224412443343324333423325342554444444433144534424305534553433345322732133143205543454434333333332443333

26、232234223422221422332222042223222193321332219322232221832221344213333323323333332232223334342244233222422333243222233332231202221222215333233332333222333213132242219135311332044114222203333344427443333342744222223213323224322322222442134333434273333233323433323322344435345322211234419443334442933333

27、333333344326323233322154111311174331344426332224342344212244233343433225323223322023334412223433324426443324444123222204333333325333332332331233233203322222218443354443142334444283433343326333334332533333444273333433325333224242333322444253223423322344434344333334274332133423322352222134442334273424

28、443327323224442443333444285555511532343344342833332233224334434429223334432433323244244333234325433333333234334254323434427433433332633322323214333233324333422342421223122154434442328443444443143333443333344427433334342733333444273133312218443323342632212132163333334325442224442644324234333444283334

29、424427444444423033332344254344533430333222432244445343314333244427333345232622535144263323244425433334442833333243244443442432224442543232444265543444534333344442833323441234333433326412133332033333434263343524428311342343143234243423344528333334442733333334333422243423433224322222342033334445515235

30、531343335342833333244253423344427323324342454334444313333342425442232111911111444433444111114441743333444283132322218313321111511133123153344244428413331422144233434274253333225333334433342222214111441117333224242334232433244433444430333334442733331333222333232220322224442344443434303333333433334442

31、833333444274314444428343324433334432734332444273312233421343324442744333443283332344426343324442743333442334232221344334442921221423172444444228433342232444433343284411141420321322241932333342234443344430443444443144344443304434444431233433322333333442253323344224344344342943433333263324244224344442

32、322633333333243333333324222232244333444294415442226555314443144333422253443343327443334322644242222223324342223344444443133322332213322314119432333332442235424262223344222333322222022332322194433233426244444443033333333243333333324113133221633222223195533444432444344443143422333243333344225331223221

33、84442422224443233332533333333243333333324333333332413233333212222222216233243322244333232244333433326333333332433333333241332432222222174444444432434444433043353445314343444430333333332444444444323333344427533114232233333444273132344424313233332131312332183331222218333332332344333333264442242224333333332414111411143333333324333333332433334434274343434328213332221832323222193344224224444244443033333222213332244425333334