（社會醫(yī)學(xué)與衛(wèi)生事業(yè)管理專業(yè)論文）不同自然科學(xué)門類論文學(xué)術(shù)影響力評價方法可行性研究.pdf

目錄 一 摘要 中文論著摘要 l 英文論著摘要 3 二 英文縮略語 6 三 論文 前言 0 00 000 00 000 j 7 刖看 7 資料來源與研究方法 9 研究結(jié)果 1 5 討論 2 7 結(jié)論 31 四 本研究創(chuàng)新性的自我評價 3 3 五 參考文獻(xiàn) 3 4 六 附表 3 5 七 附錄 綜j 苤 4 9 在學(xué)期間科研成績 5 6 致謝 b a0q000 0 q i 5 7 個人簡介 5 8 中文論著摘要 不同自然科學(xué)門類論文學(xué)術(shù)影響力 評價方法可行性研究 目的 建立一種新的綜合評價體系 彌補傳統(tǒng)單一評價指標(biāo)無法對不同學(xué)科自然科 學(xué)論文的學(xué)術(shù)影響力進行公平比較的缺陷 實現(xiàn)對不同研究領(lǐng)域甚至不同科學(xué)門 類下的學(xué)術(shù)論文較為公正的評估 從而提高科研績效評價的科學(xué)性 客觀性和公 正性 方法 本研究以2 0 0 6 年至2 0 0 9 年諾貝爾化學(xué)獎 諾貝爾生理或醫(yī)學(xué)獎獲獎?wù)咄怀?貢獻(xiàn)論文作為檢驗綜合評價體系效能的參比論文 并將與每篇參比論文的研究領(lǐng) 域密切相關(guān)的一組論文劃分為論文樣本集合 來考察通過綜合評價理論和文獻(xiàn)計 量學(xué)方法構(gòu)建的綜合評價體系 通過文獻(xiàn)法和統(tǒng)計學(xué)方法篩選出8 個指標(biāo)組成綜合評價體系 包括他引量 年均他引量 最大年度他引量 影響因子 年均他引量比同年均值 影響因子比 同年最大 他引期刊種類 他引期刊平均影響因子 指標(biāo)間互為補充和制約 從 多維度全面考察學(xué)術(shù)論文的影響力 論文樣本集合各項指標(biāo)經(jīng)數(shù)理方法處理后 利用逼近理想解的排序法 t o p s i s 得出綜合評價值c 值及其標(biāo)化值c 值 因 子分析法得出綜合評價值f 值及其標(biāo)化值f 值 分別在門類內(nèi)和跨門類將兩種方 法結(jié)果同傳統(tǒng)他引量評價結(jié)果進行比較 驗證該綜合評價體系的客觀性 公正性 鍵里 耋口禾 應(yīng)用本研究提出的論文綜合評價指標(biāo)體系和方法進行同一研究領(lǐng)域內(nèi)以及跨 學(xué)科門類論文評價獲得的結(jié)果與傳統(tǒng)評價方法有很好的一致性 在化學(xué) 醫(yī)學(xué)各門類內(nèi)各集合間或化學(xué)醫(yī)學(xué)兩門類間的f 值 f 值無顯著差 異 即在集合間或門類間以其為評價指標(biāo)更具可比性 對分別按他引量 c 值 c 值 f 值 f 值在化學(xué) 醫(yī)學(xué)各門類內(nèi)和在化學(xué) 醫(yī)學(xué)兩門類中排序的結(jié)果按是否為參比論文分類 參比論文排序均非常顯著地優(yōu) 于非參比論文 化學(xué)門類下參比論文幾種綜合評價值排序結(jié)果都與他引量排序結(jié)果有相關(guān) 性 且排序結(jié)果間無顯著差異 未改變他引量排序的總體趨勢 但是c 值 f 值 f 值的排秩結(jié)果能使參比論文的平均序位較他引量的平均序位提前 c 值 f 值 排序優(yōu)者多于他引量 醫(yī)學(xué)門類下參比論文幾種綜合評價值與他引量跨集合排秩的結(jié)果無顯著差 異 且排序結(jié)果間無顯著差異 未改變他引量排序的總體趨勢 但是c 值 c 值 f 值 f 值的排秩結(jié)果均能使參比論文的平均序位較他引量的平均序位提前 c 值 f 值 f 值排序優(yōu)者多于他引量 對化學(xué) 醫(yī)學(xué)兩大門類參比論文的跨門類排序結(jié)果表明 c 值 c 值 f 值 f 值的排秩結(jié)果均能使參比論文的平均序位較他引量的平均序位提前 c 值 c 值 f 值 f 值排序優(yōu)者多于他引量 f 值 f 值優(yōu)于他引量的排秩結(jié)果具有統(tǒng) 計學(xué)意義的顯著差異 結(jié)論 本研究構(gòu)建的包含8 個指標(biāo)的多維度綜合評價指標(biāo)體系 能夠糾正現(xiàn)有論文 學(xué)術(shù)影響力評價中常以論文他引量 論文發(fā)表期刊i f 值作為評價標(biāo)準(zhǔn)的片面性 更全面地反映學(xué)術(shù)論文的影響力水平 t o p s i s 法和因子分析法適用于該體系下的綜合評價 其綜合評價值在同一研 究領(lǐng)域 論文集合 中不僅保持了與傳統(tǒng)他引量等指標(biāo)評價結(jié)果的相同趨勢 而 且在學(xué)科門類或研究領(lǐng)域不同的論文比較時 與他引量傳統(tǒng)指標(biāo)相比可以提高具 有高學(xué)術(shù)影響力特征的論文 參比論文 的顯示度 因子分析法f 值 f 值在跨學(xué)科門類論文的評價中較他引量或t o p s i s 法c 值和c 值更具優(yōu)勢 關(guān)鍵詞 科學(xué)門類 學(xué)術(shù)影響力 論文評價 評價指標(biāo) 科研評價 科學(xué)引文 2 英文論著摘要 f e a s i b i l i t ys t u d yo nt h ee v a l u a t i o nm e t h o do f a c a d e m i ci n f l u e n c eo fn a t u r a ls c i e n c ep a p e r sa c r o s s s c i e n t i f i cd i s c i p l i n e s o b j e c t i v e s t oc o n s t r u c tan e w c o m p r e h e n s i v e e v a l u a t i o ns y s t e mt or e a l i z e i m p a r t i a l a s s e s s m e n to fa c a d e m i ci n f l u e n c eo fn a t u r a ls c i e n c ep a p e r sa c r o s sr e s e a r c hf i e l d so r e v e ns c i e n t i f i cd i s c i p l i n e s m a k i n gu pf o rt h el i m i t a t i o no ft r a d i t i o n a li n d i c e s s oa st o i m p r o v et h ea s s e s s m e n to fr e s e a r c hp e r f o r m a n c et o b em o r es c i e n t i f i c o b j e c t i v ea n d i m p a r t i a l m e t h o d i nt h i ss t u d y t h er e p r e s e n t a t i v ea r t i c l e so fl a u r e a t e so ft h en o b e lp r i z ei n c h e m i s t r yo ri np h y s i o l o g yo rm e d i c i n ef r o m2 0 0 6t o2 0 0 9w e r ea d o p t e da sb e n c h m a r k r e f e r e n c ep a p e r s t ot e s tt h ep e r f o r m a n c eo ft h ec o m p r e h e n s i v ee v a l u a t i o ns y s t e m e a c hr e f e r e n c ep a p e ra n di t sc l o s e l yr e l a t e da r t i c l e sw e r ev e s t e di nas a m p l es e t t o e x a m i n et h ec o m p r e h e n s i v ee v a l u a t i o ns y s t e mb u i l tu pb yc o m p r e h e n s i v ea s s e s s m e n t t h e o r ya n db i b l i o m e t r i ca p p r o a c h t h es y s t e mi sc o m p o s e do fe i g h ti n d i c a t o r ss c r e e n e dt h r o u g hl i t e r a t u r ea n d s t a t i s t i c a la p p r o a c h i n c l u d i n go t h e r c i t a t i o n a v e r a g ea n n u a lo t h e r c i t a t i o n m a x i m u m a n n u a lo t h e r c i t a t i o n i m p a c tf a c t o r a v e r a g ea n n u a lo t h e r c i t a t i o nv s m e a no ft h es a m e y e a r i m p a c tf a c t o rv s m a x i m u mo ft h es a m ey e 鷗c i t i n gj o u m a lv a r i e t y a v e r a g e i m p a c tf a c t o ro fc i t i n gj o u r n a l s t h e s ei n d i c a t o r ss u p p l e m e n ta n dr e s t r a i n te a c ho t h e r i n s p e c tt h ei n f l u e n c eo fa c a d e m i cp a p e r sf r o mt h em u l t i d i m e n s i o n a lp e r s p e c t i v e t h e e i g h t i n d i c a t o r so fs a m p l es e t sw e r ep r o c e s s e db ym a t h e m a t i cm e t h o d s a n dt h e n t e c h n i q u ef o ro r d e rp r e f e r e n c eb ys i m i l a r i t yt oi d e a ls o l u t i o n t o p s i s a n df a c t o r a n a l y s i sw e r ee m p l o y e dt oo b t a i ns y n t h e t i c a le v a l u a t i o nv a l u e s r e s u l t so ft h et w o m e t h o d sw e r ec o m p a r e dt ot h a to ft r a d i t i o n a le v a l u a t i o nm e t h o du s i n go t h e r c i t a t i o n b o t hw i t h i na n da c r o s st h ed i s c i p l i n e s t ov e r i f yt h eo b j e c t i v i t ya n dj u s t i c eo ft h e 3 c o m p r e h e n s i v ee v a l u a t i o ns y s t e m r e s u l t s r e s u l t so b t a i n e db yt h ec o m p r e h e n s i v ee v a l u a t i o ns y s t e ma n dm e t h o dp r o p o s e di n t h i sr e s e a r c hs h o w e dc o n f o r m a n c e 析t l lt h et r a d i t i o n a le v a l u a t i n gm e t h o d fv a l u ea n df v a l u es h o w e dn os i g n i f i c a n td i f f e r e n c ea m o n gs e t sw i t h i no ra c r o s s t h ed i s c i p l i n e s s ot h e ya r ei n d i c e sm o r ec o m p a r a b l ea m o n gs e t so rd i s c i p l i n e s w h e nt h er a n k i n gr e s u l t so fo t h e r c i t a t i o n cv a l u e c v a l u e fv a l u ea n d f v a l u ew e r es o r t e db yw h e t h e rt ob ear e f e r e n c ep a p e r t h er a n k i n gr e s u l t so f r e f e r e n c ep a p e r sw e r es i g n i f i c a n t l yp r i o rt ot h a to fn o n r e f e r e n c ep a p e r sb o t hw i t h i n a n da c r o s st h ed i s c i p l i n e s i nt h ed i s c i p l i n eo fc h e m i s t r y r a n k i n gr e s u l t so ft h ec o m p r e h e n s i v ee v a l u a t i o n v a l u e sw e r ec o r r e l a t e dt ot h a to fo t h e r c i t a t i o n a n ds h o w e dn os i g n i f i c a n td i f f e r e n c e t h eg e n e r a lt e n d e n c yo fr a n k i n gr e s u l to fo t h e r c i t a t i o nw e r en o tc h a n g e d m o r e o v e r r a n k i n gr e s u l t so fc v a l u e fv a l u ea n df v a l u ec a np r o m o t et h ea v e r a g er a n ko f r e f e r e n c ep a p e r s r a n k i n gb yc v a l u eo rfv a l u eh e l pm o r er e f e r e n c ep a p e r sg a i n b e t t e rr a n kt h a nb yo t h e r c i t a t i o n i nt h ed i s c i p l i n eo fm e d i c i n e r a n k i n gr e s u l t so ft h ec o m p r e h e n s i v ee v a l u a t i o n v a l u e sa c r o s st h es e t sd i dn o ts i g n i f i c a n t l yd i f f e rf r o mt h a to fo t h e r c i t a t i o n o rc h a n g e i t s g e n e r a lt e n d e n c y w h i l et h e yp r o m o t e dt h ea v e r a g er a n ko fr e f e r e n c ep a p e r s r a n k i n gb yc v a l u e fv a l u eo rf v a l u eh e l pm o r er e f e r e n c ep a p e r sg a i nb e t t e rr a n k t h a nb yo t h e r c i t a t i o n w h i l er a n k i n ga c r o s st h ed i s c i p l i n e s r e s u l t so fcv a l u e c v a l u e fv a l u ea n d f v a l u ea l lp r o m o t e dt h ea v e r a g er a n ko fr e f e r e n c ep a p e r s a n dm o r ep a p e r sg a i n e d b e t t e rr a n kt h a nr a n k e db yo t h e r c i t a t i o n t h er a n k i n gr e s u l t so ffv a l u ea n df v a l u e s h o w e ds t a t i s t i c a l l ys i g n i f i c a n td i f f e r e n c ef r o mt h a to fo t h e r c i t a t i o n c o n c l u s i o n t h em u l t i d i m e n s i o n a l c o m p r e h e n s i v e e v a l u a t i o ns y s t e mc o n s i s t i n go fe i g h t i n d i c e sc a nc o r r e c tt h eo n e s i d e d n e s so fi n d i c a t o r ss u c ha so t h e r c i t a i t o na n dj o u r n a l i m p a c tf a c t o ri nc o m m o nu s ea se v a l u a t i o nc r i t e r i o nf o ra c a d e m i ci n f l u e n c eo fp a p e r s a n dr e f l e c tt h ei m p a c to fa c a d e m i cp a p e r sm o r ec o m p r e h e n s i v e l y t o p s i sa n df a c t o ra n a l y s i sa r es u i t a b l ef o rc o m p r e h e n s i v ee v a l u a t i o nu n d e rt h i s 4 s y s t e m t h e i re v a l u a t i o nv a l u e sn o to n l ys h o w e dc o n f o r m a n c ew i t ht h e e v a l u a t i o n r e s u l to ft r a d i t i o n a li n d i c a t o r s b u ta l s or a i s e dt h ev i s i b i l i t yo fh i g hi m p a c tp a p e r sw h e n a p p l i e dt oc o m p a r i s o no f a r t i c l e sa c r o s ss c i e n t i f i cd i s c i p l i n e so rr e s e a r c hf i e l d s fv a l u ea n df v a l u eo b t a i n e dt h r o u g hf a c t o ra n a l y s i sh a v em o r es u p e r i o r i t i e st h a n o t h e r c i t a t i o no rcv a l u ea n dc v a l u eo b t a i n e dt h r o u g ht o p s i sw h e na p p l i e dt ot h e c o m p a r i s o na c r o s sd i s c i p l i n e s k e vw o r d s s c i e n t i f i cd i s c i p l i n e a c a d e m i ci n f l u e n c e p a p e re v a l u a t i o n e v a l u a t i o ni n d e x r e s e a r c he v a l u a t i o n s c i e n c ec i t a t i o n 5 英文縮略語 6 論文 不同自然科學(xué)門類論文學(xué)術(shù)影響力 評價方法可行性研究 刖聲 一 目的與意義 科研績效評價是科技管理和高等教育管理中被廣泛應(yīng)用的重要手段 通過科 研績效評價評估高等學(xué)校的科技成就與科技創(chuàng)新力 遴選重點學(xué)科和重點實驗室 選拔優(yōu)秀人才 實施科研資源的分配 考核教師和科技人員并決定其職稱晉升等 已成為科技 教育管理部門和高等學(xué)校管理者通常的做法 因此 科研績效評價 的理論 方法及其評價結(jié)果的科學(xué)性 公正性一直受到科技教育管理部門 高等 學(xué)校管理者 有關(guān)的專家學(xué)者和廣大科技 教育工作者的關(guān)注 對于科研績效評 價 學(xué)術(shù)界和科技管理界認(rèn)可和采取的一貫做法是同行評議 同行評議 p e e rr e v i e w 是作者的論著 研究或思想受到同領(lǐng)域?qū)＜以u估的過程 同行評議需要一定數(shù)量 的能勝任評審工作 并且能夠履行公正評審的專家群體 在實際工作中 選擇同 行評議專家時 因時間 空間 數(shù)量 被評價對象學(xué)科門類或研究領(lǐng)域等諸多客 觀條件的限制 理想的專家群體很難達(dá)到 完全的公正評審不易實現(xiàn) 有鑒于此 為提高科研績效評價的科學(xué)性 客觀性和公正性 科學(xué)計量學(xué)方法的研究與應(yīng)用 愈加為人們所重視并顯示出其所具有的重要意義 科研成果是科研績效的重要組成部分 學(xué)術(shù)論文是其主要的表現(xiàn)形式 論文 的數(shù)量 學(xué)術(shù)水平及其影響力評價是科研成果評價中不可或缺的內(nèi)容 目前許多 高校和科研機構(gòu)把影響因子 i m p a c tf a c t o r i f 和論文被引量作為衡量論文及其作 者學(xué)術(shù)水平的量化標(biāo)準(zhǔn) 并以此來決定職稱晉升或科研經(jīng)費配置 然而 期刊i f 值是用來描述期刊影響力的指標(biāo) 只適用于期刊 科研機構(gòu)和國家地區(qū)等 宏觀層 次 的評估 不能直接反映某一篇論文的價值 而論文被引量是一個累積量 會受 其發(fā)表時間長短的影響 況且不同科學(xué)門類 不同學(xué)科或同一學(xué)科的不同研究領(lǐng) 7 域之間 高水平學(xué)術(shù)論文的被引量仍有很大差別 因此 單純用被引量判斷論文 的水平和學(xué)術(shù)影響力難免有失公允 1 為了解決不同學(xué)科期刊間i f 值不可比的問題 國外一些學(xué)者分別提出學(xué)科影 響因子 2 1 歷時影響因子 3 1 再標(biāo)準(zhǔn)化影響因子 4 范圍調(diào)節(jié)影響因子 5 和學(xué)科間 影響因子 6 1 等 針對學(xué)科內(nèi)不同研究領(lǐng)域論文被引量的差異 有學(xué)者提出了學(xué)科 內(nèi)影響因子 6 亞領(lǐng)域平均影響因子和總影響因子 刀 論文影響因子平均積點算法 8 o l 等 試圖增強不同學(xué)科或不同研究領(lǐng)域間論文被引量的可比性 近年來 國內(nèi)的學(xué)者在對學(xué)術(shù)論文質(zhì)量評價的研究上也提出了一些新方法 如引證強度 1 0 論文質(zhì)量指數(shù) 1 1 1 2 1 f 指數(shù) 1 3 等 上述研究盡管力圖通過對i f 值的計算方法進行改進以適應(yīng)對不同學(xué)科 領(lǐng)域 論文的比較 或?qū)唵斡嬎阏撐谋灰康姆椒ㄔ谝欢ǔ潭壬辖o予 矯正 但是在 領(lǐng)域劃分上仍然比較粗放 故難以確保評價結(jié)果的準(zhǔn)確性 客觀性和公正性 2 0 0 9 年 金晶等提出了一種新的論文學(xué)術(shù)影響力綜合評價體系 1 4 并以實例 表明了該綜合評價體系對生物醫(yī)學(xué)不同學(xué)科間論文學(xué)術(shù)影響力比較和評價的可行 性 但這一綜合評價體系及其評價方法能否用于跨度較大的不同科學(xué)門類間學(xué)術(shù) 論文的評價尚待驗證 在上述研究背景之下 我們嘗試建立一種新的綜合評價體系 以期實現(xiàn)對不 同研究領(lǐng)域乃至不同科學(xué)門類下的學(xué)術(shù)論文較為公正的評估 彌補以往研究的缺 陷或不足 二 研究內(nèi)容 1 檢索基礎(chǔ)數(shù)據(jù) 以2 0 0 6 2 0 0 9 年諾貝爾化學(xué)獎 生理學(xué)或醫(yī)學(xué)獎獲得者代表性論文為檢驗綜 合評價體系效能的參比論文 確定與每篇參比論文的研究領(lǐng)域密切相關(guān)的論文集 合 獲取各集合中每篇論文即參比論文的他引數(shù)據(jù) 2 構(gòu)建綜合評價體系 選擇適宜的評價指標(biāo)構(gòu)建綜合評價體系 并計算各論文集合中每篇論文相應(yīng) 的指標(biāo)數(shù)值 8 3 計算論文的綜合評價值 用t o p s i s 法和因子分析法分別計算各論文集合中每篇論文的綜合評價值 4 驗證評價方法的可行性 根據(jù)論文在各自論文集合中t o p s i s 法和因子分析方法的綜合評價值與傳統(tǒng) 評價指標(biāo)結(jié)果的比較驗證評價方法的可靠性 并以諾貝爾獎獲得者代表性論文為 參照物進行不同學(xué)科門類間論文學(xué)術(shù)影響力比較的可行性驗證 資料來源與研究方法 一 參比論文及其相關(guān)論文集合的確定 1 參比論文的獲取 登錄諾貝爾基金會網(wǎng)站 h t t p n o b e l p r i z e o r g 檢索2 0 0 6 2 0 0 9 年諾貝爾化 學(xué)獎 生理學(xué)或醫(yī)學(xué)獎獲得者名單 利用諾貝爾基金會網(wǎng)站列舉的表明獲獎?wù)咄?出貢獻(xiàn)的代表性論文 詳列在參考文獻(xiàn)中 選出其中類型為a r t i c l e 的論文確定 為參比論文 2 參比論文相關(guān)論文集合的確定 以每一篇參比論文為依據(jù) 建立與其研究領(lǐng)域密切相關(guān)的論文集合 為了正 確反映參比論文和其相關(guān)論文在同一學(xué)術(shù)領(lǐng)域內(nèi)的影響與地位 保證與論文評價 相關(guān)的指標(biāo)都能取得完整的數(shù)據(jù)值 排除因為論文作者獲獎導(dǎo)致他人引用該論文 時可能發(fā)生的 馬太效應(yīng) 以獲獎?wù)攉@獎年前2 年為時間截點 確定與上述參比 論文密切相關(guān)的研究領(lǐng)域中的論文集合 對諾貝爾生理學(xué)或醫(yī)學(xué)獎參比論文 可通過p u b m e d 檢索該論文的相關(guān)文獻(xiàn) r e l a t e da r t i c l e 剔除綜述 r e v i e w 消息 n e w s 會議摘要 m e e t i n ga b s t r a c t 讀者來信 1 e t t e r 等類型的文獻(xiàn) 下載全部相關(guān)論文并以文本文件保存 由于p u b m e d 僅適于檢索生物醫(yī)學(xué)方面的論文 對化學(xué)門類的相關(guān)論文集合 需要采取其他途徑獲得 對諾貝爾化學(xué)獎參比論文 在w e bo f s c i e n c e 中檢索其論文的相關(guān)文獻(xiàn) r e l a t e d r e c o r d s 該選項是根據(jù)共同引用的參考文獻(xiàn)查找相關(guān)記錄 并按共引文獻(xiàn)篇數(shù)降 序列出 當(dāng)兩篇論文共同引用的參考文獻(xiàn)越多時 這兩篇論文的研究工作越相關(guān) 9 根據(jù)共引文獻(xiàn)篇數(shù)的多少 選取關(guān)系最密切的一組文獻(xiàn) 并從中篩選出發(fā)表時間到 獲獎前2 年 類型為a r t i c l e 的論文 下載相關(guān)記錄并以文本文件保存 上述方法的優(yōu)勢是其客觀性 分類原則的科學(xué)性和數(shù)據(jù)的有效性 3 獲取各論文集合中每篇論文他引量基礎(chǔ)數(shù)據(jù) 查找各論文集合中每篇論文的被引數(shù)據(jù) 建立相應(yīng)數(shù)據(jù)庫 具體步驟為 對于上述已獲得的每個與參比論文研究領(lǐng)域相關(guān)的論文集合 利用s c i 數(shù) 據(jù)庫查找各論文集合中每篇論文的被引數(shù)據(jù) 被引時間截取至該論文所在集合中 參比論文獲獎年度的下一年 由于之前相關(guān)論文集合的選取是以獲獎年度前2 年 為時間截點 因此可以保證每篇論文都至少有3 年的被引數(shù)據(jù) 收集全部引用文 獻(xiàn)并以文本文件保存 對所獲得的引用文獻(xiàn) 文本文件 利用計算機編程處理 根據(jù)引用者姓名 和所屬機構(gòu)去除各論文集合中每篇論文的自引文獻(xiàn) 獲得各論文集合中全部論文 各年度他引頻次 建立被引頻次數(shù)據(jù)庫 匯總1 9 9 2 2 0 0 8 年j c r 數(shù)據(jù)建立期刊影響因子數(shù)據(jù)庫 通過自編程序根 據(jù)論文發(fā)表期刊名稱及i s s n 獲取各論文集合中每篇論文及其施引文獻(xiàn)發(fā)表期刊 的影響因子 i f 由于數(shù)據(jù)來源所限 1 9 9 2 年以前發(fā)表的論文期刊i f 按1 9 9 2 年 的數(shù)據(jù)計算 二 綜合評價指標(biāo)的選取 1 綜合評價指標(biāo)的初步選取 學(xué)術(shù)影響力高的論文應(yīng)該具備以下特征 被引次數(shù)高 影響范圍廣 發(fā)表在 高水平的期刊上 通過查閱文獻(xiàn)選出了一些常用評價指標(biāo) 再根據(jù)評價目的對其 進行修正和補充 初步選取了以下1 2 個指標(biāo) 1 他引量 c t 卜單篇論文發(fā)表后至統(tǒng)計截止年的他引量 引文量是反映論文學(xué)術(shù)影響力最常用的指標(biāo) 顯示某一論文學(xué)術(shù)影響的積累 程度 就某篇論文而言 被引用的次數(shù)越多 說明該論文受人關(guān)注的程度越高 其 學(xué)術(shù)影響力越大 但是被引分為自引和他引 自引又可按照主體的不同分為多個 類型 其中作者自引屬于個體行為 包含的主觀因素較多 因此本研究中排除了 作者自引 采用他引量作為評價指標(biāo) 1 0 2 年均他引量 c a 卜單篇論文發(fā)表后的年均他引量 他引量直接反映了被引次數(shù) 但它是一個累積指標(biāo) 發(fā)表年代較早的論文會 更占優(yōu)勢 年均他引量可以在一定程度上修正發(fā)表時間造成的影響 對于發(fā)表年 代較早的論文而言 只有學(xué)術(shù)影響力大而持久者才可能在具有較高他引量的同時 也具有較高的年均他引量 3 三年他引量 c 3 y 卜單篇論文發(fā)表后三年的他引量 有研究表明 大部分論文在發(fā)表后2 3 年是引用高峰期 三年他引量反映論 文正值引用高峰期被關(guān)注的程度 并且不受發(fā)表時間長短的影響 4 最大年度他引量 c h 卜單篇論文發(fā)表后最大年度他引量 該指標(biāo)反映某一論文最受關(guān)注的一年影響力程度的大小 尤其是可以在發(fā)表 時間長的論文中顯示出那些具有突破性或開創(chuàng)性意義的高水平論文和其他學(xué)術(shù)影 響力較小的論文間的差距 少數(shù)高水平的論文可能因有別于主流觀點的標(biāo)新立異 在通常的引用高峰期未被重視 其學(xué)術(shù)價值和影響力多年后才逐漸顯現(xiàn) 引用陡 增 該指標(biāo)也可以為這類論文提供一個 脫穎而出 的機會 5 影響因子 i f l 卜單篇論文發(fā)表期刊當(dāng)年影響因子 影響因子和期刊論文的平均質(zhì)量是互為因果的關(guān)系 大多數(shù)高影響因子的期 刊是載有高質(zhì)量論文的著名期刊 而這些期刊豐富的稿源和更為嚴(yán)格的審稿制度 也為其刊登高水平的論文奠定了良好的基礎(chǔ) 作者投稿的時候也通常會根據(jù)對論 文學(xué)術(shù)水平的估價來選擇與其相應(yīng)的期刊 因此 高水平的學(xué)術(shù)論文通常會發(fā)表 在影響因子較高的期刊上 6 三年他弓i 量比同年均值 c 3 s 卜麗篇簇震簿淼 該指標(biāo)可以反映處于引用高峰期時以他引量為標(biāo)志的某篇論文學(xué)術(shù)影響力在 同集合中同一年度發(fā)表的論文群體中所具有的地位和彼此間的差異 7 年均他引量比同年均值 c a v s 卜麗需慕震麓 該指標(biāo)反映某一論文以年均他引量為持續(xù)的學(xué)術(shù)影響力標(biāo)志的評價數(shù)據(jù)在相 同研究領(lǐng)域內(nèi)同一年度發(fā)表的論文群體中所處的地位和彼此間的差異 8 影響因子比同年均值 c 如s 卜蒜需鬻器糯飄 期刊的影響因子反映了期刊在學(xué)術(shù)界的影響力水平 而將其納入到相同的研 究領(lǐng)域和年代進行比較更能反映出論文所在的期刊的學(xué)術(shù)地位 也在某種程度上 反映了該論文的學(xué)術(shù)水平 9 影響因子比同年最大 c 卜菇器鬻裟蒹淼 顯示某篇論文刊載期刊與同一年度相關(guān)研究領(lǐng)域某一 些 論文刊載的最高 i f 值期刊間影響力的接近程度 1 0 他引期刊種類 c k 卜單篇論文發(fā)表后他引期刊的種類數(shù) 他引期刊種類的多少 反映了論文影響范圍的廣泛程度 1 1 他引期刊平均影響因子 c f a 卜單篇論文的他引論文所載期刊的平均 影響因子 該指標(biāo)借助他引論文刊載期刊的平均學(xué)術(shù)影響力 從一個側(cè)面反映被引論文 的學(xué)術(shù)影響力 如果一篇論文頻頻被高影響力期刊上的論文引證 說明它本身也 可能具有較高的學(xué)術(shù)影響力 1 2 他引期刊最大影響因子 c f m 卜單篇論文的他引論文刊載期刊的最大 影響因子 該指標(biāo)以他引論文刊載的最高i f 值期刊的學(xué)術(shù)影響力在一定程度上反映被引 論文的學(xué)術(shù)影響力 由于本研究中同一論文集合內(nèi)同年發(fā)表的論文數(shù)量較為有限 有的甚至只有 1 2 篇論文 不足以體現(xiàn)出幾種相對指標(biāo)的意義 因此在這些相對指標(biāo)的計算中 分母采用了近2 年 即同年 第二年 集合內(nèi)最后一年的用同年 前一年 的數(shù)據(jù) 2 綜合評價指標(biāo)的篩選 1 對2 0 0 6 2 0 0 9 年諾貝爾化學(xué)獎 生理學(xué)與醫(yī)學(xué)獎獲獎?wù)邊⒈日撐牡南?關(guān)論文集合被引數(shù)據(jù)進行編程處理 計算出上述1 2 項指標(biāo) 列入各集合數(shù)據(jù)庫 2 對以上數(shù)據(jù)分門類匯總及全部匯總 利用s p s s 軟件對各評價指標(biāo)進行 相關(guān)分析 計算其變異系數(shù) 參見附表1 一附表4 并以是否為參比論文作為應(yīng) 變量或類別變量對各評價指標(biāo)進行l(wèi) o g i s t i c 回歸分析或判別分析 參見附表5 附 表6 根據(jù)分析結(jié)果 兼顧評價體系指標(biāo)組成的綜合性 最終確定選取以下8 個 指標(biāo)組成綜合評價體系 他引量 c o 年均他引量 c a 最大年度他引量 c h 影 響因子o f 年均他引量比同年均值 c a v s 影響因子比同年最大 c f v m 他引期 1 2 刊種類 c k 他引期刊平均影響因子 c f a 3 計算每篇論文的8 項指標(biāo)值 三 綜合評價方法 l t o p s i s 法 t o p s i s 法是 t e c h n i q u ef o ro r d e rp r e f e r e n c eb ys i m i l a r i t yt oi d e a ls o l u t i o n 的縮 寫 意為依據(jù)理想方案相似性的順序優(yōu)選技術(shù) 是系統(tǒng)工程中有限方案多目標(biāo)決 策分析中的一種常用方法 該法對樣本資料無特殊要求 使用靈活方便 其基本 思想是基于歸一化后的原始數(shù)據(jù)矩陣 找出有限方案中的最優(yōu)方案和最劣方案 然后分別計算各評價對象與最優(yōu)方案和最劣方案之間的距離 獲得各評價對象與 最優(yōu)方案的接近程度 以此作為評價優(yōu)劣的依據(jù) 1 5 1 t o p s i s 法的具體評價步驟及計算公式如下 數(shù)據(jù)的同趨勢化 本研究中選取的8 項指標(biāo)均為高優(yōu)指標(biāo) 無需轉(zhuǎn)化 直 接由各個集合中的每篇論文及其8 個指標(biāo)建立原始數(shù)據(jù)表 數(shù)據(jù)的歸一化處理 采用向量規(guī)范法對原始數(shù)據(jù)進行歸一化處理 并建立 相應(yīng)矩陣 8 個指標(biāo)的歸一化處理公式分別為 c t l c t if c h l c h i c f v m i c f v m c k l ck if c a t c a i i f l i f l c a v s f j c a v s f c f a i c f a i i 1 2 n n 為各論文集合中的論文總數(shù) i 為各論文集合中第i 篇論文 1 3 確定評價結(jié)果的最優(yōu)向量 正理想解 與最劣向量 負(fù)理想解 理想解z 和負(fù)理想解z 的表達(dá)式分別為 z c t c a c h i f c a v s c f v m c m k c f a z c t p c a c h i f c a v s c f v m c m k c f a 計算各評價對象指標(biāo)值與正理想解和負(fù)理想解的距離 每篇論文由c t 等8 個指標(biāo)決定的歐式空間的 點 到z 和z 的距離d i d i 計算公式分別為 d 瓜瓦面了琢磊五巧 面忑矛再而石而下琢磊忑麗巧i 砑磊i 麗巧 瓦i 萬再面瓦研 凸 振而石可i i i 萬再面i 砑了刁鬲歷弓i 麗再瓦孑再砭而忑麗萬再面i 瓦了可荔i 河了 計算綜合評價值c i 向量 論文的t o p s i s 綜合評價值c i 值用e x c e l 軟件編程計算 綜合評價值c i 計 算公式為c i d i 7 0 i d i 為進行集合間的比較 對各集合內(nèi)的c i 值進行標(biāo)化 計算公式為 c f g 2 因子分析法 因子分析的基本思想是根據(jù)相關(guān)性大小把變量分組 使得同組內(nèi)的變量之間 相關(guān)性較高 但不同組內(nèi)的變量相關(guān)性較低 每組變量代表一個基本結(jié)構(gòu) 這個 基本結(jié)構(gòu)成為公共因子 以每個公共因子所對應(yīng)的特征值占所提取的主成份總特 征值的百分比為權(quán)重 對每個被評價對象該公共因子評價值加權(quán) 求和 獲得其 綜合評價值f 此過程可利用s p s s 軟件計算 計算同時進行k m o 檢驗和球形b a r t l e t t 檢驗 所有集合球形檢驗結(jié)果均為 p 0 7 說明原變量適合進行因子分析 參見附表7 提取 e x t r a c t i o n 選項中 設(shè)定特征值 e i g e n v a l u e s l 有部分集合提取出2 個 特征因子且總占比不足8 5 對這部分集合重新分析 提取3 個特征因子 以保 證特征因子占比 8 5 參見附表8 為進行集合間的比較 對各集合內(nèi)的f 值進行標(biāo)化 計算公式為 f i f i 1 4 四 綜合評價結(jié)果的驗證和比較 將各論文集合中每篇論文t o p s i s 法綜合評價值c 和因子分析方法綜合評價 值f 與論文他引量進行相關(guān)分析 驗證本研究提出的論文綜合評價方法的評價結(jié) 果和上述傳統(tǒng)評價指標(biāo)之間是否具有相同的趨勢 將同一門類下各論文集合中的全部論文分別按他引量 c 值 c 值 f 值 f 值跨論文集合統(tǒng)一排序 比較參比論文c 值 c 值 f 值 f 值排序結(jié)果與 他引量排序結(jié)果的進退變化 驗證本研究中提出的評價方法用于同一門類下不同 研究領(lǐng)域論文學(xué)術(shù)影響力相互比較的可行性 將化學(xué) 醫(yī)學(xué)兩大門類下的各論文集合中的全部論文分別按他引量 c 值 c 值 f 值 f 值跨學(xué)科門類統(tǒng)一排序 比較參比論文c 值 c 值 f 值 f 值排序結(jié)果與他引量排序結(jié)果的進退變化 驗證本研究中提出的評價方法用于不 同學(xué)科門類論文學(xué)術(shù)影響力相互比較的可行性 采用的統(tǒng)計學(xué)方法主要有s p e a r m a n 相關(guān)分析 k r u s k a lw a l l i s 檢驗 m a n n w h i t n e yu 檢驗 k o l m o g o r o v s m i m o v 檢驗 k s 檢驗 w i l c o x o n 符號 秩檢驗 矛檢驗 研究結(jié)果 一 各學(xué)科門類論文集合的基本狀況 2 0 0 6 2 0 0 9 年度諾貝爾化學(xué)獎獲獎?wù)叩拇硇哉撐?參比論文 數(shù)見表1 1 表l 一1 2 0 0 6 2 0 0 9 年度諾貝爾化學(xué)獎獲獎?wù)哒撐慕y(tǒng)計表 以各年度參比論文為依據(jù) 在w e bo fs c i e n c e 中檢索其相關(guān)文獻(xiàn) r e l a t e d r e c o r d s 共獲得2 7 個論文集合 涉及論文4 8 4 5 篇 他引2 9 5 4 8 4 次 2 0 0 6 2 0 0 9 年度諾貝爾生理或醫(yī)學(xué)獎獲獎?wù)叩拇硇哉撐?參比論文 數(shù)見表 2 1 5 表1 2 2 0 0 6 2 0 0 9 年度諾貝爾生理學(xué)與醫(yī)學(xué)獎獲獎?wù)哒撐慕y(tǒng)計表 以各年度參比論文為依據(jù) 經(jīng)p u b m e d 檢索其相關(guān)論文 r e l a t e da r t i c l e s 共 獲得8 1 個論文集合 涉及論文1 2 6 6 3 篇 他引9 2 2 0 6 5 次 通過統(tǒng)計分析發(fā)現(xiàn) 在同一學(xué)科門類下代表著不同研究領(lǐng)域的集合間 他引 次數(shù) 年均他引次數(shù) 影響因子這些傳統(tǒng)評價指標(biāo)的極差 中位數(shù) 四分位間距 很不均衡 見附表9 1 0 因化學(xué) 醫(yī)學(xué)論文評價指標(biāo)各集合間方差不齊 經(jīng)用 非參數(shù)檢驗的k r u s k a lw m l i s 檢驗 結(jié)果表明同一門類不同集合存在顯著差異 見 表1 3 m a n n w h i t n e yu 檢驗結(jié)果表明不同門類間同樣存在顯著差異 見表l 4 因此 用這些傳統(tǒng)評價指標(biāo)無法對不同門類 領(lǐng)域 集合 間的論文進行公平的 比較 表1 3 各指標(biāo)各集合間k r u s k a lw a l l i s 檢驗結(jié)果 g r o u p i n gv a r i a b l e 論文集合 1 6 表1 4 醫(yī)學(xué)化學(xué)門類間各指標(biāo)m a n n w h i t n e yu 檢驗結(jié)果 n 1 7 5 0 8 二 各學(xué)科門類論文集合的評價結(jié)果 對各論文集合內(nèi)進行他引量 t o p s i s 法c 值和因子分析法f 值間的相關(guān)分 析 結(jié)果顯示他引量與c 值 f 值均高度相關(guān) 示例見表2 1 說明在同一研究 領(lǐng)域內(nèi) 本研究提出的綜合評價體系并未改變傳統(tǒng)指標(biāo)的序位趨勢 表2 1 化學(xué)0 6 0 1 集合內(nèi)他引量與綜合評價值間s p e a r m a n 相關(guān)分析 n 1 7 0 幸 c o r r e l a t i o ni ss i g n i f i c a n ta tt h eo 01l e v e l 2 t a i l e d 對各論文集合間c 值 c 值 f 值 f 值的非參數(shù)檢驗結(jié)果表明 在化學(xué) 醫(yī)學(xué)各門類內(nèi)各集合間或化學(xué)醫(yī)學(xué)兩門類間的f 值 f 值無顯著差異 即在集合 間或門類間以其為評價指標(biāo)更具可比性 詳見表2 2 表2 3 表2 4 表2 2 醫(yī)學(xué)化學(xué)兩門類間綜合評價值k s 檢驗結(jié)果 g r o u p i n gv a r i a b l e 門類 1 7 表2 3 醫(yī)學(xué)化學(xué)兩門類間綜合評價值m a n n w h i t n e yu 檢驗結(jié)果 g r o u p i n gv a r i a b l e 門類 表2 4 各集合間綜合評價值k r u s k a lw a l l i s 檢驗結(jié)果 g r o u p i n gv a r i a b l e 論文集合 對化學(xué) 醫(yī)學(xué)全部論文跨集合以及跨門類匯總后 對他引量 c 值 c 值 f 值 f 值進行s p e a r m a n 相關(guān)分析 見表2 5 表2 6 表2 7 結(jié)果表明綜合 評價值各指標(biāo)與他引量之間均存在顯著的正相關(guān)關(guān)系 說明應(yīng)用本研究提出的論 文綜合評價指標(biāo)體系和方法進行跨學(xué)科門類論文評價獲得的結(jié)果與傳統(tǒng)評價方法 有很好的一致性 表2 5 化學(xué)論文他引量與綜合評價值間s p e a r m a n 相關(guān)分析 n 4 8 4 5 c o r r e l a t i o ni ss i g n i f i c a n ta tt h e0 01l e v e l 2 t a i l e d 1 8 表2 6 醫(yī)學(xué)論文他引量與綜合評價值間s p e a r m a n 相關(guān)分析 n 1 2 6 6 3 料 c o r r e l a t i o ni ss i g n i f i c a n ta tt h eo 0 1l e v e l 2 t a i l e d 表2 7 醫(yī)學(xué)化學(xué)論文他引量與綜合評價值間s p e a r m a n 相關(guān)分析 n 1 7 5 0 8 c o r r e l a t i o ni ss i g n i f i c a n ta tt h e0 01l e v e l 2 t a i l e d 三 對參比論文跨門類排序結(jié)果的比較 對分別按他引量 c 值 c 值 f 值 f 值在化學(xué) 醫(yī)學(xué)各門類內(nèi)和在化學(xué) 醫(yī)學(xué)兩門類中排序的結(jié)果按是否為參比論文分類 經(jīng)非參數(shù)檢驗 結(jié)果表明參比 論文排序均非常顯著