學(xué)術(shù)期刊評價目的與評價方法的關(guān)系研究

學(xué)術(shù)期刊評價目的與評價方法的關(guān)系研究

1引言期刊評價是文獻(xiàn)計量學(xué)研究的重要組成部分，它通過對學(xué)術(shù)期刊的發(fā)展規(guī)律和增長趨勢進(jìn)行量化分析，揭示學(xué)科文獻(xiàn)數(shù)量在期刊中的分布規(guī)律，為優(yōu)化學(xué)術(shù)期刊的使用提供重要參考，同時可以提高學(xué)術(shù)期刊的內(nèi)在質(zhì)量，促進(jìn)學(xué)術(shù)期刊的健康發(fā)展。美國著名情報學(xué)家加菲爾德博土在20世紀(jì)60年代對期刊文獻(xiàn)的引文進(jìn)行了大規(guī)模統(tǒng)計分析，得到了大量被引用文獻(xiàn)集中在少數(shù)期刊上，而少量被引用文獻(xiàn)散布在大量期刊中的結(jié)論，這是期刊評價理論的起源。期刊定量評價最早局限于單指標(biāo)評價，傳統(tǒng)的評價指標(biāo)如影響因子、引用半衰期、即年指標(biāo)等，后來發(fā)展到一些復(fù)合指標(biāo)，包含的信息量較大，典型的有RCR[1]、RI、RW、PI、PW[2]、NMCR[3]、FCSm[4]、H指數(shù)[5]、ACIF[6]等。由于單指標(biāo)提供的信息量畢竟有限，因此多屬性評價在學(xué)術(shù)期刊評價中得到了廣泛的應(yīng)用。多屬性評價采用一定的技術(shù)將反映學(xué)術(shù)期刊不同側(cè)面的指標(biāo)進(jìn)行綜合，得到唯一結(jié)果，包含的信息量更大。這方面的研究主要有結(jié)構(gòu)方程模型[7-8]、數(shù)據(jù)包絡(luò)分析[9]、指標(biāo)體系加權(quán)匯總[10]、灰色關(guān)聯(lián)評價[11]、秩和比評價[12]、判別分析法[13]、層次分析法[14-15]、主成分分析[16]、綜合評價法[17-18]等。從目前的情況看，已經(jīng)有數(shù)十種多屬性評價方法在學(xué)術(shù)期刊評價中得到了應(yīng)用，但是對評價目的與評價方法之間的內(nèi)在關(guān)系卻少有文獻(xiàn)進(jìn)行研究。學(xué)術(shù)期刊評價有不同的評價目的，比如中國科學(xué)技術(shù)信息研究所每年評比的百種杰出自然科學(xué)期刊就重在評優(yōu)，北大圖書館編寫《中文核心期刊要目總覽》主要是為圖書館管理服務(wù)的，它采取指標(biāo)體系進(jìn)行評價，進(jìn)而給出各學(xué)科不同期刊的排序。研究期刊評價目的與評價方法之間的關(guān)系，有利于對指標(biāo)選取、數(shù)據(jù)標(biāo)準(zhǔn)化、評價方法選取等評價環(huán)節(jié)加以控制，從技術(shù)層面保證評價公平，更好地達(dá)到評價目的。本文首先構(gòu)建評價目的體系，然后建立學(xué)術(shù)期刊評價方法與過程體系，在此基礎(chǔ)上分析它們之間的關(guān)系。2學(xué)術(shù)期刊的評價目的一般情況下，談到學(xué)術(shù)期刊的評價目的，人們往往想到的就是評價學(xué)術(shù)期刊的某個方面，如期刊質(zhì)量、編輯工作、期刊綜合表現(xiàn)等，然后涉及的主要問題就是不同的評價目的下如何選取評價指標(biāo)的問題。本文所指的評價目的側(cè)重于評價結(jié)果的用途，包括四個方面（圖1）。第一是總體評價，就是要對評價對象的總體進(jìn)行綜合評價，得到每種期刊的評價結(jié)果，讓每種期刊知道自己的真實水平以及和其他期刊的差距。第二是評優(yōu)評劣，也稱為兩端評價，就是要評出排名靠前的期刊和排名靠后的期刊，其中評優(yōu)情況更多一些。第三是從鼓勵和鞭策的角度對期刊進(jìn)行評價，稱為激勵鞭策評價，期刊的評價值比實際水平可能偏高或者偏低。俞立平[19]發(fā)現(xiàn)在線性加權(quán)匯總指標(biāo)體系評價中，調(diào)和平均對最好的20%期刊打分偏高，對排在最后的20%的期刊打分偏低；對數(shù)合成對排在前20%的期刊打分偏低，對排在最后的20%的期刊打分偏高，與調(diào)和平均正好相反。由于這種情況是隱含的，往往沒有引起重視。第四是將評價結(jié)果作為中間數(shù)據(jù)使用，往往用在研究中。比如研究學(xué)術(shù)期刊質(zhì)量的影響因素，需要首先采用一系列指標(biāo)對期刊質(zhì)量進(jìn)行評價，得到評價值，然后用評價值作為因變量，影響因素作為自變量進(jìn)行回歸。這也是一種隱含的評價目的。圖1期刊評價目的3學(xué)術(shù)期刊評價方法體系學(xué)術(shù)期刊評價方法包括定性評價和定量評價兩大類（圖2）。定性評價所采用的方法主要是同行評議，定量評價又包括單指標(biāo)評價和多屬性評價兩大類。以上這些評價方法中，由于多屬性評價比較復(fù)雜，因此是本文重點研究內(nèi)容。學(xué)術(shù)期刊多屬性評價是一項復(fù)雜的系統(tǒng)工程，牽涉指標(biāo)選取、數(shù)據(jù)標(biāo)準(zhǔn)化、評價方法選擇等諸多方面。根據(jù)評價值的計算原理，可以將多屬性評價方法分為三大類：第一類是基于排序的評價方法，如秩和比法、BORDA法、ELECTRE等。由于評價結(jié)果僅有排序，即使有評價值，也沒有相對意義。第二類是加權(quán)匯總評價方法，其特點是根據(jù)主觀或客觀賦權(quán)法設(shè)定權(quán)重，然后進(jìn)行線性加權(quán)匯總或非線性加權(quán)匯總，又以前者居多，如層次分析法、德爾菲法、熵權(quán)法、變異系數(shù)法等。非線性加權(quán)匯總的評價結(jié)果與評價指標(biāo)之間的關(guān)系是非線性的。第三類是系統(tǒng)評價方法，該類方法有的用到權(quán)重，有的不用，其特點是采取模糊數(shù)學(xué)、運籌學(xué)、多元統(tǒng)計等方法得到非線性評價值，如主成分分析、TOPSIS、灰色關(guān)聯(lián)法等。系統(tǒng)評價結(jié)果與評價指標(biāo)之間的關(guān)系都是非線性的。圖2學(xué)術(shù)期刊評價方法體系需要說明的是，并不是加權(quán)匯總評價方法的結(jié)果就一定是線性的，這還取決于加權(quán)匯總的效用函數(shù)方程，假設(shè)為標(biāo)準(zhǔn)化后的評價指標(biāo)，表示權(quán)重，I表示評價值，請看以下三種加權(quán)匯總公式：公式1為傳統(tǒng)的線性加權(quán)匯總，公式2為加權(quán)調(diào)和平均，公示3為加權(quán)對數(shù)合成。很顯然，公式1是線性加權(quán)匯總，公式2、公式3都是非線性加權(quán)匯總。除了評價方法與效用函數(shù)合成的線性與非線性之分外，還有數(shù)據(jù)標(biāo)準(zhǔn)化的線性與非線性問題。比如反向指標(biāo)的標(biāo)準(zhǔn)化方法，人們往往取倒數(shù)將其轉(zhuǎn)化為正向指標(biāo)，但這樣處理的一個最大問題是將線性反向指標(biāo)轉(zhuǎn)化為非線性正向指標(biāo)了。在多屬性評價中，必須保證評價的所有環(huán)節(jié)是線性的，評價結(jié)果才是線性的。為什么這么強(qiáng)調(diào)非線性問題？關(guān)鍵是這和評價目的緊密相關(guān)。4期刊評價目的與評價方法的關(guān)系4.1期刊總體評價期刊總體評價一般只能采用定量評價方法。單指標(biāo)評價往往用來評價學(xué)術(shù)期刊的某個側(cè)面，其應(yīng)用范圍也較廣，但是和多屬性評價相比，其評價方法相對簡單，因此這里不做深入討論。總體評價往往隱含著很多基本前提條件：第一，評價值必須反映期刊的真實水平，往往用百分制表示；第二，不同期刊評價值之間的差距必須反映期刊間的真實差距，不能有偏誤。前者比較容易理解，因為它是顯性的；后者其實是隱性的，人們往往不夠重視。那么不同多屬性評價方法評價結(jié)果與其真實水平有什么關(guān)系呢？如圖3，x軸表示期刊的真實水平，y軸表示評價結(jié)果，直線OZ表示評價值和真實水平完全相符的直線，理想情況下，OZ和x軸的夾角是45°。曲線OZ’是評價值和真實水平不相符的曲線，即發(fā)生了數(shù)據(jù)扭曲。以A點為例，其真實水平為OC，但是實際評價值卻是OB，明顯小于OC，對A點而言，這明顯是不公平的，只有對于特殊情況D點，評價值和真實水平才恰好相等。對于直線OZ，即使由于某種原因其和x軸的夾角不是45°，由于是整體偏移，因此絲毫不會影響期刊之間的相對差距。但是對于曲線OZ’，期刊間的相對差距也同樣發(fā)生了扭曲。圖3評價結(jié)果與真實水平之間的關(guān)系那么在多屬性評價中，哪些因素會導(dǎo)致評價結(jié)果與真實水平之間的數(shù)據(jù)扭曲呢？首先是數(shù)據(jù)標(biāo)準(zhǔn)化方法不能是非線性的，它會通過評價過程傳導(dǎo)到評價結(jié)果；其次是對于加權(quán)匯總評價，加權(quán)匯總的效用函數(shù)形式如果是非線性的，也會導(dǎo)致數(shù)據(jù)扭曲，比如采用調(diào)和平均和對數(shù)合成進(jìn)行加權(quán)匯總就有問題；第三，系統(tǒng)評價方法本身或多或少都存在數(shù)據(jù)扭曲問題。也就是說，對于期刊總體評價而言，只有線性加權(quán)匯總評價方法不會導(dǎo)致數(shù)據(jù)扭曲，從技術(shù)上能夠保證期刊評價值和真實水平相等以及評價結(jié)果的相對差距與實際差距相等。從這個角度講，只有層次分析法、德爾菲法、熵權(quán)法等少數(shù)純線性評價方法才能用于期刊總體評價，而且必須要進(jìn)行簡單線性加權(quán)匯總?；谂判虻脑u價方法，如ELECTRE與秩和比法，只能提供排序信息，不能反映期刊的量化差異，因此一般是不太適合用于學(xué)術(shù)期刊的總體評價的。4.2期刊兩端評價所謂期刊兩端評價，就是要找出表現(xiàn)優(yōu)異的高質(zhì)量期刊與表現(xiàn)比較靠后的那些期刊，又以前者為主。由于通常情況下期刊評價數(shù)據(jù)呈正態(tài)分布，因此兩端的期刊往往不多。根據(jù)同類可比的原則，在某個學(xué)科中，專家們往往對表現(xiàn)優(yōu)異的期刊是較易取得一致意見的，因此采用定性評價方法，如同行評議也是可以進(jìn)行兩端評價的。由于兩端評價主要用來評優(yōu)，人們更加關(guān)注評價結(jié)果的排序，在這種情況下，無論是基于排序的評價方法，還是加權(quán)匯總評價方法和系統(tǒng)評價方法，都可以充分勝任。也就是說，兩端評價對評價方法的選取是不太敏感的。4.3激勵鞭策評價如上文分析，這是個隱含問題。在期刊評價中，在保證期刊評價排序大致不變的情況下，有時需要鼓勵先進(jìn)，那么對較好的期刊打分可以比真實水平略高，有時又需要對較好的期刊適當(dāng)打點低分，防止驕傲。當(dāng)然對于排序靠后的期刊也可以采取適當(dāng)打點高分進(jìn)行鼓勵，讓它們感覺到和優(yōu)秀期刊的差距不是那么大。對于有激勵鞭策評價，基于排序的評價值由于不具有相對意義，顯然不能選用。非線性加權(quán)匯總評價方法和系統(tǒng)評價方法由于存在評價結(jié)果與評價指標(biāo)的非線性關(guān)系，其評價結(jié)果與真實水平會發(fā)生數(shù)據(jù)扭曲，因此它們或多或少都存在一定程度的打分偏好，有些期刊打分偏高，有些偏低。不同評價方法對于排名在不同位次的期刊，這種打分偏好是不一樣的，有一定的規(guī)律?？梢愿鶕?jù)實際情況選用非線性加權(quán)匯總評價方法和系統(tǒng)評價方法。4.4中間數(shù)據(jù)評價把期刊評價結(jié)果作為中間數(shù)據(jù)并對之進(jìn)行進(jìn)一步分析可能成為新的研究熱點，比如期刊質(zhì)量影響因素分析、學(xué)術(shù)期刊對科技創(chuàng)新的貢獻(xiàn)分析等，由于這是一種宏觀分析，而且不同評價方法的評價結(jié)果總體上存在較高的相關(guān)性，因此中間數(shù)據(jù)評價對評價方法的選取并不敏感。當(dāng)然，基于排序的評價方法其評價值不具有相對意義，顯然是不能選用的。定性評價當(dāng)然也不能選用。5結(jié)語5.1應(yīng)根據(jù)不同的評價目的選擇評價方法各種評價方法有其優(yōu)缺點和適用范圍，并不存在絕對好的和絕對壞的評價方法，一切取決于評價目的，應(yīng)該根據(jù)不同的評價目的選擇不同的評價方法。從本文的分析可以看出，大多數(shù)期刊評價都屬于總體評價，如果評價值與期刊實際水平之間發(fā)生了扭曲，那么就會導(dǎo)致評價值不具有可比性。由于這種現(xiàn)象往往是隱藏的，因此遠(yuǎn)遠(yuǎn)沒有引起學(xué)術(shù)界的重視。在期刊總體評價中，越是復(fù)雜的評價方法越不適用，簡單的線性加權(quán)匯總評價方法可能是最好的方法。兩端評價由于重在排序，對評價方法的選用最不敏感。激勵鞭策評價只能選取非線性加權(quán)匯總評價方法和系統(tǒng)評價方法。中間數(shù)據(jù)評價可以選取加權(quán)匯總評價方法和系統(tǒng)評價方法。5.2期刊的真實水平是相對的本文中討論的期刊真實水平是相對的，因為期刊的真實水平是期刊各方面表現(xiàn)的綜合反映，涉及數(shù)據(jù)采集、指標(biāo)選取、評價方法等諸多問題，期刊評價值與期刊真實水平之間永遠(yuǎn)存在偏差，本文所重點討論的是采用“減法”從技術(shù)上減少這種偏差，即如何減弱非線性問