科研評(píng)價(jià)：目的與方法的適切性研究的理念分析

科研評(píng)價(jià)：目的與方法的適切性研究的理念分析近年來(lái)，隨著我們國(guó)家科技與教育投入不斷增加、高等教育重點(diǎn)建設(shè)不斷推進(jìn)，科研論文產(chǎn)出規(guī)模快速增加，但無(wú)論在國(guó)家層面還是重點(diǎn)建設(shè)高校層面，重大原始創(chuàng)新結(jié)果或高影響力科技結(jié)果卻仍然稀少，科技創(chuàng)新對(duì)經(jīng)濟(jì)發(fā)展方式改變的支撐作用仍然不明顯，進(jìn)一步改革科技管理體制的呼聲越來(lái)越高。其中又以科研評(píng)價(jià)方式最受詬病，一方面定量評(píng)價(jià)方法被責(zé)備為科研泡沫的禍?zhǔn)椎準(zhǔn)?，另一方面同行專家評(píng)價(jià)中的黑幕也不時(shí)被揭開(kāi)，引發(fā)對(duì)學(xué)術(shù)腐敗的聲討。我們國(guó)家的政策制訂者與學(xué)術(shù)界對(duì)科研評(píng)價(jià)現(xiàn)在狀況均不滿意。但從范圍看，科研評(píng)價(jià)理論至今已有三百多年的歷史，科技評(píng)價(jià)的理論研究結(jié)果也相當(dāng)豐富，改革和完善無(wú)需摸著石頭過(guò)河，需要系統(tǒng)的理性反思和重構(gòu)。一、以科學(xué)研究及其結(jié)果為指標(biāo)的評(píng)價(jià)活動(dòng)(一)科學(xué)的實(shí)質(zhì)規(guī)定性與外在表現(xiàn)形式科研評(píng)價(jià)雖以科研結(jié)果或科研的表現(xiàn)為基礎(chǔ)，但評(píng)價(jià)的結(jié)果必需與科學(xué)的實(shí)質(zhì)規(guī)定性相一致。18以前，人們以為科學(xué)是知識(shí)。到19世紀(jì)末20世紀(jì)初，人們以為科學(xué)是以觀察方法為基礎(chǔ)的關(guān)于天然、社會(huì)思維的知識(shí)體系。[1]科學(xué)的直接目的是獲取新知識(shí)，只要獲得非傳統(tǒng)的、前所未知的結(jié)果的活動(dòng)形式，能力稱得上是科研工作。科學(xué)學(xué)奠基人貝爾納(J.D.Bernal)以為，通過(guò)具體描繪敘述科學(xué)的重要特征來(lái)代替科學(xué)的定義更為合理。據(jù)此，科學(xué)能夠看做：(1)一種建制，科學(xué)已經(jīng)成為一種廣泛的社會(huì)職業(yè)，科學(xué)家的所作所為就成了科學(xué)的一種簡(jiǎn)易定義；(2)一種科學(xué)方法，即發(fā)現(xiàn)天然界和社會(huì)新方向及新規(guī)律的各種方法的總和；(3)一種累積的科學(xué)傳統(tǒng)，科學(xué)的每一次收獲，不管新舊，都要禁受住檢驗(yàn)，然后被并入科學(xué)總體之中；(4)一種維持和發(fā)展生產(chǎn)的重要因素。[2]科學(xué)具有真諦價(jià)值和實(shí)用價(jià)值。[3]科學(xué)作為系統(tǒng)化、理論化的知識(shí)體系，它的真諦價(jià)值是不言自明的?？茖W(xué)家的專業(yè)任務(wù)就是發(fā)現(xiàn)一些天然現(xiàn)象的秩序和規(guī)律，然后把它們系統(tǒng)化，并盡量傳播出去?？茖W(xué)的真諦價(jià)值是科學(xué)固有的、基本的價(jià)值屬性，只能用增長(zhǎng)多少獨(dú)創(chuàng)性的學(xué)術(shù)價(jià)值來(lái)衡量。從科學(xué)的實(shí)用價(jià)值來(lái)講，人們創(chuàng)立理論的目的是回歸理論，知足社會(huì)需求，實(shí)現(xiàn)理論價(jià)值。然而，只要理論凝聚了對(duì)客觀事物的真諦性認(rèn)識(shí)，才可能回歸到理論中。不發(fā)表即滅亡(publishorperish)，科研進(jìn)展和發(fā)現(xiàn)需要通過(guò)公開(kāi)發(fā)表獲得優(yōu)先權(quán)確實(shí)認(rèn)。科研結(jié)果按結(jié)果的屬性能夠分為基礎(chǔ)研究(理論)結(jié)果和應(yīng)用研究(技術(shù))結(jié)果。經(jīng)濟(jì)合作與發(fā)展組織(OECD)〔研究與發(fā)展調(diào)查手冊(cè)〕以為基礎(chǔ)研究結(jié)果一般不出售，通常只在科學(xué)期刊上發(fā)表或在對(duì)其感興趣的同行中傳播。[4]應(yīng)用研究結(jié)果是為改造客觀世界而探尋求索的實(shí)用性技術(shù)和知識(shí)，如新工藝、新產(chǎn)品、新方法，一般以專利、研究報(bào)告、相應(yīng)的技術(shù)資料和實(shí)物等形式具體表現(xiàn)出。(二)以科學(xué)研究及其結(jié)果為指標(biāo)的評(píng)價(jià)類型分類評(píng)價(jià)已經(jīng)是科技評(píng)價(jià)改革的一個(gè)共鳴，但是對(duì)評(píng)價(jià)的分類邏輯卻談不上清楚明晰?！矅?guó)家十二五科學(xué)和技術(shù)發(fā)展規(guī)劃〕在深化科技評(píng)價(jià)和獎(jiǎng)勵(lì)制度改革部分提出：針對(duì)科技計(jì)劃、機(jī)構(gòu)、人員等不同對(duì)象，國(guó)家、部門、地方等不同條理，基礎(chǔ)研究、應(yīng)用研究、科技產(chǎn)業(yè)化等不同類型科技活動(dòng)的特點(diǎn)，確定不同的評(píng)價(jià)指標(biāo)、內(nèi)容和標(biāo)準(zhǔn)。[5]這一規(guī)定與目的導(dǎo)向、分類施行要求一致，可以以以為它是對(duì)科技評(píng)價(jià)類型的一種劃分。但是該條款忽略了科技結(jié)果這一科技評(píng)價(jià)最直接的對(duì)象。為了進(jìn)一步分析評(píng)價(jià)對(duì)象與評(píng)價(jià)方法之間的匹配，本文根據(jù)科研結(jié)果在評(píng)價(jià)中角色的不同，將科研評(píng)價(jià)分為兩大類，即對(duì)科研結(jié)果的評(píng)價(jià)和以科研結(jié)果為指標(biāo)的評(píng)價(jià)(見(jiàn)表1)。表中將某一詳細(xì)科研項(xiàng)目申請(qǐng)書(研究計(jì)劃、設(shè)想和論證)作為科研結(jié)果，這一點(diǎn)可能存在爭(zhēng)議，但作者以為問(wèn)題提出、研究技術(shù)路線設(shè)計(jì)等活動(dòng)是科研早期結(jié)果的主要具體表現(xiàn)出。對(duì)科研結(jié)果的評(píng)價(jià)是對(duì)某一詳細(xì)科研結(jié)果形式，包含投給學(xué)術(shù)期刊的論文、學(xué)位論文等開(kāi)展的評(píng)價(jià)。以科研結(jié)果為指標(biāo)的評(píng)價(jià)包含科研工作者評(píng)價(jià)、學(xué)科評(píng)價(jià)、科研機(jī)構(gòu)(包含大學(xué))評(píng)價(jià)以及國(guó)家和地區(qū)競(jìng)爭(zhēng)力評(píng)價(jià)。評(píng)價(jià)對(duì)象不同，牽涉的結(jié)果數(shù)量和專業(yè)領(lǐng)域范圍不同，方法選擇也會(huì)有差別。二、科研評(píng)價(jià)重要方法及其合理性和缺陷同行評(píng)議和科學(xué)計(jì)量學(xué)方法是對(duì)科研評(píng)價(jià)的重要方法。(一)同行評(píng)議的合理性及缺陷三百多年前英國(guó)皇家學(xué)會(huì)成立時(shí)，最早將同行評(píng)議(Peerreview)用在其會(huì)刊〔哲學(xué)學(xué)報(bào)〕的來(lái)稿評(píng)審中，開(kāi)啟了由科學(xué)家對(duì)同行研究工作進(jìn)行評(píng)價(jià)的先河。第二次世界大戰(zhàn)前后，一些國(guó)家成立的科學(xué)贊助機(jī)構(gòu)開(kāi)始邀請(qǐng)外部科學(xué)家參與遴選擬贊助項(xiàng)目，如1937年成立的美國(guó)癌癥研究咨詢理事會(huì)、1950年成立的美國(guó)科學(xué)基金會(huì)(NSF)等，并逐步構(gòu)成了穩(wěn)定的同行評(píng)議系統(tǒng)。[6]這較之此前僅依靠?jī)?nèi)部行政官員開(kāi)展相比是一個(gè)明顯進(jìn)步。國(guó)內(nèi)外學(xué)者從強(qiáng)調(diào)不同重點(diǎn)出發(fā)對(duì)同行評(píng)議有多種定義。根據(jù)英國(guó)博登(M.Boden)教授的觀點(diǎn)，同行評(píng)議就是由從事特定領(lǐng)域或接近該領(lǐng)域的專家來(lái)評(píng)定一項(xiàng)工作的學(xué)術(shù)水平或主要性的機(jī)制。[7]美國(guó)學(xué)者楚賓(D.E.Chubin)等人以為，同行評(píng)議是科學(xué)家們用來(lái)評(píng)價(jià)科學(xué)工作、證明程序的正確性、確認(rèn)結(jié)果的合理性以及分配稀缺資源(諸如期刊篇幅、研究贊助、認(rèn)能夠及特殊榮譽(yù)等)的一種有條理的方法。[8]我們國(guó)家學(xué)者劉明以為，同行評(píng)議是針對(duì)牽涉研究工作的某項(xiàng)實(shí)物，聘請(qǐng)?jiān)谠擃I(lǐng)域或相近領(lǐng)域工作的專家，運(yùn)用其專業(yè)涵養(yǎng)，就對(duì)象的學(xué)術(shù)水準(zhǔn)及相關(guān)價(jià)值做出評(píng)價(jià)的活動(dòng)，評(píng)價(jià)結(jié)果是決策的主要根據(jù)。[9]從上述不同的定義能夠看出：首先，同行評(píng)議是同行對(duì)科研工作進(jìn)行的一種主觀評(píng)價(jià)；其次，它是對(duì)科學(xué)工作程序、學(xué)術(shù)水平或主要性的評(píng)價(jià)；再次，評(píng)價(jià)結(jié)果是決策的根據(jù)之一，與稀缺的科技資源分配聯(lián)絡(luò)在一起。同行評(píng)議成為三百多年來(lái)科學(xué)共同體科研評(píng)價(jià)的重要方法，有其合理性?；诳茖W(xué)所具有的與客觀真諦相聯(lián)絡(luò)的權(quán)威地位，從科學(xué)研究作為一種獨(dú)立社會(huì)活動(dòng)產(chǎn)生以來(lái)，無(wú)論哲學(xué)中的實(shí)證主義與證偽主義，還是社會(huì)學(xué)中的構(gòu)造功能主義，均努力在科學(xué)與非科學(xué)之間劃出截然的界限，并使得科學(xué)在的政策制訂中往往被作為例外加以對(duì)待，以維護(hù)科學(xué)的自立性和堅(jiān)持科學(xué)自治的思想。[10]同行評(píng)議是維護(hù)科學(xué)制度自立性的方式，并被視為科學(xué)自立性的象征。同行評(píng)議的方式重要有通信評(píng)議和召開(kāi)評(píng)審會(huì)評(píng)議兩種。在通信評(píng)議中，每一項(xiàng)結(jié)果有若干專家根據(jù)給定的評(píng)分標(biāo)準(zhǔn)打分并給出版面評(píng)語(yǔ)，根據(jù)通信評(píng)議能否隱匿結(jié)果署名和專家評(píng)審簽名，又能夠分為單向匿名評(píng)審和雙盲評(píng)審。在會(huì)議評(píng)審中，專家委員會(huì)召開(kāi)會(huì)議對(duì)送審的結(jié)果集中審議，或?qū)ι暾?qǐng)人當(dāng)面答辯并進(jìn)行評(píng)議，進(jìn)行投票表決。在堅(jiān)持公平公正的前提下，同行評(píng)議針對(duì)每一個(gè)對(duì)象也有明確的參考標(biāo)準(zhǔn)，以對(duì)同行專家的評(píng)價(jià)給予提示和引導(dǎo)，便于對(duì)不同專家的評(píng)價(jià)進(jìn)行比較。大多數(shù)科研工作者對(duì)同行評(píng)議已經(jīng)熟悉，有一定資歷的學(xué)者可能經(jīng)常在評(píng)審專家與被評(píng)審對(duì)象之間頻繁轉(zhuǎn)換角色，對(duì)其中存在的問(wèn)題也各有感悟。同行評(píng)議的首要標(biāo)準(zhǔn)是根據(jù)公平公正的原則對(duì)評(píng)價(jià)對(duì)象的質(zhì)量和主要性進(jìn)行判定，而不該遭到作者與評(píng)審人之間存在的利益沖突(如專業(yè)領(lǐng)地遭到進(jìn)犯、資源競(jìng)爭(zhēng)等)、作者與評(píng)審人之間相對(duì)地位的差別、作者外在的一般特征(如學(xué)術(shù)資歷、專業(yè)聲望或著名度、供職單位等)的影響。但是科學(xué)界的馬太效應(yīng)與坐第四十一席位者現(xiàn)象及相關(guān)研究顯示，在同行評(píng)議中能否有效避免上述方面是存疑的[11]；評(píng)議經(jīng)過(guò)中，評(píng)審專家剽竊申請(qǐng)書中的新構(gòu)思、否認(rèn)申請(qǐng)人的事例也時(shí)有發(fā)生，拉關(guān)系、打招呼、投桃報(bào)李等不正之風(fēng)更是屢見(jiàn)不鮮。在不同類型的評(píng)審中，專家組中非專家成員越來(lái)越普遍，有的還對(duì)評(píng)議結(jié)果擁有決定權(quán)，同行專家僅限于提建議和簽名，同行評(píng)議徒有形式。另外，科學(xué)結(jié)果按指數(shù)增加的規(guī)律也讓同行評(píng)議不堪重負(fù)，同行評(píng)議占用專家大量精神，物質(zhì)成本開(kāi)支也越來(lái)越大。(二)科學(xué)計(jì)量學(xué)方法的合理性與缺陷科學(xué)計(jì)量學(xué)指標(biāo)應(yīng)用于科研評(píng)價(jià)始于20世紀(jì)60～70年代。此前，除了同行評(píng)議制度外，科研評(píng)價(jià)沒(méi)有其他正規(guī)的形式。[12]科學(xué)計(jì)量學(xué)(Scientometrics)或文獻(xiàn)計(jì)量學(xué)(Bibliometrics)是運(yùn)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)方法對(duì)科學(xué)活動(dòng)的產(chǎn)出(如論文數(shù)量、被引數(shù)量)和經(jīng)過(guò)(如信息傳播、溝通網(wǎng)絡(luò)的構(gòu)成)進(jìn)行定量分析，從中找出科學(xué)活動(dòng)規(guī)律性的一門學(xué)科。科學(xué)計(jì)量學(xué)的開(kāi)拓者力求探尋求索獨(dú)立于科學(xué)的方式理解科學(xué)。20世紀(jì)50～60年代，科學(xué)共同體開(kāi)始意識(shí)到科學(xué)情報(bào)和文獻(xiàn)的數(shù)量呈現(xiàn)指數(shù)增加。加菲爾德(E.Garfield)和普賴斯(D.Price)等人提出應(yīng)該用公開(kāi)的、正式的科學(xué)溝通系統(tǒng)反映科學(xué)的發(fā)展情況，而這項(xiàng)工作的前提是必需對(duì)文獻(xiàn)進(jìn)行分類和編排索引。1963年科學(xué)引文索引數(shù)據(jù)庫(kù)(ScienceCitationIndex，SCI)誕生。該數(shù)據(jù)庫(kù)在文獻(xiàn)檢索功能之外，為定量分析科學(xué)發(fā)展情況提供了方便的數(shù)據(jù)平臺(tái)。一些學(xué)者據(jù)此以出版物數(shù)量和引文數(shù)量為科研產(chǎn)出指標(biāo)，創(chuàng)立了一系列概念和測(cè)度方法。出版物數(shù)量和引文數(shù)量等指標(biāo)的引入，使決策者和科研管理者有了能夠利用的直觀根據(jù)，也使科學(xué)共同體在跨學(xué)科范圍的質(zhì)量控制上有了同行評(píng)議之外的客觀標(biāo)準(zhǔn)?？茖W(xué)計(jì)量學(xué)因而逐步博得了存在的合理性。對(duì)科研產(chǎn)出的定量評(píng)價(jià)包含數(shù)量和質(zhì)量?jī)蓚€(gè)方面。數(shù)量是個(gè)明確的概念，而質(zhì)量則相對(duì)模糊，人們?cè)诓煌臅r(shí)間用不同的名稱來(lái)描繪敘述它，比方主要性(significance)、影響(impact)、效用(utility)等。加菲爾德以為，關(guān)于質(zhì)量，有兩個(gè)方面的認(rèn)識(shí)是確定的：質(zhì)量是一個(gè)論文正面的品質(zhì)，它通常反映該科學(xué)工作的聲望；質(zhì)量在同行評(píng)議的內(nèi)容中飾演側(cè)重要的角色。[13]質(zhì)量是研究工作內(nèi)在的品質(zhì)，是一種客觀存在，但它并不是一個(gè)具有物理性質(zhì)的客觀著實(shí)物體。莫伊(H.F.Moed)以為，時(shí)間將證明某一研究工作的學(xué)術(shù)價(jià)值和持久性，其歷史始于發(fā)表的學(xué)術(shù)結(jié)果被閱讀和引用。引用其他學(xué)者的文獻(xiàn)是學(xué)術(shù)共同體成員之間的一種社會(huì)行為，一篇論文被引用的次數(shù)能夠被以為是其影響、主要性或者說(shuō)質(zhì)量的精到準(zhǔn)確測(cè)量。[14]一篇文章的引用率越高，它的影響力就越大。對(duì)科學(xué)家來(lái)說(shuō)，經(jīng)常被引用的研究結(jié)果顯然比很少被引用的研究結(jié)果更為有用。經(jīng)濟(jì)合作與發(fā)展組織出版的一本著作總結(jié)了評(píng)價(jià)科學(xué)技術(shù)活動(dòng)的重要科學(xué)計(jì)量學(xué)指標(biāo)，其中包含[15]：1.論文數(shù)量。論文數(shù)是對(duì)一位科學(xué)家、一個(gè)實(shí)驗(yàn)室、一所大學(xué)、一個(gè)國(guó)家科研工作結(jié)果數(shù)量的原始、簡(jiǎn)化和近似的測(cè)量。論文數(shù)只是粗略的科學(xué)計(jì)量學(xué)指標(biāo)，但只要把握了這一初始數(shù)據(jù)，能力獲得其他更有意義的相對(duì)指標(biāo)。把論文總數(shù)根據(jù)研究人員數(shù)量或者經(jīng)費(fèi)數(shù)量等進(jìn)行標(biāo)準(zhǔn)化，能夠得到描繪敘述生產(chǎn)率的相關(guān)指標(biāo)。但是，簡(jiǎn)單的論文數(shù)量顯然不能成為評(píng)價(jià)該主體對(duì)科研發(fā)展奉獻(xiàn)的全部。2.被引次數(shù)。在關(guān)于學(xué)術(shù)論文質(zhì)量的界定中已經(jīng)提到，被引次數(shù)能夠用來(lái)測(cè)量被引用論文的影響或者質(zhì)量。引文分析不僅能給出研究對(duì)象科研行為的靜態(tài)圖景，而且能夠提供論文影響的動(dòng)態(tài)趨勢(shì)。已有研究表示清楚，根據(jù)學(xué)科不同，一般從文獻(xiàn)發(fā)表到隨后三至五年的時(shí)間跨度內(nèi)的被引次數(shù)能夠最好地知足對(duì)論文影響力發(fā)展趨勢(shì)的測(cè)量。但是，直接比較不同研究主體的被引次數(shù)是不適宜的。某些領(lǐng)域的論文平均被引次數(shù)非常高，有些領(lǐng)域即便是高質(zhì)量的論文，被引次數(shù)也不高。因而，被引次數(shù)必需根據(jù)專業(yè)和學(xué)科的不同進(jìn)行正確的標(biāo)準(zhǔn)化。3.影響因子。影響因子是指某一期刊的論文在特定年份或時(shí)期被引用的頻率，是衡量學(xué)術(shù)期刊影響力的一個(gè)主要指標(biāo)。一本期刊的聲望越高，其影響因子越高，在該期刊上發(fā)表的論文被引用的可能越大。作為一個(gè)研究工具，影響因子幫助解決了科研評(píng)價(jià)中的許多問(wèn)題。首先，期刊影響因子每年都能夠方便地獲得，不需要為獲得論文被引用數(shù)據(jù)等待很長(zhǎng)時(shí)間；其次，它的成本和工作量比引文分析?。蛔詈?，數(shù)據(jù)來(lái)源可能存在的毛病也被最小化。影響因子不是評(píng)價(jià)論文質(zhì)量的完美工具，但是卻沒(méi)有比它更好的工具。經(jīng)歷體驗(yàn)表示清楚，在每一個(gè)專業(yè)，最好的期刊都是那些論文很難被其采取的期刊，也是高影響因子期刊，這些期刊在期刊影響因子被發(fā)明之前已經(jīng)存在。[16]4.合作者數(shù)量。一篇論文合作者的數(shù)量是測(cè)量國(guó)內(nèi)或國(guó)際層面合作研究狀態(tài)的指標(biāo)。合作論文怎樣在各個(gè)作者間分配有三種方法：一是把合作論文與單一作者論文等同，合作論文只計(jì)算在第一作者名下；二是合作論文被反復(fù)計(jì)算到每個(gè)合作者名下；三是把合作論文按合作者數(shù)量分比例分到各作者名下。5.h指數(shù)。美國(guó)加州大學(xué)圣迭戈分校物理學(xué)教授赫什(J.E.Hirsch)在2005年提出了一個(gè)評(píng)價(jià)科學(xué)家個(gè)人科研產(chǎn)出的新指標(biāo)h指數(shù)。[17]赫什教授指出，假如一位科學(xué)家發(fā)表的N[，p]篇論文中有h篇論文被引次數(shù)至少為h，其他(N[，p]-h)篇論文中每篇的被引次數(shù)都小于等于h，那么這位科學(xué)家的h指數(shù)就是h。h指數(shù)越高，科學(xué)家的科學(xué)奉獻(xiàn)和成就越大?！蔡烊弧?Nature)曾專文報(bào)導(dǎo)并肯定h指數(shù)將對(duì)科學(xué)家的科研評(píng)價(jià)起到主要作用。[18]該指數(shù)將科學(xué)家發(fā)表論文的數(shù)量和被引次數(shù)有機(jī)地結(jié)合起來(lái)，引起了廣泛關(guān)注。有學(xué)者進(jìn)一步將h指數(shù)拓展到對(duì)團(tuán)隊(duì)、機(jī)構(gòu)的評(píng)價(jià)，也獲得了積極的結(jié)果。當(dāng)然，利用科學(xué)計(jì)量學(xué)指標(biāo)評(píng)價(jià)科研工作也存在一些值得留意的問(wèn)題。莫伊對(duì)此做過(guò)歸納，重要包含五個(gè)方面：一是數(shù)據(jù)收集與數(shù)據(jù)精到準(zhǔn)確性。應(yīng)根據(jù)正確的匹配程序采集文獻(xiàn)被引用次數(shù)，要留意自引和多作者合作文獻(xiàn)被引用次數(shù)計(jì)算問(wèn)題。二是科學(xué)引文索引收錄文獻(xiàn)的覆蓋范圍與偏好?？茖W(xué)引文索引對(duì)不同學(xué)科文獻(xiàn)和不同語(yǔ)種文獻(xiàn)的覆蓋水平不同，英語(yǔ)期刊是主體，如僅利用該數(shù)據(jù)庫(kù)對(duì)非英語(yǔ)國(guó)家開(kāi)展科研評(píng)價(jià)會(huì)產(chǎn)生消極影響。三是一般效度。科學(xué)家都具有多個(gè)任務(wù)和職責(zé)，被引次數(shù)并沒(méi)有把他所做的全部活動(dòng)考慮進(jìn)去。作者引用動(dòng)機(jī)有許多，有些動(dòng)機(jī)與被引用文獻(xiàn)的質(zhì)量聯(lián)絡(luò)很小。四是評(píng)價(jià)指標(biāo)及其效度。要區(qū)分不同學(xué)科之間引用行為的差別，對(duì)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化。五是引文分析應(yīng)用與解釋經(jīng)過(guò)中要留意的問(wèn)題，重要牽涉引文分析在科研評(píng)價(jià)中的角色，引文分析與同行評(píng)議的關(guān)系，引文分析在宏觀、中觀和微觀層面使用的效果比較等。這個(gè)歸納較為系統(tǒng)地梳理了引文分析的局限和留意事項(xiàng)，對(duì)更好地應(yīng)用和理解科學(xué)計(jì)量學(xué)指標(biāo)有一定幫助。[19]隨著互聯(lián)網(wǎng)的快速發(fā)展，文獻(xiàn)數(shù)據(jù)平臺(tái)建設(shè)得到更多看重，利用科學(xué)計(jì)量學(xué)開(kāi)展科研評(píng)價(jià)有了更多數(shù)據(jù)支持?？萍纪度氲牟粩嘣黾蛹皩?duì)投入效益的看重、對(duì)科學(xué)共同體之外第三方評(píng)價(jià)機(jī)構(gòu)的需要，為科學(xué)計(jì)量學(xué)方法的應(yīng)用提供了市場(chǎng)。三、科研評(píng)價(jià)目的與方法的適切性基于對(duì)科研評(píng)價(jià)類型的從新劃分和對(duì)兩種重要評(píng)價(jià)方法合理性及其缺陷的分析，本文對(duì)每一種詳細(xì)評(píng)價(jià)類型希望實(shí)現(xiàn)的目的、現(xiàn)行的重要評(píng)價(jià)方法進(jìn)行了梳理，并根據(jù)目的與方法之間的匹配情況提出了改良建議。對(duì)單一科研結(jié)果的評(píng)價(jià)，總體上以同行評(píng)議為主(見(jiàn)表2)。這與科研工作的實(shí)質(zhì)規(guī)定性和科學(xué)共同體尋求自治的傳統(tǒng)是一致的，而在牽涉資源和榮譽(yù)分配的評(píng)價(jià)類型中，主管部門行政官員越來(lái)越普遍地參與其中，這一點(diǎn)引起行政權(quán)利對(duì)學(xué)術(shù)權(quán)利干涉的質(zhì)疑是難免的，但要視官員在評(píng)審中的地位而定；評(píng)審程序一般包含通信或會(huì)議評(píng)審等多個(gè)環(huán)節(jié)，形式與程序上保證了評(píng)價(jià)的公正和公平。但同行評(píng)議存在的問(wèn)題顯示，要確保同行評(píng)審人根據(jù)科研結(jié)果具體表現(xiàn)出出的質(zhì)量對(duì)其進(jìn)行評(píng)價(jià)，而不受非結(jié)果因素影響，需要對(duì)同行評(píng)議的細(xì)節(jié)進(jìn)行改良。比方對(duì)評(píng)審人隱匿結(jié)果作者的姓名和供職機(jī)構(gòu)等。對(duì)已經(jīng)公開(kāi)發(fā)表的論文等結(jié)果進(jìn)行評(píng)價(jià)時(shí)，應(yīng)該在同行評(píng)議的同時(shí)，提供可檢驗(yàn)的科學(xué)計(jì)量學(xué)指標(biāo)信息，既供同行專家開(kāi)展評(píng)價(jià)時(shí)參考，也對(duì)同行評(píng)議結(jié)果與計(jì)量學(xué)指標(biāo)得分差別顯著的例外情況進(jìn)行控制?？傮w上，對(duì)單一科研結(jié)果自己的評(píng)價(jià)仍然有賴于同行專家的公正裁決，但是同行評(píng)議存在的公認(rèn)的漏洞，十分是在我們國(guó)家人情社會(huì)的文化背景下，在計(jì)量信息收集允許的情況下，均需設(shè)計(jì)科學(xué)合理的定量指標(biāo)以平衡同行評(píng)議可能出現(xiàn)的問(wèn)題。以科研結(jié)果為指標(biāo)的相關(guān)評(píng)價(jià)，實(shí)際上可分為四個(gè)條理，包含對(duì)科技工作者的評(píng)價(jià)、對(duì)學(xué)科的評(píng)價(jià)和排序、對(duì)大學(xué)的評(píng)價(jià)和排序、對(duì)國(guó)家和地區(qū)的評(píng)價(jià)(見(jiàn)表3)。其中，對(duì)學(xué)科的評(píng)價(jià)可以以理解為對(duì)大學(xué)的單項(xiàng)評(píng)價(jià)。對(duì)大學(xué)的評(píng)價(jià)，包含總體評(píng)價(jià)、學(xué)術(shù)評(píng)價(jià)等多種詳細(xì)形式。在不同的詳細(xì)形式中，科研結(jié)果在其中的權(quán)重顯然不同。比方在上海交通大學(xué)高等教育研究院2003年開(kāi)始發(fā)布的世界大學(xué)學(xué)術(shù)排名中，僅針對(duì)大學(xué)最具有國(guó)際可比性的學(xué)術(shù)研究進(jìn)行，結(jié)果完全根據(jù)包含五個(gè)一級(jí)指標(biāo)的計(jì)量學(xué)指標(biāo)體系評(píng)價(jià)得分，沒(méi)有涵蓋人才培養(yǎng)、社會(huì)效勞等國(guó)別差別明顯的方面。而〔泰晤士報(bào)高等教育副刊〕2004年開(kāi)始發(fā)布的世界大學(xué)排名則努力涵蓋大學(xué)教學(xué)、科研、國(guó)際聲譽(yù)等多個(gè)方面，而且引入同行評(píng)議，對(duì)各國(guó)大學(xué)打分；對(duì)國(guó)家/地區(qū)綜合競(jìng)爭(zhēng)力或科技競(jìng)爭(zhēng)力的評(píng)價(jià)，也在不同水平上根據(jù)該國(guó)/地區(qū)科研投入與產(chǎn)出的多個(gè)方面指標(biāo)。從不同條理評(píng)價(jià)的現(xiàn)有方法看，對(duì)科技工作者的評(píng)價(jià)是基礎(chǔ)且敏感的評(píng)價(jià)之一。當(dāng)前采取的同行與所屬單位官員為主的評(píng)價(jià)基本符合實(shí)際。但是同行和官員評(píng)價(jià)科技工作者根據(jù)的重?cái)?shù)量、輕質(zhì)量的計(jì)量學(xué)指標(biāo)最受批評(píng)，也有違科研工作重在創(chuàng)新的屬性，建議僅以少量代表性結(jié)果的同行評(píng)議和計(jì)量學(xué)指標(biāo)評(píng)價(jià)代替數(shù)量標(biāo)準(zhǔn)。為避免國(guó)內(nèi)同行評(píng)議存在的裙帶影響，需要改良同行專家的遴選程序，增長(zhǎng)一定比例的國(guó)際同行。對(duì)學(xué)科和大學(xué)，既有獨(dú)立第三方開(kāi)展的評(píng)價(jià)，也有行政部門委托相關(guān)機(jī)構(gòu)開(kāi)展的評(píng)價(jià)，不同主體開(kāi)展的評(píng)價(jià)目的、范圍和方法會(huì)有所差別。獨(dú)立第三方開(kāi)展的評(píng)價(jià)不具有行政發(fā)動(dòng)的組織力量，數(shù)據(jù)采集等重要依靠公開(kāi)渠道，評(píng)價(jià)結(jié)果根據(jù)計(jì)量學(xué)指標(biāo)的實(shí)際得分，如開(kāi)展同行聲譽(yù)調(diào)查，也相對(duì)獨(dú)立。評(píng)價(jià)的目的重要是提供可比信息。由行政部門委托的相關(guān)評(píng)價(jià)，在專家遴選、數(shù)據(jù)采集、指標(biāo)體系牽涉等方面更多的是為同行評(píng)議提供基礎(chǔ)，實(shí)質(zhì)上仍然是同行評(píng)議。但是，從評(píng)價(jià)對(duì)象與評(píng)價(jià)方法的適切性來(lái)看，以科研結(jié)果為指標(biāo)的四