數(shù)字參考服務(wù)質(zhì)量評估體系建立初探

數(shù)字參考服務(wù)質(zhì)量評估體系建立初探郭晶（上海交通大學(xué)圖書館上海200030）摘要隨著圖書館網(wǎng)上實時參考服務(wù)的迅速崛起，為了保障其順利可持續(xù)發(fā)展，有關(guān)數(shù)字參考服務(wù)質(zhì)量評估標(biāo)準(zhǔn)的研究日益受到關(guān)注。文章根據(jù)國內(nèi)外圖書館利用實時軟件技術(shù)進行咨詢服務(wù)涉及到的有關(guān)質(zhì)量評價環(huán)節(jié)，從與之緊密相關(guān)的服務(wù)系統(tǒng)、服務(wù)過程、回答質(zhì)量、用戶滿意程度、服務(wù)統(tǒng)計、成本測度和服務(wù)開放程度等七個方面考慮，提出了三級服務(wù)質(zhì)量評估指標(biāo)體系，并列出了具體指標(biāo)項目。同時，根據(jù)層次分析法等評估方法，對數(shù)字參考服務(wù)質(zhì)量評估的實際操作進行了探討。關(guān)鍵詞數(shù)字參考服務(wù)質(zhì)量評估三級評估指標(biāo)體系層次分析法（AHP）OnthedevelopmentofthedigitalreferenceservicequalityevaluationsystemGuojing(ShanghaiJiaoTongUniversitylibrariesShanghai200030)AbstractWiththerapidriseofthelibraries’real-timereferenceservicesontheweb,thestudyonthequalityevaluationstandardsfordigitalreferenceserviceshasbeengivenmoreandmoreattentionforitsfuturestabledevelopment.Basedonthequalityevaluationprocesscurrentlyinvolvedinthereferenceservicesbyreal-timesoftwaretechnologyinthelibrariesathomeandabroadandtakingintoconsiderationsevenrelatedaspectsofservicesystems,serviceprocess,answersquality,usersatisfactorydegree,servicestatistics,costmeasurementandserviceopeningdegree,thispaperbringsforwardathree-levelindicatorsystemforservicequalityevaluationandsetsoutadetailedindex.Atthesametime,thispaperdiscussestherealoperationonthedigitalreferenceservicequalityevaluationbasedontheanalyticalhierarchyprocess.Keywordsdigitalreferenceservices；qualityevaluation；Three-levelmeasurementindicatorsystem；AnalyticalHierarchyProcess（AHP）前言Email 隨著數(shù)字圖書館的發(fā)展和應(yīng)用，以計算機網(wǎng)絡(luò)通訊和實時技術(shù)為依托的網(wǎng)上咨詢服務(wù)越來越多地出現(xiàn)在圖書館的門戶網(wǎng)站上。這種數(shù)字參考服務(wù)（digitalreferenceservice，或稱虛擬參考服務(wù)virtualreferenceservice、實時服務(wù)real-timeservice等），與傳統(tǒng)參考服務(wù)的最大區(qū)別就是能依靠先進的網(wǎng)絡(luò)工具和服務(wù)系統(tǒng)，在網(wǎng)上再現(xiàn)傳統(tǒng)咨詢服務(wù)的場景，與遠程用戶進行更為便捷的實時交流。從廣義講，這種基于web的數(shù)字參考咨詢服務(wù)主要有五種形式（參見圖1）：email信箱、BBS留言板或留言簿，在線填寫的web表單，F(xiàn)AQ（frequentlyaskedquestions，常見問題解答）以及實時解答。咨詢內(nèi)容主要是利用圖書館或網(wǎng)上資源時遇到的問題，有的也包括讀者薦書、意見和資源導(dǎo)航等。有的圖書館還提出了服務(wù)承諾，請讀者監(jiān)督。EmailWeb表單BBS圖書館主頁Web表單BBS圖書館主頁實時解答FAQ用戶用戶戶實時解答FAQ用戶用戶戶咨詢員圖1圖書館數(shù)字參考咨詢服務(wù)形式網(wǎng)上咨詢服務(wù)在整合了上述多種形式后，以其方便、快捷、全面的特征逐漸成為圖書館咨詢服務(wù)的主導(dǎo)形式，其中，實時的數(shù)字參考服務(wù)又是最具代表形式和發(fā)展最受關(guān)注的網(wǎng)上服務(wù)項目。同時，數(shù)字參考服務(wù)的順利進行依賴于有效的質(zhì)量評估機制，但目前對其服務(wù)質(zhì)量評估的策略遠遠不能滿足發(fā)展要求，因而，建立一套行之有效的數(shù)字參考質(zhì)量評估體系顯得尤為重要。本文以國內(nèi)外相關(guān)領(lǐng)域的研究和圖書館的實踐為基礎(chǔ)，探討了針對數(shù)字參考服務(wù)的質(zhì)量評估體系建立及具體實現(xiàn)方法。1研究現(xiàn)狀圖書館服務(wù)的質(zhì)量評估標(biāo)準(zhǔn)研究最早可追溯到20世紀(jì)80年代，但有關(guān)數(shù)字參考服務(wù)的評價則集中在90年代后期，國外圖書情報領(lǐng)域做了大量工作。著名的VRD項目組的syracuse大學(xué)信息研究所在原來為美國國家教育部設(shè)計的AskERIC服務(wù)的基礎(chǔ)上，于1998年提出了“questioninterchangeprofile（QuIP）”，該標(biāo)準(zhǔn)是一個合作化數(shù)字參考系統(tǒng)共享與交換提問和回答信息的元數(shù)據(jù)描述標(biāo)準(zhǔn)，提供了一種跨平臺、跨媒介地交換信息的通用表達方法。1999年，美國國會圖書館啟動的knowledgeBit項目，經(jīng)過大量各類型圖書館與項目的討論、測試，形成關(guān)于數(shù)字參考處理管理的通用標(biāo)準(zhǔn)數(shù)據(jù)格式。2001年，ERIC和AnswerBaseCorporation將該項目的研究成果作為“數(shù)字參考管理標(biāo)準(zhǔn)（digitalreferencemanagementstandard）提交給美國國家信息標(biāo)準(zhǔn)組織（NISO）。1潘衛(wèi).數(shù)字參考服務(wù):發(fā)展與思考.大學(xué)圖書館學(xué)報,2002(4):63～691VRD項目組也于2000年10月提出了“數(shù)字參考服務(wù)的質(zhì)量因素（第4版）1潘衛(wèi).數(shù)字參考服務(wù):發(fā)展與思考.大學(xué)圖書館學(xué)報,2002(4):63～69國內(nèi)相關(guān)研究不是很多，已有的成果主要在近一兩年，如金更達先生的《圖書館服務(wù)質(zhì)量評價實現(xiàn)探討》2金更達.圖書館服務(wù)質(zhì)量評價實現(xiàn)探討.大學(xué)圖書館學(xué)報,2002(3):49～54[3]http://www.iso.ch/iso/en/ISOOnline.openerpage，2003-03-162，提出了基于用戶“期望——感知”的評價模型。目前，相關(guān)的國際標(biāo)準(zhǔn)和存在的評估模式只針對整個圖書館及信息服務(wù)等宏觀角度，而缺少專門為數(shù)字參考服務(wù)制訂的實際可行的標(biāo)準(zhǔn)。如美國國家標(biāo)準(zhǔn)局制訂的ANSI/NISOZ39.7/1995，詳見<<LibraryStatistics>>中“Serviceandactivitymeasures”一節(jié)；另外，國際標(biāo)準(zhǔn)化組織ISO(InternationalOrganizationforStandardization)也于1998年制訂了相關(guān)標(biāo)準(zhǔn)，如ISO11620:1998（Informationanddocumentation——Libraryperformanceindicators：信息與文獻——圖書館績效指標(biāo)）,其中關(guān)于參考咨詢服務(wù)的評估指標(biāo)主要在館際互借和用戶滿意度兩方面。[4]郭晶林皓明.關(guān)于圖書館利用chat軟件進行實時咨詢服務(wù)的探討.大學(xué)圖書館學(xué)報,20022金更達.圖書館服務(wù)質(zhì)量評價實現(xiàn)探討.大學(xué)圖書館學(xué)報,2002(3):49～54[3]http://www.iso.ch/iso/en/ISOOnline.openerpage，2003-03-16[4]郭晶林皓明.關(guān)于圖書館利用chat軟件進行實時咨詢服務(wù)的探討.大學(xué)圖書館學(xué)報,2002(6):49～53[5]/conferences/VRD2001/，2002-11-03[6]7:8080/virtual/skin/myd.htm，2003-05-092數(shù)字參考服務(wù)質(zhì)量評估三級指標(biāo)體系 根據(jù)目前圖書館基于web形式的數(shù)字參考服務(wù)現(xiàn)狀，尤其是利用實時軟件技術(shù)進行咨詢服務(wù)涉及到的有關(guān)質(zhì)量評估環(huán)節(jié)，[7]陳偉.正確認(rèn)識層次分析法(AHP).人類工效學(xué),2000(2):32～35[7]陳偉.正確認(rèn)識層次分析法(AHP).人類工效學(xué),2000(2):32～352.1七種數(shù)字參考服務(wù)測度標(biāo)準(zhǔn)及指標(biāo)=1\*GB2⑴服務(wù)系統(tǒng)測度對用于數(shù)字參考服務(wù)的各系統(tǒng)平臺的軟硬件標(biāo)準(zhǔn)進行測度，以考慮是否適應(yīng)用戶需求和實時服務(wù)發(fā)展的趨勢，包含的指標(biāo)主要有系統(tǒng)性能和執(zhí)行標(biāo)準(zhǔn)兩方面。=2\*GB2⑵服務(wù)過程測度 針對整個咨詢問答過程所涉及到的各個環(huán)節(jié)，從服務(wù)初始到服務(wù)結(jié)束的評價以及相關(guān)的用戶認(rèn)證及服務(wù)政策等內(nèi)容，包含的指標(biāo)有服務(wù)程序、服務(wù)人員、服務(wù)政策、服務(wù)對象。=3\*GB2⑶回答質(zhì)量測度 該指標(biāo)主要針對咨詢問題的回答程度和效果，進行回答質(zhì)量測度，包含的指標(biāo)有回答質(zhì)量、答案價值、回答語言。=4\*GB2⑷用戶滿意程度 對接受服務(wù)的用戶進行滿意度問卷調(diào)查，是普遍使用、易于執(zhí)行的一項評估指標(biāo)。目前常見的問卷調(diào)查形式主要針對這一過程的測度標(biāo)準(zhǔn)設(shè)計，主要考慮的指標(biāo)有：咨詢員操作情況及效果、用戶使用情況及效果。=5\*GB2⑸服務(wù)統(tǒng)計測度根據(jù)用于數(shù)字參考服務(wù)的相關(guān)系統(tǒng)進行服務(wù)的跟蹤統(tǒng)計報表等信息，能比較直觀地反映出服務(wù)的效果。包含的統(tǒng)計指標(biāo)有：實時咨詢系統(tǒng)統(tǒng)計、其它服務(wù)系統(tǒng)如常見問題庫和學(xué)習(xí)中心使用情況統(tǒng)計。=6\*GB2⑹成本測度 根據(jù)經(jīng)濟學(xué)指標(biāo)，確定數(shù)字咨詢服務(wù)所涉及到的各項支出收益情況。由于傳統(tǒng)咨詢服務(wù)對成本測度考慮不多，所以這項指標(biāo)還有待于進一步完善。目前可考慮的指標(biāo)主要有：單項參考服務(wù)成本、整個數(shù)字參考服務(wù)成本及與圖書館其他服務(wù)成本的關(guān)系。=7\*GB2⑺服務(wù)開放程度 服務(wù)開放程度簡單說主要是指服務(wù)的影響范圍和合作情況。對于一項數(shù)字參考服務(wù)來講，其服務(wù)時間越長，服務(wù)人群越廣，服務(wù)影響面越大，評價結(jié)果就越好。2.2三級服務(wù)質(zhì)量評估指標(biāo)體系及具體指標(biāo)項目 表1列出了評價數(shù)字參考服務(wù)常用的具體指標(biāo)，指標(biāo)的確定綜合了國內(nèi)外有關(guān)研究及實踐，并根據(jù)目前上海交通大學(xué)圖書館使用情況，具有一定的普遍性和可操作性，并且可以隨著應(yīng)用的深入進行補充。為了便于評估，確定的指標(biāo)本著實用并易于比較評價的原則，在具體操作時，可以根據(jù)實際情況和需要，選擇其中的一項或幾項指標(biāo)進行橫向或縱向比較。表1三級服務(wù)質(zhì)量評估指標(biāo)體系及具體指標(biāo)項目一級指標(biāo)二級指標(biāo)三級指標(biāo)（具體評估項目）備注A服務(wù)系統(tǒng)測度A1系統(tǒng)性能A11穩(wěn)定性A12兼容性A13易用性A14可擴展性A2執(zhí)行標(biāo)準(zhǔn)A21各項系統(tǒng)指標(biāo)是否為國家標(biāo)準(zhǔn)A22各項系統(tǒng)指標(biāo)是否為國際標(biāo)準(zhǔn)A23問答記錄（知識庫記錄）形式是否符合元數(shù)據(jù)等標(biāo)準(zhǔn)A24有無合作組織問題交換標(biāo)準(zhǔn)B服務(wù)過程測度B1服務(wù)形式B11Email電子郵件咨詢B32專業(yè)技能；鍵盤技能；處理多重咨詢?nèi)蝿?wù)的能力；快速查檢技能；處理不同用戶的能力；網(wǎng)上信息搜索能力；知識積累和更新能力B12BBS留言版B13Web咨詢表單B14FAQ問題庫B15實時解答B(yǎng)2服務(wù)程序B21服務(wù)易獲取性B22響應(yīng)時間B23服務(wù)程序的清晰通明度B24用戶認(rèn)證制度B3服務(wù)人員B31解決問題的范圍B32工作人員培訓(xùn)及考核B4服務(wù)政策B41服務(wù)定期的總結(jié)與評價B42制訂合理的服務(wù)政策B5服務(wù)對象B51用戶信息私密性B52用戶認(rèn)知程度C回答質(zhì)量測度C1回答質(zhì)量C11答案正確性C32是否建立了統(tǒng)一的常用短語庫（反應(yīng)庫）C12交互性C2答案價值C21引導(dǎo)啟發(fā)性C22教育性C23影響力C3回答語言C31規(guī)范性C32統(tǒng)一性C33語種多樣性D用戶滿意程度D1咨詢員操作情況及效果D11回答準(zhǔn)確性D12回答反應(yīng)速度，用時長度D13服務(wù)態(tài)度D2用戶使用情況及效果D21技術(shù)易用性D22用戶信心度D23用戶接受程度D24服務(wù)效果E服務(wù)統(tǒng)計測度E1實時咨詢系統(tǒng)E11登陸用戶信息統(tǒng)計E11按天、月、IP地址進行統(tǒng)計分析E12用戶滿意度調(diào)查報表E2其它服務(wù)統(tǒng)計E21知識庫使用統(tǒng)計E22學(xué)習(xí)中心課件統(tǒng)計F成本測度F1單項參考服務(wù)成本F11執(zhí)行一項咨詢服務(wù)的支出收益情況F2整個數(shù)字參考服務(wù)成本F21維持?jǐn)?shù)字參考服務(wù)所需的設(shè)施開銷F22該支出對圖書館其他支出的影響G服務(wù)開放程度G1服務(wù)范圍G11服務(wù)時間長度G12服務(wù)地域范圍G2合作情況G21是否為地區(qū)合作組織成員G22是否為全球合作組織成員。3評估操作方法探討 目前針對數(shù)字參考服務(wù)質(zhì)量評估工作主要采取的是問卷調(diào)查法及統(tǒng)計報表分析法，這類方法簡便易行，但定性的成分所占比例較大，影響了評估結(jié)果的科學(xué)性。如果能和基于數(shù)學(xué)方法計算的定量方法結(jié)合起來，有利于評估結(jié)果的客觀和準(zhǔn)確。本文列舉兩種評估方法，在實踐中可根據(jù)實際情況結(jié)合起來使用。3.1網(wǎng)上問卷調(diào)查及統(tǒng)計報表分析法 該方法以定性評估為基礎(chǔ)，根據(jù)專家論證和相應(yīng)的質(zhì)量標(biāo)準(zhǔn)，確定調(diào)查內(nèi)容，并發(fā)布在網(wǎng)上供用戶填寫。經(jīng)過一段時間的數(shù)據(jù)積累，生成統(tǒng)計報表，再對報表進行分析。表2和表3分別是上海交大圖書館在實時解答后發(fā)送的用戶滿意度調(diào)查問卷（具體選項未列出）和統(tǒng)計報表，[8]陳洪云李貴春.層次分析法(AHP)在教學(xué)實驗室評估標(biāo)準(zhǔn)中的應(yīng)用.天津師大學(xué)報,2000(3):28～31[8]陳洪云李貴春.層次分析法(AHP)在教學(xué)實驗室評估標(biāo)準(zhǔn)中的應(yīng)用.天津師大學(xué)報,2000(3):28～31表2制訂用戶滿意度調(diào)查問卷內(nèi)容示例問卷調(diào)查內(nèi)容對應(yīng)三級指標(biāo)體系的具體項目您覺得這項服務(wù)使用起來如何？D21技術(shù)易用性您對我們的回答滿意嗎？D11回答準(zhǔn)確性；D13服務(wù)態(tài)度您認(rèn)為我們對提問的反應(yīng)速度如何？D12回答反應(yīng)速度，用時長度您喜歡用這種實時的聊天形式咨詢問題嗎？D23用戶接受程度您認(rèn)為這項服務(wù)對您利用圖書館有幫助嗎？D24服務(wù)效果您還會再次使用這項服務(wù)嗎？D22用戶信心度表3用戶滿意度調(diào)查問卷統(tǒng)計報表9王眾托.系統(tǒng)工程引論.北京:電子工業(yè)出版社,1984作者簡介：郭晶，女，助理館員，上海交通大學(xué)圖書館咨詢部工作。聯(lián)系方式:jguo@調(diào)查表非常滿意比較滿意感覺一般很不滿意有效問卷量使用方便與否89%8%3%0%124人回答滿意與否75%17%4%4%123人提問反應(yīng)速度74%11%7%8%125人此方式喜歡與否92%8%0%0%113人有無幫助90%10%0%0%110人以后是否會用93%0%7%0%127人 根據(jù)表3所列出的統(tǒng)計報表數(shù)字，可以清楚地了解用戶對服務(wù)內(nèi)容的反饋信息，從統(tǒng)計比率可以看出，用戶對整體服務(wù)效果還是認(rèn)可的。同時，通過統(tǒng)計分析，為評價并改善現(xiàn)有服務(wù)提供了依據(jù)。3.2層次分析法（AnalyticalHierarchyProcess，簡稱AHP） 根據(jù)三級質(zhì)量評估指標(biāo)體系和AHP的建模要求，把一級指標(biāo)作為目標(biāo)層，二級指標(biāo)作為準(zhǔn)則層1，三級指標(biāo)作為準(zhǔn)則層2，可以建立相應(yīng)的評估模型，該方法適于評價參考服務(wù)的整體質(zhì)量或其中幾項指標(biāo)的質(zhì)量標(biāo)準(zhǔn)，也適于不同單位數(shù)字參考服務(wù)質(zhì)量情況的比較。下面以服務(wù)系統(tǒng)的評估為例，建立模型并給出相應(yīng)的求解過程（參見圖2）：AHP模型的求解由以下三個步驟組成：本文發(fā)表在《上海交通大學(xué)學(xué)報》本文發(fā)表在《上海交通大學(xué)學(xué)報》2003年增刊=1\*GB2⑴計算單一目標(biāo)下同層各元素的單權(quán)重：計算自上而下逐層進行，如設(shè)上層為B，其下層為C，本文以C層為例說明單權(quán)重的計算方法。設(shè)B層目標(biāo)的總權(quán)重為b1、b2…bm，其下層目標(biāo)為C1、C2…Cn，相對于上層bk（k=1、2……m）的單權(quán)重表示為C1(k)，C2(k)…Cn（k）（k=1、2……m）。設(shè)C層目標(biāo)中的前S個與B層中目標(biāo)的Bk有關(guān)系，在Ci～Cj個目標(biāo)中，由有關(guān)專家評價出Ci目標(biāo)相對于Cj目標(biāo)的相對重要性，記為Cij，評價結(jié)果用1～9自然數(shù)來表示，評估標(biāo)準(zhǔn)如下：若認(rèn)為Ci比Cj同等重要，則取Cij=1，Cji=1； 若認(rèn)為Ci比Cj稍重要，則取Cij=3，Cji=1/3；可擴展性C4系統(tǒng)性能B1服務(wù)系統(tǒng)的評估可擴展性C4系統(tǒng)性能B1服務(wù)系統(tǒng)的評估A目標(biāo)層問題交換標(biāo)準(zhǔn)C8是否為國家標(biāo)準(zhǔn)C5是否為國際標(biāo)準(zhǔn)C6知識庫記錄形式是否符合元數(shù)據(jù)等標(biāo)準(zhǔn)C7執(zhí)行標(biāo)準(zhǔn)B2準(zhǔn)則層2易用性C3兼容性C2穩(wěn)定性C1準(zhǔn)則層1圖2運用AHP建立服務(wù)系統(tǒng)的評估模型問題交換標(biāo)準(zhǔn)C8是否為國家標(biāo)準(zhǔn)C5是否為國際標(biāo)準(zhǔn)C6知識庫記錄形式是否符合元數(shù)據(jù)等標(biāo)準(zhǔn)C7執(zhí)行標(biāo)準(zhǔn)B2準(zhǔn)則層2易用性C3兼容性C2穩(wěn)定性C1準(zhǔn)則層1若認(rèn)為Ci比Cj明顯重要，則取Cij=5，Cji=1/5； 若認(rèn)為Ci比Cj重要得多，則取Cij=7，Cji=1/7； 若認(rèn)為Ci比Cj絕對重要，則取Cij=9，Cji=1/9； 若屬于上述判斷之間，則可取2，4，6，8和1/2，1/4，1/6，1/8，確定了Cij后，就能構(gòu)造一個兩兩比較判斷矩陣：參考文獻9參考文獻 Bk—C：BkC1C2…CsC11C12…C1sC2