云存儲(chǔ)在圖書館中的應(yīng)用

云存儲(chǔ)在圖書館中的應(yīng)用

近年來，隨著計(jì)算機(jī)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)等高科技的蓬勃發(fā)展，存儲(chǔ)技術(shù)和存儲(chǔ)模式不斷變化。事實(shí)上就在幾年前,圖書館技術(shù)部門對存儲(chǔ)技術(shù)關(guān)注的并不是很多,這是因?yàn)樵趫D書館自動(dòng)化建設(shè)的初期,技術(shù)人員關(guān)注的熱點(diǎn)是圖書館的計(jì)算機(jī)自動(dòng)化管理,也就是如何使圖書館的采訪、編目、流通等傳統(tǒng)業(yè)務(wù)實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)化,而這些傳統(tǒng)業(yè)務(wù)所產(chǎn)生的相應(yīng)數(shù)據(jù)無非是館藏書目數(shù)據(jù)、讀者數(shù)據(jù)以及流通日志等一些基礎(chǔ)數(shù)據(jù)1,這些數(shù)據(jù)雖然數(shù)量大,但對存儲(chǔ)容量和存儲(chǔ)技術(shù)的要求不是很高。但這兩年來隨著數(shù)字化圖書館建設(shè)進(jìn)程的推進(jìn),大量的網(wǎng)絡(luò)數(shù)據(jù)庫、數(shù)據(jù)庫鏡像站、隨書光盤、在線視頻等新型服務(wù)產(chǎn)品的出現(xiàn),直接導(dǎo)致了電子資源數(shù)據(jù)的幾何級數(shù)激增,此外隨著要求圖書館資源整合和提供一站式服務(wù)的呼聲越來越高,傳統(tǒng)的存儲(chǔ)方案已經(jīng)力不從心,而且代價(jià)昂貴。本文將對圖書館網(wǎng)絡(luò)存儲(chǔ)引進(jìn)“云存儲(chǔ)”概念做一些探討。1圖書館數(shù)據(jù)的分類圖書館存儲(chǔ)的數(shù)據(jù)類型各異,因此對存儲(chǔ)的需求也有所不同,從圖書館的日常業(yè)務(wù)和讀者服務(wù)模式來看,主要有以下3大類。1.1傳統(tǒng)業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)效率和存儲(chǔ)穩(wěn)定性有待提高主要包括歷年來紙本書刊館藏目錄數(shù)據(jù)、歷年來紙本書刊采訪數(shù)據(jù)、歷年來紙本書刊流通數(shù)據(jù)等。以上海大學(xué)圖書館目前館藏300萬件、每年引進(jìn)新書9萬冊、續(xù)訂中外文報(bào)刊3000多種為例,可以看出傳統(tǒng)業(yè)務(wù)數(shù)據(jù)的量比較大,但數(shù)據(jù)結(jié)構(gòu)簡單且每年的數(shù)據(jù)增量基本穩(wěn)定,所以這類數(shù)據(jù)對存儲(chǔ)的可靠性、穩(wěn)定性、安全性以及存取性能要求很高2,對存儲(chǔ)容量和采用的存儲(chǔ)技術(shù)要求不高。1.2電子資源的總量和增量所需的增量將增主要包括歷年來引進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)庫、數(shù)據(jù)庫鏡像站、電子圖書、電子期刊以及多媒體資源等。隨著數(shù)字化圖書館和網(wǎng)絡(luò)技術(shù)的發(fā)展,電子資源已經(jīng)成為高校圖書館文獻(xiàn)資源的重要組成部分,在高校圖書館文獻(xiàn)信息服務(wù)中所占的比重日益提高。各高校對電子資源的引進(jìn)日漸頻繁,經(jīng)費(fèi)投入巨大,因此電子資源的數(shù)據(jù)量和每年增量都非常龐大。以上海大學(xué)圖書館為例,新館建成以來就不斷加大電子資源建設(shè)力度,電子資源數(shù)量從無到目前的40余種,涵蓋了世界上全部知名的高質(zhì)量電子資源。此外,上海大學(xué)擁有學(xué)生30000余人,每日對電子資源的訪問量也非常巨大。以上數(shù)據(jù)可以分為兩個(gè)部分,一部分是電子資源本身的數(shù)據(jù)量,這類數(shù)據(jù)的索引和全文數(shù)據(jù)因數(shù)據(jù)庫商存有數(shù)據(jù)備份,對存儲(chǔ)的安全性要求相對低些,但是數(shù)據(jù)本身結(jié)構(gòu)復(fù)雜,需要存儲(chǔ)容量巨大,圖書館需要不斷擴(kuò)容存儲(chǔ)設(shè)備來適應(yīng)數(shù)據(jù)量激增的嚴(yán)峻形勢;另外一部分是訪問鏡像和網(wǎng)絡(luò)數(shù)據(jù)庫時(shí)所產(chǎn)生的一系列的統(tǒng)計(jì)數(shù)據(jù)和讀者信息,這類統(tǒng)計(jì)數(shù)據(jù)對圖書館管理決策、服務(wù)評價(jià)以及成本分析意義重大,數(shù)據(jù)庫商本身沒有備份,因此這部分統(tǒng)計(jì)數(shù)據(jù)對存儲(chǔ)的安全性要求較高,一旦丟失的話將無法彌補(bǔ)修復(fù)。1.3交互數(shù)據(jù)庫的建立包括圖書館自建的特色數(shù)據(jù)庫數(shù)據(jù)以及隨書光盤上載的光盤數(shù)據(jù)等。以上海大學(xué)為例,自建了“錢偉長數(shù)據(jù)庫”、“上海作家作品數(shù)據(jù)庫”等,隨書光盤也配置有專門的服務(wù)器來進(jìn)行上載,對讀者提供交互服務(wù)。這類數(shù)據(jù)量中等,但屬于各圖書館特色館藏或獨(dú)家擁有,因此對存儲(chǔ)的安全性要求較高,如果數(shù)據(jù)丟失,損失很大。2圖書館網(wǎng)絡(luò)存儲(chǔ)技術(shù)隨著數(shù)字圖書館的數(shù)據(jù)存儲(chǔ)幾何級數(shù)增長,網(wǎng)絡(luò)存儲(chǔ)技術(shù)得到了應(yīng)用和推廣,目前主流的、前沿的網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要有以下3種3。2.1期應(yīng)用較普遍它是傳統(tǒng)的數(shù)字圖書館的資源系統(tǒng)進(jìn)行數(shù)據(jù)共享的存儲(chǔ)方案。服務(wù)器與存儲(chǔ)器設(shè)備基本一一對應(yīng),這種連接方式在圖書館發(fā)展的早期應(yīng)用較為普遍,因?yàn)樵缙诘臄?shù)字圖書館對存儲(chǔ)資源的要求并不高。但隨著數(shù)字圖書館的不斷發(fā)展,這種存儲(chǔ)技術(shù)暴露出了一些明顯的缺點(diǎn)。由于存儲(chǔ)設(shè)備與服務(wù)器一一對應(yīng),系統(tǒng)的擴(kuò)展能力有限;每臺(tái)服務(wù)器直接和存儲(chǔ)設(shè)備連接,數(shù)據(jù)的存儲(chǔ)、備份占用了很大的網(wǎng)絡(luò)帶寬,增加了LAN負(fù)擔(dān)。以上種種缺點(diǎn)使DAS只能應(yīng)用于單機(jī)或兩臺(tái)主機(jī)的集群環(huán)境中,因此它只適合小型數(shù)字圖書館。2.2投資更快的帶寬它是一種專用網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)\備份器。它以數(shù)據(jù)為中心,將存儲(chǔ)設(shè)備與服務(wù)器徹底分離,由于數(shù)據(jù)不再通過服務(wù)器內(nèi)存轉(zhuǎn)發(fā),而直接在客戶機(jī)和存儲(chǔ)設(shè)備間傳送,因而具有更快的響應(yīng)速度和更高的數(shù)據(jù)帶寬。因其物理位置靈活,可縮短用戶訪問時(shí)間,也提高了網(wǎng)絡(luò)吞吐量和系統(tǒng)性能。另外,NAS還支持異構(gòu)平臺(tái),網(wǎng)絡(luò)用戶可以使用不同的操作系統(tǒng)和存儲(chǔ)設(shè)備進(jìn)行通訊。但使用NAS設(shè)備存儲(chǔ)備份數(shù)據(jù)時(shí),要進(jìn)行帶寬消耗,而且它對數(shù)據(jù)的備份也不是集中化的。這些缺點(diǎn)注定NAS技術(shù)只能用來解決存儲(chǔ)容量不足的問題,而在管理超大容量的信息時(shí)很難有滿意的性能,只在中小型圖書館有較好的應(yīng)用前景。2.3存儲(chǔ)設(shè)備比較它是存儲(chǔ)技術(shù)進(jìn)入網(wǎng)絡(luò)時(shí)代的產(chǎn)物,它提供了靈活的存儲(chǔ)連接,服務(wù)器可以訪問存儲(chǔ)區(qū)域網(wǎng)上的任何存儲(chǔ)設(shè)備,如磁帶庫、磁盤陣列。同時(shí)存儲(chǔ)設(shè)備之間、存儲(chǔ)設(shè)備同SAN交換機(jī)之間也可以進(jìn)行通信。SAN技術(shù)具備可擴(kuò)展性極強(qiáng)、易存儲(chǔ)、可靠性強(qiáng)的優(yōu)勢,實(shí)現(xiàn)了服務(wù)器和存儲(chǔ)設(shè)備在物理上的分離,使不在機(jī)房的存儲(chǔ)變得很容易。隨著數(shù)字圖書館資源的全面整合,它更適合在大型數(shù)字圖書館中投入使用。3云存儲(chǔ)的概念和圖書館應(yīng)用程序的優(yōu)勢3.1持續(xù)整合多種類型存儲(chǔ)云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來的一個(gè)新的概念,是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。IBM大中華區(qū)云計(jì)算中心項(xiàng)目總監(jiān)朱近之指出:云存儲(chǔ)不是一個(gè)設(shè)備,而是一種服務(wù),具體說來,它是把數(shù)據(jù)存儲(chǔ)和訪問作為一種服務(wù)并通過網(wǎng)絡(luò)提供給用戶。云計(jì)算是提供計(jì)算能力,相應(yīng)的,云存儲(chǔ)是提供存儲(chǔ)能力4。下圖是云存儲(chǔ)系統(tǒng)架構(gòu)模型5。3.2云存儲(chǔ)與現(xiàn)有技術(shù)的比較從技術(shù)上看,存儲(chǔ)虛擬化也好,還是集群存儲(chǔ)、SAN+NAS等都是一種技術(shù),云存儲(chǔ)和它們之間雖沒有必然的聯(lián)系,但是從架構(gòu)上看,云存儲(chǔ)會(huì)更好地利用到現(xiàn)有的存儲(chǔ)技術(shù),更好進(jìn)行了發(fā)揮,對外提供統(tǒng)一的存儲(chǔ)外包服務(wù),充分體現(xiàn)著云存儲(chǔ)的優(yōu)勢。3.2.1提高數(shù)據(jù)安全隨著2009年末哥本哈根環(huán)境大會(huì)的召開,綠色和環(huán)保的概念越來越深入人心。然而隨著數(shù)據(jù)量的幾何增長,全世界30%的數(shù)據(jù)中心都面臨能源消耗過大的問題,隨之而來就是能源成本增加的壓力。維護(hù)和保養(yǎng)系統(tǒng),減少熱排放,節(jié)省電力,提高計(jì)算機(jī)和存儲(chǔ)的利用率對于美國著名的谷歌公司都成為了重要的問題,目前谷歌公司已經(jīng)發(fā)現(xiàn)的是6:十多萬臺(tái)計(jì)算機(jī)的發(fā)熱,對于環(huán)境的影響;巨大的電力消耗,成為日常開支的負(fù)擔(dān);保障十多萬臺(tái)計(jì)算機(jī)的故障自動(dòng)切換、自修復(fù)的操作系統(tǒng),網(wǎng)絡(luò)管理成為提高維護(hù)能力的關(guān)鍵;故障最多的是風(fēng)扇,每天壞大約1000個(gè)磁盤,低利用率時(shí)如何節(jié)約電力。云存儲(chǔ)具有具備相對穩(wěn)定的基礎(chǔ)技術(shù)、系統(tǒng)架構(gòu)、高性能的網(wǎng)絡(luò)環(huán)境,有助于提高硬件設(shè)備的利用率,節(jié)省能源,減少熱量,有利于環(huán)保。3.2.2存儲(chǔ)設(shè)備的選擇在多數(shù)圖書館的技術(shù)中心,基本上都是一個(gè)應(yīng)用對應(yīng)一個(gè)服務(wù)器,導(dǎo)致這些服務(wù)器的平均利用率很低,幾年就被淘汰,形成了大量的電子垃圾,極不利于環(huán)保和節(jié)能,并且浪費(fèi)了大量的圖書館經(jīng)費(fèi)。云存儲(chǔ)提供了一些誘人的優(yōu)勢。它是現(xiàn)收現(xiàn)付的模式,不需要基礎(chǔ)建設(shè)投資,并且不需要為未來的存儲(chǔ)需求購買多余的設(shè)備。你可以對存儲(chǔ)設(shè)備進(jìn)行動(dòng)態(tài)的擴(kuò)展,并且只需為你所使用的部分支付費(fèi)用,從而大大縮減了圖書館的硬件成本和自動(dòng)化系統(tǒng)建設(shè)成本。云存儲(chǔ)提供了可靠、安全的數(shù)據(jù)存儲(chǔ)中心,用戶不用擔(dān)心數(shù)據(jù)丟失、軟件更新、病毒入侵等問題。因?yàn)樵凇霸啤敝?有專業(yè)的IT團(tuán)隊(duì)來管理信息,有先進(jìn)的數(shù)據(jù)中心來保存數(shù)據(jù),嚴(yán)格的權(quán)限管理策略可以幫助用戶與指定的人共享數(shù)據(jù)6。云存儲(chǔ)的這種服務(wù)外包商業(yè)模式使得圖書館這種非IT單位,不再需要非常專業(yè)的高級編程或者軟件開發(fā)人員,這就很好地解決了圖書館界有經(jīng)驗(yàn)的專業(yè)技術(shù)人員高流通率問題,圖書館可以對一般技術(shù)人員重新配置或消減,從而節(jié)約了圖書館的人力資本,同時(shí)使得數(shù)據(jù)的維護(hù)更加專業(yè)化,服務(wù)的質(zhì)量和水平也得到提高。3.2.3定制相應(yīng)的云服務(wù)事實(shí)上,圖書館作為“云”的使用者,并不需要知道云存儲(chǔ)和云計(jì)算的具體技術(shù)細(xì)節(jié)或者系統(tǒng)架構(gòu),它只要付費(fèi)定制相應(yīng)的云服務(wù)即可。云計(jì)算對用戶端設(shè)備的要求低,用戶只要有一臺(tái)可以上網(wǎng)的電腦,有一個(gè)瀏覽器,就可以在瀏覽器中直接編輯存儲(chǔ)在“云”中的文檔。3.2.4圖書館管理更加靈活和人性化在云存儲(chǔ)系統(tǒng)中,圖書館的數(shù)據(jù)只有一份,保存在“云”中,所有符合權(quán)限的電子設(shè)備只要通過互聯(lián)網(wǎng)連接到“云”,就可以不受物理地址和時(shí)間限制的訪問所有資源。這就很好地解決了很多高校不同校區(qū)的訪問權(quán)問題,以及校內(nèi)校外的訪問權(quán)問題,云存儲(chǔ)不再受物理IP地址的局限,使得師生校內(nèi)、家中訪問學(xué)校圖書館資源變得隨心所欲,使圖書館的服務(wù)更加靈活和人性化。通過以上的分析,可以看出在有限的經(jīng)費(fèi)條件下,把握存儲(chǔ)技術(shù)的發(fā)展方向,構(gòu)建一個(gè)既具有前瞻性,又能整合現(xiàn)有計(jì)算機(jī)網(wǎng)絡(luò)和存儲(chǔ)設(shè)備,性能穩(wěn)定、安全可靠、維護(hù)方便的網(wǎng)絡(luò)存儲(chǔ)方案,就顯得十分重要,而云存儲(chǔ)的應(yīng)用,恰恰是一個(gè)很好的解決方案。4考慮到圖書館對“云存儲(chǔ)”的擔(dān)憂和解決方案4.1分間保護(hù)自己的外墻。請把其作為圖書館最大的疑惑就是數(shù)據(jù)是否安全?數(shù)據(jù)和系統(tǒng)都“生活”在別處,自家的防火墻沒法保護(hù)它。這引發(fā)了圖書館人對于云存儲(chǔ)提供者可靠程度的高度關(guān)注。如果“云”出現(xiàn)了問題,存在里面的圖書館歷年來購買的資源以及相關(guān)數(shù)據(jù)全都付之東流,可謂損失慘重。4.2云存儲(chǔ)供應(yīng)商對于云存儲(chǔ)來說,圖書館只是個(gè)使用者,按需訂購其服務(wù)的角色。所以如果選擇云存儲(chǔ),也就要選擇適合本館的云存儲(chǔ)供應(yīng)商,供應(yīng)商之間應(yīng)該有競爭機(jī)制,供應(yīng)商之間可以替代或者兼容,這就需要云存儲(chǔ)供應(yīng)商所提供的服務(wù)能夠遵循于共同的標(biāo)準(zhǔn)。沒有共同的標(biāo)準(zhǔn),就不可能實(shí)現(xiàn)從一家供應(yīng)商到另一家供應(yīng)商之間的零成本轉(zhuǎn)移,壟斷的“私有云”無法真正保證圖書館的利益和權(quán)利,因此制定一個(gè)開放性的標(biāo)準(zhǔn)顯得尤為重要。4.3構(gòu)之間的法律抗?fàn)幇褦?shù)據(jù)保存在別的地方,一些類型的信息可能會(huì)面臨安全或者服從法律的問題,機(jī)構(gòu)之間也有可能會(huì)出現(xiàn)法律的紛爭7。比如讀者信息,它們也需要考慮保存這些記錄的要求,圖書館可以選擇繼續(xù)在自己的系統(tǒng)中保存一些信息,把不那么敏感的數(shù)據(jù)處理交給云,比如說托管圖書館網(wǎng)站、備份多媒體收藏,或者儲(chǔ)存以及檢索書目數(shù)據(jù)。4.4云存儲(chǔ)是否可提供足夠的訪問性如果執(zhí)行大規(guī)模數(shù)據(jù)請求或數(shù)據(jù)恢復(fù)操作,那么云存儲(chǔ)是否可提供足夠的訪問性?如果我們的本地?cái)?shù)據(jù)發(fā)生了災(zāi)難性的損失,云服務(wù)商是否可以將數(shù)據(jù)再傳輸回來?4.5云計(jì)算的10個(gè)挑戰(zhàn)和相應(yīng)的解決方案請閱讀以下列表85數(shù)字圖書館云服務(wù)中心存在的問題事實(shí)上,“云”為CALIS三期建設(shè)提供了新的思路和可行的技術(shù)路線,即設(shè)計(jì)和開發(fā)CALIS數(shù)字圖書館云服務(wù)平臺(tái)(稱為Nebula平臺(tái)),構(gòu)建多級CA