數(shù)字化圖書館解決方案-V1.doc

數(shù)字化圖書館解決方案1 圖書館信息化概述目前在Internet和信息技術(shù)的不斷發(fā)展時代，對高等院校的教學(xué)與管理帶來了深遠(yuǎn)的影響，網(wǎng)絡(luò)遠(yuǎn)程教學(xué)、多媒體應(yīng)用、數(shù)據(jù)查閱、信息管理等應(yīng)用已經(jīng)成為高校教學(xué)與科研重要的一環(huán)，并逐步與學(xué)校的教學(xué)、服務(wù)與科研融為一體。高校校園網(wǎng)建設(shè)、網(wǎng)絡(luò)中心的規(guī)模與數(shù)字圖書館已經(jīng)成為全面衡量高等學(xué)校信息化水平的三項重要的指標(biāo)。圖書館除向全校師生提供教學(xué)、科研以及數(shù)字化信息服務(wù)外，還面向社會為眾多單位提供培訓(xùn)及咨詢服務(wù)。隨著計算機(jī)應(yīng)用的發(fā)展，圖書館服務(wù)器和數(shù)據(jù)量急速增加，管理的復(fù)雜程度越來越大。數(shù)字化圖書館是一種運(yùn)行在高速寬帶網(wǎng)絡(luò)上的、可跨庫檢索的海量數(shù)字化信息資源庫群，對有價值的圖像、文本、語音、影像、影視、軟件和科學(xué)數(shù)據(jù)等多媒體信息進(jìn)行收集，進(jìn)行數(shù)字化加工、存儲和管理，實(shí)施知識增值，并提供基于網(wǎng)絡(luò)的電子存取服務(wù)。數(shù)字圖書館在本質(zhì)上就是一個集數(shù)據(jù)庫應(yīng)用平臺、信息資源電子商務(wù)平臺與資源數(shù)字化加工服務(wù)平臺于一體的巨大數(shù)據(jù)倉庫，以互聯(lián)網(wǎng)為平臺，面向高校內(nèi)部廣大師生和外部互聯(lián)網(wǎng)用戶提供基于內(nèi)容的服務(wù)。作為圖書館發(fā)展的方向，數(shù)字圖書館應(yīng)以統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范為基礎(chǔ)、以數(shù)字化的各種信息為底層、以分布式海量資源庫群為支撐、以智能檢索技術(shù)為手段、以電子商務(wù)為管理方式，以寬帶高速網(wǎng)絡(luò)為傳輸通道，將豐富多彩的多媒體信息及時的傳遞給用戶。 2 圖書館系統(tǒng)概述數(shù)字圖書館系統(tǒng)是一個基于Internet/Intranet分布式環(huán)境、能夠針對用戶的需要提供信息服務(wù)的分布式海量信息系統(tǒng)，其基本功能包括：1. 提供用戶交互式信息瀏覽、查詢，具有基于內(nèi)容和知識的檢索引擎。2. 支持連續(xù)媒體的網(wǎng)絡(luò)傳輸，數(shù)字化圖書館所支持的數(shù)據(jù)類型包括具有時間基的連續(xù)媒體信息；支持多媒體信息流的同步和集成，建立先進(jìn)的同步模型和同步機(jī)制保證靜態(tài)信息流的空間同步和動態(tài)信息流間的時間同步。3. 建立通用、標(biāo)準(zhǔn)和規(guī)范的數(shù)字化圖書館系統(tǒng)結(jié)構(gòu)模型，提供數(shù)字化圖書館系統(tǒng)有效的資源管理和控制功能。4. 支持動態(tài)服務(wù)質(zhì)量（QoS）管理機(jī)制，系統(tǒng)可以根據(jù)用戶請求、系統(tǒng)檢測和資源均衡需求，動態(tài)地調(diào)整用戶端的QoS參數(shù)。5. 數(shù)字化圖書館系統(tǒng)的中心服務(wù)器和媒體服務(wù)器應(yīng)該具有可伸縮的體系結(jié)構(gòu)，根據(jù)資源的使用情況，采用適當(dāng)?shù)呢?fù)載平衡策略，把信息存取和網(wǎng)絡(luò)傳輸?shù)呢?fù)載均衡到相應(yīng)的機(jī)群中，同時，系統(tǒng)具有信息存儲和網(wǎng)絡(luò)帶寬的可擴(kuò)展性。6. 系統(tǒng)具有透明性，信息的重組在一定條件下是可見的，但是對用戶是透明的。7. 系統(tǒng)具有可移植性，具有可運(yùn)行特征的媒體信息在不同的運(yùn)行環(huán)境下都可以再現(xiàn)圖書館的主要組成部分：1. 圖書館管理系統(tǒng)2. 數(shù)據(jù)庫3. 電子期刊庫4. 電子圖書庫5. 碩博論文庫6. 自建數(shù)據(jù)庫：論文、期刊、圖書、聲像、教參等等7. 音視頻資源管理系統(tǒng)8. 網(wǎng)絡(luò)接入認(rèn)證系統(tǒng)9. 門戶網(wǎng)站10. 博客服務(wù)11. 論壇服務(wù)12. FTP系統(tǒng)13. 等等因此，可以說建設(shè)數(shù)字圖書館的關(guān)鍵技術(shù)在于存儲系統(tǒng)，一個良好的存儲系統(tǒng)解決方案應(yīng)能適應(yīng)圖書數(shù)據(jù)的海量存儲和不斷增長，同時能夠滿足當(dāng)今網(wǎng)絡(luò)環(huán)境復(fù)雜性和擴(kuò)展性的不斷提高。這樣的目標(biāo)無疑對存儲系統(tǒng)的要求很高，既要求高可用性、高可靠度和大容量，還需要低成本和易安裝管理。3 圖書館信息系統(tǒng)需求分析數(shù)字化圖書館就是將圖書館文獻(xiàn)信息數(shù)字化，并利用計算機(jī)技術(shù)儲存、查詢和發(fā)布，以滿足當(dāng)?shù)鼗蜻h(yuǎn)程讀者對文本、圖像、聲音等不同種類的信息需求。 數(shù)字圖書館的顯著特點(diǎn)就是： 各種信息（文獻(xiàn)，期刊，圖書，報紙，論文，音樂，視頻等）的數(shù)字化； 海量數(shù)據(jù)的存儲和管理； 對數(shù)據(jù)的有效訪問和查詢； 數(shù)字化資料在網(wǎng)上發(fā)布和傳遞。數(shù)字化圖書館的開發(fā)與建立是計算機(jī)、通信和網(wǎng)絡(luò)技術(shù)、海量存儲技術(shù)以及多媒體技術(shù)有機(jī)結(jié)合的產(chǎn)物，并且還引進(jìn)了大量數(shù)據(jù)庫技術(shù)及概念。 圖書館存儲系統(tǒng)需要存儲以下內(nèi)容的數(shù)據(jù)信息：1. 數(shù)據(jù)庫： 一般采用MS SQL和Oracle數(shù)據(jù)庫，數(shù)據(jù)量不大，一般在幾GB以內(nèi)，且數(shù)據(jù)增量不大。2. 電子圖書：以文本文件存儲和讀取為主， 文件大小一般為32KB-64MB，存在形式為靜態(tài)， 容量增長小于5%每年；3. 視頻資料信息：包括電影資料的VCD/DVD形式，MPEG2/4形式，以大文件形式存儲，流媒體讀取為主.文件大小一般為80MB -5GB；4. 電子期刊：以文本文件存儲和讀取為主，文件大小一般為32KB-64MB，存在形式為動態(tài)增長，增長速度為線性定值；5. 其他電子信息資料：包括音頻資料，碩博論文，自建資源庫，教參等等，以文件方式存儲，以流媒體或文件方式讀取，文件大小一般為32KB-40MB在圖書館中，數(shù)據(jù)庫的管理和操作是最核心的問題，所有的電子圖書、期刊和多媒體數(shù)據(jù)全部存放在大容量存儲系統(tǒng)中，存儲系統(tǒng)是整個數(shù)字圖書館的支撐點(diǎn)。根據(jù)圖書館中數(shù)據(jù)的特點(diǎn)來分析數(shù)字圖書館的數(shù)據(jù)應(yīng)用特點(diǎn)，數(shù)字圖書館大致可劃分為以下兩種類型的數(shù)據(jù)：1. 數(shù)據(jù)庫類型數(shù)據(jù)： 圖書館管理系統(tǒng)和外購商用軟件系統(tǒng)以及自建系統(tǒng)的數(shù)據(jù)庫。 需要提供高速數(shù)據(jù)檢索和查詢服務(wù)，數(shù)據(jù)訪問速度要求高。 需要提供7*24小時高可靠運(yùn)行2. 文件型數(shù)據(jù)： 包括電子圖書，期刊，論文，自建數(shù)據(jù)資源，影視頻資料文件等等。 需要提供大容量數(shù)據(jù)存儲空間。 大量數(shù)據(jù)處于靜止?fàn)顟B(tài)，少部分?jǐn)?shù)據(jù)在相應(yīng)時間內(nèi)處于活躍狀態(tài)。 數(shù)據(jù)訪問速度一般沒有嚴(yán)格要求。隨著圖書館數(shù)字化進(jìn)程的逐步深入，圖書館的應(yīng)用系統(tǒng)越來越多，環(huán)境也變得越來越復(fù)雜，這無形中增加了圖書館管理人員管理系統(tǒng)的難度。同時，隨著應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)也相應(yīng)大量增長，這就給原有的存儲系統(tǒng)提出了更高的要求。 平滑的提供更大的存儲空間 提供更快的響應(yīng)速度 提供更大的數(shù)據(jù)吞吐能力總體來講，圖書館信息化的關(guān)注點(diǎn)在于： 如何滿足業(yè)務(wù)連續(xù)性要求n 關(guān)鍵系統(tǒng)高性能n 關(guān)鍵服務(wù)不停頓n 關(guān)鍵數(shù)據(jù)不丟失 如何解決數(shù)據(jù)容量迅速增長帶來的成本、管理等問題3 圖書館信息系統(tǒng)推薦方案3.1 設(shè)備選型原則存儲系統(tǒng)是數(shù)字圖書館的核心基礎(chǔ)，其性能的優(yōu)劣，質(zhì)量的好壞，對全局的影響關(guān)系重大。在存儲系統(tǒng)平臺的選型上應(yīng)充分考慮系統(tǒng)應(yīng)用的水平和數(shù)據(jù)處理數(shù)據(jù)量的大小，綜合總體系統(tǒng)設(shè)計的方針，予以慎重選擇。在選擇存儲平臺時，要考慮的因素很多，需要根據(jù)實(shí)際情況決定，一般來講，以下特性是必須要考慮的： 存儲系統(tǒng)的IO性能 系統(tǒng)未來的可擴(kuò)展性 存儲系統(tǒng)的高可用性 存儲系統(tǒng)對各種服務(wù)器操作系統(tǒng)的兼容性與標(biāo)準(zhǔn) 系統(tǒng)管理員的可維護(hù)性3.2方案綜述數(shù)字圖書館中需要存儲的數(shù)字資源大致分為以下幾類： 圖書館管理系統(tǒng)數(shù)據(jù)庫 圖書館購買的各類商業(yè)軟件的數(shù)據(jù)庫 圖書館購買的各類電子化的圖書和期刊數(shù)據(jù) 圖書館自建資源庫根據(jù)對圖書館信息化系統(tǒng)的需求分析，可以總結(jié)出圖書館核心應(yīng)用的特點(diǎn)如下： 數(shù)據(jù)庫：是整個圖書館業(yè)務(wù)系統(tǒng)的核心 數(shù)據(jù)類型：數(shù)據(jù)庫(SQL, Oracle等） 性能要求：同時訪問人數(shù)較多，并發(fā)性能要求較高 可用性要求：不能停機(jī) 數(shù)據(jù)量：幾百M(fèi)B到幾個GB 圖書館應(yīng)用系統(tǒng)數(shù)據(jù)： 數(shù)據(jù)類型：文件（文本，圖像，音視頻） 性能要求：同時訪問人數(shù)較少，但傳輸數(shù)據(jù)量大，帶寬要求高 可用性要求：不能停機(jī) 數(shù)據(jù)量：很大且增長很快，從幾TB到幾十TB根據(jù)性能和可用性的分析，可以得出相應(yīng)推薦的存儲系統(tǒng)架構(gòu)如下：應(yīng)用數(shù)據(jù)類型性能容量數(shù)據(jù)保護(hù)典型存儲架構(gòu)FC SANiSCSI數(shù)字化圖書館管理系統(tǒng)（采、編、流）數(shù)據(jù)庫高低高優(yōu)選自建資源系統(tǒng)數(shù)據(jù)庫/文件中高高推薦可選碩博論文文件中高高推薦可選期刊文件中高低推薦可選電子圖書文件中高低推薦可選影視頻資料文件中高低推薦可選以下我們分別闡述DCN面向高校數(shù)字化圖書館的信息基礎(chǔ)架構(gòu)：l 數(shù)據(jù)集中存儲方案l 備份與恢復(fù)解決方案3.2.1 數(shù)據(jù)集中存儲方案針對高校圖書館信息化應(yīng)用系統(tǒng)的存儲需求，建議采用FC SAN+IP SAN的存儲架構(gòu)：l 將圖書館的圖書館管理系統(tǒng)數(shù)據(jù)庫、各類外購商業(yè)軟件數(shù)據(jù)庫系統(tǒng)以及自建資源數(shù)據(jù)庫等核心數(shù)據(jù)庫應(yīng)用通過FC SAN進(jìn)行連接，實(shí)現(xiàn)高性能、高可用的存儲；l 同時將一些應(yīng)用如門戶網(wǎng)站、FTP等通過IP SAN進(jìn)行連接，實(shí)現(xiàn)低成本、高效率的存儲。整體架構(gòu)從以下幾方面綜合設(shè)計，以滿足業(yè)務(wù)連續(xù)性的要求：l 存儲系統(tǒng)的高可用性：經(jīng)過用戶驗證達(dá)到5個9可用的存儲系統(tǒng)DCN CS4系列l(wèi) 存儲網(wǎng)絡(luò)SAN的高可用性：采用雙光纖交換機(jī)組成冗余SAN網(wǎng)絡(luò)，配合主機(jī)上的雙HBA卡和多路徑管理軟件（DCN PowerPath），實(shí)現(xiàn)數(shù)據(jù)訪問通道的高可用；圖書館信息化系統(tǒng)集中存儲結(jié)構(gòu)圖：本次系統(tǒng)建設(shè)的最終目標(biāo)是為高校圖書館提供一套具有國際先進(jìn)水平的電子化圖書館信息平臺，提供具有全球最新科技水平的SAN存儲區(qū)域網(wǎng)絡(luò)存儲平臺-DCN CS4，為高校圖書館未來的高速發(fā)展提供堅實(shí)的技術(shù)保障平臺。為保證服務(wù)器到SAN網(wǎng)絡(luò)的全冗余性連接，每臺服務(wù)器均配置2塊8Gbps FC光纖通道卡，分別連接到SAN網(wǎng)絡(luò)中的2臺光纖通道交換機(jī)上，即使其中的一條鏈路發(fā)生故障，服務(wù)器仍然可以通過冗余的光纖鏈路訪問磁盤陣列上的數(shù)據(jù)，從而達(dá)到系統(tǒng)的7*24小時不間斷運(yùn)行。本次存儲系統(tǒng)建設(shè)采用Open SAN體系結(jié)構(gòu)搭建高校圖書館數(shù)據(jù)存儲網(wǎng)絡(luò)，在整個SAN網(wǎng)絡(luò)中，所有設(shè)備之間的網(wǎng)絡(luò)鏈接均采用全冗余鏈接，確保整個存儲系統(tǒng)系統(tǒng)具有良好的鏈路冗余能力，為高校圖書館信息系統(tǒng)提供不間斷運(yùn)行的存儲網(wǎng)絡(luò)交換平臺。由于電子化圖書館中的數(shù)據(jù)絕大部分都是文本文件和圖片及音視頻資料文件，少部分?jǐn)?shù)據(jù)是數(shù)據(jù)庫數(shù)據(jù)，則在進(jìn)行圖書館存儲體統(tǒng)磁盤規(guī)劃時，應(yīng)充分考慮磁盤分級存儲管理，提高了磁盤利用率，同時也為圖書館節(jié)省了大量的資金投入。 將訪問性能要求高的數(shù)據(jù)庫文件保存在FC磁盤上 將訪問性能要求不高的文件類型的數(shù)據(jù)保存在SATA磁盤上本方案具有以下特點(diǎn)： DCN CS4 99.999%的高可用性DCN CS4結(jié)構(gòu)提供最高的可用性。所有組件都實(shí)現(xiàn)全面冗余并可熱交換。全光纖通道技術(shù)允許客戶隨時隨地擴(kuò)展其存儲容量,可以在不關(guān)閉應(yīng)用或者現(xiàn)有存儲能力的情況下，添加其它驅(qū)動器或者驅(qū)動器架（DAE，磁盤陣列機(jī)箱）。DCN CS4系統(tǒng)擁有各種先進(jìn)的數(shù)據(jù)保護(hù)功能全局熱備用、全面冗余的組件、通向光纖通道磁盤驅(qū)動器的雙重冗余路徑、磁盤扇區(qū)嗅探校錯技術(shù)（Sniffer）、斷電高速緩存數(shù)據(jù)寫入硬盤、端-端數(shù)據(jù)奇偶校驗以及一致性操作環(huán)境所提供的其它獨(dú)特功能，所有這一切都是DCN CS4享有盛名的原因所在。這種層次的數(shù)據(jù)保護(hù)應(yīng)該是所有客戶的要求，也是任何其它供應(yīng)商所無法滿足的。中端存儲配置發(fā)展很快，且變得日益復(fù)雜，這是因為較大的系統(tǒng)具有更多的驅(qū)動器，并且磁盤驅(qū)動器的密度越來越大。UltraPoint 是新一代的 DCN CS4技術(shù)，隨著客戶將系統(tǒng)向新級別的擴(kuò)展，它可確保CLARiiON繼續(xù)提供最高級別的可靠性和可用性。UltraPoint 技術(shù)將新的點(diǎn)對點(diǎn)光纖通道 DAE 設(shè)計與 FLARE 操作環(huán)境中新的故障檢測和隔離功能結(jié)合在一起。UltraPoint 將后端故障探測和隔離的精確度具體到了單個驅(qū)動器的級別。這一技術(shù)將使 DCN CS4系列能夠：n 在單個磁盤驅(qū)動器級別執(zhí)行故障檢測和隔離操作，因此可以采取糾錯措施。 n 在驅(qū)動器進(jìn)入聯(lián)機(jī)狀態(tài)之前檢驗驅(qū)動器 在加電時，在更換驅(qū)動器時，以及在增加容量時。 一體式分層存儲使用 DCN CS4存儲系統(tǒng)，高校圖書館可以整合大量不同類型和業(yè)務(wù)價值級別的數(shù)據(jù)，通過選擇滿足特定需要的驅(qū)動器選項，實(shí)現(xiàn)在一個系統(tǒng)中提供多種性能/成本級別的靈活性。存儲層次驅(qū)動器類型適用環(huán)境第1層146GB、300GB、450GB 15kRPM光纖磁盤并發(fā)訪問量大的圖書館管理系統(tǒng)第2層400GB 10kRPM光纖磁盤檢索系統(tǒng)、經(jīng)常訪問的文件類型數(shù)據(jù)（如近期的電子期刊等）第3層1TB 7200RPM SATA磁盤圖書館文件類型數(shù)據(jù)文件（不經(jīng)常訪問的）第4層1TB 5400RPM SATA磁盤圖書館文件類型數(shù)據(jù)文件（長期保存，歸檔） DCN PowerPath 軟件DCN CS4網(wǎng)絡(luò)存儲提供PowerPath軟件，它提供了連續(xù)的數(shù)據(jù)可用性，并針對主機(jī)環(huán)境實(shí)現(xiàn)性能優(yōu)化。PowerPath是一種常駐服務(wù)器的、性能和信息可用性增強(qiáng)路徑管理解決方案。PowerPath面向開放式服務(wù)器平臺集成了自動故障切換、動態(tài)負(fù)載均衡和信息存取優(yōu)化能力。PowerPath采用后臺工作方式，確保各種應(yīng)用保持連續(xù)可用。PowerPath的自動故障切換和動態(tài)恢復(fù)特性允許在服務(wù)器和存儲間數(shù)據(jù)路徑發(fā)生故障時，將數(shù)據(jù)存取分散至備用數(shù)據(jù)路徑中。這樣應(yīng)用程序就絕對不會因為適配器、電纜或通道控制器的單點(diǎn)故障而出現(xiàn)中斷。PowerPath運(yùn)用自動負(fù)載均衡特性，對多條I/O流開展智能化管理，并通過在多條路徑之間自動調(diào)整工作負(fù)荷的方式實(shí)現(xiàn)性能優(yōu)化。這種特性確保不會出現(xiàn)某條路徑負(fù)載過重，而其它路徑帶寬又沒有得到充分利用的情形，避免I/O瓶頸的出現(xiàn)。PowerPath確保圖書館關(guān)鍵業(yè)務(wù)數(shù)應(yīng)用隨時處于運(yùn)行狀態(tài)，賦予它們以最高可用性和最高性能，確保它們獲得業(yè)界領(lǐng)先性能存儲系統(tǒng)DCN CS4的所有優(yōu)勢。3.2.2 備份與恢復(fù)方案作為數(shù)據(jù)訪問量巨大的圖書館系統(tǒng)，無論是現(xiàn)在還是將來，數(shù)據(jù)和應(yīng)用安全和可靠對于它來說都是第一重要的。為此，在圖書館需求中把這些應(yīng)用系統(tǒng)在提供服務(wù)方面分為三個級別：第一級：要求接近零停機(jī)時間，如書目數(shù)據(jù)庫以及多校使用的網(wǎng)絡(luò)數(shù)據(jù)庫，應(yīng)采用熱備的方式保證。第二級：出現(xiàn)故障，恢復(fù)期可在1天的服務(wù)，如部分自建數(shù)據(jù)庫以及使用量較小的數(shù)據(jù)庫，數(shù)據(jù)備份應(yīng)盡可能采用在線方式，至少要近線存儲。第三級：可忍受較長恢復(fù)期的應(yīng)用，該類數(shù)據(jù)備份可采用近線或離線方式備份。引起數(shù)據(jù)丟失的原因很多，備份系統(tǒng)解決的問題主要在：l 硬件故障造成的數(shù)據(jù)丟失l 應(yīng)用程序/數(shù)據(jù)庫損壞造成的數(shù)據(jù)丟失l 人為錯誤造成的數(shù)據(jù)丟失l 黑客攻擊/病毒感染造成的數(shù)據(jù)丟失l 軟硬件系統(tǒng)升級與維護(hù)前的數(shù)據(jù)備份為避免以上問題造成的數(shù)據(jù)丟失，建議對圖書館的核心應(yīng)用系統(tǒng)進(jìn)行定期備份，并定期進(jìn)行數(shù)據(jù)恢復(fù)驗證測試，確保備份數(shù)據(jù)的可恢復(fù)性。需要備份的系統(tǒng)如下： 數(shù)字化圖書館管理系統(tǒng) 自建資源系統(tǒng)數(shù)據(jù)庫及自建數(shù)據(jù)資源建議采用DCN Networker集中備份管理軟件，實(shí)現(xiàn)關(guān)鍵應(yīng)用系統(tǒng)的在線備份；采用基于磁盤介質(zhì)