存儲方案整體設(shè)計(jì).docx

目錄1. 存儲方案整體設(shè)計(jì)11. 存儲方案整體設(shè)計(jì)數(shù)據(jù)的存儲是檔案掃描系統(tǒng)的核心組成部分，肩負(fù)著中國第二歷史檔案館關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)的存儲與保護(hù)功能。由于系統(tǒng)包含掃描、加工、應(yīng)用、數(shù)據(jù)庫等重要系統(tǒng)，我們將依據(jù)不同應(yīng)用特點(diǎn)進(jìn)行方案設(shè)計(jì)，按應(yīng)用性能需求、訪問方式等不同的特點(diǎn)提供不同的存儲方式。在本項(xiàng)目當(dāng)中，數(shù)據(jù)在進(jìn)行加工系統(tǒng)中，既需要將數(shù)據(jù)傳送到相應(yīng)的服務(wù)器，也需要將數(shù)據(jù)進(jìn)行本地存儲。進(jìn)行本地存儲的好處是可以將得到的數(shù)據(jù)進(jìn)行本地再處理，也可以作為數(shù)據(jù)的備份。整體拓?fù)浣Y(jié)構(gòu)圖：數(shù)據(jù)在掃描、加工處理過程中，會從核心存儲得到一個(gè)存儲空間用于文件臨時(shí)存放，隨著業(yè)務(wù)流程推進(jìn)，掃描數(shù)據(jù)最終變成了成品數(shù)據(jù)，核心存儲中會劃分一定的空間用于成品數(shù)據(jù)存放。由于整個(gè)系統(tǒng)數(shù)據(jù)量比較大，因此對系統(tǒng)的存儲容量、存儲的方式、數(shù)據(jù)的安全性、數(shù)據(jù)的可用性就有較高的要求。數(shù)據(jù)存儲采用分級存放方式，分級存儲定義為三級：1.1 在線方式紙質(zhì)檔案的掃描工作是中國第二歷史檔案館的生產(chǎn)系統(tǒng)，為考慮到大量的數(shù)據(jù)的安全存放，我們建議采用EMC VNX7500統(tǒng)一存儲系統(tǒng)和EMC Isilon IQ 108NL群集存儲設(shè)備作為數(shù)字檔案的集中存儲，并且該系統(tǒng)還需要為數(shù)據(jù)庫等核心業(yè)務(wù)系統(tǒng)提供高性能的存儲環(huán)境，同時(shí)也能為加工、檢索等業(yè)務(wù)提供NAS共享存儲環(huán)境。在線方式主要為應(yīng)用系統(tǒng)和業(yè)務(wù)系統(tǒng)提供存儲空間，如數(shù)據(jù)庫、應(yīng)用服務(wù)器。以及結(jié)合后面的近線存儲方式，歸檔系統(tǒng)會根據(jù)制定的策略將數(shù)據(jù)分成頻繁訪問和非頻繁訪問數(shù)據(jù)，頻繁訪問的數(shù)據(jù)會存放在在線的磁盤陣列中。因此，存儲設(shè)備需要具備穩(wěn)定、安全、高效及可擴(kuò)展等諸多性能特點(diǎn)。結(jié)合我們的業(yè)務(wù)類型和數(shù)據(jù)文件類型，對存儲設(shè)備進(jìn)行了選型和定制。1.2 近線方式1.2.1 為什么要近線存儲掃描加工后的海量數(shù)據(jù)需求的增加速度比想象中的更快。所帶來的解決起來看似不難，只要購買更多的主存儲設(shè)備即可，但因此會產(chǎn)生更多的生產(chǎn)效率和成本問題。l 新的存儲系統(tǒng)可能很快地超載-以指數(shù)級速度增長的存儲設(shè)備使對之產(chǎn)生的需求預(yù)測越來越難。新購買的存儲系統(tǒng)很快就不夠用了l 備份窗口越來越長-隨著存儲量不斷的增加，備份時(shí)間窗口不能滿足，管理員可能因此無法進(jìn)行完全的數(shù)據(jù)備份，只能選擇性地備份最重要的內(nèi)容。l 災(zāi)難恢復(fù)要花費(fèi)更長的時(shí)間-備份的時(shí)間越長，災(zāi)難發(fā)生時(shí)恢復(fù)的時(shí)間也越長，這樣就增加了宕機(jī)的時(shí)間，降低了生產(chǎn)效率。l 磁盤空間越大，查找數(shù)據(jù)花費(fèi)的時(shí)間就越長-如果用戶或是管理員不能及時(shí)獲取所需的相應(yīng)數(shù)據(jù)，那么備份系統(tǒng)還有什么價(jià)值呢？當(dāng)容量增加，相應(yīng)的查找文件的時(shí)間也會增加，生產(chǎn)效率則降低。l 過度存儲不僅浪費(fèi)成本，也不環(huán)保-當(dāng)對存儲的需求快速增加時(shí)，與之對應(yīng)的用電量也急劇增加。除了存儲系統(tǒng)運(yùn)行所消耗的電量，另外還需要更多的電量用于冷卻系統(tǒng)。此舉不僅提高了成本，也不符合大多數(shù)企業(yè)所倡導(dǎo)的綠色存儲的理念。1.2.2 近線存儲的解決方案近線存儲是將將年度加工的合格源數(shù)據(jù)的貯存，保存在磁帶庫中。用少量東西做更多事情的事情，實(shí)現(xiàn)控制成本并減少對主存儲的存儲需求總量。解決方案就是智能歸檔系統(tǒng)。對于昂貴的存儲資源來說，在主存儲上存儲非活動(dòng)數(shù)據(jù)是一個(gè)巨大的浪費(fèi)。針對現(xiàn)在越來越豐富的數(shù)據(jù)來說那是非常大的。另外，主存儲主要用于快速傳輸及處理過程數(shù)據(jù)，它基本上不能支持?jǐn)?shù)據(jù)恢復(fù)法規(guī)或在數(shù)據(jù)被寫入存儲若干年后，還能證實(shí)這一系列數(shù)據(jù)的完整性。這些都是歸檔存儲的重要要求。數(shù)據(jù)歸檔就是在二級存儲設(shè)備上存儲非活動(dòng)數(shù)據(jù)，如磁盤、磁帶等。這些數(shù)據(jù)是在將來可能需要的信息，因此不能刪除他們?？赡苡泻戏ǖ脑騺肀４孢@些數(shù)據(jù)，也可能是機(jī)構(gòu)需要，如市場研究或正當(dāng)?shù)睦碛傻?。不管怎樣，最后的決定是存儲而不是將其刪除。保存數(shù)據(jù)的問題或者是由于合法原因，或者是“以防萬一”，也就是它必須保存在某個(gè)地方。為了實(shí)現(xiàn)數(shù)據(jù)智能歸檔管理，節(jié)約磁盤存儲成本，實(shí)現(xiàn)數(shù)據(jù)長期保存，通過專業(yè)歸檔軟件對采集或交換而來的文本數(shù)據(jù)、圖像數(shù)據(jù)等固定內(nèi)容進(jìn)行手工拖拽式歸檔和自動(dòng)歸檔管理。系統(tǒng)將原始數(shù)據(jù)處理完成后，對這些原始數(shù)據(jù)做歸檔處理，將數(shù)據(jù)自動(dòng)遷移到成本更低磁帶介質(zhì)上，實(shí)現(xiàn)這部分?jǐn)?shù)據(jù)的長期、自動(dòng)保存管理，以便今后查詢調(diào)用。靈活的歸檔設(shè)置可以基于各種文件固有屬性，也可以通過手工添加標(biāo)簽，歸檔后的數(shù)據(jù)繼續(xù)保持在線可訪問。對近線數(shù)據(jù)采用“智能歸檔軟件”+物理磁帶庫的硬件框架平臺來實(shí)現(xiàn)。智能歸檔系統(tǒng)是將存儲在服務(wù)器上的數(shù)據(jù)檔案進(jìn)行智能處理的專業(yè)解決方案，通過自動(dòng)的、最終用戶觸發(fā)的、工作流集成的方式將數(shù)據(jù)歸檔到長期存儲平臺，并且滿足歸檔后的數(shù)據(jù)能夠?qū)崿F(xiàn)方便的應(yīng)用訪問和信息檢索。智能歸檔系統(tǒng)可將數(shù)據(jù)根據(jù)策略制定如：訪問頻繁程度、文件大小、最后修改的時(shí)間等方式進(jìn)行分類進(jìn)行歸檔。如認(rèn)定為3個(gè)月沒有訪問的數(shù)據(jù)為非頻繁訪問數(shù)據(jù)，系統(tǒng)將3個(gè)月來沒有任何訪問的數(shù)據(jù)遷移到磁帶庫中實(shí)現(xiàn)數(shù)據(jù)的近線存儲。在這期間如果有需要訪問歸檔后的數(shù)據(jù)，歸檔系統(tǒng)能將數(shù)據(jù)從磁帶庫中遷移當(dāng)磁盤中供應(yīng)用系統(tǒng)訪問。1.2.3 近線存儲的優(yōu)勢現(xiàn)有加工后的數(shù)據(jù)海量，通過智能歸檔后能大幅降低對主存儲空間的使用，并具有以下優(yōu)勢：l 減少資本投入-由于節(jié)省了大量的主存儲空間，IT部門節(jié)約了硬軟件的投資，也極大地減少了能源消耗。l 縮短備份窗口-由于縮短了備份時(shí)間，IT管理員能更有效地保證所有數(shù)據(jù)都得到保護(hù)。l 加快了災(zāi)難恢復(fù)的速度-企業(yè)能大幅減少宕機(jī)時(shí)間和由意外而導(dǎo)致的用戶生產(chǎn)效率的損失。1.3 離線方式離線存儲：離線存儲是將數(shù)據(jù)通過光盤、移動(dòng)硬盤、磁帶實(shí)現(xiàn)一份數(shù)據(jù)三份備份介質(zhì)的離線存儲。并可將數(shù)據(jù)運(yùn)送到異地進(jìn)行保存。 （約合計(jì)1810萬）1、光盤離線方式通過光盤刻錄系統(tǒng)直接將數(shù)據(jù)刻錄到光盤上。優(yōu)缺點(diǎn)對比：光盤離線方式優(yōu)點(diǎn)：存儲密度高；體積小、重量輕；不怕光、不怕磁、不需占用太多的物理空間；制作簡單，可通過網(wǎng)絡(luò)傳輸信息，實(shí)現(xiàn)資源共享；可隨機(jī)存取，信息的載噪比高；存儲和使用的壽命較長、單盤價(jià)格適中；適于存儲數(shù)據(jù)、文字、圖形、圖象、聲音等多種媒體信息；無機(jī)械磨損和刮傷，穩(wěn)定性好；光盤中的數(shù)據(jù)不易被修改。缺點(diǎn)：訪問時(shí)間較長；容量相對較小，備份大容量數(shù)據(jù)時(shí)，所需數(shù)量極大；備份速度慢、實(shí)時(shí)性差；備份編集麻煩，要湊空間；受光盤文件系統(tǒng)限制較多；定位數(shù)據(jù)繁瑣；盤片較多管理不方便、容易造成盤片磨損、訪問速度慢。2、磁盤離線方式通過大容量單體硬盤，將數(shù)據(jù)直接拷貝到硬盤上。優(yōu)缺點(diǎn)對比：磁盤離線方式優(yōu)點(diǎn)：容量大、傳輸速度高；使用方便、可靠；價(jià)格適中。磁盤離線方式缺點(diǎn)：數(shù)據(jù)過于集中；結(jié)構(gòu)過于復(fù)雜，除了盤片外，還有大量的電氣和機(jī)械機(jī)構(gòu)；在使用中容易被更改或誤刪，有一定的風(fēng)險(xiǎn)；防震抗摔性差、功耗較高、有噪音等。3、磁帶離線方式通過智能歸檔軟件將數(shù)據(jù)通過磁帶庫上進(jìn)行多份備份，其中一份可以出倉進(jìn)行離線保存，并可運(yùn)輸?shù)疆惖剡M(jìn)行異地保存。優(yōu)缺點(diǎn)對比：磁帶離線方式優(yōu)點(diǎn)是：體積小巧、攜帶方便，易于轉(zhuǎn)移，可作為遠(yuǎn)程災(zāi)難恢復(fù)備份；容量大、成本低；耐用、壽命長，適應(yīng)各種氣候條件下存放；磁帶的無文件系統(tǒng)格式，不受病毒、黑客和自然災(zāi)難的安全威脅。缺點(diǎn)：屬線性記錄介質(zhì)，涉及過多機(jī)械物理操作；沒有校驗(yàn)操作，可靠性較差，效率較低；需要加載或倒帶，需在磁帶卷中搜索數(shù)據(jù)文件，維護(hù)磁帶庫費(fèi)人工。4、縮微膠片離線方式萎縮膠片存儲就是利用縮微復(fù)制技術(shù)將檔案原件縮小拍攝在感光膠片上，經(jīng)加工制成縮微品保存、傳播和使用。優(yōu)缺點(diǎn)對比：優(yōu)點(diǎn)：縮微技術(shù)工藝成熟，性能穩(wěn)定；存儲密度大，造價(jià)和管理費(fèi)用較低；記錄效果好，速