存儲(chǔ)方案整體設(shè)計(jì).docx

目錄1. 存儲(chǔ)方案整體設(shè)計(jì)11. 存儲(chǔ)方案整體設(shè)計(jì)數(shù)據(jù)的存儲(chǔ)是檔案掃描系統(tǒng)的核心組成部分，肩負(fù)著中國(guó)第二歷史檔案館關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)的存儲(chǔ)與保護(hù)功能。由于系統(tǒng)包含掃描、加工、應(yīng)用、數(shù)據(jù)庫(kù)等重要系統(tǒng)，我們將依據(jù)不同應(yīng)用特點(diǎn)進(jìn)行方案設(shè)計(jì)，按應(yīng)用性能需求、訪問(wèn)方式等不同的特點(diǎn)提供不同的存儲(chǔ)方式。在本項(xiàng)目當(dāng)中，數(shù)據(jù)在進(jìn)行加工系統(tǒng)中，既需要將數(shù)據(jù)傳送到相應(yīng)的服務(wù)器，也需要將數(shù)據(jù)進(jìn)行本地存儲(chǔ)。進(jìn)行本地存儲(chǔ)的好處是可以將得到的數(shù)據(jù)進(jìn)行本地再處理，也可以作為數(shù)據(jù)的備份。整體拓?fù)浣Y(jié)構(gòu)圖：數(shù)據(jù)在掃描、加工處理過(guò)程中，會(huì)從核心存儲(chǔ)得到一個(gè)存儲(chǔ)空間用于文件臨時(shí)存放，隨著業(yè)務(wù)流程推進(jìn)，掃描數(shù)據(jù)最終變成了成品數(shù)據(jù)，核心存儲(chǔ)中會(huì)劃分一定的空間用于成品數(shù)據(jù)存放。由于整個(gè)系統(tǒng)數(shù)據(jù)量比較大，因此對(duì)系統(tǒng)的存儲(chǔ)容量、存儲(chǔ)的方式、數(shù)據(jù)的安全性、數(shù)據(jù)的可用性就有較高的要求。數(shù)據(jù)存儲(chǔ)采用分級(jí)存放方式，分級(jí)存儲(chǔ)定義為三級(jí)：1.1 在線方式紙質(zhì)檔案的掃描工作是中國(guó)第二歷史檔案館的生產(chǎn)系統(tǒng)，為考慮到大量的數(shù)據(jù)的安全存放，我們建議采用EMC VNX7500統(tǒng)一存儲(chǔ)系統(tǒng)和EMC Isilon IQ 108NL群集存儲(chǔ)設(shè)備作為數(shù)字檔案的集中存儲(chǔ)，并且該系統(tǒng)還需要為數(shù)據(jù)庫(kù)等核心業(yè)務(wù)系統(tǒng)提供高性能的存儲(chǔ)環(huán)境，同時(shí)也能為加工、檢索等業(yè)務(wù)提供NAS共享存儲(chǔ)環(huán)境。在線方式主要為應(yīng)用系統(tǒng)和業(yè)務(wù)系統(tǒng)提供存儲(chǔ)空間，如數(shù)據(jù)庫(kù)、應(yīng)用服務(wù)器。以及結(jié)合后面的近線存儲(chǔ)方式，歸檔系統(tǒng)會(huì)根據(jù)制定的策略將數(shù)據(jù)分成頻繁訪問(wèn)和非頻繁訪問(wèn)數(shù)據(jù)，頻繁訪問(wèn)的數(shù)據(jù)會(huì)存放在在線的磁盤(pán)陣列中。因此，存儲(chǔ)設(shè)備需要具備穩(wěn)定、安全、高效及可擴(kuò)展等諸多性能特點(diǎn)。結(jié)合我們的業(yè)務(wù)類型和數(shù)據(jù)文件類型，對(duì)存儲(chǔ)設(shè)備進(jìn)行了選型和定制。1.2 近線方式1.2.1 為什么要近線存儲(chǔ)掃描加工后的海量數(shù)據(jù)需求的增加速度比想象中的更快。所帶來(lái)的解決起來(lái)看似不難，只要購(gòu)買(mǎi)更多的主存儲(chǔ)設(shè)備即可，但因此會(huì)產(chǎn)生更多的生產(chǎn)效率和成本問(wèn)題。l 新的存儲(chǔ)系統(tǒng)可能很快地超載-以指數(shù)級(jí)速度增長(zhǎng)的存儲(chǔ)設(shè)備使對(duì)之產(chǎn)生的需求預(yù)測(cè)越來(lái)越難。新購(gòu)買(mǎi)的存儲(chǔ)系統(tǒng)很快就不夠用了l 備份窗口越來(lái)越長(zhǎng)-隨著存儲(chǔ)量不斷的增加，備份時(shí)間窗口不能滿足，管理員可能因此無(wú)法進(jìn)行完全的數(shù)據(jù)備份，只能選擇性地備份最重要的內(nèi)容。l 災(zāi)難恢復(fù)要花費(fèi)更長(zhǎng)的時(shí)間-備份的時(shí)間越長(zhǎng)，災(zāi)難發(fā)生時(shí)恢復(fù)的時(shí)間也越長(zhǎng)，這樣就增加了宕機(jī)的時(shí)間，降低了生產(chǎn)效率。l 磁盤(pán)空間越大，查找數(shù)據(jù)花費(fèi)的時(shí)間就越長(zhǎng)-如果用戶或是管理員不能及時(shí)獲取所需的相應(yīng)數(shù)據(jù)，那么備份系統(tǒng)還有什么價(jià)值呢？當(dāng)容量增加，相應(yīng)的查找文件的時(shí)間也會(huì)增加，生產(chǎn)效率則降低。l 過(guò)度存儲(chǔ)不僅浪費(fèi)成本，也不環(huán)保-當(dāng)對(duì)存儲(chǔ)的需求快速增加時(shí)，與之對(duì)應(yīng)的用電量也急劇增加。除了存儲(chǔ)系統(tǒng)運(yùn)行所消耗的電量，另外還需要更多的電量用于冷卻系統(tǒng)。此舉不僅提高了成本，也不符合大多數(shù)企業(yè)所倡導(dǎo)的綠色存儲(chǔ)的理念。1.2.2 近線存儲(chǔ)的解決方案近線存儲(chǔ)是將將年度加工的合格源數(shù)據(jù)的貯存，保存在磁帶庫(kù)中。用少量東西做更多事情的事情，實(shí)現(xiàn)控制成本并減少對(duì)主存儲(chǔ)的存儲(chǔ)需求總量。解決方案就是智能歸檔系統(tǒng)。對(duì)于昂貴的存儲(chǔ)資源來(lái)說(shuō)，在主存儲(chǔ)上存儲(chǔ)非活動(dòng)數(shù)據(jù)是一個(gè)巨大的浪費(fèi)。針對(duì)現(xiàn)在越來(lái)越豐富的數(shù)據(jù)來(lái)說(shuō)那是非常大的。另外，主存儲(chǔ)主要用于快速傳輸及處理過(guò)程數(shù)據(jù)，它基本上不能支持?jǐn)?shù)據(jù)恢復(fù)法規(guī)或在數(shù)據(jù)被寫(xiě)入存儲(chǔ)若干年后，還能證實(shí)這一系列數(shù)據(jù)的完整性。這些都是歸檔存儲(chǔ)的重要要求。數(shù)據(jù)歸檔就是在二級(jí)存儲(chǔ)設(shè)備上存儲(chǔ)非活動(dòng)數(shù)據(jù)，如磁盤(pán)、磁帶等。這些數(shù)據(jù)是在將來(lái)可能需要的信息，因此不能刪除他們?？赡苡泻戏ǖ脑騺?lái)保存這些數(shù)據(jù)，也可能是機(jī)構(gòu)需要，如市場(chǎng)研究或正當(dāng)?shù)睦碛傻?。不管怎樣，最后的決定是存儲(chǔ)而不是將其刪除。保存數(shù)據(jù)的問(wèn)題或者是由于合法原因，或者是“以防萬(wàn)一”，也就是它必須保存在某個(gè)地方。為了實(shí)現(xiàn)數(shù)據(jù)智能歸檔管理，節(jié)約磁盤(pán)存儲(chǔ)成本，實(shí)現(xiàn)數(shù)據(jù)長(zhǎng)期保存，通過(guò)專業(yè)歸檔軟件對(duì)采集或交換而來(lái)的文本數(shù)據(jù)、圖像數(shù)據(jù)等固定內(nèi)容進(jìn)行手工拖拽式歸檔和自動(dòng)歸檔管理。系統(tǒng)將原始數(shù)據(jù)處理完成后，對(duì)這些原始數(shù)據(jù)做歸檔處理，將數(shù)據(jù)自動(dòng)遷移到成本更低磁帶介質(zhì)上，實(shí)現(xiàn)這部分?jǐn)?shù)據(jù)的長(zhǎng)期、自動(dòng)保存管理，以便今后查詢調(diào)用。靈活的歸檔設(shè)置可以基于各種文件固有屬性，也可以通過(guò)手工添加標(biāo)簽，歸檔后的數(shù)據(jù)繼續(xù)保持在線可訪問(wèn)。對(duì)近線數(shù)據(jù)采用“智能歸檔軟件”+物理磁帶庫(kù)的硬件框架平臺(tái)來(lái)實(shí)現(xiàn)。智能歸檔系統(tǒng)是將存儲(chǔ)在服務(wù)器上的數(shù)據(jù)檔案進(jìn)行智能處理的專業(yè)解決方案，通過(guò)自動(dòng)的、最終用戶觸發(fā)的、工作流集成的方式將數(shù)據(jù)歸檔到長(zhǎng)期存儲(chǔ)平臺(tái)，并且滿足歸檔后的數(shù)據(jù)能夠?qū)崿F(xiàn)方便的應(yīng)用訪問(wèn)和信息檢索。智能歸檔系統(tǒng)可將數(shù)據(jù)根據(jù)策略制定如：訪問(wèn)頻繁程度、文件大小、最后修改的時(shí)間等方式進(jìn)行分類進(jìn)行歸檔。如認(rèn)定為3個(gè)月沒(méi)有訪問(wèn)的數(shù)據(jù)為非頻繁訪問(wèn)數(shù)據(jù)，系統(tǒng)將3個(gè)月來(lái)沒(méi)有任何訪問(wèn)的數(shù)據(jù)遷移到磁帶庫(kù)中實(shí)現(xiàn)數(shù)據(jù)的近線存儲(chǔ)。在這期間如果有需要訪問(wèn)歸檔后的數(shù)據(jù)，歸檔系統(tǒng)能將數(shù)據(jù)從磁帶庫(kù)中遷移當(dāng)磁盤(pán)中供應(yīng)用系統(tǒng)訪問(wèn)。1.2.3 近線存儲(chǔ)的優(yōu)勢(shì)現(xiàn)有加工后的數(shù)據(jù)海量，通過(guò)智能歸檔后能大幅降低對(duì)主存儲(chǔ)空間的使用，并具有以下優(yōu)勢(shì)：l 減少資本投入-由于節(jié)省了大量的主存儲(chǔ)空間，IT部門(mén)節(jié)約了硬軟件的投資，也極大地減少了能源消耗。l 縮短備份窗口-由于縮短了備份時(shí)間，IT管理員能更有效地保證所有數(shù)據(jù)都得到保護(hù)。l 加快了災(zāi)難恢復(fù)的速度-企業(yè)能大幅減少宕機(jī)時(shí)間和由意外而導(dǎo)致的用戶生產(chǎn)效率的損失。1.3 離線方式離線存儲(chǔ)：離線存儲(chǔ)是將數(shù)據(jù)通過(guò)光盤(pán)、移動(dòng)硬盤(pán)、磁帶實(shí)現(xiàn)一份數(shù)據(jù)三份備份介質(zhì)的離線存儲(chǔ)。并可將數(shù)據(jù)運(yùn)送到異地進(jìn)行保存。 （約合計(jì)1810萬(wàn)）1、光盤(pán)離線方式通過(guò)光盤(pán)刻錄系統(tǒng)直接將數(shù)據(jù)刻錄到光盤(pán)上。優(yōu)缺點(diǎn)對(duì)比：光盤(pán)離線方式優(yōu)點(diǎn)：存儲(chǔ)密度高；體積小、重量輕；不怕光、不怕磁、不需占用太多的物理空間；制作簡(jiǎn)單，可通過(guò)網(wǎng)絡(luò)傳輸信息，實(shí)現(xiàn)資源共享；可隨機(jī)存取，信息的載噪比高；存儲(chǔ)和使用的壽命較長(zhǎng)、單盤(pán)價(jià)格適中；適于存儲(chǔ)數(shù)據(jù)、文字、圖形、圖象、聲音等多種媒體信息；無(wú)機(jī)械磨損和刮傷，穩(wěn)定性好；光盤(pán)中的數(shù)據(jù)不易被修改。缺點(diǎn)：訪問(wèn)時(shí)間較長(zhǎng)；容量相對(duì)較小，備份大容量數(shù)據(jù)時(shí)，所需數(shù)量極大；備份速度慢、實(shí)時(shí)性差；備份編集麻煩，要湊空間；受光盤(pán)文件系統(tǒng)限制較多；定位數(shù)據(jù)繁瑣；盤(pán)片較多管理不方便、容易造成盤(pán)片磨損、訪問(wèn)速度慢。2、磁盤(pán)離線方式通過(guò)大容量單體硬盤(pán)，將數(shù)據(jù)直接拷貝到硬盤(pán)上。優(yōu)缺點(diǎn)對(duì)比：磁盤(pán)離線方式優(yōu)點(diǎn)：容量大、傳輸速度高；使用方便、可靠；價(jià)格適中。磁盤(pán)離線方式缺點(diǎn)：數(shù)據(jù)過(guò)于集中；結(jié)構(gòu)過(guò)于復(fù)雜，除了盤(pán)片外，還有大量的電氣和機(jī)械機(jī)構(gòu)；在使用中容易被更改或誤刪，有一定的風(fēng)險(xiǎn)；防震抗摔性差、功耗較高、有噪音等。3、磁帶離線方式通過(guò)智能歸檔軟件將數(shù)據(jù)通過(guò)磁帶庫(kù)上進(jìn)行多份備份，其中一份可以出倉(cāng)進(jìn)行離線保存，并可運(yùn)輸?shù)疆惖剡M(jìn)行異地保存。優(yōu)缺點(diǎn)對(duì)比：磁帶離線方式優(yōu)點(diǎn)是：體積小巧、攜帶方便，易于轉(zhuǎn)移，可作為遠(yuǎn)程災(zāi)難恢復(fù)備份；容量大、成本低；耐用、壽命長(zhǎng)，適應(yīng)各種氣候條件下存放；磁帶的無(wú)文件系統(tǒng)格式，不受病毒、黑客和自然災(zāi)難的安全威脅。缺點(diǎn)：屬線性記錄介質(zhì)，涉及過(guò)多機(jī)械物理操作；沒(méi)有校驗(yàn)操作，可靠性較差，效率較低；需要加載或倒帶，需在磁帶卷中搜索數(shù)據(jù)文件，維護(hù)磁帶庫(kù)費(fèi)人工。4、縮微膠片離線方式萎縮膠片存儲(chǔ)就是利用縮微復(fù)制技術(shù)將檔案原件縮小拍攝在感光膠片上，經(jīng)加工制成縮微品保存、傳播和使用。優(yōu)缺點(diǎn)對(duì)比：優(yōu)點(diǎn)：縮微技術(shù)工藝成熟，性能穩(wěn)定；存儲(chǔ)密度大，造價(jià)和管理費(fèi)用較低；記錄效果好，速