數(shù)據(jù)歸檔方案

1、數(shù)據(jù)歸檔方案大綱一、什么是數(shù)據(jù)歸檔1、數(shù)據(jù)歸檔定義數(shù)據(jù)存檔(data archiving)是將不再經(jīng)常使用的數(shù)據(jù)移到一個單 獨的存儲設備來進行長期保存的過程。 數(shù)據(jù)存檔由舊的數(shù)據(jù)組成， 但 它是以后參考所必需且很重要的數(shù)據(jù)，其數(shù)據(jù)必須遵從規(guī)則來保存。 數(shù)據(jù)存檔具有索引和搜索功能，這樣文件可以很容易地找到。二、為什么要進行數(shù)據(jù)歸檔1、數(shù)據(jù)歸檔的好處IT 部門通常愿意將歸檔作為應用相關加強的理由。 具體說來，其 帶來的好處包含如下的幾個方面：節(jié)約成本 ：數(shù)據(jù)歸檔很大程度上都與降低成本的話題密不可分。并且作為每GB存儲所耗費的成本相關。許多廠商會提供整體擁有成 本這樣的分析。 所有的諸如此類的分析都

2、將產(chǎn)生一個正面的結果， 其 前提是同意有關數(shù)據(jù)輸入及對該模型的假設。縮短備份窗口 ：即便是備份到磁盤上使用了數(shù)據(jù)壓縮和重復數(shù)據(jù) 刪除技術，備份管理員往往會遇到備份窗口相關的壓力， 原因是數(shù)據(jù) 增長實在是太快了， 年增長率通常達到約 50%甚至更多。 因此備份完全沒有改動的數(shù)據(jù)是沒有必要的。歸檔可以從備份任務中剝離數(shù)十TB的數(shù)據(jù)甚至更多。法規(guī)遵從 ：正如前文提到的那樣， 政府要求以及法律規(guī)定是履行 數(shù)據(jù)歸檔策略的重要因素之一。 即要滿足這樣的要求， 同時又要降低 成本并不是一件容易的事情。知識保留 ：在當今大數(shù)據(jù)時代， 企業(yè)越來越意識到海量數(shù)據(jù)分析 的價值。 意識到這點并非難事， 但在如今的市場

3、保持有競爭力的地位 并非易事。提升的性能 ：通過減少需要管理的數(shù)據(jù)量， 或者將非活躍數(shù)據(jù)從 活躍數(shù)據(jù)中剝離出來，企業(yè)可能會看到系統(tǒng)性能的微弱提升。2、數(shù)據(jù)歸檔的意義高效存儲管理的最佳實踐核心之一就是歸檔。 這種技術能夠釋放 出代價高昂的存儲資源， 改善性能，并有助于保護那些需要長期保存 的數(shù)據(jù)。存在的問題 ：通常我們在某種程度上會默認將數(shù)據(jù)歸檔認為是某 種形式的存儲基礎架構。 在很早之前也確實如此， 即將陳舊的數(shù)據(jù)從 昂貴的磁盤上移除。通常這意味著將數(shù)據(jù)遷移到磁帶并就此將其遺 忘。一般保存期限是 7年，但恢復往往是問題所在， 諸如磁帶的損壞、 應用程序的廢棄以及數(shù)據(jù)格式的轉變。 企業(yè)為響應各類

4、法律相關的電 子檢索頭疼不已， 因為他們不得不檢索、 恢復并讀取潛在的成百上千 盤磁帶來找尋其中的一小段數(shù)據(jù)，并且要在很短的時間內完成。歸檔技術的雙重角色企業(yè)和法律的雙重需要 ：即便是在今 天，海量數(shù)據(jù)驅使陳舊的數(shù)據(jù)遷移到更低成本的媒介， 以獲取直接的 經(jīng)濟回報， 然而歸檔技術正逐漸成為存儲管理任務中的一項分支， 以 及驅動業(yè)務的一種應用。 作為業(yè)務應用， 其主要使用場景仍然是出于 規(guī)范因素的數(shù)據(jù)保存； 但遷移后直接將其遺忘已經(jīng)遠遠不夠了。 以某 種格式進行數(shù)據(jù)恢復成為必然， 而且這種格式是無法預期的， 取決于 合規(guī)審核者或法庭的一時興起。況且，某些數(shù)據(jù)，比如健康衛(wèi)生相關 的信息，需要在產(chǎn)生后

5、的20年中保存查找。由M牛、SharePoint以及其 它文件系統(tǒng)數(shù)據(jù)幾乎成為所有企業(yè)的問題領域， 其過分消耗海量空間 并且受限于法律規(guī)范。由于各種新的需求， IT 經(jīng)理人在部署歸檔方案時需以合作的方 式，和業(yè)務及法務部門進行協(xié)作。IT人員很難預計到法律規(guī)范的實際 要求，不過他們應當了解那些可以使歸檔部署有助于業(yè)務需求的技 術。我們將列舉出一些歸檔技術以使存儲經(jīng)理人認識到市場上大量的 可選方案以及他們可以獲取到的功能。當歸檔技術成為管理應用時 ：隨著歸檔的最終目的從存儲管理轉 變?yōu)閿?shù)據(jù)管理， 歸檔方案有了大量數(shù)據(jù)管理應用的特性。 隨之而來的 是關鍵的使用者也發(fā)生了轉變。存儲經(jīng)理人不再是唯一的關

6、鍵用戶， 歸檔應用還應當考慮CIO,合規(guī)主任和律師的感受。用戶的關注點也 傾向于更嚴格的行業(yè)規(guī)范，尤其是在財務和醫(yī)療行業(yè)。歸檔有從通用到專用的不同解決方案。 不過其中的絕大部分都包 含分類、遷移、 索引和數(shù)據(jù)發(fā)現(xiàn)特性。許多還會包含加速長期數(shù)據(jù)恢復、數(shù)據(jù)銷毀、 數(shù)據(jù)重復刪除及壓縮、單一實例存儲和完整性檢查的 功能。而最終包含哪些特性通常由目標用戶和使用場景決定。 由于早期的歸檔技術僅限于向離線備份磁帶遷移， 企業(yè)或許會將 新的歸檔應用看成一塊“新的綠地” 。在絕大多數(shù)情況下，傳統(tǒng)磁帶 仍需要保存在庫中， 只是有不同的保留和過期策略。 存儲經(jīng)理人需要 確保備份策略不會和歸檔策略產(chǎn)生沖突。 過早銷毀

7、數(shù)據(jù)可能會使企業(yè) 陷于法規(guī)要求時無法滿足合規(guī)規(guī)范的危險境地。 而另一方面， 將數(shù)據(jù) 多保留一些有助于電子發(fā)現(xiàn)工作， 即便這并非強制性的要求。 不管怎 樣，其結果對成本的影響都會讓企業(yè)在各自利弊之前權衡兩難。三、數(shù)據(jù)歸檔的標準和規(guī)范1、現(xiàn)代歸檔的總體特征最新技術的發(fā)展會對歸檔方式的效率產(chǎn)生巨大的積極影響， 以下 幾點特征需要牢記：低成本存儲 ：節(jié)約成本仍然是尋求主存儲替代方案的主要動機。 數(shù)據(jù)耐用性 ：歸檔數(shù)據(jù)必須得到很好的保護， 對耐用性的需求包 括站點災難以及存儲組件故障。 歸檔就是要保留數(shù)據(jù)， 而不是轉移數(shù) 據(jù)或丟失數(shù)據(jù)。方便存取數(shù)據(jù) ：歸檔數(shù)據(jù)必須能夠輕松存取如果不行， 那又 何必歸檔呢

8、？無線可擴展性 ：當今的架構需要輕松擴展，從而節(jié)約成本。 非破壞性的技術遷移 ：解決方案必須能夠無中斷地遷移到新的組件技術，從而提供長期利益，并從當前投資中實現(xiàn)成本節(jié)約2、歸檔存儲的新技術特性市面上出現(xiàn)了一些新的熱門技術選項， 實時歸檔策略時必須加以 考慮：擦除基于代碼的對象存儲 ：磁盤歸檔食物鏈中有史以來最偉大 的事就是糾刪碼技術的出現(xiàn)， 它有效地創(chuàng)建了數(shù)據(jù)開銷， 以便在組件 故障時保護數(shù)據(jù)，這類似于“ RAID技術添加奇偶作為開銷”的方式。 然而，糾刪碼與RAID不同，糾刪碼技術以數(shù)據(jù)分散的形式增加了開 銷，而RAID技術則在一組固定的硬件組件上運行。糾刪碼的分散算 法將單獨文件或對象轉化

9、為許多數(shù)據(jù)元素， 每個數(shù)據(jù)元素都攜帶少量 冗余，這樣用戶只需要取回數(shù)據(jù)元素的一部分來檢索完整對象。 當擦 除基于代碼的對象存儲被部署時， 無需復制，數(shù)據(jù)自然就能得到保護， 以防止硬件組件故障。 此外，當對象存儲分散在多個站點時 （稱為“地 理分布”），數(shù)據(jù)會得到進一步保護，防止站點級災難，同樣也不要復 制。由于不需要數(shù)據(jù)復制，更不必說硬件是用來存儲和保護數(shù)據(jù)的。 這就是為何從根本上來說， 充分利用糾刪碼技術的數(shù)據(jù)存儲能夠大大 降低硬件成本。同時，由于只管理較少的數(shù)據(jù)，軟件成本也有可能下 降。最后，由于糾刪碼可在組件層面或驅動器層面處理硬件故障，而 不是像RAID方式那樣只能在機柜或機箱層面處理

10、故障，我們很容易 就會發(fā)現(xiàn)，在糾刪碼環(huán)境中將組件升級到新技術并不需要破壞性的叉 車升級方式。LTF餉NAS磁帶：關于LTFS（線性磁帶文件系統(tǒng)），已經(jīng)有很多 傳言了。該技術于 2010 年推出，并能夠實現(xiàn)全線的磁帶使用模式。 LTFS技術在磁帶盒上提供了一個完整的自我描述文件系統(tǒng)， 這使用戶 像是在自己的文件系統(tǒng)中將數(shù)據(jù)讀取和寫入到磁帶上， 用戶可以逐字 地將文件拖動到磁帶上， 甚至永遠不用再擔心 “必須使用專屬備份應 用程序而在磁帶上讀寫數(shù)據(jù)”的問題。當今市面上有一些解決方案， 能夠讓大型磁帶庫像 NAS 共享一樣被訪問，讀取磁帶上的數(shù)據(jù)會變 得多么輕松？越來越多的軟件解決方案現(xiàn)在就支持LT

11、FS格式，由于LTFS是作為SNIA組織的開放式標準而被推動的，LTFS磁帶非常適合 長期歸檔應用程序， 這是因為開放式標準更有可能針對未來系統(tǒng)做好 準備。LTFSt件能夠將磁帶上數(shù)據(jù)的讀取和可移植性提升至全新的水 平。數(shù)據(jù)和磁帶完整性檢查 ：在磁帶領域， 數(shù)據(jù)耐用性的革命性特點 就是數(shù)據(jù)完整性檢查。 一些產(chǎn)品讓用戶能夠制定策略， 確定磁帶盒旋 轉到驅動器里的頻率是多少， 以測試磁帶和磁帶上數(shù)據(jù)的完整性。 這 就像旋轉酒瓶進行長期保存一樣。然而，與旋轉酒瓶不同，用戶能夠 對可疑的磁帶采取行動，防止數(shù)據(jù)丟失。3、選擇歸檔解決方案要素必要項：數(shù)據(jù)歸檔數(shù)據(jù)遷移數(shù)據(jù)索引 查找工具最好具有項 ：數(shù)據(jù)消除

12、重復刪除壓縮單一實例存儲完整性檢查硬件特性 ：可擴展性成本效益可靠性可變性（根據(jù)要求）完整性檢查最后一點需要強調的是， 歸檔軟件需要有自動完成功能。 沒人希 望歸檔都是手工操作的。 一款設計良好的歸檔軟件需要能很好的適應 企業(yè)的歸檔策略。 自動化的歸檔進程往往能幫助我們自動執(zhí)行好企業(yè) 的歸檔策略并且保證不落下任何東西。 與此同時， 軟件也需要為歸檔 進程創(chuàng)建詳細的日志說明。四、我們的歸檔方案數(shù)據(jù)歸檔的好處IT 部門通常愿意將歸檔作為應用相關加強的理由。 具體說來，其 帶來的好處包含如下的幾個方面：節(jié)約成本 ：數(shù)據(jù)歸檔很大程度上都與降低成本的話題密不可分。 并且作為每 GB 存儲所耗費的成本相關。許多廠商會提供整體擁有成 本這樣的分析。 所有的諸如此類的分析都將產(chǎn)生一個正面的結果， 其 前提是同意有關數(shù)據(jù)輸入及對該模型的假設。縮短備份窗口 ：即便是備份到磁盤上使用了數(shù)據(jù)壓縮和重復數(shù)據(jù) 刪除技術， 備份管理員往往會遇到備份窗口相關的壓力， 原因是數(shù)據(jù) 增長實在是太快了， 年增長率通常達到約 50%甚至更多。 因此備份完 全沒有改動的數(shù)據(jù)是沒有必要的。歸檔可以從備份任務中剝離數(shù)十 TB的數(shù)據(jù)甚至更多。法規(guī)遵從 ：正如前文提到的那樣， 政府要求以及法律規(guī)定是履行 數(shù)據(jù)歸檔