數(shù)據(jù)分級存儲

1、第五章數(shù)據(jù)分級存儲數(shù)據(jù)分級存儲，是指數(shù)據(jù)客體存放在不同級別的存儲設(shè)備（磁盤、磁盤陣列、光盤庫、磁 帶庫）中，通過分級存儲管理軟件實現(xiàn)數(shù)據(jù)客體在存儲設(shè)備之間的自動遷移。數(shù)據(jù)遷移的規(guī) 則是可以人為控制的，通常是根據(jù)數(shù)據(jù)的訪問頻率、保留時間、容量、性能要求等因素確定 的最佳存儲策略。在分級數(shù)據(jù)存儲結(jié)構(gòu)中，磁帶庫等成本較低的存儲資源用來存放訪問頻率 較低的信息，而磁盤或磁盤陣列等成本高、速度快的設(shè)備，用來存儲經(jīng)常訪問的重要信息。數(shù)據(jù)分級存儲的工作原理是基于數(shù)據(jù)訪問的局部性。通過將不經(jīng)常訪問的數(shù)據(jù)自動移到存 儲層次中較低的層次，釋放出較高成本的存儲空間給更頻繁訪問的數(shù)據(jù)，可以獲得更好的總 體性價比。5.

2、1分級存儲的必要性IT企業(yè)總是要面對增長起來無休無止的數(shù)據(jù)量。各種應(yīng)用都在創(chuàng)建越來越大的文件。用 戶也很少刪除數(shù)據(jù)和存檔，這就導(dǎo)致要訪問舊一些的文件已經(jīng)變得非常困難。因此，目前的 潮流是購買更多的軟件。然而，這種解決方案產(chǎn)生了非常復(fù)雜和笨拙的存儲環(huán)境，不僅需要 更多的維護和管理，而且需要更多的金錢來維持。事實上，數(shù)據(jù)具有生命周期，不同的時期有其存在的不同意義。在數(shù)據(jù)剛生成的數(shù)日內(nèi)， 訪問頻率最高，為企業(yè)產(chǎn)生效益和收入，帶來的價值也最高；隨著時間的推移，訪問頻率降 低，數(shù)據(jù)的價值也隨之下降，低訪問頻率的數(shù)據(jù)量遠遠超過高訪問頻率的數(shù)據(jù)量，如果全部 用企業(yè)級存儲產(chǎn)品來存儲所有數(shù)據(jù)，費用非常高，也沒有

3、必要。不同生命周期的數(shù)據(jù)，由于 提供給企業(yè)不同的服務(wù)目的，企業(yè)應(yīng)考慮如何以最低的成本獲得最高的價值，而不是采用以 往單純的購買更多磁盤的解決方式和態(tài)度，徒增存儲費用和管理復(fù)雜程度?？傊?，企業(yè)業(yè)務(wù)數(shù)據(jù)從產(chǎn)生到存儲、利用、歸檔，最后超過存儲期限被刪除，數(shù)據(jù)被讀取 的頻率會逐漸下降，數(shù)據(jù)存儲的位置也應(yīng)該隨之變化，以提高存儲設(shè)備的使用率，降低存儲 成本。因此有必要進行分級存儲，企業(yè)在存儲其關(guān)鍵業(yè)務(wù)數(shù)據(jù)時，采用昂貴的存儲技術(shù)和方 式，如RAID磁盤、復(fù)制、定時拷貝、多級備份等，確保數(shù)據(jù)高可用；當(dāng)數(shù)據(jù)已經(jīng)不再為企 業(yè)帶來效益時，將這類數(shù)據(jù)遷移到較便宜的存儲介質(zhì)上；最后，當(dāng)數(shù)據(jù)老化到不再被訪問 時，應(yīng)考慮將

4、其刪除或者遷移，如果是法律要求或政府規(guī)定等要保留多年的數(shù)據(jù)，應(yīng)將其遷 移到近線磁帶庫或者離線存儲介質(zhì)上進行歸檔，既安全又節(jié)省費用。同時，信息量的急劇增長，也使存儲管理復(fù)雜性增加，數(shù)據(jù)的分級存儲也是簡化存儲管理 的需要。通過設(shè)定優(yōu)化的數(shù)據(jù)遷移規(guī)則，能使重要數(shù)據(jù)和常用數(shù)據(jù)在最短的時間內(nèi)訪問到， 使極少使用的數(shù)據(jù)備份在廉價的海量存儲器中。5.2分級存儲的優(yōu)點數(shù)據(jù)分級存儲之所以重要，是因為它既能最大限度地滿足用戶需求，又可使存儲成本最小 化。數(shù)據(jù)分級存儲的優(yōu)點具體表現(xiàn)在：.減少總體存儲成本不經(jīng)常訪問的數(shù)據(jù)駐留在較低成本的存儲器中，可綜合發(fā)揮磁盤驅(qū)動器的性能優(yōu)勢與磁帶 的成本優(yōu)勢。.性能優(yōu)化分級存儲可使

5、不同性價比的存儲設(shè)備發(fā)揮最大的綜合效益。.改善數(shù)據(jù)可用性分級存儲把很少使用的歷史數(shù)據(jù)遷移到輔助存儲器中，或歸檔到離線存儲池中，這樣就無 需反復(fù)保存，減少了存儲的時間；同時提高了在線數(shù)據(jù)的可用性，使磁盤的可用空間維持在 系統(tǒng)要求的水平上。4.數(shù)據(jù)遷移對應(yīng)用透明進行分級存儲后，數(shù)據(jù)移動到另外的存儲器時，應(yīng)用程序不需要改變，使數(shù)據(jù)遷移對應(yīng)用 透明。分級存儲的存儲方式傳統(tǒng)的數(shù)據(jù)存儲一般分為在線(On-line)存儲及離線(Off-line)存儲兩級存儲方式。所謂在線 存儲就是指將數(shù)據(jù)存放在磁盤系統(tǒng)上，而離線則是指將數(shù)據(jù)備份到磁帶上。但隨著數(shù)據(jù)量的 猛增，這種只使用在線和離線兩級存儲的策略已經(jīng)不能適應(yīng)企

6、業(yè)的需求。近線存儲市場近來 成為熱點，出現(xiàn)了一些存取速度和價格介于高速磁盤與磁帶之間的低端磁盤設(shè)備，作為近線 存儲設(shè)備。5.3.1在線存儲總體上講，在線存儲多采用高速磁盤陣列等存儲設(shè)備，存取速度快，當(dāng)然價格昂貴。在 線存儲一般采用高端存儲系統(tǒng)和技術(shù)如：SAN、點對點直連技術(shù)、S2A等。高端存儲系統(tǒng)具 有一些“高端”屬性，比如，高容量、高性能、高可用性、冗余性等，現(xiàn)在存儲工程師看到， 這些特點已經(jīng)不再是高端特有的了，許多中端產(chǎn)品也大都采取了這些設(shè)計。SAN技術(shù)的高性能依賴于三個重要領(lǐng)域的性能支持：存儲容量、計算能力和傳輸能力。 在傳統(tǒng)SAN存儲系統(tǒng)中，存儲容量這一環(huán)節(jié)由于存儲介質(zhì)技術(shù)的快速發(fā)展已

7、經(jīng)得到了很好 的解決。存儲容量通過多磁盤容量的疊加已經(jīng)能夠達到數(shù)千TB的水平。而在計算能力與傳 輸能力兩個環(huán)節(jié)上，傳統(tǒng)SAN卻存在很多先天的弱點。最近在高端存儲領(lǐng)域出現(xiàn)了兩種新 技術(shù)-點對點直連技術(shù)與并行存儲技術(shù)。具體如下：點對點直連技術(shù)是EMC近期推出的一種全新的點到點互聯(lián)架構(gòu)，在性能方面，由于它采 用了點對點對接，消除了總線或交換機方式造成的延遲，專用的數(shù)據(jù)通道意味著不會出現(xiàn)交 換機競爭的情況，減少數(shù)據(jù)從存儲位置傳輸?shù)侥繕?biāo)位置的延遲。它還具有32個獨立高速緩 存區(qū)，而且每個高速緩存區(qū)都具有獨立的邏輯訪問，可以為用戶提供更強大的處理和訪問能 力。S2A是DataDirect Networks

8、公司推出的并行存儲技術(shù)。S2A沒有采用傳統(tǒng)的光纖通道交 換機的交叉矩陣交換機制，它所采用的高度并行端口技術(shù)消除了交換機制所帶來的不可避免 的時間延遲，能夠持續(xù)不變地提供充滿端口帶寬的數(shù)據(jù)吞吐量S2A控制器內(nèi)部的四個主機 通道之間采用虛擬的并行體系結(jié)構(gòu)，通過提供并行處理和并行數(shù)據(jù)讀寫的途徑，使得在多主 機的存儲區(qū)域網(wǎng)絡(luò)環(huán)境中具有非常高的不受多主機環(huán)境影響的使用性能。離線存儲離線存儲采用磁帶作為存儲介質(zhì)，其訪問速度低，但能實現(xiàn)海量存儲，同時價格低廉。以前用戶有這樣的想法：反正數(shù)據(jù)存放在磁帶上面，性能都不高，只要在災(zāi)難發(fā)生時能 夠使用它們將需要的數(shù)據(jù)恢復(fù)回來就可以了。其實，這是很不正確的。要知道，用

9、戶的數(shù)據(jù) 越來越多，原有的數(shù)據(jù)也不能丟棄，當(dāng)這些數(shù)據(jù)逐年累積以后管理它們就成了一件十分困難 的事情，而且還要進行磁帶定期維護的工作。因此，許多磁帶庫廠商在這方面進行了加強，提供了完整的數(shù)據(jù)生命周期管理，專為數(shù) 據(jù)密集型SAN環(huán)境而設(shè)計，尤其適用于高強度、大容量的數(shù)據(jù)訪問和數(shù)據(jù)存儲，減少了管 理SAN數(shù)據(jù)的時間和成本，從數(shù)據(jù)生成到其生命周期結(jié)束，其中的每一步驟都提供了相應(yīng) 的功能。這也說明磁帶庫管理更注重“智能”。近線存儲隨著用戶需求的日益細分，人們越來越發(fā)現(xiàn)原有的兩級模式(在線與離線)已經(jīng)不能很 好地滿足用戶的存儲需求，在這兩個“極端”之間有大量的空白，于是就產(chǎn)生了近線存儲的 概念。近線存儲的

10、概念一產(chǎn)生就得到了廠商與用戶的贊同，定位于此領(lǐng)域的產(chǎn)品很快就紛紛 出現(xiàn)，形成了近一時期最為活躍的中間層。NetApp推出的R100近線存儲設(shè)備，獲得巨大成功，僅1年時間在全球就擁有了 100多 個用戶，總部署容量超過3PB。Quantum推出的基于磁盤的產(chǎn)品DX30，能夠模擬各類磁帶庫，保留了與存儲管理軟件 的兼容性，而又具有比磁帶庫更高的速度，用戶可以先將數(shù)據(jù)備份到DX30中，然后再轉(zhuǎn)移 到磁帶上。以磁帶產(chǎn)品知名的StorageTek公司在業(yè)界較早提出了數(shù)據(jù)生命周期管理的概念，并擁有 針對數(shù)據(jù)的不同生命周期提供的相應(yīng)的解決方案，包括磁帶設(shè)備和磁盤系統(tǒng)及軟件產(chǎn)品，以 幫助用戶“將適當(dāng)?shù)臄?shù)據(jù)，在

11、適當(dāng)?shù)臅r間，存儲到適當(dāng)?shù)脑O(shè)備上”。Legato公司備份軟件的最新版NetWorker7.0,引入了磁盤備份與磁帶備份相結(jié)合的新方 式，通過磁盤備份可以為用戶提供更多性能優(yōu)勢。采用磁盤進行備份避免了一些磁帶備份的 弊端:磁帶只能進行順序讀寫，而且每盤磁帶都需要完全倒回才可取出，加載卸載時間很長。 磁盤備份解決方案還完全包括了 “虛擬帶庫”的功能，而且可以在讀一部分內(nèi)容的同時進行 寫另一部分內(nèi)容，因而可以實現(xiàn)了在設(shè)備進行備份時的恢復(fù)、搬穢克隆操作。5.4分級存儲的管理存儲實現(xiàn)分級以后，在線、近線與離線存儲存放的數(shù)據(jù)價值不同，在同一級別存儲內(nèi)部(比 如在線和離線存儲)，存放的數(shù)據(jù)也應(yīng)該不同，實現(xiàn)每一

12、級別內(nèi)的分級存儲。如何將各個 級別存儲中數(shù)據(jù)統(tǒng)一管理起來便成了最為關(guān)鍵的問題。分級存儲管理(Hierarchical Storage Management， HSM)起源于1978年，首先使用于大 型機系統(tǒng)。近10年來，HSM被廣泛應(yīng)用于開放系統(tǒng)的Unix和Windows平臺。分級存儲管理是一種將離線存儲與在線存儲融合的技術(shù)。它將高速、高容量的非在線存儲 設(shè)備作為磁盤設(shè)備的下一級設(shè)備，然后將磁盤中常用的數(shù)據(jù)按指定的策略自動遷移到磁帶庫 等二級大容量存儲設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時，分級存儲系統(tǒng)會自動將這些數(shù)據(jù)從下一 級存儲設(shè)備調(diào)回到上一級磁盤上。對于用戶來說，上述數(shù)據(jù)遷移操作完全是透明的，只是

13、在 訪問磁盤的速度上略有怠慢，而在邏輯磁盤的容量上明顯感覺大大提高了。通俗地講，數(shù)據(jù) 遷移是一種可以把大量不經(jīng)常訪問的數(shù)據(jù)存放在磁帶庫、光盤庫等離線介質(zhì)上，只在磁盤陣 列上保存少量訪問頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問時，系統(tǒng)自動地把 這些數(shù)據(jù)回遷到磁盤陣列中；同樣，磁盤陣列中很久未訪問的數(shù)據(jù)被自動遷移到磁帶介質(zhì)上， 從而大大降低投入和管理成本。HSM應(yīng)用也具備監(jiān)測磁盤容量并在關(guān)鍵容量情況下作出反應(yīng)的能力。這種軟件經(jīng)過配置 后可以為某個卷設(shè)定一個最小的剩余空間，如20%。如果軟件發(fā)現(xiàn)該卷的剩余容量已經(jīng)不足20%，數(shù)據(jù)就會被從該卷移動至備用存儲介質(zhì)。 這樣便可以立即釋放空間，管理員

14、也可以在今后有空閑時再來解決空間的問題。由此可見，分級存儲管理更多從降低成本、不影響數(shù)據(jù)應(yīng)用效果的角度解決數(shù)據(jù)的存儲問 題。事實上，降低成本、提高效率已成為IT廠商追逐技術(shù)進步的一個目標(biāo)。近線存儲就是 這種進步的產(chǎn)物。伴隨單盤成本的下降，近線存儲市場漸熱，有業(yè)內(nèi)專家預(yù)測，不久的將來， 近線存儲技術(shù)將取代數(shù)據(jù)遷移技術(shù)，用戶將以模擬海量空間的、更為安全可靠的磁盤介質(zhì)保 存歷史數(shù)據(jù)。而成熟完善的數(shù)據(jù)遷移軟件技術(shù)將更為恰到好處的融入到近線存儲設(shè)備中，為 近線存儲技術(shù)的發(fā)展起到推波助瀾的作用。5.5信息生命周期管理現(xiàn)在著重介紹與分級存儲管理密切相關(guān)信息生命周期管理。目前，許多廠商和用戶都認為，數(shù)據(jù)是具有

15、生命周期的。Legato公司將信息生命周期劃 分為7個階段，包括了數(shù)據(jù)從產(chǎn)生直至滅亡的全部過程。具體為：業(yè)務(wù)需求、采集/組織、 保護/恢復(fù)、復(fù)制/鏡像、共享、遷移/歸檔、刪除。由于是一個周期的管理，因此，在這個周期的每個環(huán)節(jié)都要有相應(yīng)的產(chǎn)品來滿足需求， 包括系統(tǒng)咨詢、信息采集、數(shù)據(jù)保護、遷移、歸檔等等產(chǎn)品。在一定的時期，用戶可能只會 應(yīng)用到其中的某個或某幾個環(huán)節(jié)，但是，把整個信息系統(tǒng)作為一個整體來管理是一個必然的 趨勢。信息生命周期管理（Information Lifecycle Management，ILM）是 StorageTek 公司針對不 斷變化的存儲環(huán)境推出的先進存儲管理理念。ILM

16、不是某個硬件或軟件產(chǎn)品，而是評估和管理信息的存儲方式。它教育客戶平衡信息價 值和管理費用，根據(jù)數(shù)據(jù)對企業(yè)生存的關(guān)鍵性以及企業(yè)發(fā)展帶來的價值決定存儲費用。信息 從產(chǎn)生到使用直到滅亡，其全部過程都需要進行管理，因此，信息生命周期管理是用戶發(fā)展 到一定階段的存儲需求，只不過它是一種很復(fù)雜的需求，具體來說，就是如何建立一個更完 整、更具有價值的信息系統(tǒng)，能夠完全滿足用戶對于數(shù)據(jù)的以下五種需求:隨時訪問、按時 間恢復(fù)、方便的共享、所有數(shù)據(jù)受到適當(dāng)?shù)谋Ｗo以及按照一定的時間規(guī)定（比如法律規(guī)定） 管理數(shù)據(jù)。ILM的核心是理解信息在其不同生命階段中對企業(yè)的不同價值，幫助企業(yè)從戰(zhàn)略高度來管 理信息。那么，管理信息

17、和管理存儲設(shè)備有何不同？從管理設(shè)備的角度出發(fā)，CIO會不切實 際地期望不斷降低存儲費用，同時要求高性能。隨著數(shù)據(jù)量的不斷增加，可用的磁盤容量不 斷減少，企業(yè)不得不無計劃、被動地增加存儲，導(dǎo)致系統(tǒng)環(huán)境越來越復(fù)雜，難以管理。從管 理信息的角度出發(fā)，企業(yè)會根據(jù)信息生命周期的特點，將其存儲在與自身價值相符、并與擁 有者所需要的交流方式和服務(wù)方式相符的不同層次的架構(gòu)里，通過有計劃、主動地增加存儲， 不斷降低復(fù)雜性并增加整個存儲系統(tǒng)的可用容量。ILM通過存儲、保護、管理、集成四個組成部分實現(xiàn)信息管理費用與業(yè)務(wù)需求之間的平衡， 從而達到降低企業(yè)的風(fēng)險和費用的目的。因此，ILM使企業(yè)實現(xiàn)了適當(dāng)?shù)男畔ⅲ谶m當(dāng)?shù)?/p>

18、 時間，以適當(dāng)?shù)馁M用，存儲在適當(dāng)?shù)脑O(shè)備上。它從以下三個方面提升企業(yè)業(yè)務(wù)運營： 幫助企業(yè)管理不斷發(fā)展產(chǎn)生的變化和遇到的困難，為企業(yè)降低風(fēng)險； 提高企業(yè)的運行效率，降低運營費用，提高經(jīng)濟收益； 幫助企業(yè)更好地管理資源，在市場上具有更好的競爭優(yōu)勢。5.6分級存儲案例：電視臺的具體應(yīng)用凡是擁有巨大數(shù)據(jù)量的用戶都可以從應(yīng)用分級存儲中獲得更大利益，尤其是電信、氣象、 地震以及圖像處理（電視臺）等領(lǐng)域。以電信行業(yè)為例，在線業(yè)務(wù)系統(tǒng)需要在線存儲；有些 業(yè)務(wù)需要查詢客戶3個月或6個月以前的信息記錄，近線存儲就很適合；更久的信息同樣 不能刪除，這就需要離線存儲。同時，隨著業(yè)務(wù)的不斷進行又會產(chǎn)生新的數(shù)據(jù)，如何將在線

19、、 近線以及離線的數(shù)據(jù)統(tǒng)一管理好需要利用分級存儲管理和信息生命周期管理技術(shù)。隨著電視技術(shù)的發(fā)展，存儲技術(shù)在電視領(lǐng)域得到了廣泛應(yīng)用。存儲技術(shù)貫穿了電視節(jié)目的 拍攝、制作、播出及存儲等整個流程。特別，隨著電視事業(yè)的飛速發(fā)展，大量的專題片、系 列片等自辦節(jié)目越來越多，節(jié)目的制作成本也越來越高，但節(jié)目經(jīng)費非常有限，拍攝制作周 期越來越短，因此，素材資源的再利用就顯得尤其重要。同一個素材很可能會被循環(huán)再用， 重復(fù)使用多次。媒體資產(chǎn)在信息咨詢時代，對于電視臺，最重要的媒體實體就是歷年來存儲 的視音頻資料即電視節(jié)目，它已成為極具增值效益的一種無形資產(chǎn)。實現(xiàn)電視節(jié)目的良性管 理將為資產(chǎn)持有者節(jié)約成本的同時，帶來可觀的經(jīng)濟效益。在物理層次上，電視臺視音頻素材的存儲