非結(jié)構(gòu)化數(shù)據(jù)需要新的存儲體系結(jié)構(gòu)

1、非結(jié)構(gòu)化數(shù)據(jù)需要新的存儲體系結(jié)構(gòu)數(shù)據(jù)和存儲正在以每年約 60%的速度遞增。雖然這帶來的挑戰(zhàn)已經(jīng)非常艱巨，但是我們依然期待下一波數(shù)據(jù)需求激增，那時我們現(xiàn)在所能想象的到的容量需求將會相形見絀。非結(jié)構(gòu)化數(shù)據(jù)將會是這一波增長的驅(qū)動力。Tony Assaro最近在博客中提到： “大部分公司所創(chuàng)建的非結(jié)構(gòu)化數(shù)據(jù)，包括公文、演示稿、電子工單、圖形、圖像等，比結(jié)構(gòu)化數(shù)據(jù)多得多。另外，即使在一些主流公司，創(chuàng)建視頻和音頻文件都已經(jīng)成為很普遍的事情了，這將耗費(fèi)大量的存儲容量。 這些數(shù)據(jù)大多是非結(jié)構(gòu)化的， 其創(chuàng)建、存儲、訪問和使用將推動 CAS市場前進(jìn)?！绷硗?，我認(rèn)為各種傳感設(shè)備也將生成大量的非結(jié)構(gòu)化數(shù)據(jù)，如 RFI

2、D標(biāo)簽、智能卡、 監(jiān)視攝像頭和其他各種檢測設(shè)備等。波音 787 一次飛行所生成的監(jiān)測數(shù)據(jù)就達(dá)到數(shù) TB。今后，我們還將看到一些老傳感數(shù)據(jù)的重新利用，比如用 50 年前的地震數(shù)據(jù)來判斷我們從老油田繼續(xù)采油是否安全。盡管數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)和類似電子郵件的非結(jié)構(gòu)化數(shù)據(jù)增長的速度沒有那么快，但是它們也同樣需要內(nèi)容存檔系統(tǒng)來存儲那些不經(jīng)常使用的數(shù)據(jù)?，F(xiàn)在已經(jīng)有了2GB 的電子郵箱，不經(jīng)常使用的電子郵件需要進(jìn)行存檔，與產(chǎn)品系統(tǒng)隔離，否則整個電子郵件系統(tǒng)將會混亂不堪。就算這些結(jié)構(gòu)化 / 半結(jié)構(gòu)化數(shù)據(jù)存儲于活動存儲， 它們也需要作為對象進(jìn)行存儲，這樣才能方便地查找到它們并進(jìn)行進(jìn)一步操作。由于這些數(shù)據(jù)并沒有組

3、織好，就需要更加智能的存儲系統(tǒng)。這些系統(tǒng)要能夠提取不同類型的數(shù)據(jù)對象，包括它們的原數(shù)據(jù)和相關(guān)的策略信息，還要能夠保留數(shù)據(jù)的完整性，并能夠提供普通搜索和海量數(shù)據(jù)的查詢處理。為了滿足正在增長的需求，我們必須改變我們現(xiàn)有的數(shù)據(jù)存儲方式。 20 年前設(shè)計的使用靜態(tài)緩存配置的存儲體系結(jié)構(gòu)已經(jīng)不能滿足要求了。它需要一個強(qiáng)大的存儲控制器，這個控制器能夠調(diào)動數(shù)百 PB 的數(shù)據(jù)、成千上萬的主機(jī)連接以及數(shù)以百萬計的 IOP(輸入輸出處理器 )。使用簡單的應(yīng)用分簇?zé)o法滿足這樣的需求。新的存儲系統(tǒng)必須提供端到端的存儲虛擬化服務(wù)，這是為了能夠轉(zhuǎn)換到新的存儲通道，實(shí)現(xiàn)端口連接的虛擬化、卷和文件的虛擬化，以及包含這些卷和文

4、件內(nèi)存儲容量的虛擬化。我們還不能破壞和替換我們現(xiàn)有的系統(tǒng)。為了轉(zhuǎn)換到新的存儲體系結(jié)構(gòu)，而不影響現(xiàn)有的操作，保留以前的投資成果，我們就需要使用虛擬化技術(shù)。為每個內(nèi)容管理系統(tǒng)都配備備份存儲系統(tǒng)的做法是很不經(jīng)濟(jì)的。不管哪個應(yīng)用程序生成了數(shù)據(jù)，我們都必須能夠集中地進(jìn)行管理。這正是我們計劃在我們公司的 Hitachi Content Archive Platform 中實(shí)現(xiàn)的功能，它將集成在我們公司的 Universal Storage Platform V 中。由于我們反對為內(nèi)容存檔引入額外的存儲系統(tǒng)，也反對引入額外的軟件工具和管理接口，因此我們在通用管理框架中提供了內(nèi)容存檔服務(wù)。我們能夠調(diào)動20PB 的數(shù)據(jù)，最多支持 320 億個數(shù)據(jù)對象，充分利用了日立的異構(gòu)存儲虛擬化服務(wù)。在存儲區(qū)域網(wǎng)(SAN)加獨(dú)立節(jié)點(diǎn)陣列(SAIN)的體系結(jié)構(gòu)中，使用企業(yè)級日立存儲功能的首選方案就是Hitachi C