Isilon技術(shù)白皮書

1、isilonisilon 技術(shù)白皮書技術(shù)白皮書 : :集群存儲革命集群存儲革命“集群存儲正在逐步普及，并成為以前多代存儲產(chǎn)品的主要轉(zhuǎn)變趨勢，這與 cd 淘汰唱片十分相似?！眛ony asaro，enterprise strategy group，2005 年 10 月 1962 年，thomas kuhn 出版了一部極具開創(chuàng)性的名為科學(xué)革命的結(jié)構(gòu)的專著。他指出，科學(xué)進步不是漸進式的，而是呈現(xiàn)為一種伴有劃時代變革的斷續(xù)性平衡，這與我們所理解的生物進化頗為相似。1981 年，當(dāng) ibm 推出 ibm 個人計算機的標(biāo)準(zhǔn)化架構(gòu)時，計算機行業(yè)便經(jīng)歷了這樣的一場革命。與以往的行業(yè)慣例背道而馳， ibm 選

2、擇了使用現(xiàn)成組件來構(gòu)建其計算機。結(jié)果，ibm 個人計算機架構(gòu)最后成為了行業(yè)標(biāo)準(zhǔn)。這種架構(gòu)體不僅取代了其他個人計算機設(shè)計，而且在以后幾十年里，微型計算機和大型機也經(jīng)歷了這種變化，以適應(yīng)ibm 標(biāo)準(zhǔn)并開始使用現(xiàn)成組件構(gòu)建。本白皮書的目的是向您介紹目前數(shù)據(jù)存儲行業(yè)正在發(fā)生的新思維轉(zhuǎn)變：轉(zhuǎn)向集群存儲架構(gòu)。數(shù)據(jù)存儲行業(yè)的分布式存儲集群與 ibm 在 1981 年的處境大致相同，后者準(zhǔn)備改變計算機行業(yè)的規(guī)則。集群存儲架構(gòu)正在改變數(shù)據(jù)的存儲和訪問規(guī)則。在本白皮書中，我們將討論一些趨勢， 這些趨勢明確地將集群存儲架構(gòu)定義為數(shù)據(jù)存儲的未來。我們將詳細(xì)說明這一新存儲類別的要求，并介紹率先這一思維轉(zhuǎn)變的 isilo

3、n iq 集群存儲解決方案。1 1 推動集群存儲革命的三大宏觀趨勢推動集群存儲革命的三大宏觀趨勢三大宏觀趨勢推動了向集群存儲架構(gòu)的轉(zhuǎn)換：非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容(數(shù)字圖像、計算機模型、數(shù)字視頻、數(shù)字音頻、計算機模擬、掃描文檔、參考信息)的爆炸性增長向集群計算的思維轉(zhuǎn)換更廉價、更快的行業(yè)標(biāo)準(zhǔn)企業(yè)級硬件的激增宏觀趨勢宏觀趨勢 1 1：非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的爆炸性增長：非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的爆炸性增長今天參與競爭的企業(yè)都面臨著用于執(zhí)行日常業(yè)務(wù)的數(shù)據(jù)的急劇增加， 這在很大程度是由于非結(jié)構(gòu)化數(shù)據(jù)爆炸性增長造成的。it 管理人員知道，使用并存儲視頻、音頻、圖像、研究數(shù)據(jù)及其他大型數(shù)字文件和非結(jié)構(gòu)化數(shù)據(jù)的

4、應(yīng)用程序正在挑戰(zhàn)傳統(tǒng)存儲系統(tǒng)的容量和性能禁區(qū)。 pratt & whitney 對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多tb 量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄 100,000 多個樣本。cedars-sinai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)， 包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一些難題。對 cedarssinai 而言，一滴血將生成超過 60 gb 的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué)研究使用。用這個數(shù)字

5、乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，sports illustrated（體育畫報）于2004 年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期17 天的賽事中生成了 250,000 多張數(shù)字圖像（圖像平均大小為 18 至 24 mb）。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域， 包括傳媒娛樂業(yè)、 數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團 (esg) 預(yù)測，到 2006 年底，參考信息將占企業(yè)和政府新信息的58。 es

6、g 將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、cad/cam 設(shè)計、歷史文獻(xiàn)、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語音數(shù)據(jù)。esg 預(yù)計，參考信息將以 92 的復(fù)合年增長率(cagr) 增長。同時，esg 還預(yù)計，在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用 420 pb的容量。那么， 對 it 管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程度不斷提高， 它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具

7、有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案， 許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的 nas 和 san 系統(tǒng)也采用了存在先天不足的架構(gòu)， 造成了管理的極度復(fù)雜。 這都是由于它們的“存儲孤島”、可擴展性限制、 性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。 這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢宏觀趨勢 2 2：向集群計

8、算的思維轉(zhuǎn)變：向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。 企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理(smp) 服務(wù)器時代發(fā)展到運行 linux 或 indows 的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀(jì)九十年代中期起，這個年收益 500 億美元的市場約有四分之一或更大的比例從每臺價格幾萬或幾十萬美元的中端服務(wù)器轉(zhuǎn)向了每臺 2,000 到 3,000 美元的小型服務(wù)器。 it 管理人員的首要動機是，采用具有更高性能、可靠性、可擴展性以及整體工作負(fù)荷管理的服務(wù)器集群架構(gòu)。這可以通過集合行業(yè)標(biāo)準(zhǔn)服務(wù)器來實現(xiàn)，而所有這些

9、只有傳統(tǒng)大型設(shè)備解決方案成本的一小部分。企業(yè)不再在一個擁有 200 個處理器的大型機上部署大型數(shù)據(jù)庫。今天，it 管理人員可以購買一組現(xiàn)成的服務(wù)器，并將其組合成一個可無縫擴展的大型系統(tǒng)。網(wǎng)絡(luò)服務(wù)器庫便是集合優(yōu)點的一個例證。通過服務(wù)器集群，最佳地實現(xiàn)了因特網(wǎng)全天候?qū)崟r在線所需的可用性、可靠性和性能，同時也采用了經(jīng)濟合理的解決方案。服務(wù)器集群庫通過在服務(wù)器庫的各個組件之間分配工作負(fù)荷來簡化內(nèi)部流程率， 并利用多臺服務(wù)器的功能加快計算過程。如果一臺服務(wù)器發(fā)生故障，其他服務(wù)器可以介入并承擔(dān)該工作負(fù)荷。將服務(wù)器和處理功能組合到一個實體中在以前只是研究和學(xué)術(shù)機構(gòu)的一種做法， 但它現(xiàn)在也廣泛深入到了企業(yè)市場

10、中。 今天， 越來越多的企業(yè)使用服務(wù)器集群方法來處理大量計算機化的關(guān)鍵任務(wù)和服務(wù)。集群存儲革命將這一集群趨勢從服務(wù)器應(yīng)用領(lǐng)域擴大到了數(shù)據(jù)存儲領(lǐng)域。 出于同樣的原因， 服務(wù)器應(yīng)用領(lǐng)域正在以同樣的方式向集群架構(gòu)轉(zhuǎn)變，而存儲領(lǐng)域也已開始轉(zhuǎn)向這一主流架構(gòu)。宏觀趨勢宏觀趨勢 3 3：更廉價、更快的行業(yè)標(biāo)準(zhǔn)企業(yè)級硬件的激增：更廉價、更快的行業(yè)標(biāo)準(zhǔn)企業(yè)級硬件的激增推動轉(zhuǎn)向集群存儲的第三個宏觀趨勢是行業(yè)標(biāo)準(zhǔn)硬件組件的性價比曲線明顯下降。 這一趨勢是摩爾定律所預(yù)示的持續(xù)運動的一部分：隨著時間的推移，企業(yè)將以更低的成本獲得更高的計算能力，并實現(xiàn)商品硬件的經(jīng)濟效應(yīng)。商品硬件組件的低成本造就了集群架構(gòu)經(jīng)濟實惠的優(yōu)點。

11、 集群如何利用行業(yè)標(biāo)準(zhǔn)硬件的性價比曲線，以傳統(tǒng)定制系統(tǒng)的小部分成本來實現(xiàn)行業(yè)領(lǐng)先的性能和可靠性的呢，google 便是一個主要例子。平均而言，google 的一次查詢會讀取數(shù)百 mb 的數(shù)據(jù)，占用幾百億個 cpu 周期。為了處理這一“高性能計算”工作負(fù)荷，google 的架構(gòu)采用了數(shù)千個商品級 pc、現(xiàn)成組件以及容錯軟件的集群。該集群架構(gòu)實現(xiàn)了卓越的性能，而其成本遠(yuǎn)遠(yuǎn)低于使用數(shù)量更少但更昂貴的高端服務(wù)器打造的系統(tǒng)。企業(yè)級行業(yè)標(biāo)準(zhǔn)硬件的利用直接產(chǎn)生了轉(zhuǎn)向集群存儲解決方案的趨勢。 根據(jù)存儲磁盤產(chǎn)品（即 sata）的價格歷史和密度，過去 5 年每 mb 的單價降低了 100 多倍。（見下圖）加上處理

12、器、內(nèi)存和帶寬成本的顯著下降，it 管理人員現(xiàn)在可以通過商品化的存儲組件實現(xiàn)集群的全部價值。這些宏觀趨勢說明了三個基本意義： 存儲行業(yè)正在經(jīng)歷一場革命 集群存儲正成為新的主流存儲架構(gòu) 用戶將從集群存儲中收獲巨大的業(yè)務(wù)價值和好處從大型單片機到集群架構(gòu)， 存儲領(lǐng)域正在跟隨服務(wù)器應(yīng)用領(lǐng)域業(yè)已發(fā)生的思維轉(zhuǎn)換步伐。 集群存儲是一種迅速崛起的新存儲架構(gòu)， 它由智能軟件驅(qū)動， 并基于行業(yè)標(biāo)準(zhǔn)硬件打造。客戶知道， 集群架構(gòu)能夠處理企業(yè)迅速增長的非結(jié)構(gòu)化數(shù)據(jù)， 最好地提供前所未有的性價比、可靠性和可擴展性，從而滿足他們的需求，而這一切的運營成本明顯更低。集群存儲革命已經(jīng)開始！2 2 一個新的存儲類別：集群存儲一

13、個新的存儲類別：集群存儲直接連接存儲 (das)、 存儲區(qū)域網(wǎng)絡(luò) (san) 和網(wǎng)絡(luò)連接存儲 (nas) 都是典型的存儲方法，大多數(shù) it 管理人員在談到存儲架構(gòu)時都會想到它們。今天，第四種存儲方式集群存儲出現(xiàn)了。集群存儲架構(gòu)可以將兩個或多個存儲設(shè)備集結(jié)到一起， 使其在行為上表現(xiàn)得像一個實體。集群存儲可以細(xì)分為三種類型：雙向簡單故障轉(zhuǎn)移集群命名空間聚合帶有分布式文件系統(tǒng) (dfs) 的集群存儲雙向簡單集群：雙向簡單集群：過去在存儲行業(yè)中，“集群”是指在一對冗余節(jié)點（“節(jié)點”定義為服務(wù)器/控制器磁頭和磁盤）之間的主動故障轉(zhuǎn)移。盡管更準(zhǔn)確的說這種方式是一種冗余技術(shù)而非集群技術(shù)，但 nas 供應(yīng)商通

14、常稱其為“雙向集群”。雙向集群激起了繼續(xù)改進舊式和傳統(tǒng)單頭存儲架構(gòu)的容錯和冗余性能的需求。通常， 這些解決方案能使一個控制器磁頭接替故障控制器磁頭，并允許新控制器磁頭繼續(xù)訪問和寫入故障控制器的數(shù)據(jù)卷。內(nèi)在的限制性能和可擴展性、小型文件系統(tǒng)規(guī)模、管理復(fù)雜性以及實現(xiàn)高可用性的相對較高的成本是這一方式的主要制約因素。加上非結(jié)構(gòu)化數(shù)據(jù)的迅速增長，這些解決方案明顯不能滿足企業(yè)發(fā)展的未來需求。命名空間聚合：實質(zhì)上， 這些類型的集群存儲解決方案構(gòu)成了將存儲管理連為一體的一塊玻璃或薄板。這些解決方案完全基于軟件（即軟件虛擬化）或是軟件與硬件的組合（即設(shè)備和開關(guān)），并創(chuàng)建了存儲資源的單一命名空間和集群，它們看起

15、來像一個大型數(shù)據(jù)管理池。一般來說，這些解決方案會啟用包括 nas 服務(wù)器或存儲設(shè)備集群的“綜合樹”，把各存儲倉庫向網(wǎng)絡(luò)用戶呈現(xiàn)為一個整體（一個統(tǒng)一的命名空間），并將數(shù)據(jù)歸到任何既定倉庫中。換句話說，通過它們創(chuàng)建的網(wǎng)關(guān)，可以重新定向幾種不同文件和異構(gòu)系統(tǒng)以便從公共點進行訪問。此類解決方案能夠把橫跨不同磁盤卷的文件布局（塊級拆分?jǐn)?shù)據(jù)）控制在某個特定倉庫而不是構(gòu)成集群的所有倉庫，同時仍然允許不同存儲層之間的數(shù)據(jù)移動，且客戶端中斷有限。盡管從最初成本角度來看，這種架構(gòu)方法有時不乏吸引力，但 it 管理員仍在管理、發(fā)展和配置“存儲孤島”（異構(gòu)型存儲倉庫），不過現(xiàn)在他們又多了一個虛擬化層。最終，這種解決方

16、案會帶來更高的復(fù)雜性、更重的管理負(fù)擔(dān)以及更高的長期運營成本。帶有帶有 dfs dfs 的集群存儲的集群存儲 : :第三種類型是分布式集群存儲， 它是超越 n 向簡單集群和命名空間聚合的自然發(fā)展。分布式集群存儲是一種網(wǎng)絡(luò)存儲系統(tǒng)，它允許用戶組合和添加存儲節(jié)點，所有這些節(jié)點皆訪問同一個數(shù)據(jù)池。這些解決方案直接駐留在存儲層上，其中文件系統(tǒng)可以完全分布在任意數(shù)量的節(jié)點/存儲控制器。由于軟件駐留在存儲層上，因此它可以完全控制數(shù)據(jù)在構(gòu)成集群的所有存儲節(jié)點中的布局（數(shù)據(jù)塊級拆分），乃至每個數(shù)據(jù)塊的 ecc糾錯水平。這與命名空間聚合/虛擬化產(chǎn)品形成了對比，后者只控制特定存儲倉庫寫入哪些數(shù)據(jù)。 智能軟件可以使節(jié)

17、點對稱和分布均衡， 從而使集群作為一個統(tǒng)一的智能團隊協(xié)同工作，同時每個節(jié)點可以獨立運行，并與其他節(jié)點進行通信以傳輸文件，從而滿足用戶的需求。集群中的每個節(jié)點都是一個連貫的對等體，也就是說每個節(jié)點都了解對方的一切信息。由于分布式集群存儲的這些特征，與上述任何其他解決方案相比， 它的可用性、 可靠性、 可擴展性、總吞吐量以及易管理性最高。三種集群存儲解決方案在數(shù)據(jù)控制方式上的差異3 3 集群存儲的定義集群存儲的定義定義集群存儲解決方案時，我們會發(fā)現(xiàn)六個共性：對稱的集群架構(gòu) 可擴展的分布式文件系統(tǒng)固有的高可用性單一管理層線性性能特征企業(yè)就緒性對稱的集群架構(gòu)：對稱的集群架構(gòu)：分布式集群存儲解決方案背后

18、的關(guān)鍵設(shè)計原理是節(jié)點之間的對稱性，所謂的節(jié)點可以是獨立的存儲控制器磁頭、磁盤、cpu、內(nèi)存和網(wǎng)絡(luò)連接。集群必須執(zhí)行的任務(wù)在其成員中均勻分配， 與采用基于主服務(wù)器方法的傳統(tǒng)存儲架構(gòu)相比增強了可擴展性、數(shù)據(jù)訪問、性能和可用性，后者的存儲節(jié)點并不對稱，而且可擴展性和性能受到限制。即使在集群中添加更多節(jié)點，它仍然有一個邏輯控制中心。不管解決方案中的節(jié)點數(shù)量是多少，仍然只有一個邏輯系統(tǒng)。完全對稱的集群架構(gòu)可以無縫擴展資源，并能實現(xiàn)存儲系統(tǒng)的模塊化擴展或“按需購買，漸進升級”的優(yōu)點。如果需要更多內(nèi)存、帶寬、容量或驅(qū)動器， 只要向集群添加更多節(jié)點便可以使集群得以擴展，同時通過一個可動態(tài)擴展的邏輯系統(tǒng)來保持它

19、的連貫性?？蓴U展的分布式文件系統(tǒng)：可擴展的分布式文件系統(tǒng)：實現(xiàn)這種架構(gòu)方法的是分布式文件系統(tǒng)，它可以擴展成為一個特大存儲池或單個網(wǎng)絡(luò)驅(qū)動器。 分布式文件系統(tǒng)保持對節(jié)點之間的文件和數(shù)據(jù)布局的控制， 并采用在集群范圍內(nèi)全面分配并保持一致性的元數(shù)據(jù)和鎖定語意，因而可以創(chuàng)建一個很大的全局存儲池。單個網(wǎng)絡(luò)驅(qū)動器和單個文件系統(tǒng)可以無縫擴展到數(shù)百 tb。在下圖中， 完全分布式的文件系統(tǒng)通過在集群中的所有節(jié)點中分配操作，來處理元數(shù)據(jù)操作、 文件鎖定和緩存管理任務(wù)。分布式文件系統(tǒng)無需依靠主服務(wù)器便可確保恰當(dāng)?shù)逆i定行為通過消除專用元數(shù)據(jù)服務(wù)器消除了性能瓶頸，并使所有節(jié)點的緩存完全保持一致，從而確保每次讀寫都能檢索

20、最新的數(shù)據(jù)。固有的高可用性：固有的高可用性：顧名思義，分布式集群架構(gòu)具有高可用性，因為每個節(jié)點都是另一個節(jié)點的對等體。如果任何節(jié)點或組件發(fā)生故障，仍可通過任何其他節(jié)點來訪問數(shù)據(jù)，而且由于整個集群的文件系統(tǒng)狀態(tài)得到維護，因此不會出現(xiàn)單一故障點。事實上，完全分布式集群架構(gòu)可以同時承受多個驅(qū)動器和節(jié)點故障，而且仍能恢復(fù)并繼續(xù)操作。另外，分布式集群架構(gòu)的高可用性是“固有的”， 也就是說與傳統(tǒng)存儲系統(tǒng)不同，集群存儲解決方案依靠全對稱架構(gòu)性質(zhì)便可實現(xiàn)高可用性。而對于傳統(tǒng)存儲系統(tǒng)，it 管理人員必須購買額外的軟件和昂貴的冗余硬件才能實現(xiàn)高可用性。集群存儲架構(gòu)帶來了獨特的可靠性難題：集群存儲架構(gòu)帶來了獨特的可

21、靠性難題：由于這些解決方案使用了廣泛的行業(yè)標(biāo)準(zhǔn)硬件組件， 一個文件系統(tǒng)中有數(shù)百甚至上千個磁盤在運轉(zhuǎn)，因而要達(dá)到企業(yè)的可靠性標(biāo)準(zhǔn)需要新的創(chuàng)新技術(shù)。為了解決這一難題，整個集群存儲解決方案必須能夠快速重建驅(qū)動器，從而盡可能減少風(fēng)險窗口；必須提供積極的“自愈”功能，以確保所有數(shù)據(jù)始終可用，并確保分布式文件系統(tǒng)完整記錄操作的所有狀況（即防止整個集群在寫操作過程中發(fā)生故障）。單一管理層：單一管理層：無論文件系統(tǒng)大小以及添加到集群的存儲節(jié)點數(shù)量是多少，分布式集群架構(gòu)解決方案只單層管理，這使得管理幾個節(jié)點的集群與管理數(shù)百個節(jié)點的集群一樣簡單。在向集群添加新節(jié)點以擴展容量和性能時， 整個集群存儲解決方案可以自動

22、處理以往的手動任務(wù)， 包括跨集群節(jié)點的客戶端連接負(fù)載均衡， 從而確保最優(yōu)的性能和內(nèi)容的自動重新均衡。橫跨整個集群的單一文件系統(tǒng)簡化了環(huán)境的管理， 并通過許多驅(qū)動器名以及將應(yīng)用程序映射到許多獨立的“存儲孤島”而消除了導(dǎo)航任務(wù)。對系統(tǒng)管理員而言，這解決了客戶端管理問題，因為所有文件皆隸屬于一個驅(qū)動器名或安裝點。性能的線性可擴展性：性能的線性可擴展性：分布式集群存儲解決方案具有一種獨特的功能，即以近線方式擴展所有性能元素。在添加更多節(jié)點/內(nèi)存控制器、處理、磁盤主軸和帶寬時，集群會以一個邏輯系統(tǒng)來保持其一致性，并能夠集合所有資源，從而實現(xiàn)每個新增節(jié)點的線性性能擴展。為了實現(xiàn)這種線性性能擴展，集群內(nèi)的每

23、個節(jié)點與所有其他節(jié)點保持同步至關(guān)重要。因此， 更強健的解決方案通常采用速度極高的集群內(nèi)部互連，以確保節(jié)點之間的低延遲和集群的實時同步。企業(yè)就緒性：企業(yè)就緒性： 分布式集群存儲解決方案必須具備可供企業(yè)隨時使用的就緒性。 歷史上，集群架構(gòu)最早主要部署在非商業(yè)性的研究實驗室，而不是主流商業(yè)企業(yè)。但是，為了成為思維轉(zhuǎn)換的一部分，集群架構(gòu)必須做好在商業(yè)企業(yè)數(shù)據(jù)中心實施的準(zhǔn)備。尤其是，該解決方案必須支持標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議并提供 it 管理人員一直期望得到的工具。集群存儲是存儲自然發(fā)展的結(jié)果， 旨在滿足現(xiàn)代企業(yè)不斷變化的需求及其非結(jié)構(gòu)化數(shù)據(jù)增長的需要。下表概括了當(dāng)今市場上全面上市的集群存儲解決方案類型之間的不同：

24、4 isilon systems:4 isilon systems: 集群存儲的領(lǐng)先者集群存儲的領(lǐng)先者isilon systems 目前提供了第四代完全分布式的集群存儲解決方案，并且無疑是這一新興類別的領(lǐng)先者。isilon 屢獲殊榮的 isilon iq 產(chǎn)品家族包括高性能的集群存儲系統(tǒng)， 這些系統(tǒng)將智能分布式文件系統(tǒng)與模塊化行業(yè)標(biāo)準(zhǔn)硬件結(jié)合起來，提供無與倫比的簡單性和可擴展性。isilon iq 是為非結(jié)構(gòu)化數(shù)據(jù)設(shè)計的，專用于數(shù)據(jù)密集型市場，例如傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府。 isilon iq: isilon iq: 可擴展的分布式文件系統(tǒng)可擴展的分布式文件

25、系統(tǒng) isilon 集群存儲解決方案的核心是 isilon 享有專利的 onefs 分布式文件系統(tǒng)。它將三個傳統(tǒng)存儲架構(gòu)層文件系統(tǒng)、卷管理器和 raid組合成一個統(tǒng)一的軟件層，從而創(chuàng)建了一個智能的完全對稱文件系統(tǒng)，該系統(tǒng)橫跨集群內(nèi)的所有節(jié)點。 onefs 為大型內(nèi)容存儲提供單一的管理點，更快的大型內(nèi)容文件訪問速度，與生俱來的高可用性，輕松擴展單個集群的容量，最高可達(dá)每秒 10 gb 的總吞吐量以及數(shù)百 tb 的容量，所有這一切都來自單個網(wǎng)絡(luò)文件系統(tǒng)。 onefs 只對橫跨集群內(nèi)多個存儲節(jié)點的文件和元數(shù)據(jù)進行塊級拆分， 較之對橫跨單一存儲設(shè)備或卷內(nèi)的單個磁盤對內(nèi)容進行塊級拆分的傳統(tǒng)方法而言，這是

26、一個改進。這種完全分布式方法使 isilon 能夠提供前所未有的性能、可擴展性、可用性和可管理性。 onefs 使每個節(jié)點知道整個文件系統(tǒng)的布局以及每個文件和文件不同部分的駐留位置。訪問任何獨立節(jié)點都可以讓用戶獲取某個統(tǒng)一命名空間中的所有內(nèi)容。這意味著沒有卷和共享，沒有硬性的卷大小限制，重新配置或擴展存儲時不會停機，而且無需管理多個網(wǎng)絡(luò)驅(qū)動器。 相反， onefs 為用戶提供了管理單一 nas 存儲的便利性和簡單性，而且其可擴展性、性能和靈活性都要勝過 san 系統(tǒng)。 isilon iq: isilon iq: 對稱架構(gòu)對稱架構(gòu)每個 isilon iq 集群包括 3 到 96 個 isilon

27、 iq 節(jié)點。 每個模塊化的獨立 isilon iq節(jié)點包括磁盤容量以及強大的存儲服務(wù)器、cpu、內(nèi)存和網(wǎng)絡(luò)，所有這些都在一個獨立、小巧的 2u 架裝式系統(tǒng)中。在向集群添加其他的 isilon iq 節(jié)點時，集群的所有方面都會對稱擴展，包括容量、吞吐量、內(nèi)存、cpu 和網(wǎng)絡(luò)連接。isilon iq 節(jié)點自動配合工作，利用它們的合力形成一個統(tǒng)一的存儲系統(tǒng)。該系統(tǒng)可以承受任何硬件組件故障，包括磁盤、交換機甚至整個節(jié)點。在完全分布式架構(gòu)中，各節(jié)點與集群中的所有其他節(jié)點保持同步非常關(guān)鍵。 isilon iq存儲節(jié)點使用千兆以太網(wǎng)或高速低延遲 infiniband 交換結(jié)構(gòu)， 進行集群內(nèi)通信、 同步和所

28、有集群內(nèi)部操作。這使得每個節(jié)點都能與系統(tǒng)中的所有其他節(jié)點共享信息，因此每個存儲節(jié)點都是一個完全連貫的對等體，完全了解其他節(jié)點正在做什么。 onefs 使用分布式鎖定管理器、連貫緩存和遠(yuǎn)程數(shù)據(jù)塊管理器使節(jié)點保持同步，其中遠(yuǎn)程數(shù)據(jù)塊管理器可在整個集群中保持全局連貫性。 正是各節(jié)點的這種全局連貫性消除了訪問文件系統(tǒng)時會遇到的任何單點故障。集群中的任何節(jié)點都可以接受讀/寫請求，而每個節(jié)點都將呈現(xiàn)整個文件系統(tǒng)的相同統(tǒng)一視圖。集群中的所有節(jié)點均為“對等體”， 因此系統(tǒng)完全對稱，消除了層次結(jié)構(gòu)和內(nèi)在瓶頸。isilon iq:isilon iq: 固有的高可用性固有的高可用性傳統(tǒng)文件系統(tǒng)利用主從關(guān)系來管理多個

29、存儲資源。這些關(guān)系具有內(nèi)在的相關(guān)性，并形成了存儲系統(tǒng)內(nèi)的故障點。 確保數(shù)據(jù)完整性和消除單點故障的唯一正確方法是使集群中的所有節(jié)點成為對等體。由于 isilon iq 中的每個節(jié)點都是一個對等體，因此任何節(jié)點都可以處理任何應(yīng)用服務(wù)器發(fā)出的請求，從而提供所請求的內(nèi)容。如果任何一個節(jié)點發(fā)生故障，其他任何節(jié)點都可以替代它，因而消除了所有單點故障。多故障支持；多故障支持；使用 isilon iq，即使損失多個磁盤或整個節(jié)點，客戶仍不會失去對任何內(nèi)容的訪問權(quán)。onefs 獨一無二的 flexprotect-ap 功能采用了 reed solomon ecc（糾錯碼）、奇偶校驗塊級拆分（從 n+1 到 n+

30、4）以及橫跨集群內(nèi)多個節(jié)點的鏡像文件塊級拆分（從 2x 到 8x）。這些策略可以在任何層面上設(shè)置，包括集群、目錄、子目錄甚至單個文件。此外，還可以隨時通過簡單的 web 用戶界面更改這些策略即使系統(tǒng)正處于工作過程并完全可用時。使用 isilon，所有文件皆在集群內(nèi)的多個節(jié)點中進行塊級拆分，沒有一個節(jié)點會存儲任何文件的全部內(nèi)容，并且如果某個節(jié)點發(fā)生故障，集群中的其他所有節(jié)點仍可以提供該文件的全部內(nèi)容，而不會中斷。舉例來說，isilon 的“n+2”雙 ecc 糾錯在單一集群和文件系統(tǒng)內(nèi)最多允許磁盤或整個節(jié)點同時出現(xiàn)兩個故障。每個文件皆在集群內(nèi)的多個節(jié)點中進行塊級拆分，其中每個數(shù)據(jù)塊有兩個奇偶校驗

31、塊級拆分。與“n+1”單奇偶校驗不同，如果此次重建過程中出現(xiàn)了第二個故障，所有數(shù)據(jù)仍全部可用，因為最初已通過雙重 ecc 保護對數(shù)據(jù)進行了塊級拆分。相反，如果同樣的情形發(fā)生在使用 raid5 的傳統(tǒng)系統(tǒng)中，則將造成數(shù)據(jù)丟失，而且無法恢復(fù)。isilon 工程師估計， n+2 raid 的平均故障間隔時間 (mtbf) 比單奇偶校驗 raid 的長 100倍。現(xiàn)在，想一想 isilon systems 的這種功能最高達(dá)到“n+4”，使得任何集群存儲系統(tǒng)均可以承受驅(qū)動器或整個節(jié)點的四個同時故障，這是史無前例的，由此你就會明白 isilonsystems 為何被視為市場上可用性最高的解決方案了。 is

32、ilon iq 是為集群架構(gòu)中的單一文件系統(tǒng)提供這種數(shù)據(jù)保護水平的唯一集群存儲解決方案。業(yè)界領(lǐng)先的驅(qū)動器重建：如果出現(xiàn)故障， onefs 會自動橫跨集群中的所有現(xiàn)有分布式可用空間并行重建文件，這樣便無需使用大多數(shù)傳統(tǒng)存儲架構(gòu)所要求的專用“奇偶校驗驅(qū)動器”。 onefs 利用集群內(nèi)所有節(jié)點中的全部可用空間來重建數(shù)據(jù)， 從而充分利用集群的優(yōu)點。通過利用這些可用空間以及集群的多個處理器和計算能力， 數(shù)據(jù)重建速度可比傳統(tǒng)架構(gòu)加快五到十倍。對存儲系統(tǒng)的數(shù)據(jù)可靠性而言， 存儲系統(tǒng)從故障磁盤驅(qū)動器重建數(shù)據(jù)所需的時間非常關(guān)鍵。對于傳統(tǒng)存儲系統(tǒng)，重建過程已經(jīng)占用了很多時間；隨著硬盤密度進一步提高（目前每個驅(qū)動器

33、為 500gb），這一態(tài)勢不斷惡化。隨著 tb 級磁盤的出現(xiàn)（預(yù)計在接下來的 24 個月內(nèi)）以及所創(chuàng)建的單個卷/文件系統(tǒng)越來越大，傳統(tǒng)存儲系統(tǒng)最多將需要 24 小時或更長時間才能從磁盤故障中恢復(fù)。在此期間，此類傳統(tǒng)存儲系統(tǒng)很容易出現(xiàn)其他的磁盤故障，這將造成數(shù)據(jù)丟失和停機。由于 isilon iq 是以分布式架構(gòu)為基礎(chǔ)構(gòu)建的，因此它可以充分利用集群內(nèi)的所有磁盤和硬件，以便重建故障磁盤的數(shù)據(jù)。由于 isilon iq 不受任何特定磁盤的速度約束，因此 isilon 的系統(tǒng)可以極快地從磁盤故障中恢復(fù)。 isilon iq 集群內(nèi)的磁盤故障可在一兩個小時內(nèi)重建，具體取決于驅(qū)動器密度。要重建單個故障磁盤

34、驅(qū)動器，光纖通道和 scsi 磁盤需要花費 8 個多小時，其他 ata 磁盤驅(qū)動器則需要 8 到 24 小時不等。與它們相比，isilon 架構(gòu)的優(yōu)勢顯而易見。通過提供行業(yè)領(lǐng)先的驅(qū)動器重建時間，isilon iq 提供了更可靠的存儲系統(tǒng)，同時該系統(tǒng)更靈活，并且不易發(fā)生多故障情形。自我修復(fù)功能：自我修復(fù)功能：onefs 持續(xù)監(jiān)控所有文件和磁盤的運行狀況，并在每個驅(qū)動器上保存可用智能統(tǒng)計信息（例如可恢復(fù)的讀錯誤）的記錄，以預(yù)測該驅(qū)動器會在什么時候發(fā)生故障。如果 onefs 發(fā)現(xiàn)有風(fēng)險的組件，它會搶先將數(shù)據(jù)遷出“有風(fēng)險的”磁盤，并以自動且對客戶透明的方式將數(shù)據(jù)移到集群中的可用自由空間。數(shù)據(jù)重建后，在

35、實際故障發(fā)生之前，通知用戶維修可疑驅(qū)動器?？蛻艨梢苑判?，使用此功能，今天寫入的數(shù)據(jù)將百分百可靠地進行存儲，每個位都是正確的，且在需要時隨時可用。目前，沒有任何其他集群解決方案能夠提供這種水平的數(shù)據(jù)保護可靠性。 isilon iq: isilon iq: 單一管理層；單一管理層；isilon iq 為集群內(nèi)的所有內(nèi)容創(chuàng)建了一個共享池，因而為用戶提供了一個訪問點，為管理員提供了一個管理點。如今，isilon 已經(jīng)過測試，能夠支持高達(dá) 1,000tb (1pb) 的單個網(wǎng)絡(luò)驅(qū)動器。isilon iq 集群一旦建立，用戶便能夠連接任何存儲節(jié)點， 并安全地訪問集群內(nèi)的所有內(nèi)容。這意味著要連接的所有應(yīng)用程序之間只有一種關(guān)系，每個應(yīng)用程序均能了解并訪問整個文件系統(tǒng)中的每個文件。作為一個分布式文件系統(tǒng)，onefs 消除了自產(chǎn)自用的服務(wù)器連接存儲，使資源的高效查看、共享和分配有了顯著改善。用戶對之前不可訪問的內(nèi)容享有即時訪問權(quán)，而當(dāng)容量需要增加時，管理員能夠以動態(tài)方式添加和重新分配內(nèi)容。其結(jié)果是，新業(yè)務(wù)應(yīng)用的部署速度更快，并能訪問和共享網(wǎng)絡(luò)中任何地方的任何內(nèi)容。 onefs 的主要優(yōu)點之一是