Isilon技術(shù)白皮書

1、Isilon技術(shù)白皮書：集群存儲革命“集群存儲正在逐步普及，并成為以前多代存儲產(chǎn)品的主要轉(zhuǎn)變趨勢，這與CD淘汰唱片十分相似?！盩ony Asaro ， Enterprise Strategy Group， 2005 年 10 月1962 年，ThomasKuhn出版了一部極具開創(chuàng)性的名為科學(xué)革命的結(jié)構(gòu)的專著。他 指出，科學(xué)進步不是漸進式的，而是呈現(xiàn)為一種伴有劃時代變革的斷續(xù)性平衡，這與我們所理解的生物進化頗為相似。1981年，當(dāng)IBM推出IBM個人計算機的標(biāo)準(zhǔn)化架構(gòu)時，計算機行業(yè)便經(jīng)歷了這樣的一場革命。與以往的行業(yè)慣例背道而馳，IBM選擇了使用現(xiàn)成組件來構(gòu)建其計算機。結(jié)果，IBM個人計算機架構(gòu)

2、最后成為了行業(yè)標(biāo)準(zhǔn)。這種架構(gòu)體不僅取代了其他個人計算機設(shè)計， 而且在以后幾十年里，微型計算機和大型機也經(jīng)歷了這種變化，以適應(yīng)IBM標(biāo)準(zhǔn)并開始使用現(xiàn)成組件構(gòu)建。本白皮書的目的是向您介紹目前數(shù)據(jù)存儲行業(yè)正在發(fā)生的新思維轉(zhuǎn)變：轉(zhuǎn)向集群存儲架構(gòu)。數(shù)據(jù)存儲行業(yè)的分布式存儲集群與IBM在1981年的處境大致相同，后者準(zhǔn)備改變計算機行業(yè)的規(guī)則。集群存儲架構(gòu)正在改變數(shù)據(jù)的存儲和訪問規(guī)則。在本白皮書中，我們將討論一些趨勢，這些趨勢明確地將集群存儲架構(gòu)定義為數(shù)據(jù)存儲的未來。我們將詳細說明這一新存儲類別的要求，并介紹率先這一思維轉(zhuǎn)變的Isilo n? IQ 集群存儲解決方案。1推動集群存儲革命的三大宏觀趨勢三大宏觀

3、趨勢推動了向集群存儲架構(gòu)的轉(zhuǎn)換：非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容（數(shù)字圖像、計算機模型、數(shù)字視頻、數(shù)字音頻、計算機模擬、 掃描文檔、參考信息）的爆炸性增長向集群計算的思維轉(zhuǎn)換更廉價、更快的行業(yè)標(biāo)準(zhǔn)企業(yè)級硬件的激增宏觀趨勢1 :非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的爆炸性增長今天參與競爭的企業(yè)都面臨著用于執(zhí)行日常業(yè)務(wù)的數(shù)據(jù)的急劇增加，這在很大程度是由于非結(jié)構(gòu)化數(shù)據(jù)爆炸性增長造成的。IT管理人員知道，使用并存儲視頻、音頻、圖像、研究數(shù)據(jù)及其他大型數(shù)字文件和非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用程序正在挑戰(zhàn)傳統(tǒng)存儲系統(tǒng)的容量和 性能禁區(qū)。Pratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇

4、宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年

5、在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信

6、息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。 另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案， 許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)

7、而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證

8、據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘

9、以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考

10、和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征

11、，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從

12、“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量

13、研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且

14、非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)

15、主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一

16、一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Ce

17、dars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為

18、18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占

19、用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于

20、它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以

21、及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報

22、）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ES

23、G預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或

24、文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的

25、最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這

26、個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為

27、隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的

28、獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中

29、心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道

30、存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政

31、府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為

32、這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的

33、需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣

34、本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平

35、均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）

36、會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這

37、都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍

38、用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（

39、體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)

40、據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事

41、務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這

42、一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使

43、用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定

44、義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未

45、考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企

46、業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他

47、們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造

48、業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見

49、肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存

50、儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,00

51、0多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustrated（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像

52、（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源

53、的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含有小型文件和高級別事務(wù)（例如關(guān)系數(shù)據(jù)庫和電子郵件服務(wù)器）的結(jié)構(gòu)化數(shù)據(jù)設(shè)計的。另一方面，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲系統(tǒng)在設(shè)計時并未考慮到的獨特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪問方式以及大量并行文件訪問。由于缺乏更好的替代方案，許多公司曾嘗試通過拓展專為結(jié)構(gòu)化事務(wù)數(shù)據(jù)或文本數(shù)據(jù)而設(shè)計的傳統(tǒng)存儲系統(tǒng)，以此來滿足他們的非結(jié)構(gòu)化數(shù)據(jù)需求。甚至最新的NAS和SAN系統(tǒng)也采用了存在先天不足的架構(gòu)，造成了管理的極度

54、復(fù)雜。這都是由于它們的“存儲孤島”、可擴展性限制、性能瓶頸和可用性問題造成的，而且將此類系統(tǒng)用于非結(jié)構(gòu)化數(shù)據(jù)還會造成高額成本。這些限制也激發(fā)了企業(yè)對新存儲架構(gòu)的需求一一一個完全為非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字 內(nèi)容專門設(shè)計并經(jīng)過優(yōu)化的存儲架構(gòu)。宏觀趨勢2 :向集群計算的思維轉(zhuǎn)變第二個宏觀趨勢是集群計算的廣泛應(yīng)用。企業(yè)數(shù)據(jù)中心已經(jīng)從“大型”專有主機和對稱式多處理（SMP）服務(wù)器時代發(fā)展到運行 Linux 或indows的基于標(biāo)準(zhǔn)（使用行業(yè)標(biāo)準(zhǔn)硬件）的集群設(shè)備時代。這一趨勢的最有力證據(jù)是全球服務(wù)器收入的變化。自二十世紀九十年P(guān)ratt& Whitney對非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長深有體會。作為全球先進的

55、商用和軍用飛機以及宇宙飛船引擎的領(lǐng)先設(shè)計、制造和支持供應(yīng)商，它所進行的詳盡測試生成了許多TB量級的引擎測試數(shù)據(jù)，其中每項高帶寬測試每秒將記錄100,000多個樣本。Cedars-S in ai 腫瘤研究中心位于加利福尼亞的洛杉磯市；該腫瘤研究中心整理從多種渠道收集的數(shù)據(jù)，包括臨床質(zhì)譜分析和基因組數(shù)據(jù)，他們也知道存儲大量研究數(shù)據(jù)時會遇到的一Pratt些難題。對Cedars - Sinai而言，一滴血將生成超過 60 GB的非結(jié)構(gòu)化數(shù)據(jù)供蛋白質(zhì)組學(xué) 研究使用。用這個數(shù)字乘以從研究中心的患者身上采集的數(shù)百個（如果不是上千個）血液標(biāo)本，非結(jié)構(gòu)化數(shù)據(jù)的急劇增加是顯而易見的。最后，Sports川ustra

56、ted（體育畫報）于2004年在雅典夏季奧運會上率先開創(chuàng)了一個百分之百的數(shù)字化工作流。這一工作流在為期 17天的賽事中生成了 250,000多張數(shù)字圖像（圖像平均大小為18至24 MB。這一數(shù)字化趨勢擴展到了所有使用非結(jié)構(gòu)化數(shù)據(jù)和數(shù)字內(nèi)容的行業(yè)領(lǐng)域，包括傳媒娛樂業(yè)、數(shù)字成像、生命科學(xué)、石油和天然氣、制造業(yè)以及政府，而且非結(jié)構(gòu)化數(shù)據(jù)的迅速增長非常明顯。據(jù)企業(yè)戰(zhàn)略集團（ESG）預(yù)測，到2006年底，參考信息將占企業(yè)和政府新信息的 58%。ESG將參考信息定義為“為隨時參考和創(chuàng)造價值而保留的數(shù)字資產(chǎn)”。這些信息包括但不限于電子文檔、 CAD/CAM設(shè)計、歷史文獻、醫(yī)學(xué)影像、生物信息學(xué)、地球物理數(shù)據(jù)和語 音數(shù)據(jù)。ESG預(yù)計，參考信息將以92 %的復(fù)合年增長率（CAGR）增長。同時，ESG還預(yù)計， 在此期間遷移參考資產(chǎn)（即從磁帶遷移到基于磁盤的存儲資源的數(shù)據(jù)）會額外占用420 PB的容量。那么，對IT管理人員來說這意味著什么呢？由于非結(jié)構(gòu)化內(nèi)容的存儲規(guī)模和復(fù)雜程 度不斷提高，它們使得傳統(tǒng)存儲系統(tǒng)捉襟見肘，因為這些系統(tǒng)主要是為含