網(wǎng)絡存儲技術(shù)發(fā)展綜述09

1、l信息存儲的定義信息存儲的定義l數(shù)字信息學的科學基礎數(shù)字信息學的科學基礎l容量問題容量問題l高可用性問題高可用性問題l性能問題性能問題l管理復雜性問題管理復雜性問題l 生命周期問題生命周期問題 處理處理 傳輸傳輸 存儲存儲l處理：對信息進行變化和加工處理：對信息進行變化和加工l傳輸：信息跨越空間的傳播傳輸：信息跨越空間的傳播l存儲：信息跨越時間的傳播存儲：信息跨越時間的傳播 存儲是信息技術(shù)的三大基石之一存儲是信息技術(shù)的三大基石之一 （被我國忽略的領域）（被我國忽略的領域）l處理：產(chǎn)生知識處理：產(chǎn)生知識l通訊：傳播知識通訊：傳播知識l存儲：積累知識存儲：積累知識 處理：大腦處理：大腦 通訊：語言

2、，手勢、表情通訊：語言，手勢、表情 存儲：大腦存儲：大腦通過技術(shù)的發(fā)明來克服自然狀態(tài)的局限與通過技術(shù)的發(fā)明來克服自然狀態(tài)的局限與不足不足大自然賦予人類大腦極其優(yōu)秀的處理能力，而大自然賦予人類大腦極其優(yōu)秀的處理能力，而通訊和存儲能力不足通訊和存儲能力不足在電腦發(fā)明前，幾乎所有的信息工具發(fā)明都集在電腦發(fā)明前，幾乎所有的信息工具發(fā)明都集中在通訊和存儲中在通訊和存儲: :通訊：通訊：烽火臺、旗語、鼓語、郵遞、交通、電報、電話、無線電、電視、Internet存儲存儲：結(jié)繩計數(shù)、文字、繪畫、紙和印刷（非常偉大的發(fā)明，現(xiàn)代技術(shù)很多方面都沒有超過它）、照相、錄音、錄像、數(shù)字存儲處理處理：算籌、算盤、計算機l我

3、們處于人類歷史上（數(shù)萬年）信息技術(shù)（IT)的一個偉大的轉(zhuǎn)折過程（大約需要100年）:各種信息技術(shù)都向數(shù)字化轉(zhuǎn)移!(電的對比)l現(xiàn)在正處于變化最劇烈的拐點，一切都變化得這樣快l我們對這個過程有沒有足夠的認識?l世紀之交的信息技術(shù)大轉(zhuǎn)移：數(shù)字化大轉(zhuǎn)移世紀之交的信息技術(shù)大轉(zhuǎn)移：數(shù)字化大轉(zhuǎn)移l時間：世紀之交前后時間：世紀之交前后5050年年l5050年前開始（以計算機發(fā)明為開端），年前開始（以計算機發(fā)明為開端），5050年后成年后成熟，信息領域數(shù)字技術(shù)一統(tǒng)天下熟，信息領域數(shù)字技術(shù)一統(tǒng)天下l目前正是轉(zhuǎn)移的高峰期：目前正是轉(zhuǎn)移的高峰期：l數(shù)字控制、數(shù)字錄音、數(shù)據(jù)通訊（目前主干，即數(shù)字控制、數(shù)字錄音、數(shù)據(jù)通

4、訊（目前主干，即將用戶）、數(shù)字計算、數(shù)字電視、數(shù)字廣播、數(shù)將用戶）、數(shù)字計算、數(shù)字電視、數(shù)字廣播、數(shù)字相機、數(shù)字攝像、數(shù)字城市、數(shù)字流域、數(shù)字字相機、數(shù)字攝像、數(shù)字城市、數(shù)字流域、數(shù)字地球地球 . . 數(shù)字化生存數(shù)字化生存l50年后，不是數(shù)字的信息產(chǎn)品很難見到（成熟年后，不是數(shù)字的信息產(chǎn)品很難見到（成熟)l“數(shù)字”是人類至今為止找到的最佳信息媒介！(終于找到了?。﹍可與各種信息形式進行轉(zhuǎn)化可與各種信息形式進行轉(zhuǎn)化（人能接受的信息：文字、聲音、圖形、（人能接受的信息：文字、聲音、圖形、圖像、視頻；觸覺？嗅覺？味覺？圖像、視頻；觸覺？嗅覺？味覺？ ；機；機器能接受的信息：電流、電壓等）器能接受的信

5、息：電流、電壓等）l可表達人的思想、辦法、事物的規(guī)律可表達人的思想、辦法、事物的規(guī)律 （程序的巨大能力）（程序的巨大能力）l可以單一的形式進行可以單一的形式進行處理、傳輸、存儲處理、傳輸、存儲，是唯一可以承擔三種信息任務的媒介是唯一可以承擔三種信息任務的媒介 信息技術(shù)統(tǒng)一于數(shù)字！結(jié)結(jié) 論論進入數(shù)字域討論進入數(shù)字域討論科學基礎（力學：牛頓定律)(電學：麥克斯韋方程）(數(shù)字信息學：？）l希爾伯特問：希爾伯特問： 存不存在一個解決所有數(shù)學問題的一般算法？存不存在一個解決所有數(shù)學問題的一般算法？l圖靈答道：有！圖靈答道：有！l圖靈理論的俗解：圖靈理論的俗解：l如果不考慮時間，只要按某種規(guī)律對如果不考慮

6、時間，只要按某種規(guī)律對bitbit進行處理、傳輸、進行處理、傳輸、存儲三種簡單操作，就能在理論上解決任何數(shù)學計算問存儲三種簡單操作，就能在理論上解決任何數(shù)學計算問題！題！l圖靈機模型主要是針對計算的，但存儲和通訊隱含在其圖靈機模型主要是針對計算的，但存儲和通訊隱含在其中中l(wèi)這個理論指明了這個理論指明了bitbit的強大功能，也包含了計算機的設計的強大功能，也包含了計算機的設計思想思想l在通訊和存儲兩個領域工作過的人都會發(fā)現(xiàn)，他們涉在通訊和存儲兩個領域工作過的人都會發(fā)現(xiàn)，他們涉及的問題竟然如此類似及的問題竟然如此類似l通訊的編碼理論完全可以用于存儲通訊的編碼理論完全可以用于存儲l通訊：信源編碼，

7、信道編碼通訊：信源編碼，信道編碼l存儲：糾錯編碼，調(diào)制編碼，存儲：糾錯編碼，調(diào)制編碼， 磁盤陣列的容錯原理磁盤陣列的容錯原理l加密理論、信息的壓縮原理對通訊和存儲是一樣的加密理論、信息的壓縮原理對通訊和存儲是一樣的l本質(zhì)的道理：通訊和存儲都是信息的傳播，差別在于：本質(zhì)的道理：通訊和存儲都是信息的傳播，差別在于：一個跨越空間，一個跨越時間一個跨越空間，一個跨越時間l原來信息論適用于信息的傳播！在空間和時間原來信息論適用于信息的傳播！在空間和時間上，他們遵從一樣的原理！上，他們遵從一樣的原理！l圖靈機主要是針對計算的，但隱含了通圖靈機主要是針對計算的，但隱含了通訊和存儲訊和存儲l信息論主要是針對通

8、訊和存儲的，但隱信息論主要是針對通訊和存儲的，但隱含了計算含了計算l處理、傳輸、存儲在理論上是三位一體處理、傳輸、存儲在理論上是三位一體的，缺一不可的，缺一不可l上述理論解決了數(shù)字信息學的全部？上述理論解決了數(shù)字信息學的全部？NO!l只要對只要對bitbit進行處理、傳輸、存儲，就能進行處理、傳輸、存儲，就能解決一切信息問題！解決一切信息問題！l只要處理和傳輸?shù)乃俣茸銐蚩欤鎯Φ闹灰幚砗蛡鬏數(shù)乃俣茸銐蚩?，存儲的容量足夠大，一切信息問題都能解決！容量足夠大，一切信息問題都能解決?。ù嬖谥@樣的可能性）（存在著這樣的可能性）l美國科學家Stephen Wolfram 2002年出版了一部科學巨著

9、:A New Kind of Science數(shù)學只能表達相對簡單的科學規(guī)律，不能描述復雜現(xiàn)象：生物世界，湍流，社會，思維，經(jīng)濟，股票新科學的要點：宇宙的一切規(guī)律都可以由簡單的程序經(jīng)過反復計算而得到!可能揭示了前所未知的科學本質(zhì)!有新的結(jié)果！數(shù)字的潛力還沒有被充分認識!上述理論給予我們的終極信念上述理論給予我們的終極信念l對數(shù)字的操作能表達對數(shù)字的操作能表達一切信息規(guī)律和現(xiàn)象！一切信息規(guī)律和現(xiàn)象！l數(shù)字化的信息世界一定能實現(xiàn)！數(shù)字化的信息世界一定能實現(xiàn)！l第一步：現(xiàn)實域數(shù)字域l第二步：數(shù)字域三種簡單的操作處理（計算），傳輸，存儲l第三步：數(shù)字域現(xiàn)實域軟硬件新論軟硬件新論l硬件：對數(shù)字操作的機器系

10、統(tǒng)l不論多么復雜的硬件系統(tǒng)，基本原理極為簡單l即:操作數(shù)字!l數(shù)字硬件：對數(shù)字進行處理、傳輸、和存儲的硬件l轉(zhuǎn)換硬件：將各種形式的信息轉(zhuǎn)換為數(shù)字信息，或者將數(shù)字信息轉(zhuǎn)換為各種形式的硬件（圖像、聲音、文字輸入輸出設備，目前重要的設備是顯示器）l處理處理：CPU, DSP, ASIC, FPGA, Gatel傳輸傳輸：總線：總線(CPU內(nèi)部、系統(tǒng)總線內(nèi)部、系統(tǒng)總線, I/O總線總線), 網(wǎng)絡（機器內(nèi)部網(wǎng)，網(wǎng)絡（機器內(nèi)部網(wǎng)，LAN，WAN，INTERNET,無線網(wǎng)）無線網(wǎng)）l存儲存儲：RAM，ROM，F(xiàn)LASH，硬盤，光盤，硬盤，光盤，存儲系統(tǒng)（存儲系統(tǒng)（RAID，NAS，SAN）l硬件的核心技術(shù)：

11、集成電路技術(shù)l（可運行的）思想和內(nèi)容的數(shù)字化（可運行的）思想和內(nèi)容的數(shù)字化l思想：算法、規(guī)律、辦法思想：算法、規(guī)律、辦法-程序表達程序表達l內(nèi)容：圖形、圖像、數(shù)據(jù)、聲音、文字內(nèi)容：圖形、圖像、數(shù)據(jù)、聲音、文字等等l 歸結(jié)為程序和數(shù)據(jù)歸結(jié)為程序和數(shù)據(jù)l軟件的核心軟件的核心: 算法算法(一個好的算法可以代一個好的算法可以代替大量的硬件替大量的硬件: FFT, MPEG) l各種硬件在數(shù)字域都有相同或相似的內(nèi)臟（只有三個部分：處理、傳輸、存儲）-IT全息論l今后的各種信息工具和設備外部雖然千變?nèi)f化，內(nèi)部都是一樣的（統(tǒng)一性）l軟件是思想和內(nèi)容的數(shù)字化，各個領域都有自己的軟件，所以是各不相同的l創(chuàng)造越來

12、越快、越來越大、越來越可靠創(chuàng)造越來越快、越來越大、越來越可靠的硬件的硬件l利用硬件平臺創(chuàng)造具有共性的軟件利用硬件平臺創(chuàng)造具有共性的軟件( (操作操作系統(tǒng)，語言平臺，工具軟件，中間件，系統(tǒng)，語言平臺，工具軟件，中間件，辦公軟件），應用軟件則應由各行各業(yè)辦公軟件），應用軟件則應由各行各業(yè)的人自己去開發(fā)的人自己去開發(fā)當前硬件的發(fā)展規(guī)律當前硬件的發(fā)展規(guī)律l1 MooreMoore定律：微處理器內(nèi)晶體管數(shù)每十八個月翻定律：微處理器內(nèi)晶體管數(shù)每十八個月翻一番；一番；l2 2 Bell Bell定律：如果保持計算能力不變，微處理器的定律：如果保持計算能力不變，微處理器的價格每十八個月減少一半；價格每十八個月

13、減少一半；l3 3 Gilder Gilder定律：未來定律：未來2525年（年（19961996年與預言）里，主年與預言）里，主干網(wǎng)的帶寬將每干網(wǎng)的帶寬將每6 6個月增加一倍；個月增加一倍；l4 4 Metcalfe Metcalfe定律：網(wǎng)絡價值同網(wǎng)絡用戶數(shù)的平方成定律：網(wǎng)絡價值同網(wǎng)絡用戶數(shù)的平方成正比。正比。 5.5.半導體存儲器發(fā)展規(guī)律：半導體存儲器發(fā)展規(guī)律：DRAMDRAM的密度每年增加的密度每年增加60%60%，每三年翻四倍。，每三年翻四倍。l6 6。硬盤存儲技術(shù)發(fā)展規(guī)律：硬盤的密度每年增加約一。硬盤存儲技術(shù)發(fā)展規(guī)律：硬盤的密度每年增加約一倍倍l后PC時代計算機發(fā)展的特點：l1.

14、無所不在的含有l(wèi)智能的小裝置；l2. 支持服務的后臺l服務器和巨型計算機l移動存儲：移動存儲：Flash, 微硬盤，微光盤微硬盤，微光盤l企業(yè)級海量存儲企業(yè)級海量存儲當一切信息都轉(zhuǎn)換為數(shù)字，問題就產(chǎn)生了WirelessOnline VideoE-CommerceCustomer Mgmt.D A T AData AnalysisEnterpriseApplicationsClient/Server70s80s90s00s10sBasic Accounting數(shù)據(jù)信息爆炸式增長數(shù)據(jù)信息爆炸式增長 第一爆發(fā)點：單機多媒體第一爆發(fā)點：單機多媒體第二爆發(fā)點：第二爆發(fā)點：Internet 第三爆發(fā)點第三

15、爆發(fā)點:寬帶寬帶(目前）目前） 第四爆發(fā)點：第四爆發(fā)點： 空間影像和虛擬現(xiàn)實普遍應用空間影像和虛擬現(xiàn)實普遍應用 即使處理、傳輸能力固定不變，隨著數(shù)據(jù)即使處理、傳輸能力固定不變，隨著數(shù)據(jù)不斷產(chǎn)生，存儲能力也需要動態(tài)單調(diào)地不斷產(chǎn)生，存儲能力也需要動態(tài)單調(diào)地增加。（水泵、水管、水桶的比喻）增加。（水泵、水管、水桶的比喻） 處理和傳輸速度越高，容量的增加的梯處理和傳輸速度越高，容量的增加的梯度就越高，這就是存儲系統(tǒng)的不斷擴展度就越高，這就是存儲系統(tǒng)的不斷擴展特性。特性。結(jié)論：結(jié)論： 無限的容量需求和動態(tài)擴展需求無限的容量需求和動態(tài)擴展需求1. 減小減小bit位元尺度，提高密度位元尺度，提高密度 采用各

16、種物理原理和現(xiàn)象減小位元采用各種物理原理和現(xiàn)象減小位元 磁磁（翻轉(zhuǎn)尺寸）、（翻轉(zhuǎn)尺寸）、光光(光點大?。?、光點大?。?、電電（線寬）、（線寬）、生物生物、量子量子 密度：道密度、面密度、體密度密度：道密度、面密度、體密度2. 建立存儲系統(tǒng)，用建立存儲系統(tǒng)，用“磚頭磚頭”構(gòu)造構(gòu)造“大廈大廈”l硬盤硬盤是最重要的大容量存儲設備，是最重要的大容量存儲設備，50年年代由代由IBM發(fā)明以來密度增加了發(fā)明以來密度增加了1，000，000倍，到目前為止，還沒有找到能與之倍，到目前為止，還沒有找到能與之競爭的對手競爭的對手l最近的密度超過最近的密度超過100Gb/in2，主要技術(shù)：，主要技術(shù)：超低飛行磁頭超低飛

17、行磁頭10nm，加釕超穩(wěn)定介質(zhì)，加釕超穩(wěn)定介質(zhì)，PRML讀通道，光磁混合紀錄，垂直磁讀通道，光磁混合紀錄，垂直磁記錄記錄硬盤的進展硬盤的進展-密、快、小、廉密、快、小、廉l應用領域l移動計算l數(shù)碼相機、數(shù)碼攝像機 目前：目前：CD-ROM, DVD-ROM, DVD機機 DVD-RW(DVR) 最近要產(chǎn)品化的技術(shù)：向高密度進軍最近要產(chǎn)品化的技術(shù)：向高密度進軍 藍光藍光DVD, HD-DVD 多層多階光存儲多層多階光存儲 近場光存儲近場光存儲 全息光存儲全息光存儲 l正如無論多快的正如無論多快的單處理器無法滿單處理器無法滿足超級計算的要足超級計算的要求一樣，求一樣，無論多無論多大的單個硬盤也大的

18、單個硬盤也無法滿足網(wǎng)絡存無法滿足網(wǎng)絡存儲和企業(yè)存儲的儲和企業(yè)存儲的需要需要單處理器單處理器-多處理器多處理器-多計算機多計算機-網(wǎng)格網(wǎng)格硬盤硬盤- 陣列陣列-存儲網(wǎng)存儲網(wǎng)-數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格由軟件和硬件共同實現(xiàn)由軟件和硬件共同實現(xiàn)磁盤陣列磁盤陣列（多個硬盤）（多個硬盤）容量、速度、可用性容量、速度、可用性l存儲虛擬化軟件（單一邏輯映像）l存儲資源管理軟件（容量、級別，性能）l存儲備份、數(shù)據(jù)遷移軟件l對很多領域，數(shù)據(jù)是比硬件設備寶貴得對很多領域，數(shù)據(jù)是比硬件設備寶貴得多的資源多的資源: : 銀行、電信、保險、電子商務、網(wǎng)站、銀行、電信、保險、電子商務、網(wǎng)站、企業(yè)信息企業(yè)信息l處理部件、傳輸部件損壞

19、：處理部件、傳輸部件損壞： 損失有限，損失有限， 更換可恢復更換可恢復l存儲部件損壞：存儲部件損壞： 數(shù)據(jù)丟失！巨大的損失！數(shù)據(jù)丟失！巨大的損失！建筑行業(yè)一定有安全系數(shù)，建筑行業(yè)一定有安全系數(shù)，80%80%的信息系統(tǒng)的信息系統(tǒng)沒有安全系數(shù)！沒有安全系數(shù)！l1. 數(shù)據(jù)不丟失（最起碼的要求）l2.系統(tǒng)不停機（724服務的保障）l3.性能不下降（優(yōu)質(zhì)服務的保障）解決可用性問題的典型途徑： 冗余 （雙機，網(wǎng)絡RAID) 備份 （磁帶、光盤、硬盤）l具有耗散結(jié)構(gòu)的存儲具有耗散結(jié)構(gòu)的存儲系統(tǒng)系統(tǒng)l借鑒生物系統(tǒng)原理：借鑒生物系統(tǒng)原理：心臟之所以保證數(shù)十心臟之所以保證數(shù)十年的可用性，不是因年的可用性，不是因為

20、材料特別好，而是為材料特別好，而是因為新陳代謝因為新陳代謝lUCBUCB的的ISTOREISTOREDiskHalf-height canister共享處理機共享處理機 共享存儲器里的數(shù)據(jù)共享存儲器里的數(shù)據(jù)Make the common case fast!網(wǎng)站的存儲網(wǎng)站的存儲：幾十萬用戶同時點擊到一個站點：幾十萬用戶同時點擊到一個站點去獲得海量存儲系統(tǒng)中的信息。去獲得海量存儲系統(tǒng)中的信息。WWW: world wide web 變?yōu)樽優(yōu)閣orld wide wait1.Cache 1.Cache 技術(shù)，技術(shù)，RAM-DISK, RAM-RAIDRAM-DISK, RAM-RAID RAID-

21、TAPE(HSM) RAID-TAPE(HSM)2.2.高速高速I/OI/O通道通道:SCSI(160-320), FC(1-2-4G):SCSI(160-320), FC(1-2-4G) SATA(150-300), IP(1-10G) SATA(150-300), IP(1-10G)3. 3. 聚合帶寬（并行技術(shù)）：聚合帶寬（并行技術(shù)）： 多主機多主機- -單存儲，單主機單存儲，單主機- -多存儲多存儲4. 4. 改變工作方式：基于磁盤的系統(tǒng)，隨機小寫改變工作方式：基于磁盤的系統(tǒng)，隨機小寫與連續(xù)大寫性能差與連續(xù)大寫性能差100100倍，變小寫為大寫倍，變小寫為大寫5.5.提高協(xié)議效率：提高

22、協(xié)議效率：FC vs iSCSIFC vs iSCSI6.6.采用就近原則采用就近原則7. PTP7. PTP對等存儲原理對等存儲原理8.8.第三方直接傳輸?shù)谌街苯觽鬏攍對現(xiàn)狀的觀察對現(xiàn)狀的觀察 （1 1）硬盤每年的容量和性能都在提高）硬盤每年的容量和性能都在提高 （2 2）現(xiàn)有的）現(xiàn)有的RAIDRAID系統(tǒng)，換了一個硬盤之后系統(tǒng)，換了一個硬盤之后整體性能沒有提高整體性能沒有提高 （3 3）越用性能越差）越用性能越差進化存儲系統(tǒng)進化存儲系統(tǒng)（1 1）物理進化）物理進化（2 2）數(shù)據(jù)分布進化）數(shù)據(jù)分布進化 l異構(gòu)的存儲系統(tǒng)異構(gòu)的存儲系統(tǒng)l規(guī)模越來越大規(guī)模越來越大l系統(tǒng)越來越難以管理，人為錯誤越

23、來越系統(tǒng)越來越難以管理，人為錯誤越來越多多l(xiāng)管理成本越來越高，管理成本超過設備管理成本越來越高，管理成本超過設備成本成本l原因原因：目前的存儲設備都是被動的，對設備的：目前的存儲設備都是被動的，對設備的管理都在上層進行，面對異構(gòu)的多種存儲設備管理都在上層進行，面對異構(gòu)的多種存儲設備和異構(gòu)的互聯(lián)網(wǎng)絡，管理軟件都要適應，造成和異構(gòu)的互聯(lián)網(wǎng)絡，管理軟件都要適應，造成復雜性日益增加復雜性日益增加l解決途徑解決途徑：基于對象的存儲系統(tǒng)，主動存儲：基于對象的存儲系統(tǒng)，主動存儲 CMUCMU提出提出OBD, SNIAOBD, SNIA提出標準提出標準 存儲對象：包括數(shù)據(jù)和對數(shù)據(jù)的操作存儲對象：包括數(shù)據(jù)和對數(shù)據(jù)的操作 管理下移，使存儲設備包含更多的智能管理下移，使存儲設備包含更多的智能 標準的對外接口和描述標準的對