媒體存儲技術(shù)-8網(wǎng)絡(luò)存儲技術(shù)現(xiàn)狀與發(fā)展

網(wǎng)絡(luò)存儲技術(shù)現(xiàn)狀與發(fā)展中國傳媒大學(xué)研究生碩士課程《數(shù)字媒體存儲技術(shù)》朱立谷手機(jī)mail:zhuligu@資源和課件下載1.電子書2013年碩士研究生.rar

http://163.fm/WfFrpMs提取碼：Iimzvr3E2.課件

網(wǎng)絡(luò)存儲技術(shù)現(xiàn)狀與發(fā)展.pptx http://163.fm/Y3MVGwy提取碼：u34R9dkI內(nèi)容

網(wǎng)絡(luò)存儲的新技術(shù)方法02云存儲服務(wù)03網(wǎng)絡(luò)存儲的技術(shù)現(xiàn)狀01網(wǎng)絡(luò)存儲的發(fā)展方向04存儲面臨的問題?業(yè)務(wù)需求更多的數(shù)據(jù)!煩惱的

IT經(jīng)理人數(shù)據(jù)量總在不斷的增長CEO/CFO“減少費(fèi)用!

企業(yè)面臨的挑戰(zhàn)數(shù)字宇宙2010年全球信息突破了ZB大關(guān)。每兩年翻一番。2011年世界將創(chuàng)建一個驚人的1.8zettabytes。信息量繼續(xù)以驚人的速度增長。這樣的增長和“大數(shù)據(jù)”正在改變企業(yè)和社會的各個方面。到2020年，數(shù)字宇宙將會膨脹到40000EB，或40萬億GB(也就是說每個人可以均攤到5200GB以上)。到2020年，數(shù)字宇宙中約三分之一的數(shù)據(jù)(超過13000EB)將具有大數(shù)據(jù)價值，但只有當(dāng)其被標(biāo)簽、被分析時這種價值才會顯現(xiàn)。2010年報告2012年報告網(wǎng)絡(luò)存儲的發(fā)展1986—SCSI協(xié)議1997—FC協(xié)議Direct-Attached

Storage(DAS)SCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDNetwork-Attached

Storage(NAS)

IPStorage(IPSAN)FCStorageArea

Network(SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand

/orBlock/Cache/RAIDIPNetworkSCSIinitFCand

/orBlock/Cache/RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003—iSCSI協(xié)議1989—NFS協(xié)議EthernetATATCP/IPiSCSIEthernetSCSIinitFCRAIDTCP/IPiSCSIand

/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernetRAIDTCP/IPiSCSIIPNetwork光纖通道的優(yōu)勢網(wǎng)絡(luò)通道/總線擴(kuò)展有限距離短管理有限脆弱非塊數(shù)據(jù)傳輸錯誤檢測能力差光纖通道高速度低延遲數(shù)據(jù)一致性大數(shù)據(jù)傳輸超強(qiáng)錯誤檢測路由巨大連接能力長距離可管理兼有網(wǎng)絡(luò)和總線的優(yōu)勢網(wǎng)絡(luò)存儲的優(yōu)勢存儲大整合SANROI主機(jī)大整合VIRTUALIZATIONROIDirectAttachedStorageStorageAreaNetworkDASSANCostpermegabyteofuserdata,basedona3-Yeartotalcostofownership“Virtualizationwillsaveus$60MinOpExandCapExthrough2010.”AlargeVMwareenterprisecustomer$costpermegabyteofuserdata90%runinproduction43%arestandardizing

onVMware66%areusingVMmanagementproducts$0.84$0.38ChannelsIPFileBlockNASDistanceSharing

FCSANPerformanceControlMPFSPerformanceSharingIPSANDistanceControlMPFS=Multi-pathfilesystem網(wǎng)絡(luò)存儲架構(gòu)SAN的優(yōu)劣勢SAN的優(yōu)點

能接受任何數(shù)據(jù)容量

(大型，中型，小型)IO帶寬的不斷提升

(1G,2G,4G,8G)穩(wěn)定的存儲解決方案廣泛的應(yīng)用SAN的困擾固態(tài)容量增大,性能沒有提升

(垂直擴(kuò)展模式,有限擴(kuò)展能力)帶寬增加,但I(xiàn)OPS沒有相對的增加(固態(tài)性能表現(xiàn))容錯和負(fù)載均要通過復(fù)雜管理一切仍然以硬性磁盤結(jié)構(gòu)為中心(主機(jī)絕對控制權(quán),存儲為隨從,靜態(tài)配置)10典型的剛性系統(tǒng)當(dāng)今SAN技術(shù)存儲體系架構(gòu)的融合應(yīng)用文件/紀(jì)錄副系統(tǒng)數(shù)據(jù)塊副系統(tǒng)主機(jī)級數(shù)據(jù)塊聚合SAN級數(shù)據(jù)塊聚合設(shè)備級數(shù)據(jù)塊聚合磁盤陣列SAN2主機(jī)主機(jī)NAS頭LAN3磁盤或磁盤陣列NAS服務(wù)器411.DAS直連2.SAN直連3.NAS頭4.NAS服務(wù)器01存儲體系架構(gòu)的融合應(yīng)用主機(jī)通過IPSAN訪問存儲資源應(yīng)用主機(jī)通過CIFS或NFS訪問NAS共享資源NAS和SAN資源共用同一存儲池通過IPSAN供給SAN資源，通過CIFS和NFS共享NAS資源最大限度利用存儲資源，在同一存儲池中同時分配SAN和NAS資源為SAN和NAS同時提供存儲服務(wù)鏡像、快照、復(fù)制、時間標(biāo)記及動態(tài)容量申請等存儲功能統(tǒng)一的硬件和軟件的管理SAN訪問NAS訪問SAN網(wǎng)絡(luò)統(tǒng)一存儲系統(tǒng)：SAN和NAS的融合SAN和NAS的融合解決方案存儲體系架構(gòu)的融合DataCenterEthernetIPConnectivity

FCUltra320SCSIIPSANIPSAN和FCSAN融合解決方案FCSANIPSANExtension

基礎(chǔ)通用網(wǎng)絡(luò)的發(fā)展14IBMTokenRingInitially(1985)ranat4Mbit/s,in1989introduced16Mbit/sFDDITheprimaryringoffersupto100Mbit/scapacityEthernet10Mbits/s100Mbits/sTCP/IPNovell’sIPX/SPXOSIDHCP,HTTP,VPN,IPSec,IPv6八零年代九零年代1,000Mbits/s02應(yīng)用網(wǎng)絡(luò)的發(fā)展存儲應(yīng)用

網(wǎng)絡(luò)基礎(chǔ)通用

網(wǎng)絡(luò)服務(wù)器聯(lián)系

網(wǎng)絡(luò)光纖通道(1G,2G,4G,8G)InfiniBandEthernet1G,10G–未來的100GFCoE201020072001UnifiedFabric以Ethernet為統(tǒng)一網(wǎng)絡(luò)目標(biāo)網(wǎng)絡(luò)存儲的發(fā)展T11的FCOE標(biāo)準(zhǔn)FC與以太網(wǎng)“混血”的FCoE

是答案嗎?仍然依賴于FC協(xié)議構(gòu)思(靜態(tài)路徑)仍然依賴于固定配置仍然是主從式結(jié)構(gòu)技術(shù)SCSI的架構(gòu)Initiator的應(yīng)用層封裝好SCSICDB后，調(diào)用SCSI傳輸協(xié)議接口Target的應(yīng)用層收到SCSICDB后，根據(jù)CDB內(nèi)容進(jìn)行相應(yīng)處理，封裝好SCSI響應(yīng)后，調(diào)用SCSI傳輸協(xié)議接口iSCSI正是SCSI傳輸協(xié)議的一種主從式架構(gòu)MPX網(wǎng)絡(luò)存儲平臺MPX作為視頻存儲MPX可以打造功能強(qiáng)大的視頻存儲系列產(chǎn)品MPX＋視頻優(yōu)化＝視頻存儲MPX+視頻管理軟件(搜索)=存儲設(shè)備＋視頻服務(wù)器MPX+DVR=NVRMPX集群（SCALEOUT方式）=安防大數(shù)據(jù)綜合處理平臺MPX+視頻分析處理＝安防大數(shù)據(jù)一體機(jī)內(nèi)容

網(wǎng)絡(luò)存儲的新技術(shù)方法02云存儲服務(wù)03網(wǎng)絡(luò)存儲的技術(shù)現(xiàn)狀01網(wǎng)絡(luò)存儲的發(fā)展方向04存儲的價值觀貫徹到底的方便性和在線性高ROI/TCO業(yè)務(wù)持續(xù)性數(shù)據(jù)保護(hù)平臺超強(qiáng)的數(shù)據(jù)保護(hù)能力而不影響性能容量高性能,高帶寬12容量虛擬化（動態(tài)自動追加,全掌控空間分配）云存儲（動態(tài)橫向擴(kuò)展,,多變一基制）（存儲大整合,一變多基制）（靜態(tài),限制型追加/縮減空間分配）34網(wǎng)絡(luò)存儲的新方法技術(shù)層技術(shù)要求技術(shù)方法數(shù)據(jù)層

從靜態(tài)的以設(shè)備為導(dǎo)向到動態(tài)的以應(yīng)用和客戶需求為導(dǎo)向自動數(shù)據(jù)遷移重復(fù)數(shù)據(jù)刪除網(wǎng)絡(luò)層真正線性的性能擴(kuò)展，帶寬永遠(yuǎn)不會成為架構(gòu)瓶頸集群存儲存儲層系統(tǒng)可適應(yīng)業(yè)務(wù)變化存儲虛擬化自動精簡配置存儲虛擬化研究內(nèi)容帶外的體系結(jié)構(gòu)存儲虛擬化策略定制屏蔽存儲設(shè)備異構(gòu)性異構(gòu)存儲設(shè)備多級多接口存儲虛擬化存儲虛擬化接口的擴(kuò)展自動精簡配置系統(tǒng)架構(gòu)研究多用戶存儲視圖技術(shù)基于邏輯卷的存儲容量動態(tài)分配策略研究空間分配和空間回收技術(shù)研究基于RAID的存儲空間擴(kuò)容研究自動精簡配置技術(shù)對所依附存儲系統(tǒng)的性能影響研究內(nèi)容動態(tài)分級存儲研究內(nèi)容分級存儲技術(shù)數(shù)據(jù)遷移技術(shù)數(shù)據(jù)管理策略技術(shù)關(guān)鍵技術(shù)多粒度遷移多環(huán)境分級高速遷移動態(tài)調(diào)控和可恢復(fù)能力重復(fù)數(shù)據(jù)刪除研究內(nèi)容相同數(shù)據(jù)檢測算法相似數(shù)據(jù)檢測算法刪除技術(shù)可靠性、性能分布式重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)高去重率分級重復(fù)數(shù)據(jù)刪除技術(shù)加快相同數(shù)據(jù)檢測低能耗存儲設(shè)備研制2011年國家支撐計劃項目（編號：2011BAH04B05）通過對數(shù)據(jù)存儲和管理技術(shù)的研究，降低存儲系統(tǒng)的能耗成本和運(yùn)營成本。相關(guān)的技術(shù)包括SSD與傳統(tǒng)存儲混合使用，動態(tài)電源管理技術(shù)，智能數(shù)據(jù)管理技術(shù)等，通過在本課題研制的產(chǎn)品中應(yīng)用這些技術(shù)，達(dá)到比傳統(tǒng)存儲系統(tǒng)節(jié)能30%的效果。研究SSD固態(tài)硬盤與傳統(tǒng)存儲設(shè)備結(jié)合技術(shù)（自動數(shù)據(jù)遷移）研究智能數(shù)據(jù)管理技術(shù)和各種提供存儲利用率的技術(shù)（重復(fù)數(shù)據(jù)刪除、存儲虛擬化、自動精簡配置）存儲虛擬化、自動精簡配置、自動數(shù)據(jù)遷移、重復(fù)數(shù)據(jù)刪除是云存儲的技術(shù)基礎(chǔ)。

IBMSmartStorageCloud內(nèi)容云存儲服務(wù)03

網(wǎng)絡(luò)存儲的新技術(shù)方法02網(wǎng)絡(luò)存儲的技術(shù)現(xiàn)狀01網(wǎng)絡(luò)存儲的發(fā)展方向04從傳統(tǒng)存儲到云存儲技術(shù)革新不斷降低存儲成本，最新的“云存儲”更是如此傳統(tǒng)存儲方案使用昂貴的專業(yè)設(shè)備搭建基于光纖的存儲網(wǎng)絡(luò)基于IP的存儲網(wǎng)絡(luò)，通過以太網(wǎng)互聯(lián)，既改善兼容性又降低初始成本，主導(dǎo)此技術(shù)的幾家創(chuàng)新公司已成功上市最新的云儲存技術(shù)使用普通服務(wù)器即可構(gòu)建直連式存儲，初始和運(yùn)營存儲成本都大大降低了傳統(tǒng)“巨頭”專業(yè)存儲方案價格昂貴，光纖解決方案為主（FC-SAN）專業(yè)存儲方案基于IP的解決方案（IP-SAN，NAS)“新”公司使用普通服務(wù)器用”云“達(dá)到NAS的效果存儲成本由高到低三層結(jié)構(gòu)和三種服務(wù)數(shù)據(jù)庫引擎開發(fā)平臺在線應(yīng)用計算資源存儲資源標(biāo)準(zhǔn)化Web服務(wù)Web瀏覽器SaaSPaaSIaaS/HaaS后臺系統(tǒng)（黑盒）基礎(chǔ)硬件設(shè)備云存儲的層次結(jié)構(gòu)服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備集群容錯、負(fù)載均衡認(rèn)證、計費(fèi)、租約、管理存儲空間等資源服務(wù)或虛擬主機(jī)服務(wù)云數(shù)據(jù)庫、超大表等引擎平臺API及在線訂制開發(fā)工具在線應(yīng)用Web瀏覽器云存儲的基本單元采用通用硬件Typicallyin2levelarchitecture–NodesarecommodityPCs–30-40nodes/rack–Uplinkfromrackis3-4gigabit–Rack-internalis1gigabit多層次動態(tài)結(jié)構(gòu)WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各類系統(tǒng)平臺各類互聯(lián)接口處理能力擴(kuò)展存儲容量擴(kuò)展多種介質(zhì)整合云存儲的特性優(yōu)勢極強(qiáng)擴(kuò)展能力最大節(jié)點數(shù)百萬級最大系統(tǒng)容量ZB級最大IO帶寬萬GB高度靈活性保持存儲容量單獨(dú)擴(kuò)展處理單元保持處理單元單獨(dú)擴(kuò)展磁盤空間InfiniBand/10GbE/8GbFC多種主機(jī)鏈接SSD/FC/SAS/SATA多種磁盤介質(zhì)徹底實現(xiàn)全冗余處理單元及存儲單元均無單點故障任一單元失效時即刻重定向冗余資源無磁盤重建過程，避免隱含故障點冗余機(jī)制不要求磁盤容量或類型相同，不同采購周期設(shè)備可混用云存儲服務(wù)云存儲的核心特征通過網(wǎng)絡(luò)獲得：云特征的模式易獲得：隨時隨地隨方式永不丟失：一輩的資產(chǎn)集體共享和下載影視作品免費(fèi)軟件學(xué)習(xí)資料歌曲……云存儲服務(wù)個人資料的網(wǎng)絡(luò)備份異地異時分享網(wǎng)絡(luò)存儲服務(wù)FTP云存儲服務(wù)平臺云存儲的核心特征通過網(wǎng)絡(luò)獲得：云特征的模式易獲得：隨時隨地隨方式永不丟失：一輩的資產(chǎn)安全：隱私保護(hù)集體共享和下載影視作品免費(fèi)軟件學(xué)習(xí)資料歌曲……現(xiàn)有云存儲個人資料的網(wǎng)絡(luò)備份異地異時分享現(xiàn)有網(wǎng)絡(luò)存儲服務(wù)FTP我們的云存儲系統(tǒng)云存儲服務(wù)平臺實現(xiàn)文件數(shù)據(jù)的復(fù)制備份、在線存儲和共享，提供本地和互聯(lián)網(wǎng)的統(tǒng)一文件管理視圖為全部用戶提供共享存儲服務(wù)為團(tuán)隊用戶提供共享存儲服務(wù)為個人用戶提供共享存儲服務(wù)統(tǒng)一視圖本地資源與互聯(lián)網(wǎng)資源統(tǒng)一文件管理，多機(jī)、多設(shè)備文件同步復(fù)制數(shù)據(jù)傳輸多文件傳輸、大文件傳輸（斷點續(xù)傳）、分片加密傳輸資源發(fā)布資源發(fā)布、標(biāo)簽添加、圖片預(yù)覽、對整個在線存儲空間的文件搜索云存儲服務(wù)平臺產(chǎn)品定位：企業(yè)私有云存儲系統(tǒng)（如跨國公司和總部、分公司多地辦公的情況）網(wǎng)絡(luò)存儲架構(gòu)NEW塊文件塊對象IP記錄FC、IB多路徑自動精簡配置重復(fù)數(shù)據(jù)刪除存儲虛擬化自動數(shù)據(jù)遷移數(shù)據(jù)庫OSDSANNAS網(wǎng)絡(luò)類型訪問方式云存儲融合網(wǎng)絡(luò)內(nèi)容云存儲服務(wù)03

網(wǎng)絡(luò)存儲的新技術(shù)方法02網(wǎng)絡(luò)存儲的技術(shù)現(xiàn)狀01網(wǎng)絡(luò)存儲的發(fā)展方向04網(wǎng)絡(luò)存儲新的理論工具大規(guī)模網(wǎng)絡(luò)存儲新的理論工具網(wǎng)絡(luò)存儲實際是：存儲（時）＋網(wǎng)絡(luò)（空）

用時空二維理論將會獲得新的結(jié)果

例1：數(shù)據(jù)遷移，存儲糾錯一遍，傳輸又來一遍，時空統(tǒng)一考慮，就可能只來一遍

例2：連續(xù)數(shù)據(jù)保護(hù)，恢復(fù)時空點

通訊：信息跨越空間的傳遞存儲：信息跨越時間的傳遞“數(shù)字宇宙”研究“數(shù)字宇宙”研究到2020年，數(shù)字宇宙將會膨脹到40萬億GB(人均5200GB)。數(shù)字宇宙中約三分之一的數(shù)據(jù)將具有大數(shù)據(jù)價值，但只有當(dāng)其被標(biāo)簽、被分析時這種價值才會顯現(xiàn)。重要結(jié)論：1)信息量以驚人的速度增長和大數(shù)據(jù)對社會產(chǎn)生巨大影響

2)大數(shù)據(jù)價值只有當(dāng)其被分析時才會顯現(xiàn)數(shù)字宇宙，IDC、EMC2012年12月大數(shù)據(jù)的產(chǎn)生如果互聯(lián)網(wǎng)僅有通訊，產(chǎn)生不了大數(shù)據(jù)（一過性的信息，產(chǎn)生后消逝了）；如果僅有存儲，沒有互聯(lián)網(wǎng)，信息孤島也產(chǎn)生不了大數(shù)據(jù)。大量的人，大量的信息終端，大量的攝像頭，條形碼，RFID,…產(chǎn)生大量的數(shù)據(jù)，經(jīng)過互聯(lián)網(wǎng)傳輸，然后保存下去，就形成大數(shù)據(jù)。大數(shù)據(jù)的價值—時空痕跡大數(shù)據(jù)是巨量信息源時空傳遞的結(jié)果時空痕跡：以武漢破獲銀行爆炸案為例

典型的大數(shù)據(jù)（25萬攝像頭，12PB容量），罪犯留下了時空痕跡

在信息充分發(fā)達(dá)時代，商業(yè)活動、日常生活、幾乎一切事件都會在大數(shù)據(jù)中留下時空痕跡，對這些時空痕跡的發(fā)掘，就會形成寶貴的財富（某孕婦的例子）存儲科學(xué)的研究新方向（一）大數(shù)據(jù)的信息挖掘與分析如何從海量的視頻提取有價值的信息將是重要課題之一

“平安城市”應(yīng)用是視頻監(jiān)控領(lǐng)域規(guī)模最大、業(yè)務(wù)最復(fù)雜的系統(tǒng)，其視頻接入規(guī)模從幾千甚至到幾十萬都有，它涉及到了治安監(jiān)控、指揮通信、偵查破案、規(guī)范執(zhí)法、社會服務(wù)等多個分區(qū)領(lǐng)域；“平安城市”視頻監(jiān)控采集到的海量數(shù)據(jù)只有