網(wǎng)絡存儲技術(shù)的應用與發(fā)展

網(wǎng)絡存儲技術(shù)的應用與發(fā)展

1網(wǎng)絡存儲的未來發(fā)展重點隨著計算機網(wǎng)絡的發(fā)展和計算機技術(shù)的廣泛應用，存儲技術(shù)產(chǎn)品受到了全世界和專家的高度重視。對于大多數(shù)依賴計算機操作重要商業(yè)程序的現(xiàn)代公司來說，信息已成為超越其競爭公司的戰(zhàn)略資產(chǎn)。數(shù)據(jù)的有效使用和管理已成為公司it部門的首要任務。通過cmos統(tǒng)計，公司在存儲和存儲管理軟件上的支出在網(wǎng)絡成本中所占比例逐漸增加，并逐漸超過50%。根據(jù)gartner的統(tǒng)計數(shù)據(jù)，公司的數(shù)據(jù)每六個月增加一次。2002年，公司每年使用14000gu的存儲容量，這是1998年的12倍。存儲不是服務器的額外設備，而是it行業(yè)最重要的投資支出。gartner集團預測2005年的it硬件市場值將達到1200億人民幣。未來的發(fā)展將集中在存儲上。服務器未來不會成長，保持相對穩(wěn)定的狀態(tài)。由于近年來客戶機/服務器計算模型的廣泛采用,企業(yè)中存在很多服務器,而且每個服務器都帶有自己的存儲系統(tǒng),企業(yè)的信息分散到各個服務器上,形成所謂的“信息孤島”,不利于企業(yè)的信息整合.企業(yè)正面臨著前所未有的存儲挑戰(zhàn),單一的存儲技術(shù),如磁盤、光盤、RAID技術(shù)等已經(jīng)很難滿足需求,他們需要一個全新的存儲體系架構(gòu).網(wǎng)絡存儲將網(wǎng)絡技術(shù)與新興的存儲領(lǐng)域有機地結(jié)合起來,能夠徹底地解決傳統(tǒng)存儲方案的弱勢,其主要特征體現(xiàn)在超大存儲容量、大數(shù)據(jù)傳輸率以及高的系統(tǒng)可用性,網(wǎng)絡存儲非常適合數(shù)據(jù)量增長迅速、擁有潛在升級數(shù)據(jù)大的企業(yè).網(wǎng)絡數(shù)據(jù)和信息的急劇增加也自然帶來了網(wǎng)絡存儲市場的迅速增長.從產(chǎn)品角度來說,國外產(chǎn)品一統(tǒng)天下.在非整機制造廠商中,專業(yè)網(wǎng)絡存儲設備商EMC公司的網(wǎng)絡存儲產(chǎn)品發(fā)展迅猛.在整機制造廠商中,包括新惠普,IBM,SUN公司也都有自己的網(wǎng)絡存儲解決方案,其它包括Cisco,Intel等國際大公司在網(wǎng)絡存儲方面也已經(jīng)推出相關(guān)產(chǎn)品.國內(nèi)網(wǎng)絡存儲產(chǎn)品還處于空白階段,但是在科研方面,國內(nèi)包括華中科技大學和上海交通大學等科研院校在網(wǎng)絡存儲技術(shù)領(lǐng)域已經(jīng)獲得實質(zhì)性突破.越來越多的證據(jù)表明,網(wǎng)絡存儲將成為繼個人計算機(PC)和互聯(lián)網(wǎng)絡(Internet)后第三次IT浪潮的引導者.個人計算機引領(lǐng)了第一次IT浪潮,互聯(lián)網(wǎng)絡把孤立的主機通過網(wǎng)絡互聯(lián)起來引領(lǐng)了第二次IT浪潮.第一次浪潮和第二次浪潮是以數(shù)據(jù)計算為中心,而網(wǎng)絡存儲將引領(lǐng)以數(shù)據(jù)存儲為中心的第三次IT浪潮.本文將首先分析傳統(tǒng)存儲技術(shù)特點及其局限性,其次說明網(wǎng)絡存儲主流技術(shù)的優(yōu)缺點,最后分析網(wǎng)絡存儲技術(shù)的發(fā)展趨勢.2高效帶寬網(wǎng)絡的缺陷在傳統(tǒng)的存儲結(jié)構(gòu)中,主機與存儲系統(tǒng)通過SCSI總線連接起來,同時又通過網(wǎng)絡接口連接到網(wǎng)絡中,這種結(jié)構(gòu)稱為DAS(DirectAttachedStorage).在這種結(jié)構(gòu)下,數(shù)據(jù)的流動路徑為:當寫入數(shù)據(jù)時,數(shù)據(jù)從網(wǎng)絡經(jīng)過網(wǎng)絡接口通過DMA操作到達主機內(nèi)存,然后從內(nèi)存又通過DMA操作送到存儲系統(tǒng);當讀取數(shù)據(jù)時,則是從存儲系統(tǒng)到主機內(nèi)存,再從內(nèi)存通過網(wǎng)絡接口送到網(wǎng)絡上.這種結(jié)構(gòu)具有兩個缺點:(l)可擴展性差.可擴展性是指當系統(tǒng)結(jié)構(gòu)進行擴展時,系統(tǒng)的主要性能指標是否受限.當客戶機數(shù)和服務器的磁盤數(shù)同時增加時,由于主機的內(nèi)存限制,整個系統(tǒng)的吞吐量不能同步增加.(2)系統(tǒng)的持續(xù)帶寬較低,不能滿足高持續(xù)帶寬傳輸?shù)膽靡?如多媒體數(shù)據(jù)傳輸?shù)葢?主要有三個原因限制了用戶所得到的帶寬和系統(tǒng)可擴展性.第一個原因是主機的帶寬限制.由于主機是用戶與存儲子系統(tǒng)之間數(shù)據(jù)交換的必經(jīng)路徑,因此主機的帶寬是整個系統(tǒng)帶寬的一個重要因素,雖然計算機技術(shù)的發(fā)展使主機總線帶寬大為增加,但是仍趕不上多媒體等數(shù)據(jù)服務對帶寬的要求,主機帶寬成為存儲系統(tǒng)與用戶之間的瓶頸.主機內(nèi)存的兩次DMA操作進一步降低了持續(xù)帶寬.第二個原因是主機的內(nèi)存容量限制.由于主機的內(nèi)存容量有限,當有連續(xù)的大量數(shù)據(jù)訪問請求時,主機的內(nèi)存容量將很快達到飽和,而不能處理剩下的數(shù)據(jù)傳輸請求.第三個原因,文件管理系統(tǒng)的開銷也會增加數(shù)據(jù)訪問時間.以上三個方面的原因都與主機有關(guān).由于第三方與存儲子系統(tǒng)之間的聯(lián)系是間接的,要經(jīng)過主機這個橋梁,從而導致了上述的性能缺陷.3企業(yè)網(wǎng)絡存儲主流技術(shù)根據(jù)上面論述,傳統(tǒng)的基于磁盤或RAID系統(tǒng)等存儲設備直接與主機相連的存儲技術(shù)不能夠解決企業(yè)所面臨的存儲挑戰(zhàn).網(wǎng)絡存儲將網(wǎng)絡技術(shù)與新興的存儲領(lǐng)域結(jié)合起來,充分利用網(wǎng)絡技術(shù)的特點,例如:遠距離,安全性等,二者的結(jié)合可以實現(xiàn)確保數(shù)據(jù)的一致性、安全性和可靠性,實現(xiàn)不同數(shù)據(jù)的集中管理,實現(xiàn)網(wǎng)絡上的數(shù)據(jù)集中訪問,實現(xiàn)不同主機類型的數(shù)據(jù)訪問和保護等等企業(yè)面臨的復雜存儲問題.目前網(wǎng)絡存儲主流技術(shù)主要有兩種,一個是NAS(NetworkAttachedStorage),一個是SAN(StorageAreaNetwork),兩種技術(shù)適用于不同的應用領(lǐng)域,但目前也呈現(xiàn)出融合的趨勢.3.1實現(xiàn)高效的文件共享性NAS實際上是一個網(wǎng)絡的附加存儲設備,它通過集線器或交換機直接連在網(wǎng)絡上,通過TCP/IP協(xié)議進行通信,面向消息傳遞,以文件的1/O方式進行數(shù)據(jù)傳輸.圖1為網(wǎng)絡附屬存儲系統(tǒng)結(jié)構(gòu)圖.主機和存儲子系統(tǒng)同時接入網(wǎng)絡.存儲子系統(tǒng)由網(wǎng)絡存儲控制器和存儲介質(zhì)(磁盤、磁帶)組成.網(wǎng)絡存儲控制器負責管理與主機間的通訊及磁盤的存儲操作.主機與附網(wǎng)存儲子系統(tǒng)成為網(wǎng)絡上的對等實體,但是,在邏輯上網(wǎng)絡存儲控制器所帶的磁盤驅(qū)動器被定義為附屬于主機的磁盤驅(qū)動器.主機向網(wǎng)絡存儲控制器發(fā)出數(shù)據(jù)讀寫以及其它的相應命令,網(wǎng)絡存儲控制器則對這些命令進行解釋和執(zhí)行.當客戶機從文件服務器上下載數(shù)據(jù)時,它首先要從文件服務器主機得到授權(quán),然后根據(jù)所得到的文件地址信息找到相應的網(wǎng)絡存儲控制器,直接向控制器發(fā)出I/O請求,最后直接從網(wǎng)絡存儲控制器獲得文件數(shù)據(jù).NAS建立了存儲子系統(tǒng)到客戶機的直接連接,減少了數(shù)據(jù)傳輸中主機的干預,能夠?qū)崿F(xiàn)高持續(xù)帶寬和好的可擴展性.NAS為那些訪問和共享大量文件系統(tǒng)數(shù)據(jù)的企業(yè)環(huán)境提供了一個高效、性能價格比優(yōu)異的解決方案.數(shù)據(jù)的整合減少了管理需求和開銷,而集中化的網(wǎng)絡文件服務器和存儲環(huán)境-包括硬件和軟件-確保了可靠的數(shù)據(jù)訪問和數(shù)據(jù)的高可用性.可以說,NAS提供了一個強有力的綜合機制.NAS技術(shù)能夠滿足特定的用戶需求.例如當某些企業(yè)需要應付快速數(shù)據(jù)增長的問題,或者是解決相互獨立的工作環(huán)境所帶來的系統(tǒng)限制時,可以采用新一代NAS技術(shù),利用集中化的網(wǎng)絡文件訪問機制和共享來解決這些問題,從而達到減少系統(tǒng)管理成本,提高數(shù)據(jù)備份和恢復功能的目的.NAS適用于那些需要通過網(wǎng)絡將文件數(shù)據(jù)傳送到多臺客戶機上的用戶.NAS設備在數(shù)據(jù)必須長距離傳送的環(huán)境中可以很好地發(fā)揮作用.此外,NAS設備非常易于部署.正確地進行配置之后,NAS可以提供可靠的文件級數(shù)據(jù)整合,因為文件鎖定是由設備自身來處理的.盡管其部署非常簡單,但是企業(yè)仍然要確保在NAS設備的配置過程中提供適當?shù)奈募踩墑e.NAS應用于高效的文件共享任務中,例如UNIX中的NFS和WindowsNT中的CIFS,其中基于網(wǎng)絡的文件級鎖定提供了高級并發(fā)訪問保護的功能.NAS設備可以進行優(yōu)化,以文件級保護向多臺客戶機發(fā)送文件信息.在某些情況下,企業(yè)可以有限地為數(shù)據(jù)庫應用部署NAS解決方案.這些情況一般只限于以下的應用:大量的數(shù)據(jù)訪問是只讀的;數(shù)據(jù)庫很小;要訪問的邏輯卷也很少;所要求的性能也不高.在這些情況下,NAS解決方案有助于減少用戶的總體擁有成本.3.2基于pan與網(wǎng)絡存儲備份的融合SAN(StorageAreaStorage,存儲區(qū)域網(wǎng))是一個高速的子網(wǎng),這個子網(wǎng)中的設備可以從主網(wǎng)卸載流量,圖2是SAN結(jié)構(gòu)圖.由圖中可以看出,通常SAN由RAID陣列連接光纖通道(FibreChannel)組成,SAN和服務器和客戶機的數(shù)據(jù)通信通過SCSI命令而非TCP/IP,數(shù)據(jù)處理是“塊級”(blocklevel).SAN能夠解決與網(wǎng)絡存儲備份有關(guān)的問題,它可以提供100MB/s的高性能數(shù)據(jù)管道和共享的集中管理的存儲設備.它將消除人們對網(wǎng)絡帶寬的顧慮,大幅度地減少管理費用支出,并將減少備份系統(tǒng)的總體擁有成本.SAN的主要思路是將LAN上的存儲轉(zhuǎn)換到主要由存儲設備組成的SAN上,使得數(shù)據(jù)的訪問、備份和恢復不影響LAN的性能,在有大量數(shù)據(jù)訪問時,不會大幅度降低網(wǎng)絡性能.SAN的一個好處是極大地提高了企業(yè)數(shù)據(jù)備份和恢復操作的可靠性和可擴展性.基于SAN的操作能顯著減少備份和恢復的時間,同時減少企業(yè)網(wǎng)絡上的信息流量.通過將SAN拓展到城域網(wǎng)基礎(chǔ)設施上,SAN還可以與遠程設備無縫地連接,從而提高容災的能力.SAN部署城域網(wǎng)基礎(chǔ)設施以增加SAN設備間的距離,可達到150公里,而且?guī)缀醪粫档托阅?企業(yè)可以利用這一點,通過部署關(guān)鍵任務應用和用于關(guān)鍵應用服務器的遠程數(shù)據(jù)復制來提高容災能力.備份和恢復設備是實現(xiàn)遠程管理的需要.另外,基于交易的數(shù)據(jù)庫應用從SAN部署中獲益頗多.其無縫增加存儲的能力可以減少數(shù)據(jù)備份的時間.3.3比較das、nas和san的差異3.4在企業(yè)中的應用盡管NAS,SAN之間存在著區(qū)別,但是SAN和NAS作為兩種互為補充的存儲技術(shù)的融合正在積極發(fā)展,SAN提供速度,NAS提供由文件處理帶來的協(xié)作性.例如,SAN在數(shù)據(jù)塊傳輸和擴展性方面表現(xiàn)優(yōu)秀,并能夠有效地管理設備.企業(yè)可以從將SAN應用于關(guān)鍵任務應用、存儲集中、備份恢復和高可用性計算等方面受益無窮.與SAN相比,NAS支持多臺對等客戶機之間的文件共享.NAS客戶機可以在企業(yè)中任何地點訪問共享的文件.NAS和SAN之間的許多原有差別開始消失.目前在市場方面,NAS產(chǎn)品正走向成熟,SAN目前還是以光纖通道技術(shù)為主.作為發(fā)展中的技術(shù),目前網(wǎng)絡存儲主流技術(shù)存在著局限性,一些補充的技術(shù)包括IP存儲,InfiniBand,直接訪問文件系統(tǒng)等等被提出,相關(guān)的標準也正由IETF,SNIA,ANSI等組織制定中.4網(wǎng)絡存儲的新技術(shù)發(fā)展趨勢4.1光纖通道與scsi協(xié)議基于IP的存儲是指在IP網(wǎng)絡中實現(xiàn)類似SAN光纖通道的“塊級”(blocklevel)數(shù)據(jù)處理,它通過在千兆/萬兆以太網(wǎng)等成熟網(wǎng)絡技術(shù)構(gòu)建網(wǎng)絡存儲,在總體性能,遠距離傳輸、管理,成本,互操作性方面優(yōu)于光纖通道技術(shù).基于IP的存儲目前正處于廣泛研究中,目前包括FCIP(FibreChanneloverIP),iFCP(InternetFibreChannelProtocol),mFCP(MetroFibreChannelProtocol).iSCSI(InternetSCSI)等技術(shù).FCIP被提議為通過現(xiàn)有的IP網(wǎng)絡連接光纖通道SAN的一種標準方法.FCIP還可用來克服光纖通道目前存在的距離限制因素,能夠跨越大于光纖通道支持的距離連接SAN孤島.因為光纖通道已經(jīng)包含了SCSI協(xié)議,這種方法無需重大技術(shù)改造,就能滿足SCSI協(xié)議的要求.在傳輸?shù)陌l(fā)送端,所有的光纖通道幀被轉(zhuǎn)換即“包裝”成TCP/IP數(shù)據(jù)報.在接收端,數(shù)據(jù)報“包裝器”被丟棄,光纖通道幀則以原先的格式展示給接收端的SAN.TCP/IP純粹充當了隧道的作用.而FCIP數(shù)據(jù)報本身與其他任何數(shù)據(jù)報一樣可以路由或交換.iFCP用來通過TCP/IP鏈路連接光纖通道設備的網(wǎng)關(guān)至網(wǎng)關(guān)協(xié)議.目的在于使現(xiàn)有的光纖通道陣列和主機總線適配器可以利用“輕便”網(wǎng)關(guān)連接至IP網(wǎng)絡.有了iFCP,標準TCP/IP交換和路由基礎(chǔ)設施部件取代了同等的光纖通道部件.iFCP用TCP管理擁塞控制、錯誤檢測和恢復.mFCP使用UDP協(xié)議協(xié)議連接光纖通道設備.iSCSI與FCIP、iFCP和mFCP相比,iSCSI對通過IP網(wǎng)絡傳輸?shù)腎/O存儲通信量的部署要縱深得多.FCIP保留了光纖通道SAN,然后用IP主干網(wǎng)進行連接.iFCP和mFCP則用IP取代了光纖通道SAN管道,同時保留了光纖通道設備連接至IP存儲網(wǎng)絡的功能.iSCSI則將光纖通道完全排除在討論范圍之外.基于主機的應用通過IP與網(wǎng)絡存儲設備通信.這意味著從主機到存儲設備的整個傳輸鏈路就是一條IP鏈路.iSCSI通過映射至IP來保留SCSI命令集.iSCSI保持了SCSI命令集的原狀,同時用IP取代了傳輸協(xié)議.執(zhí)行映射功能需要相當多數(shù)量的代碼,會導致許多時延問題.所以為了克服時延問題,需要專門的iSCSI芯片組把轉(zhuǎn)換代碼部署在硬件當中.上述協(xié)議都有一個非常重要的共同點:都能充當SCSI命令集的傳輸機制.通過IP存儲介質(zhì)與存儲設備通信的主機仍表達了SCSI的含意.IP存儲實際上仍處于發(fā)展初期,目前也存在著很多局限性,但是它的基于IP特性所帶來的各種優(yōu)勢使之具有很好的前景.4.2infiniband:基于傳輸、通信和網(wǎng)絡存儲的網(wǎng)絡存儲InfiniBand是實現(xiàn)網(wǎng)絡存儲的一種新的技術(shù).它是一種新型I/O基礎(chǔ)設施技術(shù).它一方面能夠簡化和加速服務器到服務器的連接,另一方面又能連接其他相關(guān)系統(tǒng).InfiniBand體系結(jié)構(gòu)可提供更簡單的連接、更短的待機時間、更高的帶寬和更強的互操作性.InfiniBand設計初衷將是充當服務器互連技術(shù),它以交換結(jié)構(gòu)拓撲取代基于總線的PCI,物理結(jié)構(gòu)結(jié)合了連接器、線纜和交換機.目前的規(guī)范要求包括1、4或12路寬的鏈路方案,相對應的是500MBps、2GBps和6GBps的帶寬.InfiniBand鏈路是為使用銅線纜的數(shù)據(jù)中心距離或使用光纖鏈路的大樓間和小校園距離而設計的.InfiniBand采用了基于通道的方案,沿通信鏈路分配I/O處理工作負荷.InfiniBand采用的不是PCI的內(nèi)存映射“裝入/存放”范例,而是消息傳送“發(fā)送/接收”模式.適配器負責處理傳輸協(xié)議,InfiniBand交換機則負責確保數(shù)據(jù)包到達預定目的地.InfiniBand體系結(jié)構(gòu)得到業(yè)界廣泛支持,包括Intel、3com、Adapter、Agilent、Brocade、Cisco、康柏、戴爾、EMC、富士通-西門子、惠普、日立、IBM、朗訊、微軟、NEC、北電、SunMicrosystem等公司支持該標準.InfiniBand的意義遠遠不限于服務器互連,它的設計思想使得在實現(xiàn)網(wǎng)絡存儲方面具有獨特優(yōu)勢.4.3實現(xiàn)虛擬存儲虛擬存儲被認為是可以簡化管理大型、復雜、異構(gòu)的存儲環(huán)境的技術(shù).虛擬存儲使主機操作系統(tǒng)看到的存儲與實際物理存儲分開.服務器不必關(guān)心后端的物理設備,也不會因為物理設備發(fā)生任何變化而受影響.管理員可以通過GUI(圖形用戶界面)或類似界面讓很多服務器共享后端的存儲池,因而提高系統(tǒng)管理員的工作效率.它可以將多種設備上比較小的存儲容量集合起來,虛擬成一個大的磁盤,提高存儲容量的使用率.虛擬存儲的目的是集