云存儲基礎架構剖析

云存儲基礎架構剖析模型，功能和內(nèi)部機制M,TimJones,資深軟件工程師簡介：云存儲（或數(shù)據(jù)存儲即服務）是對接口后的存儲的抽象，可在該接口內(nèi)按需管理存儲。此外，接口抽象化存儲的位置，這樣一來，不管存儲是在本地還是遠程（或混合）都無關緊要。云存儲基礎架構引入新的架構，能夠支持為大量潛在用戶提供不同水平的服務，以及地理上分散的存儲容量。了解云存儲架構的關鍵架構屬性—從數(shù)據(jù)保護和完整性到存儲優(yōu)化。本文的標簽:cloud,cloud-storage,computing,云存儲基礎架構,云計算,存儲,應用開發(fā),頂件平臺,^理,"資產(chǎn)管理常用縮略詞API：應用程序編程接口FTP：文件傳輸協(xié)議HTTP:超文本傳輸協(xié)議HTTPS:通過安全套接字層的HTTPJFS:日志文件系統(tǒng)NFS：網(wǎng)絡文件系統(tǒng)NIC：網(wǎng)絡接口卡RAID:獨立磁盤冗余陣列REST:具象狀態(tài)傳輸SAN：存儲區(qū)域網(wǎng)絡SCSI：小型計算機系統(tǒng)接口SLA：服務級別協(xié)議TCP：傳輸控制協(xié)議UDP：用戶數(shù)據(jù)報協(xié)議WAN：廣域網(wǎng)以目前數(shù)據(jù)增長的速度來看，云存儲越來越流行不足為奇。增長速度最快的數(shù)據(jù)是歸檔數(shù)據(jù)，鑒于很多因素它是云存儲的理想之選，這些因素包括成本、訪問頻率、保護和可用性。但是并非所有云存儲都是相同的。一家提供商可能主要關注于成本，而另一家提供商關注于可用性或性能。沒有一個架構具有單一側重點，但是一個架構實現(xiàn)給定特征的程度定義了其市場和適當?shù)氖褂媚Ｐ汀２粡男в媒嵌日務摷軜嬍呛茈y的。我的意思是，通過各種特征度量一個架構，包括成本、性能、遠程訪問，等等。因此，我首先定義一組可度量云存儲模型的標準，然后探究云存儲架構內(nèi)的一些有趣的實現(xiàn)。首先，我們討論一個通用的云存儲架構，設置上下文以供后面探究獨特的架構特性。通用架構云存儲架構主要關乎以一個高度可擴展和多租戶的方式按需交付存儲。通用（參見圖丄）的云存儲架構包含一個導出API以訪問存儲的前端。在傳統(tǒng)的存儲系統(tǒng)中，這個API是SCSI協(xié)議；但是在云環(huán)境中，這些協(xié)議在演化。在那里您可以找到Web服務前端、基于文件的前端，甚至更多傳統(tǒng)前端（比如InternetSCSI或iSCSI）。在前端后面是一個中間件層，我將它稱作存儲邏輯。該層通過傳統(tǒng)的數(shù)據(jù)放置算法（考慮地理布局）實現(xiàn)各種功能，比如復制和數(shù)據(jù)簡縮。最后，后端實現(xiàn)對數(shù)據(jù)的物理存儲。這可能是一個實現(xiàn)特定功能的內(nèi)部協(xié)議或物理磁盤的一個傳統(tǒng)后端。圖1.通用的云存儲架構從圖1中，您可以看到當前云存儲架構的一些特征。注意，沒有特征在特定層中是獨有的，而是充當本文探討的特定主題的指導。這些特征的定義見表1表1.云存儲特征特征 說明可管理性以最少的資源管理系統(tǒng)的能力訪問方法公開云存儲所用的協(xié)議性能根據(jù)寬帶和延遲衡量的性能多租戶支持多個用戶（或承租者）可擴展性通過擴展?jié)M足更高要求或以得體的方式加載的能力數(shù)據(jù)可用性對一個系統(tǒng)的正常運行時間的衡量控制 控制系統(tǒng)的能力—特別是為成本、性能或其他特征進行配置存儲效率度量如何高效使用原始存儲成本 度量存儲成本（通常以美元每GB為單位）可管理性云存儲的一個重點是成本。如果客戶可以購買并在本地管理存儲，而不是在云中租賃它，那么云存儲市場就會消失。但是成本可劃分為兩個高級類別：物理存儲生態(tài)系統(tǒng)本身的成本和管理它的成本。管理成本是隱式的，但卻是總體成本的一個長期組成部分。為此，云存儲必須能在很大程度上進行自我管理。引入新存儲（其中系統(tǒng)通過自動自我配置來容納它）的能力和在出現(xiàn)錯誤時查找和自我修復的能力很重要。在未來，諸如自主計算這樣的概念將在云存儲架構中起到關鍵的作用。訪問方法云存儲與傳統(tǒng)存儲之間最顯著的差異之一是其訪問方法（參見圖丄）。大部分提供商實現(xiàn)多個訪問方法，但是Web服務APIs是常見的。許多APIs是基于REST原則實現(xiàn)的，即在HTTP之上開發(fā)（使用HTTP進行傳輸）的一種基于對象的方案。RESTAPIs是無狀態(tài)的，因此可以簡單而有效地予以提供。許多云存儲提供商實現(xiàn)RESTAPIs，包括AmazonSimpleStorageService（AmazonS3）、WindowsAzure?和MezeoCloudStoragePlatform。Web服務APIs的一個問題是，它們需要與應用程序集成，以利用云存儲。因此，對云存儲也使用常見的訪問方法來提供即時集成。例如，NFS/CommonInternetFileSystem（CIFS）或FTP等基于文件的協(xié)議，iSCSI等基于塊的協(xié)議。Nirvanix、Zetta和Cleversafe等云存儲提供商提供這些訪問方法。盡管上面提到的協(xié)議是最常用的，但也有適合云存儲的其他協(xié)議。最有趣的其中一個是基于Web的分布式創(chuàng)作與版本控制（WebDAV）。WebDAV也基于HTTP，且將Web作為一種可讀寫的資源加以啟用。WebDAV的提供商包括Zetta和Cleversafe等。圖2.云存儲訪問方法您還可以尋找支持多協(xié)議訪問的解決方案。例如，IBM?SmartBusinessStorageCloud從同一存儲虛擬化架構同時啟用基于文件（NFS和CIFS）的協(xié)議和基于SAN的協(xié)議。性能性能表現(xiàn)為很多方面，但是在用戶與遠程云存儲提供商之間移動數(shù)據(jù)的能力是云存儲最大的挑戰(zhàn)。問題就是TCP,它同時也是互聯(lián)網(wǎng)的主力。TCP基于數(shù)據(jù)包確認從對等端點控制數(shù)據(jù)流。數(shù)據(jù)包丟失或延遲到達情況下將啟用阻塞控制，進一步限制性能以避免更多全局網(wǎng)絡問題oTCP適用于通過全局Internet啟用小量數(shù)據(jù)，但不適用于會增加往返時間（RTT）的大型數(shù)據(jù)移動。通過AsperaSoftware，Amazon解決了這個問題，方法就是從程式中刪除TCP。且開發(fā)了一個稱為FastandSecureProtocol（FASP?）的新協(xié)議，以在大型RTT和嚴重數(shù)據(jù)包丟失情況下加速批量數(shù)據(jù)移動。關鍵是UDP的使用，它是TCP的締約方傳輸協(xié)議。UDP允許主機管理阻塞，將這個方面推進到FASP的應用層協(xié)議中（參見圖3）。圖3.AsperaSoftware上的FastandSecureProtocol通過標準（非加速）NICs、FASP有效使用應用程序可用帶寬，并移除傳統(tǒng)的批量數(shù)據(jù)傳輸模式的基本瓶頸。參考資料部分提供在傳統(tǒng)WAN、洲際傳輸和有損衛(wèi)星鏈接中FASP性能相關的一些有趣統(tǒng)計信息。多租戶云存儲架構的一個關鍵特征稱為多租戶。這只是表示存儲由多個用戶（或多個“承租者”）使用。多租戶應用于云存儲堆棧的多個層，從應用層（其中存儲名稱空間在用戶之間是隔離的）到存儲層（其中可以為特定用戶或用戶類隔離物理存儲）。多租戶甚至適用于連接用戶與存儲的網(wǎng)絡基礎架構，向特定用戶保證服務質量和優(yōu)化帶寬?？蓴U展性您可以從多個方面看待可擴展性，但正是云存儲的隨需視圖使其最具吸引力。擴展存儲需求（向上和向下）可改善用戶成本，提高云存儲提供商的復雜性。不僅要為存儲本身提供可擴展性（功能擴展），而且必須為存儲帶寬提供可擴展性（負載擴展）。云存儲的另一個關鍵特性是數(shù)據(jù)的地理分布（地理可擴展性），支持經(jīng)由一組云存儲數(shù)據(jù)中心（通過遷移）使數(shù)據(jù)最接近于用戶。對于只讀數(shù)據(jù)，也可以進行復制和分布（使用內(nèi)容傳遞網(wǎng)絡完成）。這如圖4所示。圖4.云存儲的可擴展性DataInternetRepIcationGeograptiicall^closeforTirmsiRTT圖4.云存儲的可擴展性DataInternetRepIcationGeograptiicall^closeforTirmsiRTTClou<jstorageproviderMgratianCl-audstorageproviderClouds^rag-e|providerUser在內(nèi)部，一個云存儲架構必須能夠擴展。服務器和存儲必須能夠在不影響用戶的情況下重新調整大小。正如在可管理性部分所討論的，自主計算是云存儲架構所必需的?？捎眯匀绻粋€云存儲供應商有用戶的數(shù)據(jù)，它必須能夠應求將該數(shù)據(jù)提供給用戶。鑒于網(wǎng)絡中斷、用戶錯誤和其他情況，這很難以一種可靠而確定的方式予以提供。有一些有趣而新穎的方案可用于解決可用性，比如信息傳播。一家提供私有云存儲的公司Cleversafe（稍后介紹）使用InformationDispersalAlgorithm（IDA）來在發(fā)生物理故障和網(wǎng)絡中斷的情況下實現(xiàn)更高的可用性。IDA是由MichaelRabin最初為電信系統(tǒng)而創(chuàng)建的一種算法，它支持使用Reed-Solomon代碼對數(shù)據(jù)進行切片處理，以便在數(shù)據(jù)丟失的情況下實現(xiàn)數(shù)據(jù)重建。此外，IDA允許您配置數(shù)據(jù)切片的數(shù)量，這樣一來，可以為一個可接納故障將數(shù)據(jù)對象分割成4個切片，對8個可接納故障分割成20個切片。與RAID類似，IDA支持通過原始數(shù)據(jù)的子集重建數(shù)據(jù)，含有一定數(shù)量的代碼錯誤開銷（依賴于可接納故障的數(shù)量）。這如圖5所示。

圖5.Cleversafe用于最大化數(shù)據(jù)可用性的方法\Ge?graph(cdlsperston/Cloudsite#1Cloudsite#2Cloudsite#3Cloudsite#4GeographicallydistributecloudsitesInformationdispersalalgorithnn圖5.Cleversafe用于最大化數(shù)據(jù)可用性的方法\Ge?graph(cdlsperston/Cloudsite#1Cloudsite#2Cloudsite#3Cloudsite#4GeographicallydistributecloudsitesInformationdispersalalgorithnnD朮Dataslics1RSDalaslice2RSDataslice3RS□alaslice4FS有了為數(shù)據(jù)切片的能力以及cauchyReed-Solomon糾錯碼，就可以將切片分發(fā)到地理上分散的站點進行存儲。對于大量切片（p）和大量可接納故障（m），最終開銷是p/（p-m）。因此在圖5中，p=4且m=1的存儲系統(tǒng)的開銷是is33%。IDA的缺點在于，它是處理密集型的，無硬件加速。復制是另一個有用的技術，且由各個云存儲提供商實現(xiàn)。盡管復制技術引入了大量開銷（100%），但可以簡單而高效地提供它?？刂埔幻蛻艨刂坪凸芾砥鋽?shù)據(jù)存儲方式及其相關成本的能力很重要。許多云存儲提供商實施控制，使用戶對其成本有更大的控制權。Amazon實現(xiàn)ReducedRedundancyStorage（RRS），為用戶提供最小化總存儲成本的一種方式。數(shù)據(jù)是在AmazonS3基礎架構內(nèi)復制的，但使用RRS，數(shù)據(jù)復制次數(shù)較少，且存在丟失數(shù)據(jù)的可能性。這適用于可重新創(chuàng)建的或在其他地方有副本的數(shù)據(jù)。Nirvanix還提供基于策略的復制來對如何以及在何處存儲數(shù)據(jù)提供更細粒度的控制。效率存儲效率是云存儲基礎架構的一個重要特征，特別是將重點放在總成本上。下一部分專門介紹成本，但是該特征更多地是關于對可用資源的高效使用，而非成本。要使一個存儲系統(tǒng)更高效，必須存儲更多數(shù)據(jù)。一個常見的解決方案就是數(shù)據(jù)簡縮，即通過減少源數(shù)據(jù)來降低物理空間需求。實現(xiàn)這一點的兩種方法包括壓縮—通過使用不同的表示編碼數(shù)據(jù)來縮減數(shù)據(jù)—和重復數(shù)據(jù)刪除—移除可能存在的相同的數(shù)據(jù)副本。雖然兩種方法都有用，但壓縮方法涉及到處理（重新編碼數(shù)據(jù)進出基礎架構），而重復數(shù)據(jù)刪除方法涉及到計算數(shù)據(jù)簽名以搜索副本。成本云存儲最顯著的特征之一是通過使用降低成本的能力。這包括購置存儲的成本、驅動存儲的成本、修復存儲的成本（當驅動器出現(xiàn)故障時）以及管理存儲的成本。在從這個角度（包括SLAs和增加存儲效率）看待云存儲時，云存儲在某些使用模型中會很有用。云存儲解決方案內(nèi)的一個有趣的使用高峰由一個名為Backblaze的公司提供（參見參考資料了解詳情）。Backblaze著手于為云存儲產(chǎn)品構建廉價存儲。一個BackblazePOD（存儲架）在一個4U機箱中具有67TB的數(shù)據(jù)包，價格不到8,000美元。這個數(shù)據(jù)包含有一個4U機箱、一個主板、4GB的DRAM、4個SATA控制器、45個1.5TBSATA硬盤和兩個電源。在主板上，Backblaze運行Linux?（以JFS作為文件系統(tǒng)）且以GbENICs作為前端，使用HTTPS和ApacheTomcat。Backblaze的軟件包括重復數(shù)據(jù)刪除、加密功能和用于數(shù)據(jù)保護的RAID6。Backblaze對其POD的描述（詳細介紹如何構建您自己的POD）向您展示公司可以將存儲成本降低多大幅度，使云存儲成為一個可行且經(jīng)濟高效的選擇?；仨撌自拼鎯δＰ偷侥壳盀橹梗抑饕動懥嗽拼鎯μ峁┥?，但是還有云存儲模型可支持用戶控制其數(shù)據(jù)。云存儲演化為三個類別，其中一個支持合并兩個類別，以提供一個經(jīng)濟高效而安全的選擇。本文大部分討論了公共云存儲提供商，它們將云存儲基礎架構作為可出租商品予以提供（從長期或短期存儲和基礎架構內(nèi)使用的網(wǎng)絡帶寬角度來講）。私有云使用公共云存儲的概念，但是以可安全嵌入到用戶防火墻內(nèi)的形式。最后，混合云存儲支持合并這兩個模型，通過策略定義哪些數(shù)據(jù)必須私下維護，哪些可在公共云內(nèi)得到安全維護（參見圖6）。

圖6.云存儲模型InternetnetworkIrrterne:Ck?cCloudstorageQkMJC串帕nag目iNetwork圖6.云存儲模型InternetnetworkIrrterne:Ck?cCloudstorageQkMJC串帕nag目iNetworkIHybridCloucIstorageCloud苕血rag電FrivsieCloucstorage1 PjblcClcHid1Lstorage _|云存儲模型如圖6所示。典型的公共云存儲供應商包括Amazon和Nirvanix（將存儲作為服務提供）。典型的私有云存儲提供商包括IBM、Parascale和Cleversafe（為內(nèi)部云構建軟件和/或硬件）。最后，混合云提供商包括Nirvanix和Egnyte等?；仨撌浊熬罢雇拼鎯κ窃拼鎯δＰ椭械囊粋€有趣進化，它重新定義我們在企業(yè)內(nèi)構建、訪問和管理存儲的方式。盡管云存儲目前主要是一種消費技術，它在迅速向企業(yè)質量方向演化?；旌显拼鎯δＰ蛯⑹蛊髽I(yè)能夠在一個本地數(shù)據(jù)中心內(nèi)維護其機密數(shù)據(jù)同時委托更少的機密數(shù)據(jù)到云中，以實現(xiàn)成本節(jié)約和地域保護。查看參考資料獲取有關云存儲提供商和獨特技術的信息的鏈接。參考資料學習可管理性是云存儲基礎架構最重要的方面之一。出于經(jīng)濟效益，云存儲基礎架構必須能夠自我管理并實現(xiàn)自主計算原則。在IBMResearch閱讀有關自主計算的更多信息。?REST是用于訪問云存儲基礎架構的一種流行方法。?盡管不如REST常見WebDAV規(guī)范也用作一個高效的云存儲接口EgnyteCloudFileServer將WebDAV實現(xiàn)為其云存儲基礎架構的一個接口。IBMSmartBusinessStorageCloud是有關企業(yè)云存儲的一個有趣視角。IBM的存儲云提供高性能的隨需存儲來供企業(yè)進行配置。訪問方法是云存儲的重要方面之一，因為它們決定用戶如何集成其客戶端系統(tǒng)到云存儲基礎架構中。實現(xiàn)基于文件的APIs的提供商包括