云存儲基礎(chǔ)架構(gòu)剖析

1、云存儲基礎(chǔ)架構(gòu)剖析以目前數(shù)據(jù)增長的速度來看，云存儲越來越流行不足為奇。增長速度最快的數(shù)據(jù)是歸檔數(shù)據(jù)，鑒于很多因素它是云存儲的理想之選，這些因素包括成本、訪問頻率、保護和可用性。但是并非所有云存儲都是相同的。一家提供商可能主要關(guān)注于成本，而另一家提供商關(guān)注于可用性或性能。沒有一個架構(gòu)具有單一側(cè)重點，但是一個架構(gòu)實現(xiàn)給定特征的程度定義了其市場和適當?shù)氖褂媚Ｐ?。不從效用角度談論架?gòu)是很難的。我的意思是，通過各種特征度量一個架構(gòu)，包括成本、性能、遠程訪問，等等。因此，我首先定義一組可度量云存儲模型的標準，然后探究云存儲架構(gòu)內(nèi)的一些有趣的實現(xiàn)。首先，我們討論一個通用的云存儲架構(gòu)，設(shè)置上下文以供后面探究獨

2、特的架構(gòu)特性。通用架構(gòu)云存儲架構(gòu)主要關(guān)乎以一個高度可擴展和多租戶的方式按需交付存儲。通用（參見 圖 1）的云存儲架構(gòu)包含一個導出 API 以訪問存儲的前端。在傳統(tǒng)的存儲系統(tǒng)中，這個 API 是 SCSI 協(xié)議；但是在云環(huán)境中，這些協(xié)議在演化。在那里您可以找到 Web 服務前端、基于文件的前端，甚至更多傳統(tǒng)前端（比如 Internet SCSI 或 iSCSI）。在前端后面是一個中間件層，我將它稱作存儲邏輯。該層通過傳統(tǒng)的數(shù)據(jù)放置算法（考慮地理布局）實現(xiàn)各種功能，比如復制和數(shù)據(jù)簡縮。最后，后端實現(xiàn)對數(shù)據(jù)的物理存儲。這可能是一個實現(xiàn)特定功能的內(nèi)部協(xié)議或物理磁盤的一個傳統(tǒng)后端。圖 1. 通

3、用的云存儲架構(gòu) 從圖 1 中，您可以看到當前云存儲架構(gòu)的一些特征。注意，沒有特征在特定層中是獨有的，而是充當本文探討的特定主題的指導。這些特征的定義見 表 1。表 1. 云存儲特征特征說明可管理性以最少的資源管理系統(tǒng)的能力訪問方法公開云存儲所用的協(xié)議性能根據(jù)寬帶和延遲衡量的性能多租戶支持多個用戶（或承租者）可擴展性通過擴展?jié)M足更高要求或以得體的方式加載的能力數(shù)據(jù)可用性對一個系統(tǒng)的正常運行時間的衡量控制控制系統(tǒng)的能力 特別是為成本、性能或其他特征進行配置存儲效率度量如何高效使用原始存儲成本度量存儲成本（通常以美元每 GB 為單位）可管理性云存儲的一個重點是成本。如果客戶可以購

4、買并在本地管理存儲，而不是在云中租賃它，那么云存儲市場就會消失。但是成本可劃分為兩個高級類別：物理存儲生態(tài)系統(tǒng)本身的成本和管理它的成本。管理成本是隱式的，但卻是總體成本的一個長期組成部分。為此，云存儲必須能在很大程度上進行自我管理。引入新存儲（其中系統(tǒng)通過自動自我配置來容納它）的能力和在出現(xiàn)錯誤時查找和自我修復的能力很重要。在未來，諸如自主計算這樣的概念將在云存儲架構(gòu)中起到關(guān)鍵的作用。訪問方法云存儲與傳統(tǒng)存儲之間最顯著的差異之一是其訪問方法（參見 圖 2）。大部分提供商實現(xiàn)多個訪問方法，但是 Web 服務 APIs 是常見的。許多 APIs 是基于 REST 原則實現(xiàn)的，即在 HTT

5、P 之上開發(fā)（使用 HTTP 進行傳輸）的一種基于對象的方案。REST APIs 是無狀態(tài)的，因此可以簡單而有效地予以提供。許多云存儲提供商實現(xiàn) REST APIs，包括 Amazon Simple Storage Service (Amazon S3)、Windows Azure 和 Mezeo Cloud Storage Platform。Web 服務 APIs 的一個問題是，它們需要與應用程序集成，以利用云存儲。因此，對云存儲也使用常見的訪問方法來提供即時集成。例如，NFS/Common Internet File System (CIFS) 或 FTP 等基于文件的協(xié)議，iSCSI 等

6、基于塊的協(xié)議。Nirvanix、Zetta 和 Cleversafe 等云存儲提供商提供這些訪問方法。盡管上面提到的協(xié)議是最常用的，但也有適合云存儲的其他協(xié)議。最有趣的其中一個是基于 Web 的分布式創(chuàng)作與版本控制（WebDAV）。WebDAV 也基于 HTTP，且將 Web 作為一種可讀寫的資源加以啟用。WebDAV 的提供商包括 Zetta 和 Cleversafe 等。圖 2. 云存儲訪問方法  您還可以尋找支持多協(xié)議訪問的解決方案。例如，IBM® Smart Business Storage Cloud 從同一存儲虛擬化架構(gòu)同時啟用基于文件（NFS 和 C

7、IFS）的協(xié)議和基于 SAN 的協(xié)議。性能性能表現(xiàn)為很多方面，但是在用戶與遠程云存儲提供商之間移動數(shù)據(jù)的能力是云存儲最大的挑戰(zhàn)。問題就是 TCP，它同時也是互聯(lián)網(wǎng)的主力。TCP 基于數(shù)據(jù)包確認從對等端點控制數(shù)據(jù)流。數(shù)據(jù)包丟失或延遲到達情況下將啟用阻塞控制，進一步限制性能以避免更多全局網(wǎng)絡(luò)問題。TCP 適用于通過全局 Internet 啟用小量數(shù)據(jù)，但不適用于會增加往返時間（RTT）的大型數(shù)據(jù)移動。通過 Aspera Software，Amazon 解決了這個問題，方法就是從程式中刪除 TCP。且開發(fā)了一個稱為 Fast and Secure Protocol(FASP) 的新協(xié)議，以

8、在大型 RTT 和嚴重數(shù)據(jù)包丟失情況下加速批量數(shù)據(jù)移動。關(guān)鍵是 UDP 的使用，它是 TCP 的締約方傳輸協(xié)議。UDP 允許主機管理阻塞，將這個方面推進到 FASP 的應用層協(xié)議中（參見 圖 3）。圖 3. Aspera Software 上的 Fast and Secure Protocol  通過標準（非加速）NICs、FASP 有效使用應用程序可用帶寬，并移除傳統(tǒng)的批量數(shù)據(jù)傳輸模式的基本瓶頸。參考資料 部分提供在傳統(tǒng) WAN、洲際傳輸和有損衛(wèi)星鏈接中 FASP 性能相關(guān)的一些有趣統(tǒng)計信息。多租戶云存儲架構(gòu)的一個關(guān)鍵特征稱為多租戶。這只是表示存儲由多

9、個用戶（或多個 “承租者”）使用。多租戶應用于云存儲堆棧的多個層，從應用層（其中存儲名稱空間在用戶之間是隔離的）到存儲層（其中可以為特定用戶或用戶類隔離物理存儲）。多租戶甚至適用于連接用戶與存儲的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，向特定用戶保證服務質(zhì)量和優(yōu)化帶寬?？蓴U展性您可以從多個方面看待可擴展性，但正是云存儲的隨需視圖使其最具吸引力。擴展存儲需求（向上和向下）可改善用戶成本，提高云存儲提供商的復雜性。不僅要為存儲本身提供可擴展性（功能擴展），而且必須為存儲帶寬提供可擴展性（負載擴展）。云存儲的另一個關(guān)鍵特性是數(shù)據(jù)的地理分布（地理可擴展性），支持經(jīng)由一組云存儲數(shù)據(jù)中心（通過遷移）使數(shù)據(jù)最接近于用戶。對于只讀數(shù)據(jù)

10、，也可以進行復制和分布（使用內(nèi)容傳遞網(wǎng)絡(luò)完成）。這如 圖 4 所示。圖 4. 云存儲的可擴展性 在內(nèi)部，一個云存儲架構(gòu)必須能夠擴展。服務器和存儲必須能夠在不影響用戶的情況下重新調(diào)整大小。正如在 可管理性 部分所討論的，自主計算是云存儲架構(gòu)所必需的?？捎眯匀绻粋€云存儲供應商有用戶的數(shù)據(jù)，它必須能夠應求將該數(shù)據(jù)提供給用戶。鑒于網(wǎng)絡(luò)中斷、用戶錯誤和其他情況，這很難以一種可靠而確定的方式予以提供。有一些有趣而新穎的方案可用于解決可用性，比如信息傳播。一家提供私有云存儲的公司 Cleversafe（稍后介紹）使用 Information Dispers

11、al Algorithm (IDA) 來在發(fā)生物理故障和網(wǎng)絡(luò)中斷的情況下實現(xiàn)更高的可用性。IDA 是由 Michael Rabin 最初為電信系統(tǒng)而創(chuàng)建的一種算法，它支持使用 Reed-Solomon 代碼對數(shù)據(jù)進行切片處理，以便在數(shù)據(jù)丟失的情況下實現(xiàn)數(shù)據(jù)重建。此外，IDA 允許您配置數(shù)據(jù)切片的數(shù)量，這樣一來，可以為一個可接納故障將數(shù)據(jù)對象分割成 4 個切片，對 8 個可接納故障分割成 20 個切片。與 RAID 類似，IDA 支持通過原始數(shù)據(jù)的子集重建數(shù)據(jù)，含有一定數(shù)量的代碼錯誤開銷（依賴于可接納故障的數(shù)量）。這如 圖 5 所示。圖 5. Cleversafe 用于最大化

12、數(shù)據(jù)可用性的方法  有了為數(shù)據(jù)切片的能力以及 cauchy Reed-Solomon 糾錯碼，就可以將切片分發(fā)到地理上分散的站點進行存儲。對于大量切片（p）和大量可接納故障（m），最終開銷是 p/(p-m)。因此在 圖 5 中，p = 4 且 m = 1 的存儲系統(tǒng)的開銷是is 33%。IDA 的缺點在于，它是處理密集型的，無硬件加速。復制是另一個有用的技術(shù)，且由各個云存儲提供商實現(xiàn)。盡管復制技術(shù)引入了大量開銷（100%），但可以簡單而高效地提供它?？刂埔幻蛻艨刂坪凸芾砥鋽?shù)據(jù)存儲方式及其相關(guān)成本的能力很重要。許多

13、云存儲提供商實施控制，使用戶對其成本有更大的控制權(quán)。Amazon 實現(xiàn) Reduced Redundancy Storage (RRS)，為用戶提供最小化總存儲成本的一種方式。數(shù)據(jù)是在 Amazon S3 基礎(chǔ)架構(gòu)內(nèi)復制的，但使用 RRS，數(shù)據(jù)復制次數(shù)較少，且存在丟失數(shù)據(jù)的可能性。這適用于可重新創(chuàng)建的或在其他地方有副本的數(shù)據(jù)。Nirvanix 還提供基于策略的復制來對如何以及在何處存儲數(shù)據(jù)提供更細粒度的控制。效率存儲效率是云存儲基礎(chǔ)架構(gòu)的一個重要特征，特別是將重點放在總成本上。下一部分專門介紹成本，但是該特征更多地是關(guān)于對可用資源的高效使用，而非成本。要使一個存儲系統(tǒng)更高效，必須存儲更多數(shù)據(jù)。

14、一個常見的解決方案就是數(shù)據(jù)簡縮，即通過減少源數(shù)據(jù)來降低物理空間需求。實現(xiàn)這一點的兩種方法包括壓縮  通過使用不同的表示編碼數(shù)據(jù)來縮減數(shù)據(jù) 和重復數(shù)據(jù)刪除  移除可能存在的相同的數(shù)據(jù)副本。雖然兩種方法都有用，但壓縮方法涉及到處理（重新編碼數(shù)據(jù)進出基礎(chǔ)架構(gòu)），而重復數(shù)據(jù)刪除方法涉及到計算數(shù)據(jù)簽名以搜索副本。成本云存儲最顯著的特征之一是通過使用降低成本的能力。這包括購置存儲的成本、驅(qū)動存儲的成本、修復存儲的成本（當驅(qū)動器出現(xiàn)故障時）以及管理存儲的成本。在從這個角度（包括 SLAs 和增加存儲效率）看待云存儲時，云存儲在某些使用模型中會很有用。云存儲解決方案內(nèi)的一個有趣的使用高峰由

15、一個名為 Backblaze 的公司提供（參見 參考資料 了解詳情）。Backblaze 著手于為云存儲產(chǎn)品構(gòu)建廉價存儲。一個 Backblaze POD（存儲架）在一個 4U 機箱中具有 67TB 的數(shù)據(jù)包，價格不到 8,000 美元。這個數(shù)據(jù)包含有一個 4U 機箱、一個主板、4GB 的 DRAM、4 個 SATA 控制器、45 個 1.5TB SATA 硬盤和兩個電源。在主板上，Backblaze 運行 Linux®（以 JFS 作為文件系統(tǒng)）且以 GbE NICs 作為前端，使用 HTTPS 和 Apache Tomcat。Backblaze 的軟件包括重復

16、數(shù)據(jù)刪除、加密功能和用于數(shù)據(jù)保護的 RAID6。Backblaze 對其 POD 的描述（詳細介紹如何構(gòu)建您自己的 POD）向您展示公司可以將存儲成本降低多大幅度，使云存儲成為一個可行且經(jīng)濟高效的選擇?；仨撌自拼鎯δＰ偷侥壳盀橹?，我主要談討了云存儲提供商，但是還有云存儲模型可支持用戶控制其數(shù)據(jù)。云存儲演化為三個類別，其中一個支持合并兩個類別，以提供一個經(jīng)濟高效而安全的選擇。本文大部分討論了公共云存儲提供商，它們將云存儲基礎(chǔ)架構(gòu)作為可出租商品予以提供（從長期或短期存儲和基礎(chǔ)架構(gòu)內(nèi)使用的網(wǎng)絡(luò)帶寬角度來講）。私有云使用公共云存儲的概念，但是以可安全嵌入到用戶防火墻內(nèi)的形式。最后，混合云存儲支持合并這兩個模型，通過策略定義哪些數(shù)據(jù)必須私下維護，哪些可在公共云內(nèi)得到安全維護（參見 圖 6）。圖 6. 云存儲模型 云存儲模型如圖 6 所示。典型的公共云存儲供應商包括 Amazon 和 Nirvanix（將存儲作為服務提供）。典型的私有云存儲提