FusionStorage對象存儲技術(shù)白皮書-D

1、FusionStorage對象存儲技術(shù)白皮書FusionStorage 8.0 對象存儲技術(shù)白皮書目錄目錄 HYPERLINK l _bookmark0 概述1 HYPERLINK l _bookmark1 產(chǎn)品價(jià)值3 HYPERLINK l _bookmark2 產(chǎn)品架構(gòu)5 HYPERLINK l _bookmark3 軟件架構(gòu)5 HYPERLINK l _bookmark4 數(shù)據(jù)服務(wù)6 HYPERLINK l _bookmark5 統(tǒng)一命名空間7 HYPERLINK l _bookmark7 分布式 Hash 路由8 HYPERLINK l _bookmark8 Cache 機(jī)制9 HYP

2、ERLINK l _bookmark12 關(guān)鍵業(yè)務(wù)流程11 HYPERLINK l _bookmark13 特性介紹12 HYPERLINK l _bookmark14 數(shù)據(jù)冗余策略12 HYPERLINK l _bookmark15 小對象在線聚合13 HYPERLINK l _bookmark16 跨區(qū)域復(fù)制14 HYPERLINK l _bookmark17 多租戶15 HYPERLINK l _bookmark18 多資源池15 HYPERLINK l _bookmark19 配額和資源統(tǒng)計(jì)16 HYPERLINK l _bookmark20 訪問權(quán)限控制17 HYPERLINK l

3、_bookmark21 QoS18 HYPERLINK l _bookmark22 對象多版本19 HYPERLINK l _bookmark23 對象的生命周期管理20 HYPERLINK l _bookmark24 對象操作日志21 HYPERLINK l _bookmark25 對象級重刪21 HYPERLINK l _bookmark26 WORM22 HYPERLINK l _bookmark27 存儲管理23 HYPERLINK l _bookmark28 存儲服務(wù)化23 HYPERLINK l _bookmark29 存儲集群管理24 HYPERLINK l _bookmark3

4、0 集群擴(kuò)容25 HYPERLINK l _bookmark31 推薦硬件25 HYPERLINK l _bookmark32 系統(tǒng)組網(wǎng)26 HYPERLINK l _bookmark33 組網(wǎng)方案27 HYPERLINK l _bookmark34 組網(wǎng)設(shè)計(jì)原則27 HYPERLINK l _bookmark35 集群內(nèi)組網(wǎng)方案27 HYPERLINK l _bookmark36 多區(qū)域組網(wǎng)方案28 HYPERLINK l _bookmark37 軟件部署29 HYPERLINK l _bookmark38 局域網(wǎng)部署方案29 HYPERLINK l _bookmark39 廣域網(wǎng)部署 DN

5、S 方案30 HYPERLINK l _bookmark40 廣域網(wǎng)部署負(fù)載均衡器方案31 HYPERLINK l _bookmark41 高性能和彈性擴(kuò)展33 HYPERLINK l _bookmark42 單桶高性能33 HYPERLINK l _bookmark43 元數(shù)據(jù)分散存儲34 HYPERLINK l _bookmark44 元數(shù)據(jù)多級緩存34 HYPERLINK l _bookmark45 全局負(fù)載均衡35 HYPERLINK l _bookmark46 數(shù)據(jù)在線聚合35 HYPERLINK l _bookmark47 無狀態(tài)集群36 HYPERLINK l _bookmark

6、48 彈性擴(kuò)展36 HYPERLINK l _bookmark49 高可靠38 HYPERLINK l _bookmark50 數(shù)據(jù)冗余保護(hù)機(jī)制38 HYPERLINK l _bookmark51 數(shù)據(jù)條帶化38 HYPERLINK l _bookmark52 N+M 數(shù)據(jù)保護(hù)39 HYPERLINK l _bookmark53 節(jié)點(diǎn)級和柜級安全級別40 HYPERLINK l _bookmark54 跨站點(diǎn) EC42 HYPERLINK l _bookmark57 數(shù)據(jù)一致性44 HYPERLINK l _bookmark58 快速數(shù)據(jù)重建44 HYPERLINK l _bookmark59

7、 集群可靠性45 HYPERLINK l _bookmark60 硬件可靠性45 HYPERLINK l _bookmark61 鏈路可靠性46 HYPERLINK l _bookmark62 系統(tǒng)安全47 HYPERLINK l _bookmark63 總體安全框架47 HYPERLINK l _bookmark64 管理系統(tǒng)安全48 HYPERLINK l _bookmark65 用戶安全48 HYPERLINK l _bookmark66 密碼安全48 HYPERLINK l _bookmark67 鑒權(quán)認(rèn)證50 HYPERLINK l _bookmark68 日志和告警管理50 HYP

8、ERLINK l _bookmark69 存儲業(yè)務(wù)安全50 HYPERLINK l _bookmark70 訪問的認(rèn)證和鑒權(quán)50 HYPERLINK l _bookmark72 對象和桶的訪問控制51 HYPERLINK l _bookmark73 數(shù)據(jù)傳輸安全51 HYPERLINK l _bookmark74 對象訪問審計(jì)51 HYPERLINK l _bookmark75 存儲網(wǎng)絡(luò)安全51 HYPERLINK l _bookmark76 平面隔離51 HYPERLINK l _bookmark77 安全傳輸通道52 HYPERLINK l _bookmark78 存儲設(shè)備安全54 HYP

9、ERLINK l _bookmark79 操作系統(tǒng)加固54 HYPERLINK l _bookmark80 安全補(bǔ)丁55 HYPERLINK l _bookmark81 Web 安全55 HYPERLINK l _bookmark82 開放兼容性57 HYPERLINK l _bookmark83 與主流協(xié)議的兼容57 HYPERLINK l _bookmark84 與大數(shù)據(jù)平臺的兼容57 HYPERLINK l _bookmark85 與備份歸檔軟件平臺的兼容59 HYPERLINK l _bookmark86 與主流的云存儲網(wǎng)關(guān)的兼容59 HYPERLINK l _bookmark87 與

10、集中管理平臺的兼容60 HYPERLINK l _bookmark88 縮略語和術(shù)語61FusionStorage 8.0 對象存儲技術(shù)白皮書1 概述 1 概 述隨著數(shù)據(jù)不斷增長以及互聯(lián)網(wǎng)業(yè)務(wù)的興起，新興應(yīng)用對存儲需求的快速變化以及不確定性成為主要挑戰(zhàn)。在金融行業(yè)，銀行要抓住互聯(lián)網(wǎng)、特別是移動(dòng)互聯(lián)網(wǎng)金融崛起帶來的機(jī)遇，同時(shí)也不得不迎接由此帶來的挑戰(zhàn)：新業(yè)務(wù)天級甚至小時(shí)級上線；更精準(zhǔn)的用戶需求分析等。在金融、政府、制造、運(yùn)營商等行業(yè)中，隨著新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)呈現(xiàn)幾何倍數(shù)的快速增長，使得企業(yè)數(shù)據(jù)中心存儲系統(tǒng)開始面臨新的挑戰(zhàn)：新建存儲系統(tǒng)周期長與新興業(yè)務(wù)快速上線間的矛盾；存儲性能無法滿足越來越

11、多的數(shù)據(jù)并行處理應(yīng)用需求；客戶需求分析、業(yè)務(wù)數(shù)據(jù)分析與決策推薦等需求，導(dǎo)致對大數(shù)據(jù)、云計(jì)算等新技術(shù)應(yīng)用的需求。圖1-1 新技術(shù)應(yīng)用的需求新的挑戰(zhàn)必然催生新的需求。在行業(yè)新興應(yīng)用下，也許你理想中的存儲系統(tǒng)應(yīng)該是這樣：首先，它是敏捷的，資源可彈性部署、按需獲取，支撐新興業(yè)務(wù)快速上線； 面對新增的海量非結(jié)構(gòu)化數(shù)據(jù)，能按需提供豐富的訪問接入支持；可進(jìn)行快速海量擴(kuò)展，擴(kuò)展方式要像堆積木一樣簡單；提供極致性能，滿足并行數(shù)據(jù)處理需求；當(dāng)然， 在滿足那么多功能與性能需求的同時(shí)，如果還能降低 TCO（Total Cost of Ownership），那是再好不過。華為 FusionStorage object

12、storage 是一款可大規(guī)模橫向擴(kuò)展的分布式對象存儲產(chǎn)品，系統(tǒng)通過軟件將通用硬件的本地存儲資源整合從而構(gòu)建全分布式存儲池，能提供企業(yè)級的可靠性和可用性，并可提供豐富的業(yè)務(wù)功能和增值特性。華為 FusionStorage object storage 支持根據(jù)業(yè)務(wù)需要靈活購買和部署對象存儲服務(wù)，幫助企業(yè)輕松應(yīng)對業(yè)務(wù)快速變化時(shí)的數(shù)據(jù)靈活、高效存取需求，使企業(yè)可以快速構(gòu)建私有或者混合云存儲服務(wù)。FusionStorage 8.0 對象存儲技術(shù)白皮書2 產(chǎn)品價(jià)值 2 產(chǎn)品價(jià)值FusionStorage object storage 采用高擴(kuò)展的分布式架構(gòu)提供對象存儲服務(wù)，在企業(yè)業(yè)務(wù)管理和數(shù)據(jù)不斷增長

13、的形勢下具有如下優(yōu)勢：分布式存儲，隨需而用FusionStorage object storage 將 HDD、SSD 等硬件存儲介質(zhì)通過分布式技術(shù)組織成各類型大規(guī)模存儲資源池，為上層應(yīng)用和客戶端提供工業(yè)界標(biāo)準(zhǔn)接口（Amazon S3 或OpenStack Swift 標(biāo)準(zhǔn) API），支持融合主流云計(jì)算生態(tài)，滿足云備份、云歸檔及私有云服務(wù)運(yùn)營場景需求。以彈性高效滿足未來數(shù)據(jù)存取需求FusionStorage object storage 采用全分布式架構(gòu)，支持通過橫向擴(kuò)展硬件節(jié)點(diǎn)線性增加整系統(tǒng)容量與性能，無需復(fù)雜的資源需求規(guī)劃；系統(tǒng)可輕松擴(kuò)展至數(shù)千節(jié)點(diǎn)及 EB 級容量，滿足您的云業(yè)務(wù)規(guī)模增長需

14、求。系統(tǒng)提供自動(dòng)負(fù)載均衡策略，數(shù)據(jù)與元數(shù)據(jù)均勻分布于各節(jié)點(diǎn)，消除元數(shù)據(jù)訪問瓶頸，保障規(guī)模擴(kuò)展場景下的系統(tǒng)性能；系統(tǒng)采用高效的分布式哈希算法、I/O 并行處理和分布式 Cache 技術(shù)，結(jié)合 NVMe SSD、QAT 加速卡等硬件實(shí)現(xiàn)節(jié)點(diǎn)性能優(yōu)化，更好地支撐大數(shù)據(jù)分析等高性能關(guān)鍵業(yè)務(wù)云化。無論您的數(shù)據(jù)中心在未來需要擴(kuò)展 I/O 密集型、帶寬密集型或大容量需求業(yè)務(wù)， FusionStorage object storage 提供的對象存儲系統(tǒng)都可以應(yīng)需承載。豐富的企業(yè)級特性，助您構(gòu)建高可用數(shù)據(jù)中心FusionStorage object storage 提供滿足應(yīng)用場景需求的豐富企業(yè)級特性。多資源

15、池、跨區(qū)域復(fù)制、節(jié)點(diǎn)和柜級安全等助您輕松構(gòu)建解決方案級數(shù)據(jù)保護(hù)機(jī)制；大比例EC（Erasure Code）支持、對象級重刪等可助您構(gòu)建更合理的硬件資源利用方案；多租戶、Qos（Quality of Service）功能助您建立企業(yè)內(nèi)部云存儲資源的更靈活、有效分配策略。開放兼容，下一代云基礎(chǔ)設(shè)施及大數(shù)據(jù)平臺的理想選擇基于開放架構(gòu)的 FusionStorage object storage，提供 Amazon S3 和 OpenStack Swift 等標(biāo)準(zhǔn)接口，為私有云、混合云數(shù)據(jù)中心按需提供橫向擴(kuò)展的數(shù)據(jù)存儲層，您在選擇基礎(chǔ)架構(gòu)時(shí)無需擔(dān)心廠商鎖定，輕松構(gòu)建開放的云平臺。FusionStorag

16、e object storage 兼容 Hadoop HDFS 等基于大數(shù)據(jù)分析與應(yīng)用的標(biāo)準(zhǔn)接口，為云數(shù)據(jù)中心提供高吞吐的數(shù)據(jù)訪問，幫助企業(yè)逐步構(gòu)建基于大規(guī)模數(shù)據(jù)集的應(yīng)用，充分挖掘信息價(jià)值。自動(dòng)化數(shù)據(jù)服務(wù)與運(yùn)維管理FusionStorage object storage 提供了自動(dòng)化管理系統(tǒng)，輕松完成業(yè)務(wù)配置，并提供告警、拓?fù)?、性能?bào)表等豐富的硬件平臺監(jiān)控與管理功能。同時(shí)提供統(tǒng)一的管理平臺eSight，通過 eSight 可以監(jiān)控存儲的狀態(tài)及告警信息。自動(dòng)化、完善的管理功能，將數(shù)據(jù)中心運(yùn)維人員從繁瑣復(fù)雜的軟硬件資源管理中解放出來，支撐業(yè)務(wù)上線時(shí)間由 1 周縮短至 1 小時(shí)，極大縮短 TTM（T

17、ime To Market ）。FusionStorage 8.0 對象存儲技術(shù)白皮書3 產(chǎn)品架構(gòu) 3 產(chǎn)品架構(gòu) HYPERLINK l _bookmark3 軟件架構(gòu) HYPERLINK l _bookmark4 數(shù)據(jù)服務(wù) HYPERLINK l _bookmark27 存儲管理 HYPERLINK l _bookmark31 推薦硬件 HYPERLINK l _bookmark32 系統(tǒng)組網(wǎng) HYPERLINK l _bookmark37 軟件部署軟件架構(gòu)華為 FusionStorage object storage 是一款軟件定義的可大規(guī)模橫向擴(kuò)展的對象存儲產(chǎn)品，架構(gòu)上遵循業(yè)界先進(jìn)的 S

18、cale-out、服務(wù)化、微服務(wù)化等設(shè)計(jì)原則。圖3-1 軟件架構(gòu)圖如上圖所示，F(xiàn)usionStorage object storage 從架構(gòu)上主要分為三層：Persistence Layer（存儲持久層），Index Layer（元數(shù)據(jù)服務(wù)層）和 Service Layer（對象語義服務(wù)層）：Persistence Layer（存儲持久層）基于通用服務(wù)器和介質(zhì)構(gòu)建統(tǒng)一的存儲持久層， 負(fù)責(zé)數(shù)據(jù)布局、負(fù)載均衡、數(shù)據(jù)恢復(fù)能力，提供 EC 數(shù)據(jù)冗余方式，可以靈活解決性能以及成本問題。可以看出，Persistence Layer 是 FusionStorage object storage 的基石，存

19、儲系統(tǒng)的擴(kuò)展性、性能、可靠性均基于此。Index Layer（元數(shù)據(jù)服務(wù)層）負(fù)責(zé)具體的元數(shù)據(jù)分布、索引、故障切換等，對上層的 Service Layer 提供高速的元數(shù)據(jù)存取和查詢等能力，從上圖中可以看到 Index Layer 的數(shù)據(jù)最終也是存儲在 Persistence Layer，所以這些元數(shù)據(jù)一樣共享底層Persistence Layer 的數(shù)據(jù)存儲能力，從而保證整個(gè)系統(tǒng)的所有數(shù)據(jù)都是高擴(kuò)展、高可靠的。Service Layer（對象語義服務(wù)層），提供 S3 或 Swift 協(xié)議的接口，負(fù)責(zé)對象業(yè)務(wù)的接入、全局統(tǒng)一命名空間等，同時(shí)具備完善的增值服務(wù)，比如重刪、跨區(qū)域復(fù)制、 Qos、多租

20、戶、配額等特性，業(yè)界通用的對象存儲協(xié)議在 FusionStorage object storage 都可以提供，真正做到了按需分配，用戶不用再為存儲的選擇而犯難。FusionStorage object storage 架構(gòu)上具有如下特點(diǎn)：領(lǐng)先的分布式架構(gòu)：FusionStorage object storage 采用全分布式的架構(gòu)：分布式管理集群、分布式哈希數(shù)據(jù)路由算法、分布式無狀態(tài)機(jī)頭和分布式智能 Cache 等，這種架構(gòu)使得整個(gè)存儲系統(tǒng)沒有單點(diǎn)故障。高性能和高可靠性：FusionStorage object storage 在所有磁盤中實(shí)現(xiàn)負(fù)載的均衡，數(shù)據(jù)打散存放，不會(huì)出現(xiàn)熱點(diǎn)，高效的路

21、由算法和分布式 Cache 技術(shù)保證了高性能。并行快速故障重建：數(shù)據(jù)分片在資源池內(nèi)打散，硬盤故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建，重建效率高。易擴(kuò)展和超大容量：FusionStorage object storage 的分布式無狀態(tài)機(jī)頭可橫向擴(kuò)展，存儲與計(jì)算同步平滑擴(kuò)容，支持非煙囪式超大容量擴(kuò)展。數(shù)據(jù)服務(wù)FusionStorage object storage 對外提供標(biāo)準(zhǔn)的 S3/Swift（開源云平臺 OpenStack 里的對象存儲組件）兩種協(xié)議接口，這兩種協(xié)議已經(jīng)是云存儲領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，不僅應(yīng)用廣泛，而且擁有豐富的生態(tài)系統(tǒng)（工具、開發(fā)包、第三方軟件集成）支持。它們都基于 HTTP(S

22、)協(xié)議，是一種成熟的 REST（REpresentational State Transfer）風(fēng)格的協(xié)議。REST 風(fēng)格的協(xié)議遵循并利用了 HTTP 協(xié)議的設(shè)計(jì)原則，具有簡單、可靠、無狀態(tài)的特征，并天然的易于通過網(wǎng)絡(luò)訪問。FusionStorage object storage 使用帳戶(Account) - 桶(Bucket)-對象(Object)的三層模型，桶可以視作目錄，對象可以視作文件。用戶可以使用 URI 定位并使用自己的數(shù)據(jù)。這種協(xié)議舍棄了目錄樹結(jié)構(gòu)，并精簡了讀寫語義，適于存儲海量的、非結(jié)構(gòu)化 的、讀多于寫的數(shù)據(jù)。FusionStorage object storage 對象存儲

23、具備如下關(guān)鍵優(yōu)勢：FusionStorage object storage 采用業(yè)界先進(jìn)的 Scale-out 分布式存儲架構(gòu)和DHT（Distributed Hash Table，分布式哈希表）算法，匹配海量數(shù)據(jù)存儲；對外提供兼容 Amazon S3 或者 OpenStack Swift 的接口，支撐多業(yè)務(wù)承載；提供基于 Erasure Code 的數(shù)據(jù)保護(hù)技術(shù)，可靠性和空間占用達(dá)到了很好的平衡；支持多租戶模式，可以最大限制的滿足企業(yè)和私有云等場景的資源分配需求；對象存儲服務(wù)具備海量擴(kuò)展能力、安全可靠和高效融合的特點(diǎn)，適用于海量數(shù)據(jù)存儲和集中備份應(yīng)用場景，可以為客戶帶來大容量，高可靠，易維護(hù)

24、， 易擴(kuò)展的價(jià)值。統(tǒng)一命名空間FusionStorage object storage 對象存儲支持多區(qū)域和多 AZ（Available Zone）特性， 需要將不同地域的存儲資源虛擬為一個(gè)全局統(tǒng)一的命名空間，實(shí)現(xiàn)域名解析、位置服 務(wù)和負(fù)載均衡功能，使客戶端通過域名方式訪問對象存儲空間和資源。全局命名空間總體架構(gòu)租戶在客戶端使用對象存儲服務(wù)時(shí)需要?jiǎng)?chuàng)建桶（Bucket），并在桶中創(chuàng)建和管理對象（Object）。租戶在創(chuàng)建桶時(shí)通過指定桶所屬的區(qū)域（Region），與指定 Region 下的集群建立關(guān)聯(lián)。對象屬于桶，桶屬于區(qū)域，桶名必須全局唯一。租戶訪問桶及桶中的對象時(shí)，通過域名解析、桶位置查詢和負(fù)

25、載均衡處理后，與實(shí)際提供服務(wù)的集群建立連接，完成業(yè)務(wù)操作。全局命名空間的實(shí)現(xiàn)方式：客戶端通過 DNS 域名系統(tǒng)，訪問對象存儲的服務(wù)域名。Global DNS 用于構(gòu)造全局命名空間。結(jié)合桶和區(qū)域，可構(gòu)建基于全局的域名或基于區(qū)域的域名：結(jié)合桶和區(qū)域?；谌值挠蛎纠??；趨^(qū)域的域名示例：。對象存儲域名構(gòu)成和解析流程對象客戶端訪問對象資源的域名解析流程如 HYPERLINK l _bookmark6 圖 3-2 所示。圖3-2 對象存儲服務(wù)域名解析流程客戶端向 發(fā)送請求，首先向本地的 Local DNS發(fā)送請求。Local DNS 無法解析該域名，于是向 External DNS 查詢。Exte

26、rnal DNS 無法解析該域名，但是知道可以在 Global DNS 中查詢 ，于是返回 的 DNS IP 地址。Local DNS 通過訪問 的 DNS IP 地址，在 Global DNS中獲取到 的別名 。Local DNS 通過訪問 ，在 External DNS中獲取到 的 DNS IP 地址。Local DNS 通過訪問 的 DNS IP 地址， 在 Region DNS 中獲取到 的別名 obs.region1- 。Local DNS 通過訪問 ，在 External DNS中獲取到 bucket1 所在的集群的 LVS1 IP 地址。本例中負(fù)載均衡器以 LVS 為例，一個(gè)集群

27、內(nèi)可以有多個(gè) LVS，多個(gè) LVS 輪流對外提供服務(wù)。Local DNS 向客戶端返回 bucket1 所在的集群的 LVS1 的 IP 地址?？蛻舳讼?LVS1 發(fā)送請求，LVS1 根據(jù)負(fù)載均衡策略選擇合適的存儲節(jié)點(diǎn)，將訪問請求轉(zhuǎn)發(fā)給存儲節(jié)點(diǎn)提供服務(wù)。分布式 Hash 路由FusionStorage object storage 采用 DHT（Distribute Hash Table，分布式哈希表）路由數(shù)據(jù)算法。每個(gè)存儲節(jié)點(diǎn)負(fù)責(zé)存儲一小部分?jǐn)?shù)據(jù)，基于 DHT 實(shí)現(xiàn)整個(gè)系統(tǒng)數(shù)據(jù)的尋址和存儲。相比 DHT 路由算法，傳統(tǒng)存儲一般采用集中式元數(shù)據(jù)管理方式，每次 IO 操作都需要去查詢元數(shù)據(jù)服務(wù)，

28、隨著系統(tǒng)規(guī)模逐漸變大，元數(shù)據(jù)的容量也會(huì)越來越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于元數(shù)據(jù)服務(wù)所在服務(wù)器的能力，元數(shù)據(jù)服務(wù)將會(huì)成為系統(tǒng)的性能瓶頸。不同與傳統(tǒng)的集中式元數(shù)據(jù)管理，F(xiàn)usionStorage object storage 采用 DHT（分布式一致性哈希）進(jìn)行數(shù)據(jù)尋址，具體的算法如下圖：圖3-3 DHTDHT 環(huán)：Distributed Hash Table， 超大虛擬節(jié)點(diǎn)構(gòu)成的環(huán)形空間Partition：將 DHT 環(huán)空間劃分為 N 等份，每一等份是一個(gè)分區(qū)物理節(jié)點(diǎn)：即一個(gè) DISK， 與 Partition 分區(qū)對應(yīng)FusionStorage object storage 將哈?？?/p>

29、間設(shè)置，并將該哈?？臻g劃分為 N 等份，每 1 等份是 1 個(gè)分區(qū)（Partition），這 N 等份按照硬盤數(shù)量進(jìn)行均分。例如：系統(tǒng)N 默認(rèn)為 3600，假設(shè)當(dāng)前系統(tǒng)有 32 塊硬盤，則每塊硬盤承載 100 個(gè)分區(qū)。上述“分區(qū)-硬盤”的映射關(guān)系在系統(tǒng)初始化時(shí)會(huì)分配好，后續(xù)會(huì)隨著系統(tǒng)中硬盤數(shù)量的變化會(huì)進(jìn)行調(diào)整。該映射表所需要的空間很小，F(xiàn)usionStorage object storage 系統(tǒng)中的節(jié)點(diǎn)會(huì)在內(nèi)存中保存該映射關(guān)系，用于進(jìn)行快速路由，可見，F(xiàn)usionStorge object storage 的路由機(jī)制不同于傳統(tǒng)存儲系統(tǒng)，并沒有集中的元數(shù)據(jù)管理，也就不存在元數(shù)據(jù)服務(wù)成為系統(tǒng)的性

30、能瓶頸。FusionStorage object storage 的這個(gè) DHT 環(huán)技術(shù)具備如下特點(diǎn)和價(jià)值：性能高：存儲數(shù)據(jù)通過 DHT 環(huán)，“均勻”分布在所有磁盤上，所有磁盤都參考數(shù)據(jù)讀寫，消除熱點(diǎn)磁盤帶來的讀寫瓶頸問題；數(shù)據(jù)可靠性高：可靈活配置的分區(qū)分配算法，避免相同副本數(shù)據(jù)位于同一個(gè) Disk、同一塊板、同一個(gè)機(jī)柜；水平擴(kuò)展速度快： 新物理節(jié)點(diǎn)加入時(shí)， 只需要搬移部分?jǐn)?shù)據(jù)（partition），并達(dá)到負(fù)載均衡。Cache 機(jī)制FusionStorage object storage 采用多級 cache 機(jī)制提升存儲 IO 性能，讀、寫 cache機(jī)制采用不同流程。Write cache

31、 機(jī)制：Persistence Layer 在寫 IO 操作時(shí)，會(huì)將寫 IO 緩存在 SSD cache 后完成本節(jié)點(diǎn)寫操作。同時(shí)，會(huì)周期將緩存在 SSD cache 中的寫 IO 數(shù)據(jù)批量寫入到硬盤（HDD），寫 Cache 有一個(gè)水位值，未到刷盤周期超過設(shè)定水位值也會(huì)將 Cache 中數(shù)據(jù)寫入到硬盤中，如下圖所示：圖3-4 寫 IO 操作FusionStorage object storage 支持大 IO 直通，按缺省配置大于 256KB 的 IO 直接透寫 HDD 不寫 Cache，這個(gè)配置可以修改。Read cache 機(jī)制：FusionStorage object storage

32、使用 SSD 作為讀 Cache 介質(zhì)以加速存儲訪問。FusionStorage object storage 的讀緩存采用分層機(jī)制，第一層為內(nèi)存 Cache，內(nèi)存Cache 采用 LRU 機(jī)制緩存數(shù)據(jù)，第二層為 SSD Cache，SSD Cache 采用熱點(diǎn)讀機(jī)制，系統(tǒng)會(huì)統(tǒng)計(jì)每個(gè)讀取的數(shù)據(jù)，并統(tǒng)計(jì)熱點(diǎn)訪問因子，當(dāng)達(dá)到閾值時(shí)，系統(tǒng)會(huì)自動(dòng)緩存數(shù)據(jù)到 SSD 中，同時(shí)會(huì)將長時(shí)間未被訪問的數(shù)據(jù)移出 SSD。同時(shí)FusionStorage object storage 支持預(yù)讀機(jī)制，統(tǒng)計(jì)讀數(shù)據(jù)的相關(guān)性，讀取某塊數(shù)據(jù)時(shí)自動(dòng)將相關(guān)性高的塊讀出并緩存到 SSD 中。如下圖所示，Persistence La

33、yer 在收到上層發(fā)送的讀 IO 操作時(shí)，會(huì)進(jìn)行如下步驟處理：從內(nèi)存“讀 Cache”中查找是否存在所需 IO 數(shù)據(jù)，如果存在，則直接返回，同時(shí)調(diào)整該 IO 數(shù)據(jù)到“讀 Cache”LRU 隊(duì)首，否則執(zhí)行 HYPERLINK l _bookmark9 2；從 SSD 的“讀 Cache”中查找是否存在所需 IO 數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該 IO 數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行； HYPERLINK l _bookmark10 3從 SSD 的“寫 Cache”中查找是否存在所需 IO 數(shù)據(jù)，如果存在，則直接返回，同時(shí)增加該 IO 數(shù)據(jù)的熱點(diǎn)訪問因子；如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩

34、存在 SSD 的“讀 Cache”中。如果不存在，執(zhí)行 HYPERLINK l _bookmark11 4；從硬盤中查找到所需 IO 數(shù)據(jù)并返回，同時(shí)增加該 IO 數(shù)據(jù)的熱點(diǎn)訪問因子，如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩存在 SSD 的“讀 Cache” 中。圖3-5 讀 IO 操作關(guān)鍵業(yè)務(wù)流程數(shù)據(jù)的寫入過程，可以分為如下步驟：圖3-6 寫入過程請求接入：對象存儲客戶端與對象存儲服務(wù)的節(jié)點(diǎn)建立連接，客戶端開始向訪問的節(jié)點(diǎn)發(fā)送數(shù)據(jù)；存儲策略的選擇：存儲節(jié)點(diǎn)根據(jù)用戶配置，決定數(shù)據(jù)的存儲策略；數(shù)據(jù)分片：存儲節(jié)點(diǎn)按用戶配置的存儲策略計(jì)算出分片的大?。ǜ鶕?jù)系統(tǒng)設(shè)定的分條大小以及冗余配比計(jì)算），然后按這個(gè)大

35、小把數(shù)據(jù)切分為相應(yīng)的數(shù)據(jù)分片；數(shù)據(jù)路由：存儲節(jié)點(diǎn)調(diào)用存儲接口，將數(shù)據(jù)片散列存放到不同的磁盤中。數(shù)據(jù)的讀取過程，與寫入流程相反，可以分為如下步驟：圖3-7 讀取過程請求接入：客戶端與對象存儲服務(wù)的節(jié)點(diǎn)建立連接，客戶端向訪問的節(jié)點(diǎn)請求數(shù)據(jù)；數(shù)據(jù)路由：存儲節(jié)點(diǎn)根據(jù)散列規(guī)則尋址到數(shù)據(jù)分區(qū)，讀取相應(yīng)的數(shù)據(jù)片；數(shù)據(jù)修復(fù)：如果某些數(shù)據(jù)片損壞，存儲節(jié)點(diǎn)將根據(jù)數(shù)據(jù)的存儲策略進(jìn)行相應(yīng)的修復(fù)操作；數(shù)據(jù)聚合：存儲節(jié)點(diǎn)將數(shù)據(jù)片聚合為完整的數(shù)據(jù)，發(fā)送給客戶端。FusionStorage object storage 存儲節(jié)點(diǎn)的內(nèi)存預(yù)留了部分緩沖區(qū)，用于在數(shù)據(jù)讀取和寫入時(shí)實(shí)現(xiàn)數(shù)據(jù)的分片和聚合。當(dāng)寫入數(shù)據(jù)時(shí)，對于切分完成的數(shù)

36、據(jù)片，存儲節(jié)點(diǎn)會(huì)緩沖其中的一部分，與此同時(shí)再向多個(gè)存儲節(jié)點(diǎn)寫入多個(gè)數(shù)據(jù)片，以獲得更高的寫入效率。當(dāng)讀取數(shù)據(jù)時(shí)，存儲節(jié)點(diǎn)會(huì)預(yù)判客戶端讀取數(shù)據(jù)的范圍，同時(shí)從多個(gè)存儲節(jié)點(diǎn)預(yù)先讀取連續(xù)的數(shù)據(jù)片，保留在緩沖區(qū)內(nèi)，以獲得更高的讀取效率。FusionStorage object storage 的接入節(jié)點(diǎn)，會(huì)根據(jù)客戶端到接入節(jié)點(diǎn)的連接速度和數(shù)據(jù)的大小，動(dòng)態(tài)調(diào)整緩沖區(qū)的大小和并發(fā)讀寫存儲節(jié)點(diǎn)的數(shù)量，以最小的資源實(shí)現(xiàn)最優(yōu)的吞吐。特性介紹數(shù)據(jù)冗余策略FusionStorage object storage 采用 EC（Erasure Code）算法實(shí)現(xiàn)數(shù)據(jù)冗余存儲，確保硬件失效時(shí)的數(shù)據(jù)可靠性和可用性。糾刪碼（EC

37、）技術(shù)主要是對數(shù)據(jù)分片進(jìn)行分組，每個(gè)分組有數(shù)據(jù)塊和校驗(yàn)塊組 成，其中校驗(yàn)塊即為產(chǎn)生的部分冗余數(shù)據(jù)。如果數(shù)據(jù)的一部分損壞或丟失，對象存儲服務(wù)能夠利用冗余的數(shù)據(jù)重建并修復(fù)損壞數(shù)據(jù)。該策略數(shù)據(jù)不僅具有較高的可靠性， 而且存儲空間利用率非常高（相比多副本模式），是可靠性和經(jīng)濟(jì)性平衡的最佳選擇。對于用戶上傳的數(shù)據(jù)，F(xiàn)usionStorage object storage 的接入集群在將數(shù)據(jù)切分為數(shù)據(jù)片的過程中，會(huì)將連續(xù)的 N 個(gè)數(shù)據(jù)片劃分為一個(gè) EC 組，并利用糾刪碼技術(shù)對 EC 組進(jìn)行計(jì)算，生成 M 個(gè)校驗(yàn)數(shù)據(jù)片。每個(gè) EC 組的數(shù)據(jù)片和校驗(yàn)數(shù)據(jù)片，將存儲在存儲集群上一組連續(xù)的數(shù)據(jù)分區(qū)中，以保證每個(gè)數(shù)

38、據(jù)片存儲在不同的物理節(jié)點(diǎn)上，確保其 可靠性。只要每個(gè) EC 組損壞的數(shù)據(jù)片數(shù)量不超過 M，F(xiàn)usionStorage object storage 的接入集群都能利用 EC 組的其它數(shù)據(jù)片將損壞數(shù)據(jù)片修復(fù)。小對象在線聚合傳統(tǒng)對象存儲系統(tǒng)中小對象的挑戰(zhàn)：小對象按三副本存儲，空間利用率低，只有33%；后臺轉(zhuǎn) EC，需要把數(shù)據(jù)從 HDD 上讀一次，性能開銷大。針對這 2 個(gè)挑戰(zhàn)， FusionStorage object storage 提供了小對象在線聚合能力，性能不下降的前提下，有效的將空間利用率提升至 80%+，具體原理如下圖：圖3-8 小對象聚合如上圖所示，客戶端上傳的小對象 Obj1，Ob

39、j2、Obj3、Obj4、Obj5、Obj6 和 Obj7 優(yōu)先寫入 SSD cache 進(jìn)行匯聚成一個(gè) EC 分條大小，然后進(jìn)行 EC 計(jì)算，并自動(dòng)將數(shù)據(jù)分片（Strip）和 EC 計(jì)算出的校驗(yàn)片（Parity）存儲到 HDD，這樣以來小對象也是按EC 存儲的，也就是 EC 的利用率，例如 EC 為 12+3，那么利用率就是 80%，是傳統(tǒng)的三副本的 33%利用率的 2.4 倍?？鐓^(qū)域復(fù)制跨區(qū)域復(fù)制是指跨不同區(qū)域中的桶自動(dòng)、異步地復(fù)制對象。通過激活跨區(qū)域復(fù) 制，object storage 可將新創(chuàng)建的對象、對象更新以及對象刪除從一個(gè)源桶復(fù)制到不同區(qū)域中的目標(biāo)桶?？鐓^(qū)域復(fù)制主要適用場景：異地

40、容災(zāi) 源桶的對象上傳后可以異步復(fù)制到目標(biāo)桶，當(dāng)源桶故障后，用戶可以訪問目標(biāo)桶里的副本對象；就近訪問 客戶處于兩個(gè)地理位置，為了最大限度縮短訪問對象時(shí)的延遲，可以在地理位置與租戶較近的區(qū)域中維護(hù)對象副本等。如下圖所示：在統(tǒng)一命名空間中，系統(tǒng)根據(jù)策略把 Region1 的桶 1 的對象自動(dòng)地、異步復(fù)制到 Region2 的桶 2。圖3-9 跨區(qū)域復(fù)制跨區(qū)域復(fù)制的主要功能點(diǎn)：復(fù)制策略是桶級別的：支持復(fù)制桶內(nèi)全部對象，或特定鍵名稱前綴的對象子集，例如，可以將跨區(qū)域復(fù)制配置為僅復(fù)制具有鍵名稱前綴“Tax/”的對象。這會(huì)使系統(tǒng)僅復(fù)制具有“Tax/doc1”或“Tax/doc2”等鍵的對象，但不復(fù)制具有“L

41、egal/doc3”鍵的對象；復(fù)制的內(nèi)容：包括對象名，對象的數(shù)據(jù)，創(chuàng)建時(shí)間、擁有者、租戶定義的元數(shù)據(jù)、版本 ID、存儲類和 ACL；可以指定刪除策略：當(dāng)源對象刪除后，是否刪除目標(biāo)桶里的該對象（默認(rèn)不刪除，支持修改，但僅對修改后產(chǎn)生的刪除操作生效）；數(shù)據(jù)傳輸安全：跨區(qū)域數(shù)據(jù)傳輸默認(rèn)使用 SSL 加密保障數(shù)據(jù)安全；準(zhǔn)實(shí)時(shí)復(fù)制：源對象上傳成功后即刻啟動(dòng)復(fù)制，當(dāng)源桶外部壓力小于30%時(shí)，RPO= (N / M) + 1，無法除盡時(shí)，向上取整。如：選取 EC 的 N+M 為 4+2，則只需要最小 3 個(gè)節(jié)點(diǎn)即可做到節(jié)點(diǎn)級安全（4+2 共 6 個(gè)分片，每個(gè)節(jié)點(diǎn)分布 2 個(gè)分片）。每個(gè)節(jié)點(diǎn)會(huì)嚴(yán)格存儲 2 個(gè)

42、數(shù)據(jù)分片（數(shù)據(jù)校驗(yàn)片），這樣任意節(jié)點(diǎn)臨時(shí)故障，仍然能保證數(shù)據(jù)可讀。如果節(jié)點(diǎn)數(shù)目達(dá)到 4 個(gè)，則能支持在永久故障一個(gè)節(jié)點(diǎn)的情況下，EC 比例不下降，仍為 4+2。將同一個(gè) EC 池的節(jié)點(diǎn)排布到不同的機(jī)柜上，則能支持柜級安全。柜級安全下的機(jī)柜數(shù)量的計(jì)算公式與節(jié)點(diǎn)級安全的節(jié)點(diǎn)數(shù)量計(jì)算公式一致。下圖為節(jié)點(diǎn)級安全的節(jié)點(diǎn)排布。當(dāng)其中一個(gè)節(jié)點(diǎn)故障時(shí)，仍能從剩下的 2 個(gè)節(jié)點(diǎn)中讀取出 4 個(gè)分片，通過 EC 計(jì)算，得到原始的對象數(shù)據(jù)分片。此即為節(jié)點(diǎn)級安全。如果需要在節(jié)點(diǎn) 1 長時(shí)間故障時(shí)，仍能按照 4+2 的方式寫入數(shù)據(jù)，則需要再多配置一個(gè)節(jié)點(diǎn)。圖5-3 節(jié)點(diǎn)級安全節(jié)點(diǎn)排布示意圖下圖為柜級安全的節(jié)點(diǎn)排布。使用

43、柜級安全組網(wǎng)時(shí)，跨多個(gè)機(jī)柜選取節(jié)點(diǎn)來組件存儲池。保證每個(gè)存儲池中每個(gè)機(jī)柜只有一個(gè)節(jié)點(diǎn)。這樣節(jié)點(diǎn)在多個(gè)機(jī)柜里面是橫向排布的。拉通多個(gè)機(jī)柜選取節(jié)點(diǎn)組成存儲池。當(dāng)其中一個(gè)機(jī)柜故障時(shí)，對存儲池而言，只故障了一個(gè)節(jié)點(diǎn)，根據(jù) EC 的數(shù)據(jù)分片原則，仍然能讀取到數(shù)據(jù)。同樣，要保證數(shù)據(jù)不降低 EC 比寫入，也需要多配置一個(gè)機(jī)柜作為冗余備份。圖5-4 柜級安全節(jié)點(diǎn)排布示意圖跨站點(diǎn) EC為了提升數(shù)據(jù)的可靠性，不僅需要在站點(diǎn)內(nèi)冗余數(shù)據(jù)，一般還需要在多個(gè)站點(diǎn)之間進(jìn)行容災(zāi)，以防止單站點(diǎn)故障等異常場景。通常一個(gè)站點(diǎn)是一個(gè)或多個(gè)物理數(shù)據(jù)中心的集合，有獨(dú)立的風(fēng)火水電，站點(diǎn)內(nèi)邏輯上再將計(jì)算、網(wǎng)絡(luò)、存儲等資源劃分成多個(gè)集群。一個(gè)

44、 Region 內(nèi)的多個(gè)站點(diǎn)之間相距一般不小于 6KM，不超過 100KM，站點(diǎn)之間通過高速光纖相連，時(shí)延通常在 15ms 之間，以滿足用戶跨站點(diǎn)構(gòu)建高可用性系統(tǒng)的需求。FusionStorage object storage 使用跨站點(diǎn) Erasure Code（跨站點(diǎn) EC）技術(shù)來提供多個(gè)站點(diǎn)之間的數(shù)據(jù)冗余保護(hù)特性，相比傳統(tǒng)的站點(diǎn)間 2 副本冗余方式，能在數(shù)據(jù)持久度不變的前提下，將空間利用率提升 12%以上。 HYPERLINK l _bookmark55 如圖 5-5 所示：FusionStorage object storage 集群的物理設(shè)備，支持跨 3 個(gè)站點(diǎn)做對等部署，每個(gè)站點(diǎn)部

45、署都是集群的一部分，用戶的對象數(shù)據(jù)會(huì)均勻的分布在 3 個(gè)站點(diǎn)中， 同時(shí)對外體現(xiàn)為一個(gè)完整的對象存儲服務(wù)集群，統(tǒng)一的命名空間（統(tǒng)一域名）。在任意一個(gè)站點(diǎn)受到極端災(zāi)難影響完全故障時(shí)，F(xiàn)usionStorage object storage 對外業(yè)務(wù)不中斷，RPO=0，數(shù)據(jù)不丟失，提供高達(dá) 99.9999999999%（12 個(gè) 9）的數(shù)據(jù)持久度，最大限度保證業(yè)務(wù)連續(xù)性。圖5-5 FusionStorage object storage 3 站點(diǎn)集群的邏輯視圖 HYPERLINK l _bookmark56 如圖 5-6 所示：數(shù)據(jù)采用了跨站點(diǎn)的 Erasure Code 冗余技術(shù)（以跨站點(diǎn) EC

46、20+16 為例，利用率為 55.5%），相比于 2 站點(diǎn)副本方式（以站點(diǎn)內(nèi) EC 10+2 為例，2 站點(diǎn)副本的利用率為 10/（12+12）=41.6%），EC 方式產(chǎn)生的冗余數(shù)據(jù)量更少，利用率從 41.6%提升到 55.5%，可以更有效的利用服務(wù)器存儲介質(zhì)空間：圖5-6 FusionStorage object storage 3 站點(diǎn)集群的數(shù)據(jù)分布邏輯示意圖FusionStorage object storage 在收到上傳對象（PUT object）請求后，首先將對象的原始數(shù)據(jù)切分成很多個(gè)固定長度的小段，稱為分片（slice）。每一定數(shù)量的原始數(shù)據(jù)分片（圖中以 EC 20+16 舉例

47、，所以數(shù)據(jù)分片為 20 片），按照 Erasure Code 算法計(jì)算出一定數(shù)量的校驗(yàn)數(shù)據(jù)分片，原始數(shù)據(jù)分片和校驗(yàn)數(shù)據(jù)分片按照算法均衡分布在 3 個(gè)站點(diǎn)的不同硬件節(jié)點(diǎn)上。FusionStorage object storage 的 3 站點(diǎn)在可靠性上支持：任意一個(gè)站點(diǎn)故障，同時(shí)其他兩個(gè)站點(diǎn)內(nèi)還能各故障 2 個(gè)節(jié)點(diǎn)或者 2 塊盤，比如site1、site2、site3 共 3 個(gè)站點(diǎn)，支持站點(diǎn) site1 故障，同時(shí) site2 站點(diǎn)內(nèi)故障 2 個(gè)節(jié)點(diǎn)或 2 塊盤，同時(shí) site3 站點(diǎn)還可以故障 2 個(gè)節(jié)點(diǎn)或 2 塊盤，在這種情況下讀、寫業(yè)務(wù)都不受損；3 站點(diǎn)數(shù)據(jù)完全同步，RPO=0。數(shù)據(jù)一致

48、性FusionStorage object storage 對客戶提供兩種方式校驗(yàn)數(shù)據(jù)一致性：一種是在線數(shù)據(jù)一致性校驗(yàn)，另外一種是后臺異步校驗(yàn)服務(wù)。在線數(shù)據(jù)一致性校驗(yàn)：對象上傳時(shí)，客戶端攜帶 Content-MD5 頭域（可選），F(xiàn)usionStorage object storage 服務(wù)端讀取對象數(shù)據(jù)并計(jì)算整個(gè)對象數(shù)據(jù)的 MD5值，與頭域中 MD5 值進(jìn)行校驗(yàn)，確保接收數(shù)據(jù)與客戶端實(shí)際傳輸數(shù)據(jù)一致性；對象下載時(shí)，F(xiàn)usionStorage object storage 服務(wù)端會(huì)在返回給客戶端的 HTTP Response 中，攜帶對象的 MD5 值，客戶端可以根據(jù)返回的這個(gè) MD5 值進(jìn)行

49、校驗(yàn)；后臺異步校驗(yàn)服務(wù)：FusionStorage object storage 后臺會(huì)周期性地對系統(tǒng)中所有對象進(jìn)行校驗(yàn)（系統(tǒng)會(huì)根據(jù)外部業(yè)務(wù)的負(fù)載動(dòng)態(tài)調(diào)整校驗(yàn)的速度），校驗(yàn)方 法：讀取整個(gè)對象的數(shù)據(jù)計(jì)算其 MD5 值，然后與該對象上傳時(shí)元數(shù)據(jù)中記錄的MD5 值比較是否一致，如果不一致則發(fā)送告警?？焖贁?shù)據(jù)重建FusionStorage object storage 每個(gè)硬盤都保存了多個(gè)數(shù)據(jù)塊（Partition），這些數(shù)據(jù)塊的副本按照策略分散在系統(tǒng)中的其他節(jié)點(diǎn)。當(dāng) FusionStorage object storage 檢測到硬盤或者節(jié)點(diǎn)硬件發(fā)生故障時(shí)，自動(dòng)在后臺啟動(dòng)數(shù)據(jù)修復(fù)。由于數(shù)據(jù)塊的副本

50、被分散到多 個(gè)不同的存儲節(jié)點(diǎn)上，數(shù)據(jù)修復(fù)時(shí)，將會(huì)在不同的節(jié)點(diǎn)上同時(shí)啟動(dòng)數(shù)據(jù)重建，每個(gè)節(jié) 點(diǎn)上只需重建一小部分?jǐn)?shù)據(jù)，多個(gè)節(jié)點(diǎn)并行工作，有效避免單個(gè)節(jié)點(diǎn)重建大量數(shù)據(jù)所 產(chǎn)生的性能瓶頸，對上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)故障自動(dòng)重建流程如下圖所示。圖5-7 自動(dòng)重建流程FusionStorage object storage 支持并行、快速地故障處理和重建：數(shù)據(jù)塊（Partition）及其副本分散在整個(gè)資源池內(nèi)，硬盤故障后，可在資源池范圍內(nèi)自動(dòng)并行重建。數(shù)據(jù)分布上支持跨節(jié)點(diǎn)，不會(huì)因某個(gè)節(jié)點(diǎn)故障導(dǎo)致的數(shù)據(jù)不可訪問和不可重建。故障或者擴(kuò)容時(shí)可以自動(dòng)進(jìn)行負(fù)載均衡，應(yīng)用無需調(diào)整即可獲得更大的容量和性能，由于每

51、個(gè)硬盤的恢復(fù)是獨(dú)立的，硬盤之間的恢復(fù)可以并發(fā)，所以恢復(fù)速度較高(陣列中類似的故障下目標(biāo)盤只有一個(gè))，最高可達(dá) 2TB/hr。集群可靠性FusionStorage object storage 采用了全對稱架構(gòu)，從物理層面來看，每個(gè)節(jié)點(diǎn)上所部署的系統(tǒng)軟件無差別；其次從用戶層面來看，每個(gè)節(jié)點(diǎn)都是一模一樣的，并且任何節(jié)點(diǎn)都能外對提供業(yè)務(wù)服務(wù)，響應(yīng)用戶的業(yè)務(wù)請求。ServiceLayer 提供對象存儲服務(wù)，包括 Amazon S3 服務(wù)。對象存儲集群前端配置負(fù)載均衡器，客戶端在訪問集群系統(tǒng)時(shí)，如果當(dāng)前節(jié)點(diǎn)故障，服務(wù)及訪問 IP 可以平滑切換到其它服務(wù)節(jié)點(diǎn)上，當(dāng)多個(gè)客戶端訪問時(shí)，系統(tǒng)可以自動(dòng)實(shí)現(xiàn)多個(gè)客戶

52、端在多個(gè)服 務(wù)之間進(jìn)行負(fù)載均衡功能。Paxos 控制子系統(tǒng)為集群提供選主功能。為了保證服務(wù)的可靠性，系統(tǒng)在不同的節(jié)點(diǎn)上啟動(dòng)一些監(jiān)控進(jìn)程，這些監(jiān)控進(jìn)程組成一個(gè)集群，負(fù)責(zé)節(jié)點(diǎn)的狀態(tài)。當(dāng)系統(tǒng)中添加節(jié)點(diǎn)或節(jié)點(diǎn)故障的時(shí)候，會(huì)通過事件的方式通知關(guān)注集群狀態(tài)變化的子系統(tǒng)或模塊。只要集群故障的節(jié)點(diǎn)不超過 Paxos 子系統(tǒng)個(gè)數(shù)的一半，集群都可以正常工作。IndexLayer 負(fù)責(zé)對象元數(shù)據(jù)的管理，并通過和 PersistenceLayer 的交互完成對象元數(shù)據(jù)的存儲和讀取。OAM 管理子系統(tǒng)負(fù)責(zé)整個(gè)分布式存儲系統(tǒng)的業(yè)務(wù)配置、業(yè)務(wù)及設(shè)備狀態(tài)監(jiān)控等功能?？蛻舳送ㄟ^瀏覽器打開集群管理界面，實(shí)現(xiàn)人機(jī)交互。管理服務(wù)端沒

53、有單獨(dú)的硬件節(jié)點(diǎn)，它與存儲子系統(tǒng)部署在相同的設(shè)備上。管理服務(wù)端提供主備雙機(jī)服務(wù)，系統(tǒng)中正常情況下只有一個(gè)節(jié)點(diǎn)對外提供服務(wù)，當(dāng)該節(jié)點(diǎn)故障后，管理服務(wù)可以自動(dòng)切換到另外一個(gè)節(jié)點(diǎn)上。管理服務(wù)在切換的過程中，對于客戶端透明，管理服務(wù)切換成功后，對外提供服務(wù)的 IP 地址仍為原來的 IP 地址。通過這種分布式架構(gòu)設(shè)計(jì)，任意節(jié)點(diǎn)故障（無論是人為故障或機(jī)械故障），均不會(huì)對系統(tǒng)可用性造成影響，配合節(jié)點(diǎn)過載控制，可有效降低接入節(jié)點(diǎn)故障對系統(tǒng)整體可用性的影響。硬件可靠性FusionStorage object storage 推薦使用面向分布式定制的高可靠性存儲節(jié)點(diǎn)，具有如下特點(diǎn)采用可熱拔插 SAS 專用系統(tǒng)盤，

54、支持 RAID1 保護(hù)；整機(jī)冗余電源、風(fēng)扇設(shè)計(jì)；主板可拔插、無線纜設(shè)計(jì)，大幅提升節(jié)點(diǎn)可靠性，并縮減了 80%故障更換時(shí)間；硬盤三重防震設(shè)計(jì)（風(fēng)扇減震螺釘、機(jī)框剛度加強(qiáng)、硬盤彈片&阻尼墊片），提升存儲節(jié)點(diǎn)穩(wěn)定性，降低硬盤故障率；存儲節(jié)點(diǎn)沿風(fēng)向運(yùn)行路徑，端到端散熱設(shè)計(jì)提升散熱效率，延長電子元器件壽命與機(jī)房空調(diào)異常下存儲節(jié)點(diǎn)的穩(wěn)定運(yùn)行，主要措施有：75%的前面板蜂窩狀開通率、對旋風(fēng)扇，風(fēng)速提升、分流式導(dǎo)風(fēng)罩、后端 IO 模組獨(dú)立風(fēng)道設(shè)計(jì)， 散熱效率提升。鏈路可靠性每個(gè)節(jié)點(diǎn)分別出兩個(gè)網(wǎng)口與業(yè)務(wù)網(wǎng)絡(luò)的兩臺堆疊交換機(jī)相連，出兩個(gè)網(wǎng)口和存儲網(wǎng)絡(luò)的兩臺堆疊交換機(jī)相連，這樣以來單個(gè)網(wǎng)口或單個(gè)交換機(jī)的故障不會(huì)導(dǎo)致

55、節(jié)點(diǎn)或系統(tǒng)不可用。同時(shí)兩個(gè)網(wǎng)口采用 bond 擬合，在容災(zāi)的同時(shí)，還能最大限度利用兩個(gè)網(wǎng)口的帶寬。FusionStorage 8.0 對象存儲技術(shù)白皮書6 系統(tǒng)安全 6 系統(tǒng)安全 HYPERLINK l _bookmark63 總體安全框架 HYPERLINK l _bookmark64 管理系統(tǒng)安全 HYPERLINK l _bookmark69 存儲業(yè)務(wù)安全 HYPERLINK l _bookmark75 存儲網(wǎng)絡(luò)安全 HYPERLINK l _bookmark78 存儲設(shè)備安全總體安全框架圖6-1 安全解決方案框架管理系統(tǒng)安全用戶安全為了防止錯(cuò)誤的操作影響到業(yè)務(wù)系統(tǒng)的穩(wěn)定性及業(yè)務(wù)數(shù)據(jù)的安

56、全性，系統(tǒng)通過角色來控制用戶的操作權(quán)限和范圍。用戶權(quán)限在用戶被創(chuàng)建時(shí)指定，支持創(chuàng)建后修改用戶權(quán)限。系統(tǒng)操作界面處于非活動(dòng)狀態(tài)一段時(shí)間后會(huì)自動(dòng)會(huì)話過期，需要用戶重新登錄，用戶可以配置會(huì)話過期時(shí)間。表6-1 用戶角色角色對應(yīng)的操作權(quán)限說明超級管理員對存儲設(shè)備有完全的控制權(quán)限，可以創(chuàng)建各類角色的用戶。系統(tǒng)缺省存在用戶 admin，密碼缺省為 Adminstorage。管理員擁有 Call Home 的配置和查看權(quán)限，擁有用戶、用戶安全策略和告警的查看權(quán)限。說明Call Home 是為了快速發(fā)現(xiàn)故障、及時(shí)清除故障，保證存儲系統(tǒng)正常運(yùn)行， 從而將存儲設(shè)備的告警和日志可以回傳到技術(shù)支持中心的一種自動(dòng)報(bào)障手

57、 段。系統(tǒng)查看員擁有用戶和告警的查看權(quán)限。安全管理員擁有用戶的查看權(quán)限，擁有系統(tǒng)安全配置權(quán)限，包括安全規(guī)則管理、安全策略管理、證書管理、KMC 管理。密碼安全支持強(qiáng)密碼復(fù)雜度策略，用戶設(shè)置的密碼必須包含特殊字符，并且至少包含大寫字母、小寫字母以及數(shù)字中的任意兩種，支持用戶登錄鎖定機(jī)制，鎖定機(jī)制可配置， 以便防止暴力破解；密碼采取安全的加密算法加密存儲和傳輸；密碼修改只有認(rèn)證后才可操作，非超級管理員只能修改自身的密碼。表6-2 密碼安全策略參數(shù)說明設(shè)置最小長度用戶密碼最小長度，避免用戶設(shè)置過于簡單的密 碼。 取 值 范 圍 832 之間的整數(shù)。默認(rèn)值8最大長度用戶密碼最大長度，避免用戶設(shè)置過于冗

58、長的密 碼。 取 值 范 圍 832 之間的整數(shù)。默認(rèn)值FusionStorage 8.0 對象存儲技術(shù)白皮書6 系統(tǒng)安全參數(shù)說明設(shè)置16復(fù)雜度用戶密碼的復(fù)雜度，避免用戶設(shè)置過于簡單的密 碼。取值范圍“必須包含特殊字符，并且至少包含大寫字母、小寫字母以及數(shù)字中的任意兩種?！被颉氨仨毎厥庾址?、大寫字母、小寫字母和數(shù)字。”默認(rèn)值必須包含特殊字符，并且至少包含大寫字母、小寫字母以及數(shù)字中的任意兩種。其中特殊字符包括：!#$%&()*+,-./:;?_|和空格。字符重復(fù)次數(shù)允許密碼中某一字符連續(xù)取值范圍出現(xiàn)的最大次數(shù)，當(dāng)取值為 0 時(shí)表示不做限制。09 之間的整數(shù)默認(rèn)值3歷史密碼保留個(gè)數(shù)為用戶保留

59、歷史密碼的個(gè)取值范圍數(shù)，設(shè)置的新密碼不允許和歷史密碼相同，當(dāng)取值為 0 時(shí)表示不做限制。030 之間的整數(shù)。默認(rèn)值 3密碼有效期（天）是否啟動(dòng)密碼有效期設(shè) 置。建議啟用“密碼有效取值范圍1999 之間的整數(shù)。默認(rèn)值 90期”。啟用“密碼有效期”后，需要設(shè)置密碼有效天數(shù)。當(dāng)賬戶密碼超過設(shè)置的天數(shù)時(shí)，系統(tǒng)會(huì)提示修改密碼，請及時(shí)修改。密碼提前提示閾值（天）在用戶密碼失效前多少天取值范圍進(jìn)行提示。199 之間的整數(shù)。默認(rèn)值7密碼修改間隔時(shí)間（分鐘）用戶設(shè)置了新密碼后，再次修改新密碼所需要的最取值范圍19999 之間的整數(shù)。FusionStorage 8.0 對象存儲技術(shù)白皮書6 系統(tǒng)安全參數(shù)說明設(shè)置少

60、時(shí)間。默認(rèn)值 5鑒權(quán)認(rèn)證系統(tǒng)當(dāng)前支持本地認(rèn)證方式，所有認(rèn)證用戶都有自動(dòng)會(huì)話過期功能。日志和告警管理日志管理：對于管理面的所有用戶活動(dòng)都有操作日志記錄；日志記錄的內(nèi)容包括事件發(fā)生的時(shí)間、用戶 ID(包括關(guān)聯(lián)終端、端口、網(wǎng)絡(luò)地址或通信設(shè)備）、事件類型、被訪問的資源名稱、事件的結(jié)果；日志記錄提供查詢機(jī)制；日志記錄空間滿時(shí)提供自動(dòng)刪除和轉(zhuǎn)儲機(jī)制；日志時(shí)間提供統(tǒng)一的時(shí)間源機(jī)制。告警管理：對于系統(tǒng)出現(xiàn)的異常狀態(tài)和各種故障，實(shí)時(shí)顯示在操作界面，提示用戶進(jìn)行告警恢復(fù)；支持 Email 告警。6.3 存儲業(yè)務(wù)安全訪問的認(rèn)證和鑒權(quán)FusionStorage object storage 采用 AK (Access