華為分布式存儲(chǔ)系統(tǒng)概述

1、 與廠商專用硬件解耦：傳統(tǒng)存儲(chǔ)系統(tǒng)軟硬件高度集成，Server SANc產(chǎn)品與硬件解耦， 不與特定硬件綁定。存儲(chǔ)與計(jì)算融合：Server SAN構(gòu)建在通用X86服務(wù)器之上，計(jì)算和存儲(chǔ)融合存在。Server SAN，超融合架構(gòu)，軟件定義存儲(chǔ)，業(yè)界對(duì)此有不同稱呼，但本質(zhì)上都對(duì)應(yīng)為相似的產(chǎn)品。機(jī)頭瓶頸：雙控16控，且無法線性擴(kuò)展Cache瓶頸：通常為GB網(wǎng)絡(luò)瓶頸：10GE、8G FC傳統(tǒng)存儲(chǔ)資源缺乏共享：傳統(tǒng)存儲(chǔ)設(shè)備和資源往往由不同廠家提供，之間無法進(jìn)行資源共享，數(shù)據(jù)中心看到的是一個(gè)個(gè)孤立的存儲(chǔ)資源。傳統(tǒng)存儲(chǔ)一般采用集中式元數(shù)據(jù)管理方式，元數(shù)據(jù)中會(huì)記錄所有LUN中不同偏移量的數(shù) 據(jù)在硬盤中的分布，例

2、如LUN1+LBA1地址起始的4KB長(zhǎng)度的數(shù)據(jù)分布在第32塊硬盤的 LBA2上。每次IO操作都需要去查詢?cè)獢?shù)據(jù)服務(wù)，隨著系統(tǒng)規(guī)模逐漸變大，元數(shù)據(jù)的容量也會(huì)越來越大，系統(tǒng)所能提供的并發(fā)操作能力將受限于元數(shù)據(jù)服務(wù)所在服務(wù)器的能力，元數(shù)據(jù)服務(wù)將會(huì)成為系統(tǒng)的性能瓶頸。分布式控制器，可線性擴(kuò)展至4096節(jié)點(diǎn)分布式Cache，擴(kuò)展至TB級(jí)P2P無阻塞高速IB網(wǎng)絡(luò)，56G InfiniBand RDMA數(shù)據(jù)中心級(jí)資源共享：一個(gè)數(shù)據(jù)中心內(nèi)可以構(gòu)建一個(gè)很大的存儲(chǔ)資源池，滿足數(shù)據(jù)中心內(nèi)各類應(yīng)用對(duì)存儲(chǔ)容量，性能和可靠性的需求；實(shí)現(xiàn)資源共享和統(tǒng)一管理。云數(shù)據(jù)中心的新存儲(chǔ)投資選擇。FusionStorage采用的DHT

3、算法具有以下特點(diǎn)：均衡性：數(shù)據(jù)能夠盡可能分布到所有的節(jié)點(diǎn)中，這樣可以使得所有節(jié)點(diǎn)負(fù)載均衡。單調(diào)性：當(dāng)有新節(jié)點(diǎn)加入系統(tǒng)中，系統(tǒng)會(huì)重新做數(shù)據(jù)分配，數(shù)據(jù)遷移僅涉及新增節(jié)點(diǎn)，現(xiàn)有節(jié)點(diǎn)上的數(shù)據(jù)不需要做很大調(diào)整。支持傳統(tǒng)塊存儲(chǔ)典型應(yīng)用場(chǎng)景：各種業(yè)務(wù)應(yīng)用(如SQL、Oracle RAC、Web、行業(yè)應(yīng)用等等)。主流云平臺(tái)集成：可以和各種云平臺(tái)集成，如華為FusionSphere、VMware、開源Openstack等，按需分配存儲(chǔ)資源。唯一商用支持PB級(jí)Server SAN產(chǎn)品。開發(fā)兼容：兼容主流數(shù)據(jù)庫，兼容主流虛擬化平臺(tái)，兼容主流服務(wù)器。融合部署：支持虛擬化平臺(tái)和數(shù)據(jù)庫資源池融合部署，即共用同一個(gè)數(shù)據(jù)中心

4、FusionStorage存儲(chǔ)資源池。FusionStorage支持使用SSD替代HDD作為高速存儲(chǔ)設(shè)備，支持使用Infiniband網(wǎng)絡(luò)替代GE/10GE網(wǎng)絡(luò)提供更高的帶寬，為對(duì)性能要求極高的大數(shù)據(jù)量實(shí)時(shí)處理場(chǎng)景提供完美的 支持千萬級(jí)IOPS。FusionStorage的部署有分離部署模式和融合部署模式分離部署模式節(jié)點(diǎn)存在形式為計(jì)算節(jié)點(diǎn)（服務(wù)器5）和存儲(chǔ)節(jié)點(diǎn)（服務(wù)器6）融合部署模式節(jié)點(diǎn)存在形式為計(jì)算&存儲(chǔ)節(jié)點(diǎn)（服務(wù)器4）兩種部署模式下都需要至少三個(gè)管理節(jié)點(diǎn)主存：FusionStorage用服務(wù)器的數(shù)據(jù)存儲(chǔ)磁盤。資源池: 類似于SAN的RAID組概念，與RAID相比，其優(yōu)點(diǎn)是：條帶寬度： 最大

5、2048塊盤（3份拷貝），提升超大存儲(chǔ)空間，避免高IO應(yīng)用導(dǎo)致熱點(diǎn)瓶頸動(dòng)態(tài)熱備：所有硬盤都可用作資源池的熱備盤簡(jiǎn)單結(jié)構(gòu)：資源池、Volume二層結(jié)構(gòu)，服務(wù)器直接看到Volume系統(tǒng)自動(dòng)將每個(gè)卷的數(shù)據(jù)塊打散存儲(chǔ)在不同服務(wù)器的不同硬盤上，冷熱不均的數(shù)據(jù)會(huì)均勻分布在不同的服務(wù)器上，不會(huì)出現(xiàn)集中的熱點(diǎn)。FusionStorage針對(duì)系統(tǒng)中的每1個(gè)卷，默認(rèn)按照1MB進(jìn)行分片，分片后的數(shù)據(jù)按照DHT算法保存集群節(jié)點(diǎn)上。對(duì)于服務(wù)器Server1的 磁盤Disk1上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為服務(wù)器Server2的磁盤Disk2上P1，P1和P1構(gòu)成了同一個(gè)數(shù)據(jù)塊的兩個(gè)副本。例如，當(dāng)P1所在的硬盤故障時(shí)， P

6、1可以繼續(xù)提供存儲(chǔ)服務(wù)。數(shù)據(jù)分片分配算法保證了主用副本和備用副本在不同服務(wù)器和不同硬盤上的均勻分布，換句話說，每塊硬盤上的主用副本和備副本數(shù)量是均勻的。擴(kuò)容節(jié)點(diǎn)或者故障減容節(jié)點(diǎn)時(shí)，數(shù)據(jù)恢復(fù)重建算法保證了重建后系統(tǒng)中各節(jié)點(diǎn)負(fù)載的均衡性。當(dāng)Server3出現(xiàn)故障，丟失所有Disk3和Disk6上的數(shù)據(jù)塊，但是數(shù)據(jù)不會(huì)丟失。FusionStorage支持將服務(wù)器部分內(nèi)存用作讀緩存，NVDIMM和SSD用作寫緩存。OSD收到VBS發(fā)送的讀IO操作的步驟處理：Step 1：從內(nèi)存“讀cache”中查找是否存在所需IO數(shù)據(jù)，存在則直接返回，并調(diào)整該IO數(shù)據(jù)到“讀cache”LRU隊(duì)首，否則執(zhí)行Step 2

7、Step 2：從SSD的“讀cache”中查找是否存在所需IO數(shù)據(jù)，存在則直接返回，并增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子，否則執(zhí)行Step 3Step 3：從SSD的“寫cache”中查找是否存在所需IO數(shù)據(jù)，存在則直接返回，并增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子；如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩存在SSD 的“讀cache”中。如果不存在，執(zhí)行Step 4Step 4：從硬盤中查找到所需IO數(shù)據(jù)并返回，同時(shí)增加該IO數(shù)據(jù)的熱點(diǎn)訪問因子， 如果熱點(diǎn)訪問因子達(dá)到閾值，則會(huì)被緩存在SSD的“讀cache”中讀修復(fù)：在讀數(shù)據(jù)失敗時(shí)，系統(tǒng)會(huì)判斷錯(cuò)誤類型，如果是磁盤扇區(qū)讀取錯(cuò)誤，系統(tǒng)會(huì)自動(dòng)從其他節(jié)點(diǎn)保存的副本讀取數(shù)

8、據(jù)，然后重新寫入該副本數(shù)據(jù)到硬盤扇區(qū)錯(cuò)誤的節(jié)點(diǎn)，從而保證數(shù)據(jù)副本總數(shù)不減少和副本間的數(shù)據(jù)一致性。FusionStorage支持各種cache介質(zhì)：如NVDIMM、SSD卡、SSD盤、內(nèi)存cache、關(guān)閉cache 5種方式。計(jì)算服務(wù)器可以采用獨(dú)立的網(wǎng)卡，也可以共用網(wǎng)卡。獨(dú)立網(wǎng)卡時(shí)，存儲(chǔ)平面必須單獨(dú)使用一塊網(wǎng)卡，業(yè)務(wù)與管理平面可以共用網(wǎng)卡共用網(wǎng)卡時(shí)，存儲(chǔ)平面必須使用獨(dú)立的平面，并限速6Gb，業(yè)務(wù)與管理平面限速4Gb服務(wù)器的10GE網(wǎng)口推薦配置為“源目的IP和端口異或的負(fù)荷分擔(dān)”bond，也可以配置 為active-standby的主備模式。使用SCSI存儲(chǔ)接口時(shí)，支持快照、快照備份、鏈接克隆功能

9、，iSCSI暫不支持前述特性。對(duì)于iSCSI協(xié)議的支持是通過VBS提供iSCSI Target，塊存儲(chǔ)使用方通過本機(jī)的Initiator與iSCSI Target聯(lián)接來訪問存儲(chǔ)。FusionStorage支持以下安全訪問的標(biāo)準(zhǔn)：CHAP身份驗(yàn)證LUN MASKING給Host對(duì)Lun的訪問進(jìn)行授權(quán)圖中無內(nèi)容空格不代表已分配空間，在磁盤上面不占用實(shí)際空間。副本數(shù)越多，存儲(chǔ)空間利用率越低。1TB硬盤的重建時(shí)間小于30分鐘。FusionStorage的分布式架構(gòu)具有良好的可擴(kuò)展性，支持超大容量的存儲(chǔ)擴(kuò)容存儲(chǔ)節(jié)點(diǎn)后不需要做大量的數(shù)據(jù)搬遷，系統(tǒng)可快速達(dá)到負(fù)載均衡狀態(tài)支持靈活擴(kuò)容計(jì)算節(jié)點(diǎn)、硬盤、存儲(chǔ)節(jié)點(diǎn)，

10、或者同時(shí)進(jìn)行擴(kuò)容機(jī)頭、存儲(chǔ)帶寬和Cache都均勻分布到各個(gè)節(jié)點(diǎn)上，系統(tǒng)IOPS、吞吐量和Cache隨著節(jié)點(diǎn)擴(kuò)容線性增加Domain0規(guī)劃需根據(jù)產(chǎn)品手冊(cè)進(jìn)行CPU數(shù)量和內(nèi)存大小的配置，Domain0規(guī)格不滿足條 件無法創(chuàng)建集群。圖中輸入的管理IP指的是業(yè)務(wù)管理IP地址而不是硬件的管理IP地址如果存儲(chǔ)網(wǎng)絡(luò)使用IB網(wǎng)絡(luò)，則需手工啟動(dòng)OpenSM、配置IB網(wǎng)絡(luò)信息批量安裝FSA 軟件分三步：通過FSM Portal上傳FSA軟件包選擇服務(wù)器及軟件包進(jìn)行批量安裝查看安裝進(jìn)度及結(jié)果參數(shù)要求：存儲(chǔ)網(wǎng)絡(luò)類型支持以太或IB網(wǎng)絡(luò)，一套FSM下其存儲(chǔ)網(wǎng)絡(luò)類型必須相同存儲(chǔ)網(wǎng)絡(luò)可以選擇IP段或網(wǎng)口名，每臺(tái)服務(wù)器上針對(duì)存

11、儲(chǔ)網(wǎng)絡(luò)只能找到一個(gè)滿足 條件的IP地址為存儲(chǔ)IP創(chuàng)建控制集群選擇3臺(tái)服務(wù)器來創(chuàng)建MDC/ZK集群，即控制集群控制集群服務(wù)器上用于存放元數(shù)據(jù)的磁盤類型必須一致，要么使用獨(dú)立分區(qū)（55G），要么使用獨(dú)立磁盤，槽位號(hào)一致如果使用獨(dú)立分區(qū)，需要提前劃分好ZK分區(qū)，并掛載好如果控制集群服務(wù)器包含部署FSM管理VM的服務(wù)器，元數(shù)據(jù)盤必須使用獨(dú)立磁盤創(chuàng)建存儲(chǔ)池支持配置副本數(shù)，設(shè)置主存、緩存類型。主存類型有SAS、SATA、SSD卡、SSD盤；緩存類型有NVDIMM、SSD卡、SSD盤；主存和緩存不能同時(shí)選擇SSD卡或SSD盤一個(gè)存儲(chǔ)池中服務(wù)器間的主存總數(shù)最多相差2個(gè)，槽位號(hào)可以不連續(xù)批量選擇是指所選服務(wù)器在開始和結(jié)束槽位中已插盤都用做存儲(chǔ)池；手動(dòng)選擇支持給不同服務(wù)器配置不同槽位的磁盤用做存儲(chǔ)池；每個(gè)磁盤上啟動(dòng)一個(gè)OSD進(jìn)程該操作支持任務(wù)機(jī)制，可以在任務(wù)管理界面查看是否成功一套FSM最大支持128個(gè)存儲(chǔ)池創(chuàng)建塊客戶端給所有需要訪問FusionStorage存儲(chǔ)的服務(wù)器創(chuàng)建客戶端，即VBS針對(duì)一套FSM，服務(wù)器上只需部署一個(gè)VBS即可訪問該套FSM下所有存儲(chǔ)池支持批量創(chuàng)建塊客戶端物理部署場(chǎng)景下或VMware下，需要手工登陸FSM Portal創(chuàng)建SCSI卷或ISCSI卷目前規(guī)格支持每個(gè)存儲(chǔ)池最大65000個(gè)卷，一套FSM最大支持128萬個(gè)卷，每