分布式存儲(chǔ)fusionstorage技術(shù)白皮書

1、非經(jīng)本公司播。2013。 保留一切權(quán)利。技術(shù)，任何和個(gè)人不得擅自摘抄、本文檔內(nèi)容的部分或全部，并不得以傳商標(biāo)和其他商標(biāo)均為技術(shù)的商標(biāo)。本文檔提及的其他所有商標(biāo)或商標(biāo)，由各自的所有人擁有。注意您購(gòu)買的、服務(wù)或特性等應(yīng)受公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分、服務(wù)或特性可能不在您的購(gòu)買或使用范圍之內(nèi)。除非合同另有約定， 的或保證。公司對(duì)本文檔內(nèi)容不做任何明示或暗示由于版本升級(jí)或其他，本文檔內(nèi)容會(huì)不定期進(jìn)行更新。除非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、和建議不任何明示或暗示的擔(dān)保。技術(shù)地址：市龍崗區(qū)坂田總部辦公樓：518129：i文檔版本 V2.02 (2013-04-1

2、5)專有和技術(shù)FusionStorage 技術(shù)白皮書目 錄目錄123執(zhí)行摘要/Executive Summary1簡(jiǎn)介/Introduction2解決方案/Solution33.1形態(tài). 4特點(diǎn)43.1.13.1.23.1.33.1.4虛擬資源池4功能框架5應(yīng)用場(chǎng)景53.2特性. 73.2.13.2.23.2.33.2.43.2.53.2.6性能卓越7高可靠10同步容災(zāi)12彈性擴(kuò)展14管理簡(jiǎn)便16兼容性184推廣/Experience204.1 行業(yè)特點(diǎn)204.2 應(yīng)對(duì)方案2156結(jié)論/Conclution22縮略語(yǔ)表/Acronyms and Abbreviations23ii文檔版本 V2

3、.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書1 執(zhí)行摘要/Executive Summary 1 執(zhí)行摘要/Executive Summary本文從技術(shù)的發(fā)展趨勢(shì)為切入點(diǎn)，結(jié)合用戶需求，從高性能、高可靠、高擴(kuò)展、易了公司 FusionStorage管理、兼容性等方面詳細(xì)的功能及特點(diǎn)，旨在突出FusionStorage獨(dú)有的亮點(diǎn)、應(yīng)用場(chǎng)景以及為客戶帶來(lái)的價(jià)值。1文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書2 簡(jiǎn)介/Introduction 2 簡(jiǎn)介/Introduction虛擬化與算技術(shù)正在引領(lǐng) IT 技術(shù)的發(fā)

4、展方向，越來(lái)越多的企業(yè)采用虛擬化與算技術(shù)來(lái)構(gòu)建新一代 IT 系統(tǒng)，以提升 IT 系統(tǒng)的資源利用率，并在保證服務(wù)級(jí)別水平的前提下降低成本；同時(shí)幫助業(yè)務(wù)更加具有敏捷性，新業(yè)務(wù)的上線時(shí)間。，虛擬化與算技術(shù)的廣泛應(yīng)用也給后端的系統(tǒng)提出更加嚴(yán)峻的。如：需要系統(tǒng)能夠承載的業(yè)務(wù)、更高的性能與可靠性、更擴(kuò)展性、保證務(wù)服務(wù)級(jí)別水平并降低成本等。FusionStorage 采用創(chuàng)新的分布式分布式架構(gòu)，以高性能、高可靠、高擴(kuò)展為其設(shè)計(jì)理念，充分滿足企業(yè)未來(lái)業(yè)務(wù)需求，幫助其 IT 系統(tǒng)轉(zhuǎn)型以更快更好地應(yīng)對(duì)日益激烈的競(jìng)爭(zhēng)環(huán)境，實(shí)現(xiàn)與客戶的共同成長(zhǎng)。2文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionS

5、torage 技術(shù)白皮書3 解決方案/Solution 3 解決方案/Solution隨著企業(yè)的競(jìng)爭(zhēng)環(huán)境越來(lái)越激烈、新業(yè)務(wù)上線時(shí)間要求越來(lái)越短，其 IT 系統(tǒng)需要從傳統(tǒng)的成本中心轉(zhuǎn)變?yōu)樘嵘髽I(yè)競(jìng)爭(zhēng)力的利器，幫助企業(yè)提升競(jìng)爭(zhēng)力并實(shí)現(xiàn)商業(yè)成功。作為存放企業(yè)數(shù)據(jù)資產(chǎn)的系統(tǒng)，不但要滿足業(yè)務(wù)所需要的高性能、高可靠等基本訴求，更要滿足未來(lái)業(yè)務(wù)的發(fā)展、提升業(yè)務(wù)的敏捷性，幫助業(yè)務(wù)更快更好地適應(yīng)競(jìng)爭(zhēng)環(huán)境的需要。從 IT 業(yè)界發(fā)展來(lái)看，以下技術(shù)趨勢(shì)正在影響行業(yè)的發(fā)展：虛擬化技術(shù)的廣泛應(yīng)用l虛擬機(jī)技術(shù)給服務(wù)器帶來(lái)更高的利用率、給業(yè)務(wù)帶來(lái)更便捷的部署，降低了TCO，因而在眾多行業(yè)得到了廣泛的應(yīng)用。與此同時(shí)，虛擬機(jī)應(yīng)用

6、給帶來(lái)以下：第一，相比傳統(tǒng)的物理服務(wù)器方式，單個(gè)要更強(qiáng)勁的性能來(lái)支撐；第二，采用共享幾十或上百的虛擬機(jī)，導(dǎo)致卷 IO 呈現(xiàn)系統(tǒng)承載了的業(yè)務(wù)，系統(tǒng)需方式部署虛擬機(jī)，單個(gè)卷上可能承載的隨機(jī)特征，這對(duì)傳統(tǒng)的 Cache 技術(shù)提出；第三，單個(gè)卷承載多個(gè)虛擬機(jī)業(yè)務(wù)，要求系統(tǒng)具備協(xié)調(diào)虛擬機(jī)競(jìng)爭(zhēng)，保證對(duì) QoS 要求高的虛擬機(jī)獲取到資源實(shí)現(xiàn)性能目標(biāo)；第四，單個(gè)卷上承載較多的虛擬機(jī)，需要卷具有很高的 IO 性能，這對(duì)傳統(tǒng)受限于固定硬盤的RAID 技術(shù)提出；第五，虛擬機(jī)的廣泛使用，需要更加高效的技術(shù)來(lái)提高虛擬機(jī)的部署效率，加快新業(yè)務(wù)的上線時(shí)間。分布式技術(shù)的發(fā)展l業(yè)界典型的分布式技術(shù)主要有分布式文件系統(tǒng)、分布式對(duì)

7、象和分布式塊等幾種形式。分布式技術(shù)及其已經(jīng)日趨成熟，并在 IT 行業(yè)得到了廣泛的使用和驗(yàn)證，例如互聯(lián)網(wǎng)搜索引擎中使用的分布式文件，商業(yè)化公有云中使用的分布式塊等。分布式系統(tǒng)具有以下特點(diǎn)：第一，高性能：分布式數(shù)據(jù)路由，數(shù)據(jù)分散存放，實(shí)現(xiàn)全局負(fù)載均衡，不集中的數(shù)單點(diǎn)故障，據(jù)熱點(diǎn)，大容量分布式緩存；第二，高可靠：采用集群管理方式，不靈活配置多數(shù)據(jù)副本，不同數(shù)據(jù)副本存放在不同的機(jī)架、服務(wù)器和硬盤上，單個(gè)物理故障不影響業(yè)務(wù)的使用，系統(tǒng)檢測(cè)到故障后可以自動(dòng)重建數(shù)據(jù)副本；第三，高擴(kuò)展：沒(méi)有集中式機(jī)頭，支持平滑擴(kuò)容，容量幾乎不受限制；第四，易管理：，通過(guò) Web UI 的方直接部署在服務(wù)器上，沒(méi)有單獨(dú)的管理，

8、配置簡(jiǎn)單。硬件式進(jìn)行公司緊跟業(yè)界趨勢(shì)，在充分掌握了用戶需求的基礎(chǔ)上推出FusionStorage 分布式，該是專門為虛擬化與算環(huán)境而設(shè)計(jì)、面向市場(chǎng)應(yīng)用的新3文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution一代，融合了分布式數(shù)據(jù)路由、分布式緩存、全局負(fù)載均衡、及多重?cái)?shù)據(jù)保護(hù)等諸多技術(shù)，能夠滿足金融、電信、證劵、電力、石油等行業(yè)務(wù)的需求，保證客戶業(yè)務(wù)高效運(yùn)行的同時(shí)，提升業(yè)務(wù)的敏捷性與競(jìng)爭(zhēng)力。3.13.1.1形態(tài)特點(diǎn)FusionStorage 是一個(gè)分布式器的本地硬盤組織成一個(gè)虛擬系統(tǒng)具有如下特點(diǎn)：，在通用 x86 服務(wù)器上

9、部署該把所有服務(wù)資源池，提供塊功能。FusionStorage 分布式領(lǐng)先的分布式架構(gòu)。FusionStorage的采用全分布式的架構(gòu)：分布式管理集l群，分布式構(gòu)使得整個(gè)數(shù)據(jù)路由算法，分布式無(wú)狀態(tài)機(jī)頭、分布式智能Cache 等，這種架系統(tǒng)沒(méi)有單點(diǎn)故障。高性能和高可靠性。FusionStorage在所有磁盤中實(shí)現(xiàn)負(fù)載的均衡，數(shù)據(jù)打l散存放，出現(xiàn)熱點(diǎn)，高效的路由算法和分布式Cache 技術(shù)高性能。FusionStorage 支持多個(gè)數(shù)據(jù)副本，每個(gè)副本分配在不同服務(wù)器/不同磁盤上，單個(gè)硬件的故障不影響業(yè)務(wù)。同時(shí) FusionStorage 的致性技術(shù)確保各個(gè)數(shù)據(jù)副本的一致性。并行快速故障重建。數(shù)據(jù)分

10、片在資源池內(nèi)打散，硬盤故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建，重建效率高。l易擴(kuò)展和超大容量。FusionStorage 的分布式無(wú)狀態(tài)機(jī)頭可橫向擴(kuò)展， 步平滑擴(kuò)容，支持非煙囪式超大容量擴(kuò)展。與計(jì)算同l計(jì)算深度融合。FusionStorage部署在掛載本地硬盤的服務(wù)器上，把各l服務(wù)器的本地硬盤組織成一個(gè)虛擬的資源池，替代外置的，天然支持計(jì)算和的高度融合。3.1.2 虛擬資源池FusionStorage 把所有服務(wù)器的本地硬盤組織成若干個(gè)資源池，基于資源池提供創(chuàng)建/刪除應(yīng)用卷（Volume）、創(chuàng)建/刪除快照等接口，為上層FusionStorage 資源池具有如下特點(diǎn)：提供卷功能。每塊硬盤分為若干

11、個(gè)數(shù)據(jù)分片（Partition），每個(gè) Partition 只屬于一個(gè)資源池，Partition是數(shù)據(jù)多副本的基本，也就是說(shuō)多個(gè)數(shù)據(jù)副本指的是多個(gè)Partition。系統(tǒng)自動(dòng)保證多個(gè)數(shù)據(jù)副本分布在不同的服務(wù)器上。ll系統(tǒng)自動(dòng)保證多個(gè)數(shù)據(jù)副本之間的數(shù)據(jù)Partition 中的數(shù)據(jù)以 Key-Value 的方式致性。ll對(duì)上層應(yīng)用提供卷（Volume），沒(méi)有 LUN 的概念，使用簡(jiǎn)單。l系統(tǒng)自動(dòng)保證每個(gè)硬盤上的Partition 數(shù)量是相當(dāng)?shù)?，避免出現(xiàn)集中的熱點(diǎn)。所有硬盤都可用作資源池的熱，在 2 副本場(chǎng)景下，單個(gè)資源池最大支持 96 塊硬盤。ll注意：目前 1 個(gè) FusionStorage 系

12、統(tǒng)僅支持 1 個(gè)資源池。4文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution3.1.3 功能框架FusionStorage 采用分布式集群技術(shù)和分布式Hash 數(shù)據(jù)路由技術(shù)，提供分布式功能特性。FusionStorage 功能架構(gòu)圖如下所示：圖3-1 FusionStorage 功能模塊接口層：通過(guò) SCSI 驅(qū)動(dòng)接口向操作系統(tǒng)、數(shù)據(jù)庫(kù)提供卷。服務(wù)層：提供各種容災(zāi)備份等。高級(jí)特性，如快照、鏈接克隆、精簡(jiǎn)配置、分布式 cache、引擎層：FusionStorage基本功能，管理狀態(tài)、分布式數(shù)據(jù)路由、致性技術(shù)、集群故障自愈與

13、并行數(shù)據(jù)重建子系統(tǒng)等。管理層：實(shí)現(xiàn) FusionStorage的安裝部署、自動(dòng)化配置、在線升級(jí)、告警、和日志等OM 功能，同時(shí)對(duì)用戶提供Portal 界面。3.1.4 應(yīng)用場(chǎng)景FusionStorage 是一款為 FusionCube 量身定做的，尤其適合計(jì)算和融合的系統(tǒng)，例如FusionCube 融合基礎(chǔ)設(shè)施。傳統(tǒng)的虛擬化方式是在相互分離的計(jì)算、和網(wǎng)絡(luò)上疊加了一層虛擬化。這種方式雖然可以提升資源利用率，但是由于系統(tǒng)的復(fù)雜性，并不能簡(jiǎn)化各類基礎(chǔ)設(shè)施的運(yùn)維成本。FusionCube 真正實(shí)現(xiàn)了計(jì)算、和網(wǎng)絡(luò)的深度融合，硬件與虛擬化平臺(tái)的。FusionCube 采用 FusionStorage 把計(jì)

14、算服務(wù)器的本地硬盤組織成一個(gè)類似SAN的虛擬池，對(duì)上層應(yīng)用提供功能。FusionStorage 在 FusionCube 場(chǎng)景中的上下文環(huán)境如下圖所示：5文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3解決方案/Solution圖3-2 FusionStorage 上下文環(huán)境在 FusionCube 虛擬化平臺(tái)中，F(xiàn)usionStorage 替代了傳統(tǒng)的外置。適合使用 FusionStorage 的應(yīng)用場(chǎng)景：VDI、OA 應(yīng)用。其典型特點(diǎn)是：容量共享精簡(jiǎn)分配、性能共享分時(shí)復(fù)用、計(jì)算和配比相對(duì)均衡、成本性價(jià)比要求高。虛擬化環(huán)境混合應(yīng)用。其典型特點(diǎn)是

15、：容量共享需求明顯、多應(yīng)用混合負(fù)載、線性擴(kuò)展。llOLAP 應(yīng)用。其典型特點(diǎn)是：大并發(fā)吞吐量，計(jì)算和OLTP 應(yīng)用。其典型特點(diǎn)是：IOPS 并發(fā)度高。帶寬要求高。ll圖3-3 FusionStorage 應(yīng)用場(chǎng)景6文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution3.2特性3.2.1 性能卓越FusionStorage 通過(guò)創(chuàng)新的架構(gòu)把分散的、低速的 SATA/SAS 機(jī)械硬盤組織成一個(gè)高效的類 SAN池，提供比 SAN更高的 IO，把性能發(fā)揮到了極致。FusionStorage 支持使用SSD 替代 HDD 作為高速，

16、支持使用 Infiniband 網(wǎng)絡(luò)替代 GE/10GE 網(wǎng)絡(luò)提供更高的帶寬，為對(duì)性能要求極高的大數(shù)據(jù)量實(shí)時(shí)處理場(chǎng)景提供完美的支持。分布式機(jī)頭FusionStorage 采用無(wú)狀態(tài)的分布式機(jī)頭，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。單個(gè)服務(wù)器上的 IOPS。機(jī)頭只占用較少的CPU 資源，提供比集中式機(jī)頭更高分布式緩存FusionStorage 實(shí)現(xiàn)了計(jì)算和的融合，緩存和帶寬都均勻分布到各個(gè)服務(wù)器節(jié)點(diǎn)上。FusionStorage 集群內(nèi)各服務(wù)器節(jié)點(diǎn)的硬盤使用的I/O 帶寬，不系統(tǒng)中大量磁盤共享計(jì)算和之間有限帶寬的問(wèn)題。FusionStorage 支持將服務(wù)器部分內(nèi)存用作讀緩存，NVD

17、IMM 和 SSD 卡用作寫緩存，數(shù)據(jù)緩存均勻分布到各個(gè)節(jié)點(diǎn)上，所有服務(wù)器的緩存總?cè)萘窟h(yuǎn)大于采用外置的方案。即使采用大容量低成本的 SATA 硬盤，F(xiàn)usionStorage 仍然可以發(fā)揮很高的 IO 性能， 整體性能提升 13 倍，同時(shí)提供更大的有效容量。FusionStorage 支持PCIe SSD 用作數(shù)據(jù)緩存，除具備通常的寫緩存外，增加熱點(diǎn)數(shù)據(jù)統(tǒng)計(jì)和緩存功能，加上其大容量的優(yōu)勢(shì)，進(jìn)一步提升了系統(tǒng)性能。圖3-4 FusionStorage 計(jì)算和融合7文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution全局負(fù)載均衡

18、FusionStorage 的實(shí)現(xiàn)機(jī)制上層應(yīng)用對(duì)數(shù)據(jù)的 IO 操作均勻分布在不同服務(wù)器的不同硬盤上，出現(xiàn)局部的熱點(diǎn)，實(shí)現(xiàn)全局復(fù)負(fù)載均衡。第一，系統(tǒng)自動(dòng)將數(shù)據(jù)塊打散分布在不同的服務(wù)器上，在不同服務(wù)器的不同硬盤上，冷熱不均的數(shù)據(jù)會(huì)均勻出現(xiàn)集中的熱點(diǎn)。第二，數(shù)據(jù)分片分配算法主用副本和備用副本在不同服務(wù)器和不同硬盤上的均勻分布，換句話說(shuō)，每塊硬盤上的主用副本和備副本數(shù)量是均勻的。第三，擴(kuò)容節(jié)點(diǎn)或者故障減容節(jié)點(diǎn)時(shí)，數(shù)據(jù)恢復(fù)重建算法載的均衡性。重建后系統(tǒng)中各節(jié)點(diǎn)負(fù)分布式 SSDFusionStorage 支持為高性能應(yīng)用設(shè)計(jì)的分布式 SSD（SATA/SAS）更高的讀寫性能。SSD 卡具有如下特點(diǎn)系統(tǒng)，擁

19、有比傳統(tǒng)的機(jī)械硬盤高帶寬：采用 PCIe 2.0 x8 的接口，提供高達(dá) 3.0GB 的讀/寫帶寬。高 IO：4KB 數(shù)據(jù)塊，100隨機(jī)，提供高達(dá) 600K 的持續(xù)隨機(jī)讀 IOPS 和 220K 的持續(xù)隨機(jī)寫 IOPS。llFusionStorage 分布式 SSD系統(tǒng)通過(guò)以下措施增強(qiáng)了可靠性：內(nèi)嵌的 ECC 檢錯(cuò)/糾錯(cuò)引擎和 RAID5 引擎, 數(shù)據(jù)通道間形成二維的檢錯(cuò)/糾錯(cuò)機(jī)制。l內(nèi)置DATA Scrubbing 引擎定時(shí)檢測(cè)數(shù)據(jù)，提前預(yù)防數(shù)據(jù)錯(cuò)誤的產(chǎn)生。l通道間使用 Dynamic RAID 算法，實(shí)現(xiàn)通道間的資源共享，確保在壞塊過(guò)多甚l至是多個(gè)故障的情況下均能正常工作。內(nèi)部實(shí)現(xiàn)冷熱數(shù)據(jù)

20、與管理，配合先進(jìn)的磨損算法，最大程度上提升回收效率，l降低寫磨損，從而提升 SSD 的使用。8文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3解決方案/Solution圖3-5 FusionStorage 支持分布式SSD系統(tǒng)高性能快照FusionStorage 提供了快照機(jī)制，將用戶的邏輯卷數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)的狀態(tài)保存下來(lái)，后續(xù)可以作為導(dǎo)出數(shù)據(jù)、恢復(fù)數(shù)據(jù)之用。FusionStorage 快照數(shù)據(jù)基于 DHT 機(jī)制，快照引起性能下降。通過(guò)一次 Hash 查找即可有沒(méi)有做過(guò)快照，以及最新快照的位置，因此效率很高。圖3-6 FusionStorage

21、快照9文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution高性能鏈接克隆FusionStorage 基于增量快照提供了鏈接克隆機(jī)制，基于一個(gè)快照創(chuàng)建出多個(gè)克隆卷，各個(gè)克隆卷剛創(chuàng)建出來(lái)時(shí)的數(shù)據(jù)內(nèi)容與快照中的數(shù)據(jù)內(nèi)容一致，后續(xù)對(duì)于克隆卷的修改不會(huì)影響到原始的快照和其他克隆卷。FusionStorage 支持 1:256 的鏈接克隆比，提升空間利用率。FusionStorage 支持批量進(jìn)行虛擬機(jī)卷部署，能夠在秒級(jí)批量創(chuàng)建上百個(gè)虛擬機(jī)卷?？寺【砝^承普通卷所有功能：克隆卷可支持創(chuàng)建快照、從快照恢復(fù)以及再次作為母卷進(jìn)行克隆操作。圖3

22、-7 FusionStorage 鏈接克隆高速 Infiniband 網(wǎng)絡(luò)FusionStorage 支持為高帶寬應(yīng)用設(shè)計(jì)的 Infiniband 網(wǎng)絡(luò)，交換無(wú)瓶頸。56Gbps FDR InfiniBand，超高速互聯(lián)。標(biāo)準(zhǔn)成熟多級(jí)胖樹組網(wǎng)，平滑容量擴(kuò)容。ll近似無(wú)阻塞通信網(wǎng)絡(luò)，納秒級(jí)通信時(shí)延，計(jì)算無(wú)瓶頸。及時(shí)傳遞。ll無(wú)損網(wǎng)絡(luò)QOS，數(shù)據(jù)傳送無(wú)丟失。主備端口多平面通信，冗余通信無(wú)憂。單口 56Gbps 帶寬，完美配合極速 SSDll吞吐，性能無(wú)限。l3.2.2 高可靠集群管理FusionStorage 分布式塊硬盤故障自動(dòng)從集群內(nèi)采用集群管理方式，出現(xiàn)單點(diǎn)故障，一個(gè)節(jié)點(diǎn)或者一出來(lái)，不影響整

23、個(gè)系統(tǒng)業(yè)務(wù)的使用。10文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution集群內(nèi)進(jìn)程 Leader，Leader 負(fù)責(zé)數(shù)據(jù)邏輯的處理，當(dāng) Leader 出現(xiàn)故障，系統(tǒng)自動(dòng)其他進(jìn)程成為新的 Leader。多數(shù)據(jù)副本FusionStorage系統(tǒng)中沒(méi)有使用傳統(tǒng)的 RAID 模式來(lái)保證數(shù)據(jù)的可靠性，而是采用了多副本備份機(jī)制，即同一份數(shù)據(jù)可以保存多個(gè)副本。在數(shù)據(jù)前，對(duì)數(shù)據(jù)進(jìn)行分片，分片后的數(shù)據(jù)按照一定的規(guī)則保存集群節(jié)點(diǎn)上。如下圖所示，對(duì)于服務(wù)器Server1 的 磁盤 Disk1 上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為服務(wù)器 Server

24、2 的磁盤Disk2 上P1，P1 和P1了同一個(gè)數(shù)據(jù)塊的兩個(gè)副本。圖3-8 FusionStorage 多數(shù)據(jù)副本數(shù)據(jù)一致性數(shù)據(jù)一致性的要求是：當(dāng)應(yīng)用程序?qū)懭胍环輸?shù)據(jù)時(shí)，后端的幾個(gè)數(shù)據(jù)副本必然是一致的，當(dāng)應(yīng)用程序再次讀時(shí)，無(wú)論在哪個(gè)副本上，都是之前寫入的數(shù)據(jù)。保證多個(gè)數(shù)據(jù)副本之間的數(shù)據(jù)一致性是 FusionStorage 的重要特點(diǎn)，F(xiàn)usionStorage 采用強(qiáng)一致性技術(shù)確保各個(gè)數(shù)據(jù)副本的一致性。FusionStorage 還支持Repair 機(jī)制。Repair 機(jī)制是指在讀數(shù)據(jù)失敗時(shí)，會(huì)錯(cuò)誤類型，如果是磁盤扇區(qū)錯(cuò)誤，可以通過(guò)從其他副本數(shù)據(jù)，然后重新寫入該副本的進(jìn)行恢復(fù)，從而保證數(shù)據(jù)副

25、本總數(shù)不減少?？焖贁?shù)據(jù)重建FusionStorage 內(nèi)部具備強(qiáng)大的數(shù)據(jù)保護(hù)機(jī)制。數(shù)據(jù)時(shí)被分片打散到多個(gè)節(jié)點(diǎn)上，這些分片數(shù)據(jù)支持分布在不同的節(jié)點(diǎn)、不同的機(jī)柜之間，同時(shí)數(shù)據(jù)時(shí)采用多副本技術(shù)，數(shù)據(jù)會(huì)自動(dòng)保存多份，每一個(gè)分片的不同副本也被分散保存到不同的節(jié)點(diǎn)上。在硬件發(fā)生故障導(dǎo)致數(shù)據(jù)不一致時(shí)，F(xiàn)usionStorage 通過(guò)內(nèi)部的自檢機(jī)制，通過(guò)比較不同節(jié)點(diǎn)上的副本分片，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)故障。發(fā)現(xiàn)故障后啟動(dòng)數(shù)據(jù)修復(fù)機(jī)制，在修復(fù)數(shù)據(jù)。由于數(shù)據(jù)被分散到多個(gè)不同的節(jié)點(diǎn)上保存，數(shù)據(jù)修復(fù)時(shí)，在不同的節(jié)點(diǎn)上同時(shí)啟動(dòng)修復(fù)，每個(gè)節(jié)點(diǎn)上只需修復(fù)一小部分?jǐn)?shù)據(jù)，多個(gè)節(jié)點(diǎn)并行工作，有效避免單個(gè)節(jié)點(diǎn)修復(fù)大量數(shù)據(jù)所產(chǎn)生的性能瓶頸，對(duì)

26、上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)故障自動(dòng)恢復(fù)流程如下圖所示。11文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution圖3-9 FusionStorage 數(shù)據(jù)重建流程FusionStorage 支持并行、快速故障處理和重建：數(shù)據(jù)分片在資源池內(nèi)打散，硬盤故障后，可在資源池范圍內(nèi)自動(dòng)并行重建。l數(shù)據(jù)分布上支持跨服務(wù)器，因某個(gè)服務(wù)器故障導(dǎo)致的數(shù)據(jù)不可。l擴(kuò)容時(shí)可以自動(dòng)進(jìn)行負(fù)載均衡，應(yīng)用無(wú)需調(diào)整即可獲得更大的容量和性能。l掉電保護(hù)系統(tǒng)運(yùn)行過(guò)程中可能會(huì)出現(xiàn)服務(wù)器突然下電的情況，F(xiàn)usionStorage 使用保電介質(zhì)來(lái)保存元數(shù)據(jù)和緩存

27、數(shù)據(jù)，以防掉電而丟失。FusionStorage 支持的保電介質(zhì)為NVDIMM 內(nèi)存條或PCIe SSD 卡。程序運(yùn)行過(guò)程中器會(huì)把元數(shù)據(jù)和緩存數(shù)據(jù)寫入保電介質(zhì)中，上電后恢復(fù)保電介質(zhì)中的元數(shù)據(jù)和緩存數(shù)據(jù)。圖3-10 FusionStorage 保電介質(zhì)（NVDIMM 內(nèi)存和 PCIe SSD）3.2.3 同步容災(zāi)注：該特性受限。容災(zāi)方案基于 FusionStorage 鏡像同步容災(zāi)方案，其原理如下圖所示，配置主備站點(diǎn)鏡像， 到粒度為 VM 掛載的卷。連接鏡像后，主站點(diǎn) VM 下發(fā)的 I/O 寫請(qǐng)求，會(huì)同步容災(zāi)站點(diǎn)鏡像卷上。12文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionS

28、torage 技術(shù)白皮書3解決方案/Solution業(yè)務(wù) I/O 流程：1 Primary 站點(diǎn)主機(jī)下發(fā) I/O 寫請(qǐng)求。2 Primary 站點(diǎn)將 I/O 寫請(qǐng)求同步發(fā)送到 Secondary 站點(diǎn)。3 Secondary 站點(diǎn)寫，向Primary 站點(diǎn)返回寫完成。4 Primary 站點(diǎn)確保Primary 和 Secondary 站點(diǎn)均寫，向主機(jī)響應(yīng)寫請(qǐng)求完成。分布式數(shù)據(jù)同步容災(zāi)同步采用 FusionStorage 無(wú)狀態(tài)的分布式機(jī)頭，如下圖所示，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。隨著生產(chǎn)站點(diǎn)和容災(zāi)站點(diǎn)規(guī)模的擴(kuò)大，用戶數(shù)據(jù)無(wú)性能瓶頸，可以充分利用站點(diǎn)間網(wǎng)絡(luò)帶寬，降低IO 時(shí)延

29、。災(zāi)備策略靈活配置容災(zāi)站點(diǎn)故障后，支持兩種災(zāi)備策略配置：13文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution1.對(duì)于容災(zāi)數(shù)據(jù)高一致性要求的站點(diǎn)，支持容災(zāi)站點(diǎn)故障后，鏡像卷業(yè)務(wù)終止提供服務(wù)，以保證鏡像卷數(shù)據(jù)的一致；2.對(duì)于優(yōu)先保證系統(tǒng)可用性的站點(diǎn)，支持容災(zāi)站點(diǎn)故障后，生產(chǎn)站點(diǎn)備站點(diǎn)恢復(fù)后，再進(jìn)行數(shù)據(jù)的增量同步。運(yùn)行，待災(zāi)多種數(shù)據(jù)同步模式支持同步和增量同步兩種模式。鏡像卷初次同步時(shí)支持“瘦分配”卷，僅同步有效數(shù)據(jù)，同步速度快、效率高，節(jié)省站點(diǎn)間帶寬和災(zāi)備站點(diǎn)容量。同步失敗后，支持?jǐn)帱c(diǎn)續(xù)傳，降低了同步期間鏈路故障帶來(lái)的影響。

30、災(zāi)備站點(diǎn)故障恢復(fù)后，支持同步增量數(shù)據(jù)，降低了數(shù)據(jù)需要的時(shí)間。鏡像卷同步時(shí)不中斷業(yè)務(wù) IO。平面支持采用 數(shù)據(jù)同步的的平面，同業(yè)務(wù)平面、管理平面有效QoS。，通過(guò)獨(dú)享的平面保證容災(zāi)規(guī)格3.2.4 彈性擴(kuò)展FusionStorage 采用的分布式集群架構(gòu)，天然支持無(wú)性能損耗的彈性擴(kuò)展。14文檔版本 V2.02 (2013-04-15)專有和技術(shù)規(guī)格名稱規(guī)格指標(biāo)RPO0RTO4Hour網(wǎng)絡(luò)時(shí)延RTT 要求站點(diǎn)業(yè)務(wù)峰值寫 I/O 帶寬容災(zāi)鏡像卷最大規(guī)格8T鏡像卷最大規(guī)格4096 個(gè)鏡像FusionStorage 技術(shù)白皮書3 解決方案/SolutionDHT 數(shù)據(jù)路由FusionStorage 采用D

31、HT（Distribute Hash Table，分布式表）路由數(shù)據(jù)算法。每個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)一小部分?jǐn)?shù)據(jù)，基于 DHT 實(shí)現(xiàn)整個(gè)系統(tǒng)的尋址和。DHT 算法具有以下特點(diǎn)：均衡性(Balance)：數(shù)據(jù)能夠盡可能分布到所有的節(jié)點(diǎn)中，這樣可以使得所有節(jié)點(diǎn)負(fù)載均衡。單調(diào)性(Monotonicity)：當(dāng)有新節(jié)點(diǎn)加入系統(tǒng)中時(shí)，系統(tǒng)重新做數(shù)據(jù)分配，原來(lái)的數(shù)ll據(jù)位置不需要很大的調(diào)整。FusionStorage路由采用分布式算法，使得系統(tǒng)具有如下特點(diǎn)：快速達(dá)到負(fù)載均衡：新加入節(jié)點(diǎn)只需要搬移很少部分?jǐn)?shù)據(jù)分片即可達(dá)到負(fù)載均衡。數(shù)據(jù)高可靠：靈活配置的分區(qū)分配算法，避免多個(gè)數(shù)據(jù)副本位于同一個(gè)服務(wù)器、同一個(gè)磁盤上。ll

32、圖3-11 FusionStorage DHT 數(shù)據(jù)路由平滑擴(kuò)容節(jié)點(diǎn)FusionStorage 的分布式架構(gòu)具有良可擴(kuò)展性，支持超大容量的：DHT 算法擴(kuò)容后不需要做大量的數(shù)據(jù)搬遷，可以快速達(dá)到負(fù)載均衡狀態(tài)。l擴(kuò)展計(jì)算節(jié)點(diǎn)可以同步擴(kuò)容煙囪式擴(kuò)展?？臻g，擴(kuò)容后的系統(tǒng)仍舊是計(jì)算和融合的，非lFusionStorage 分布式系統(tǒng)的帶寬和Cache 都均勻分布到各個(gè)節(jié)點(diǎn)上，帶寬和Cache隨著節(jié)點(diǎn)的擴(kuò)容而線性增加。l15文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3解決方案/Solution圖3-12 FusionStorage 平滑擴(kuò)容節(jié)點(diǎn)資源按需

33、使用FusionStorage 提供了精簡(jiǎn)配置機(jī)制，為用戶提供比實(shí)際物理的虛擬資源。相比直接分配物理資源，可以顯著提高空間利用率。采用分布式 Hash 技術(shù)，天然支持分布式自動(dòng)精簡(jiǎn)配置(Thin Provisioning)， 無(wú)需預(yù)先分配空間。精簡(jiǎn)配置(Thin Provisioning)無(wú)任何性能下降（IPSAN 擴(kuò)展空間時(shí)需要耗費(fèi)額外的性能）。圖3-13FusionStorage 自動(dòng)精簡(jiǎn)配置3.2.5 管理簡(jiǎn)便易管理在 FusionCube 融合基礎(chǔ)設(shè)施場(chǎng)景下，F(xiàn)usionStorage在用戶機(jī)房只需要根據(jù)實(shí)際情況調(diào)整 IP 配置就可以了。在出廠前已經(jīng)做了預(yù)安裝，16文檔版本 V2.02

34、 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/SolutionFusionStorage置已經(jīng)做了優(yōu)化處理。完成安裝部署以后可以自動(dòng)運(yùn)行，不需要人工干預(yù)，系統(tǒng)缺省配FusionStorage：Manager、Agent、MDC、VBS 和 OSD。其中 Manager 和進(jìn)程Agent 共同完成OM 功能，MDC、VBS 和OSD 共同完成功能。在 FusionCube 環(huán)境下，F(xiàn)usionStorage 的部署如下圖所示：圖3-14 FusionStorage部署Web UI 界面FusionStorage 提供可視化的Portal 界面，用戶從Po

35、rtal 界面可以查看系統(tǒng)（KPI 指標(biāo)）、告警和池狀態(tài)等，操作維護(hù)簡(jiǎn)單。下圖顯示了 FusionStorage 的池管理界面。17文檔版本 V2.02 (2013-04-15)專有和技術(shù)進(jìn)程功能描述Manager告警、日志、配置等 OM 功能，支持主備節(jié)點(diǎn)部署。Agent各節(jié)點(diǎn)的OM 功能進(jìn)程，部署在各節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)部署一個(gè)進(jìn)程。MDCMDC 是管理集群，負(fù)責(zé)集群的狀態(tài)。MDC 管理集群部署在 3 個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)一個(gè)進(jìn)程。VBSVBS 是無(wú)狀態(tài)機(jī)頭集群，負(fù)責(zé)卷元數(shù)據(jù)的管理。每個(gè)服務(wù)器上部署一個(gè)或者多個(gè) VBS 進(jìn)程。OSDOSD 對(duì)象，執(zhí)行具體的 IO 操作。在每個(gè)服務(wù)器上部署多個(gè)進(jìn)程

36、，與磁盤一一對(duì)應(yīng)，一塊磁盤對(duì)應(yīng)一個(gè)OSD。FusionStorage 技術(shù)白皮書3解決方案/Solution圖3-15FusionStorage Web UI 界面3.2.6 兼容性硬件兼容性FusionStorage 可以運(yùn)行在自產(chǎn)的Tecal RH2288H 和 Tecal E9000 等服務(wù)器上，F(xiàn)usionStorage 對(duì)硬件平臺(tái)有如下基本要求：FusionStorage 運(yùn)行在通用的X86 服務(wù)器平臺(tái)上。FusionStorage 采用分布式集群架構(gòu)，最少需要三個(gè)服務(wù)器節(jié)點(diǎn)。集群內(nèi)各服務(wù)器的硬盤數(shù)量必須相同，單個(gè)節(jié)點(diǎn)上支持 412 塊硬盤。為保證服務(wù)器突然下電后，F(xiàn)usionSto

37、rage 在內(nèi)存中的元數(shù)據(jù)和緩存數(shù)據(jù)不丟失，每臺(tái)服務(wù)器都需要配置 4G NVDIMM 內(nèi)存條/或 PCIe SSD 卡(大小可選400G/800G/1.2T/2.4T)。FusionStorage 正常運(yùn)行需要單個(gè)占用服務(wù)器物理內(nèi)存大小為：4.7G+1.7G*N，（N 是硬盤個(gè)數(shù)，取值范圍：412），服務(wù)器的內(nèi)存配置必須高于這個(gè)數(shù)值（還需要考慮lllll分配給操作系統(tǒng)和應(yīng)用的內(nèi)存）。服務(wù)器需要兩個(gè)網(wǎng)口支持雙平面網(wǎng)絡(luò)：管理平面和求不低于 10Gbps。平面，其中平面帶寬要lTecal RH2288H V2 是一款 2U 高度 2 路 CPU 的服務(wù)器，具有出色的擴(kuò)展靈活性，更計(jì)算性能，企業(yè)級(jí)可靠

38、性，適用性廣泛。RH2288H V2 配置如下：2 * Intel Xeon E5-2600 CPU24 個(gè)RDIMM/LRDIMM 內(nèi)存插槽lll 12*3.5 + 2*2.5，or 8*2.5，or 26*2.5SAS/SATA 硬盤，支持RAID0/1/5/10/50/6/60支持 512MB/1GB Cache，電池/電容可選7 個(gè) PCIe 擴(kuò)展插槽ll18文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書3 解決方案/Solution支持TPM、內(nèi)置U 盤/USB Flash 卡2 個(gè)冗余熱插拔電源llRH2288V2 外觀如下圖所示：T

39、ecal E9000（以下：E9000）是公司研發(fā)的一款機(jī)箱，提供 12U 空間，可安裝E9000 系列計(jì)算節(jié)點(diǎn)、業(yè)務(wù)處理節(jié)點(diǎn)、節(jié)點(diǎn)以及相應(yīng)的資源擴(kuò)展節(jié)點(diǎn)。E9000 的主要特點(diǎn)：卓越性能可配置 8 個(gè)橫插的計(jì)算節(jié)點(diǎn)或者 16 個(gè)半寬計(jì)算節(jié)點(diǎn)，支持槽位拆分。l半寬槽位最大支持 2P+24DIMM 的計(jì)算節(jié)點(diǎn)。槽位最大支持 4P+48DIMM 的計(jì)算節(jié)點(diǎn)。單機(jī)箱支持 32CPU/256core 計(jì)算密度，最大 12TB 內(nèi)存。背板最大交換容量 5.76Tbps。llll融合架構(gòu)計(jì)算、交換、散熱、供電模塊化設(shè)計(jì)l提供 2S,4S 計(jì)算節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展架構(gòu)豐富的交換模塊(GE、10GE、FC、FCoE、

40、IB)，根據(jù)業(yè)務(wù)要求靈活配置llE9000 外觀如下圖所示：兼容性FusionStorage 可以部署在FusionCompute 虛擬化平臺(tái)上；也可以部署在物理服務(wù)器的 Linux 操作系統(tǒng)上，支持業(yè)界主流 Linux 操作系統(tǒng)的主流版本Linux 6.4。19文檔版本 V2.02 (2013-04-15)專有和技術(shù)FusionStorage 技術(shù)白皮書4 推廣/Experience 4 推廣/Experience4.1 行業(yè)特點(diǎn)通過(guò)對(duì)重點(diǎn)行業(yè)重點(diǎn)客戶的長(zhǎng)期關(guān)注及需求收集整理，總結(jié)出重點(diǎn)行業(yè)客戶的典型業(yè)務(wù)應(yīng)用以及客戶當(dāng)前的問(wèn)題與。運(yùn)營(yíng)商客戶的典型應(yīng)用：的系統(tǒng)、綜合營(yíng)帳系統(tǒng)、綜合增值業(yè)務(wù)等l客戶等的問(wèn)題與：熱點(diǎn)數(shù)據(jù)性能瓶頸，并發(fā)時(shí)業(yè)務(wù)性能的保障l行業(yè)客戶的典型應(yīng)用：社保、財(cái)政的容災(zāi)備份系統(tǒng)建設(shè)，OA、郵件等l客戶的問(wèn)題與：重點(diǎn)數(shù)據(jù)多份保存、容災(zāi)數(shù)據(jù)的安全性與一致性l教育/醫(yī)療行業(yè)：客戶的典型應(yīng)用：醫(yī)療算等客戶的問(wèn)題與、醫(yī)療保障系統(tǒng)建設(shè)，數(shù)字建設(shè)，高性能計(jì)l：數(shù)據(jù)保存的安全性、平滑擴(kuò)容問(wèn)題l金融行業(yè)：客戶的典型應(yīng)用：決策支撐系統(tǒng)、研發(fā)測(cè)試系統(tǒng)、數(shù)據(jù)等l客戶的問(wèn)題與容問(wèn)題：隨機(jī)海量數(shù)據(jù)的性能瓶頸、數(shù)據(jù)安全性、平滑擴(kuò)l能源/廣電：客戶的典型應(yīng)用：MIS/ERP 系統(tǒng)，OA、郵件系統(tǒng)、編輯系統(tǒng)等l客戶的問(wèn)題與：大流量、并發(fā)性能問(wèn)題l20文檔版本 V2.02 (2