招行北京分行FusionStorage分布式存儲技術建議書

招行北京分行FusionStorage 分布式存儲技術建議書文檔版本 01發(fā)布日期 2014-9-15華為技術有限公司版權所有 ? 華為技術有限公司 2014。保留一切權利。非經(jīng)本公司書面許可， 任何單位和個人不得擅自摘抄、 復制本文檔內容的部分或全部， 并不得以任何形式傳播。商標聲明和其他華為商標均為華為技術有限公司的商標。本文檔提及的其他所有商標或注冊商標，由各自的所有人擁有。注意您購買的產品、服務或特性等應受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產品、服務或特性可能不在您的購買或使用范圍之內。除非合同另有約定，華為公司對本文檔內容不做任何明示或默示的聲明或保證。由于產品版本升級或其他原因， 本文檔內容會不定期進行更新。 除非另有約定， 本文檔僅作為使用指導，本文檔中的所有陳述、信息和建議不構成任何明示或暗示的擔保。ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密華為技術有限公司地址： 深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址： 客戶服務郵 support@箱：客戶服務電 4008302118話：TableofContents目錄TableofContents目錄....................................................................................................31項目概述.....................................................................................................................41.1項目背景.....................................................................................................................41.2項目需求.....................................................................................................................52項目技術方案..............................................................................................................52.1方案整體架構..............................................................................................................52.1.1軟硬件部署圖...................................................................................................52.1.2硬件平臺...........................................................................................................82.1.3FusionStorage分布式存儲系統(tǒng)概述................................................................82.1.4FusionStorage分布式存儲系統(tǒng)詳細描述......................................................分布式機頭.............................................................................................分布式緩存.............................................................................................集群元數(shù)據(jù)管理.....................................................................................多數(shù)據(jù)副本.............................................................................................數(shù)據(jù)一致性.............................................................................................快速數(shù)據(jù)重建.........................................................................................掉電保護.................................................................................................132017-9-13 華為機密，未經(jīng)許可不得擴散 第3頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密2.1.5云管理平臺.....................................................................................................基于角色訪問控制.................................................................................物理資源管理.........................................................................................物理設備接入?yún)f(xié)議.................................................................................虛擬化資源管理.....................................................................................資源集群管理.........................................................................................虛擬負載均衡管理.................................................................................自動化運維.............................................................................................監(jiān)控管理.................................................................................................計量管理.................................................................................................0安全管理.........................................................................................242.2系統(tǒng)部署方案............................................................................................................262.2.1總體組網(wǎng)方案.................................................................................................262.2.2與客戶網(wǎng)絡對接.............................................................................................272.2.3一體機2層模式連接用戶網(wǎng)絡.......................................................................282.3系統(tǒng)可靠性分析........................................................................................................292.3.1數(shù)據(jù)持久度分析.............................................................................................292.3.2可靠性場景分析.............................................................................................292.4系統(tǒng)關鍵數(shù)據(jù)備份.....................................................................................................303系統(tǒng)軟硬件配置清單及說明......................................................................................31項目概述1.1項目背景招行北京分行準備采用虛擬化與云計算技術來構建 IT系統(tǒng)，提升IT系統(tǒng)的資源利用率，但是傳統(tǒng)SAN在企業(yè)基礎設施池化、云化中面臨的主要問題：存儲資源彈性問題： 多業(yè)務負載、資源的動態(tài)需求變化存儲擴展的問題： 共享、擴展面臨了諸多的瓶頸和問題（機頭、前后端網(wǎng)絡、2017-9-13 華為機密，未經(jīng)許可不得擴散 第4頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密CPU/Cache與HDD不同步問題）形態(tài)和實施的成本、復雜性問題：獨立的存儲網(wǎng)絡，建設成本高、實施復雜（初始實施、擴減容等）容錯和可靠性問題：大規(guī)模集群中容忍的故障域問題（跨機柜、跨room），硬盤重建的時間問題針對上述問題，建議使用FusionStorage分布式存儲產品解決上述問題，為滿足業(yè)務平臺日益增長的存儲需求，為業(yè)務平臺提供高安全性、高可靠性、高可用性和開放性的存儲服務。分布式存儲系統(tǒng)基于分布式處理技術、虛擬化技術和集群技術實現(xiàn)，做為云計算資源池存儲資源池的一部分，為計算資源池提供高速、可靠、安全的塊存儲服務，同時兼顧文件和對象存儲服務。工程計劃利用建設的分布式存儲（采用 X86服務器介質）代替原虛擬化計算平臺使用的集中式 FCSAN存儲系統(tǒng)，系統(tǒng)建設裸存儲容量 2048T，并通過規(guī)范接口納入集團云管理平臺統(tǒng)一管理。1.2項目需求起配3臺RH2288H，用于開發(fā)測試環(huán)境。項目技術方案2.1方案整體架構2.1.1 軟硬件部署圖Figure圖1RH2288H+FusionStorage 軟硬件部署圖2017-9-13 華為機密，未經(jīng)許可不得擴散 第5頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密FusionCube虛擬化一體機管理節(jié)點部署如下。1)FusionManager：負責云平臺資源管理、彈性調度以及操作維護等綜合管理功能，是云平臺管理的核心，提供基于 web的統(tǒng)一維護界面；整個系統(tǒng)的業(yè)務通過云管理FusionManager呈現(xiàn)，諸如用戶管理、集群管理、業(yè)務模板管理、虛擬機管理、統(tǒng)一硬件管理、告警、監(jiān)控等功能均由 FusionManager對外提供。2)FusionCompute：負責云平臺計算資源虛擬化和資源分配，包括 VRM和CNA兩部2017-9-13 華為機密，未經(jīng)許可不得擴散 第6頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密分。VRM:VirtualResourceManagement虛擬資源管理軟件，負責虛擬資源的管理，可管理多個邏輯集群；將物理資源 (計算、存儲、網(wǎng)絡等 )轉換成可動態(tài)調整的虛擬資源，供虛擬機使用；CNA：計算節(jié)點代理，在每個需要虛擬化的服務器上物理部署，提供虛擬化功能；3)FusionStorage：分布式云存儲，包括 FusionStorageManager和FusionStorageAgent兩部分。FusionStorageManager：存儲管理軟件， FusionCube使用分布式云存儲技術，通過合理有序組織服務器的本地硬盤，提供高性能高可靠的塊存儲業(yè)務。FusionStorageAgent:存儲節(jié)點代理，在每個需要虛擬化的服務器上物理部署，用于訪問FusionStorage分布式存儲池資源的代理；管理節(jié)點FusionManager(FM)、VRM(FusionCompute)部署在虛擬機上，需要占用 2臺物理服務器做主備。其中 FusionManager、UHM合部在同一臺虛機中， VRM部署一臺虛機中，都是主備部署。管理服務器命名為 MCNA節(jié)點，其余為提供計算資源的服務器命名為 CNA。管理節(jié)點使用兩塊本地硬盤做 RAID1做管理節(jié)點虛機的存儲。 其他本地硬盤在 FusionStorage軟件組織下，提供分布式存儲池，用于業(yè)務虛擬機。管理節(jié)點主備占用兩臺服務器，管理服2017-9-13 華為機密，未經(jīng)許可不得擴散 第7頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密務器剩下的計算資源可以給業(yè)務虛機使用。一套FusionCube系統(tǒng)中至少需部署3個存儲節(jié)點，除2-3塊系統(tǒng)使用外，所有服務器的本地硬盤都可組成分布式存儲池，非管理節(jié)點刀片可用于部署應用虛擬機，應用虛擬機使用FusionStorage分布式存儲池資源。管理、計算和存儲服務器可以混合部署，減少服務器的數(shù)量。2.1.2 硬件平臺硬件平臺由通用 X86服務器組成，服務器要求內存最小為 64GB,每臺服務器可配置 1塊及以上的PCIE-SSD卡、SSD固態(tài)硬盤或者NvDimm條。每服務器的硬盤數(shù)量 >=4。本次項目采用 FusionCube大容量存儲服務器，該服務器可以配置 1～2張高性能的PCIE-SSD卡做讀寫緩存，同時每臺服務器可以配置 12塊大容量SATA盤為分布式存儲提供服務。2.1.3 FusionStorage 分布式存儲系統(tǒng)概述傳統(tǒng)的SAN存儲目前正被業(yè)界廣泛使用，但 SAN有其固有缺點：成本高：必須獨立的機頭IOPS受限：熱點數(shù)據(jù)存在瓶頸，導致 IOPS低下重建時間長：重建期間引入數(shù)據(jù)丟失風險容量有限：受集中式機頭性能限制，總容量受限管理復雜：需要單獨的管理系統(tǒng)FusionStorage分布式存儲系統(tǒng)可有效解決 SAN存儲帶來的這些問題。 它采用新一代分布式存儲架構和大規(guī)模并行的分布式網(wǎng)格存儲技術，使用了“橫向擴展 ”的存儲架構，利用分布式多節(jié)點網(wǎng)格并行分擔存儲負荷， 并通過細粒度數(shù)據(jù)分布算法保證數(shù)據(jù)的恒定均衡分布， 它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。簡單地說， FusionStorage總體思想是通過在服務器上部署該軟件，可以將所有服務器的本機磁盤組織成一個虛擬存儲資源池，卷被切片分割打散到整個資源池所有硬盤中，達到細粒度，高并發(fā)存取數(shù)據(jù)的目的。2017-9-13 華為機密，未經(jīng)許可不得擴散 第8頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密Figure圖1FusionStorage 分布式存儲原理FusionStorage分布式存儲具有如下優(yōu)點：高IOPS,低時延：應用大容量 Cache技術，提升 IOPS；卷被切片分割打散到整個資源池所有硬盤中， 條帶化寬度增加，單卷可獲得的性能大幅提升；訪問均衡，無熱點 ,資源池中各節(jié)點的利用率相同；無需預先設置固定 RAID組，大資源池適應應用負載的動態(tài)變化；應用程序通過 Cache直達存儲，時延更低；無級擴容、超大容量：分布式系統(tǒng)，無管理機頭瓶頸，容量幾乎不受限制；無級擴容：分布式機頭 (每server服務器相當于一個機頭 )，無性能瓶頸，可無級擴容非煙囪式擴展：存儲與計算同步平滑擴展。即插即用式擴容：擴容后系統(tǒng)自動調整負載平衡，真正實現(xiàn)無級平滑擴容。管理簡單：結構簡單帶來管理簡單；免于低層配置管理： FusionStorage與FusionCube集成，僅需要做應用層面的管理，免去大量2017-9-13 華為機密，未經(jīng)許可不得擴散 第9頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密低層配置管理事務。零性能管理的成本：自動負載均衡，無熱點，故障自愈，無需進行人工性能優(yōu)化。數(shù)據(jù)重建快：并行重建速快；數(shù)據(jù)分布可以跨服務器或跨機柜，不會因某個服務器、機柜故障導致數(shù)據(jù)不可訪問。數(shù)據(jù)分片在資源池內打散， 硬盤故障后，可在全資源池范圍內自動并行重建， 僅重建實際數(shù)據(jù)，無需熱備盤； 重建1TB數(shù)據(jù)時間 <30分鐘。2.1.4 FusionStorage 分布式存儲系統(tǒng)詳細描述FusionStorage通過分布式架構把分散的、低速的 SATA/SAS機械硬盤組織成一個高效的虛擬化SAN存儲池設備，提供比 SAN設備更高的IO能力，把性能發(fā)揮到極致。FusionStorage系統(tǒng)軟件架構FusionStorage分布式存儲系統(tǒng)包含三個子系統(tǒng)：無狀態(tài)機頭無狀態(tài)機頭對外提供本地SCSI接口或者ISCSI服務接口，可以部署在存儲節(jié)點，也可以靈活部署在計算節(jié)點。系統(tǒng)啟動時，無狀態(tài)機頭會從元數(shù)據(jù)集群獲取最新的數(shù)據(jù)分布視圖。 在IO過程中，無狀態(tài)機頭會將數(shù)據(jù)均衡的分發(fā)到各個存儲節(jié)點。2017-9-13 華為機密，未經(jīng)許可不得擴散 第10頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密存儲集群在IO過程中，存儲集群接收到無狀態(tài)機頭分發(fā)的IO請求，會根據(jù)副本策略，將IO分發(fā)到其他服務器或者機柜上的存儲節(jié)點。同時存儲節(jié)點會將每臺服務器上的緩存設備劃分成讀寫緩沖去， IO直接寫到cache中就項主節(jié)點返回。當緩沖區(qū)達到一定的水位后， 存儲節(jié)點會自動將緩沖區(qū)的數(shù)據(jù)刷到主存設備 （機械硬盤/SSD）上。分布式機頭FusionStorage采用無狀態(tài)的分布式軟件機頭，機頭部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上軟件機頭只占用較少的 CPU資源，提供比集中式機頭更高的 IOPS分布式緩存FusionStorage實現(xiàn)了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務器節(jié)點上。FusionStorage支持將服務器 SSD卡用作讀、寫緩存，對于數(shù)據(jù)的寫操作，系統(tǒng)數(shù)據(jù)首先寫到SSD的寫緩存中，所有副本（三個副本）寫緩存成功后， IO立即返回。同時 IO也會數(shù)據(jù)緩存均勻分布到各個節(jié)點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的 SATA硬盤，F(xiàn)usionStorage仍然可以發(fā)揮很高的 IO性能，整體性能提升1~3倍，同時提供更大的有效容量。FusionStorage支持PCIeSSD用作數(shù)據(jù)緩存，除具備通常的寫緩存外， 增加熱點數(shù)據(jù)統(tǒng)計和緩存功能，加上其大容量的優(yōu)勢，進一步提升了系統(tǒng)性能。集群元數(shù)據(jù)管理FusionStorage分布式存儲軟件的元數(shù)據(jù)服務采用集群管理方式，不會出現(xiàn)單點故障，一個節(jié)點或者一塊硬盤故障自動從集群內隔離出來， 不影響整個系統(tǒng)業(yè)務的使用。 本次項目建議采用3臺獨立服務器做元數(shù)據(jù)。多數(shù)據(jù)副本FusionStorage存儲系統(tǒng)中沒有使用傳統(tǒng)的 RAID模式來保證數(shù)據(jù)的可靠性，而是采用了多副本備份機制，即同一份數(shù)據(jù)可以復制保存多個副本。在數(shù)據(jù)存儲前，對數(shù)據(jù)進行分片，分片2017-9-13 華為機密，未經(jīng)許可不得擴散 第11頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密后的數(shù)據(jù)按照一定的規(guī)則保存集群節(jié)點上。如下圖所示，對于服務器Server1的磁盤Disk1上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為服務器Server2的磁盤Disk2上P1’，P1和P1’構成了同一個數(shù)據(jù)塊的兩個副本。FusionStorage多數(shù)據(jù)副本數(shù)據(jù)一致性數(shù)據(jù)一致性的要求是：當應用程序成功寫入一份數(shù)據(jù)時，后端的幾個數(shù)據(jù)副本必然是一致的，當應用程序再次讀時，無論在哪個副本上讀取，都是之前寫入的數(shù)據(jù)。保證多個數(shù)據(jù)副本之間的數(shù)據(jù)一致性是FusionStorage的重要特點，F(xiàn)usionStorage采用強一致性復制技術確保各個數(shù)據(jù)副本的一致性。FusionStorage還支持ReadRepair機制。ReadRepair機制是指在讀數(shù)據(jù)失敗時，會判斷錯誤類型，如果是磁盤扇區(qū)讀取錯誤，可以通過從其他副本讀取數(shù)據(jù)，然后重新寫入該副本的方法進行恢復，從而保證數(shù)據(jù)副本總數(shù)不減少。快速數(shù)據(jù)重建FusionStorage內部具備強大的數(shù)據(jù)保護機制。數(shù)據(jù)存儲時被分片打散到多個節(jié)點上，這些分片數(shù)據(jù)支持分布在不同的存儲節(jié)點、 不同的機柜之間， 同時數(shù)據(jù)存儲時采用多副本技術， 數(shù)據(jù)會自動保存多份，每一個分片的不同副本也被分散保存到不同的存儲節(jié)點上。在硬件發(fā)生故障導致數(shù)據(jù)不一致時，F(xiàn)usionStorage通過內部的自檢機制，通過比較不同節(jié)點上的副本分片，自動發(fā)現(xiàn)數(shù)據(jù)故障。發(fā)現(xiàn)故障后啟動數(shù)據(jù)修復機制，在后臺修復數(shù)據(jù)。由于數(shù)據(jù)被分散到多個不同的存儲節(jié)點上保存，數(shù)據(jù)修復時，在不同的節(jié)點上同時啟動修復，每個節(jié)點上只需修復一小部分數(shù)據(jù)，多個節(jié)點并行工作，有效避免單個節(jié)點修復大量數(shù)據(jù)所產生的性能瓶2017-9-13 華為機密，未經(jīng)許可不得擴散 第12頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密頸，對上層業(yè)務的影響做到最小化。數(shù)據(jù)故障自動恢復流程如下圖所示。FusionStorage 數(shù)據(jù)重建流程FusionStorage支持并行、快速故障處理和重建：數(shù)據(jù)分片在資源池內打散，硬盤故障后，可在資源池范圍內自動并行重建。數(shù)據(jù)分布上支持跨服務器或者跨機柜，不會因某個服務器或者機柜故障導致的數(shù)據(jù)不可訪問。擴容時可以自動進行負載均衡，應用無需調整即可獲得更大的容量和性能。掉電保護系統(tǒng)運行過程中可能會出現(xiàn)服務器突然下電的情況， FusionStorage使用保電介質來保存元數(shù)據(jù)和緩存數(shù)據(jù)，以防掉電而丟失。FusionStorage支持的保電介質包括 NVDIMM 內存條、PCIeSSD卡、SSD固態(tài)硬盤。程序運行過程中器會把元數(shù)據(jù)和緩存數(shù)據(jù)寫入保電介質中， 上電后恢復保電介質中的元數(shù)據(jù)和緩存數(shù)據(jù)。2.1.5 云管理平臺華為云管理平臺聚焦于數(shù)據(jù)中心虛擬化資源管理、自動化運維發(fā)放、并對企業(yè) IT管理提供開放的管理接口。 華為云管理系統(tǒng)將整個數(shù)據(jù)中心云化， 并對系統(tǒng)中用戶可見的資源抽取出來納入統(tǒng)一的資源池管理， 為用戶提供一體化的資源管理， 自動資源發(fā)放。為用戶提供了方便的獲取資源的途徑。 用戶可以通過在服務目錄自動化的獲取資源并在資源上部署用戶需要的應用。華為云管理平臺系統(tǒng)架構如下圖：2017-9-13 華為機密，未經(jīng)許可不得擴散 第13頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密Figure圖1華為云管理平臺系統(tǒng)架構參考方框內是FusionManager云管理平臺的功能模塊。 “虛擬化管理”可以采用華為的虛擬化管理軟件 FusionCompute，也可以采用其他廠家的，如 VMware的VCenter+Vsphere等。云管理軟件從軟件層面拉通統(tǒng)一各資源管理。 FusionManager云管理平臺負責全系統(tǒng)硬件和軟件資源的操作維護管理，用戶業(yè)務的自動化運維。主要功能包括：基于角色訪問控制基本角色的訪問控制是指為管理員在不同域和組織上分配不同的角色， 從而實現(xiàn)對管理員的權限控制。管理員可以通過用戶、 角色和組織的管理， 使不同用戶在不同的組織的操作相互獨立，實現(xiàn)數(shù)據(jù)隔離。用戶管理第三方認證配置FusionManager系統(tǒng)中，管理員可以配置第三方認證 AD服務器，配置服務器之后，即可將 AD服務器的用戶加入系統(tǒng)中。加入系統(tǒng)的AD服務器用戶可以作為 FusionManager系統(tǒng)的管理員。當?shù)谌秸J證用戶登錄 FusionManager時，在AD服務器上完成密碼驗證。2017-9-13 華為機密，未經(jīng)許可不得擴散 第14頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密密碼管理管理員可以通過配置密碼最小長度、是否包含特殊字符、是否包含用戶名、密碼修改的重復次數(shù)等，靈活設置密碼策略，以保證密碼的安全性。角色管理角色定義的好處管理員可以通過角色定義不同的權限組合，方便對不同用戶授予不同的權限。默認角色FusionManager系統(tǒng)提供了六種默認角色。默認角色包括系統(tǒng)超級管理員、系統(tǒng)操作員、系統(tǒng)查看員、資源管理員、業(yè)務管理員和組織管理員。角色類型--

業(yè)務管理員類業(yè)務管理員類的角色只能擁有應用模板管理、組織資源、應用管理等權限。業(yè)務管理員只能查看和管理所在組織中的資源和用戶。FusionManager為業(yè)務管理員提供了獨立的 Portal，供業(yè)務管理員管理組織資源。系統(tǒng)管理員類系統(tǒng)管理員類的角色可以擁有系統(tǒng)管理、資源管理、故障管理類的權限。系統(tǒng)管理員可以查看和管理系統(tǒng)資源和用戶。FusionManager為系統(tǒng)管理員提供了獨立的Portal，供系統(tǒng)管理員管理系統(tǒng)資源。組織管理資源的組織管理組織與虛擬資源關聯(lián)，管理員可以將 vDC劃分給具體的組織。用戶的組織管理2017-9-13 華為機密，未經(jīng)許可不得擴散 第15頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密組織與用戶關聯(lián)，當管理員將vDC劃分給組織后，組織內部的管理員可以根據(jù)角色對vDC進行管理。組織是針對業(yè)務管理員定義的。業(yè)務管理員和組織的對應關系是多對一。每個組織中的業(yè)務管理員只能查看和管理己所在組織中的資源。單點登錄當管理員登錄FusionManager系統(tǒng)后，如果需要登錄FusionCompute，管理員不需要再次輸入用戶和密碼，可以直接訪問FusionCompute的管理界面。物理資源管理FusionManager系統(tǒng)支持機框、服務器、存儲設備和交換機等物理設備的管理。 在FusionSphere解決方案中，物理設備需手工方式導入 FusionManager系統(tǒng)。物理設備接入?yún)f(xié)議FusionManager系統(tǒng)可以接入服務器、存儲和交換機設備。服務器管理查看服務器信息FusionManager提供查看服務器的名稱、管理 IP地址、BIOS、CPU主頻個數(shù)、內存大小、硬盤容量、網(wǎng)卡個數(shù)和網(wǎng)口個數(shù)等信息。服務器操作管理在FusionManager系統(tǒng)中，可以對服務器進行上電、安全下電、強制下電、安全重啟、進入維護模式和退出維護模式等操作。服務器監(jiān)控管理在FusionManager系統(tǒng)中，可以監(jiān)控服務器的如下指標： CPU占用率、內存占用率、網(wǎng)絡流出、網(wǎng)絡流入、磁盤I/O寫入、磁盤I/O讀出和服務器狀態(tài)等。同時，您還可以按周、月、年及自定義時段查詢性能監(jiān)控結果，您也可以導出查詢結果。網(wǎng)絡設備管理查看交換機信息FusionManager提供查看交換機的名稱、管理 IP地址、型號、類型和狀態(tài)等信息。查看交換機端口連接狀態(tài)2017-9-13 華為機密，未經(jīng)許可不得擴散 第16頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密在FusionManager系統(tǒng)中，可以查看交換機每個端口的編號、狀態(tài)、發(fā)送速率、接收速率、發(fā)送丟包率、接收丟包率、發(fā)送錯誤率和接收錯誤率等信息。網(wǎng)絡配置管理在FusionManager系統(tǒng)中，您可以對系統(tǒng)網(wǎng)絡進行配置和管理，包括外部網(wǎng)絡、組織網(wǎng)絡和服務器BMCIP池等。存儲系統(tǒng)管理查看存儲系統(tǒng)的配置信息FusionManager提供查看存儲系統(tǒng)的名稱、狀態(tài)和磁盤數(shù)量等信息。存儲設備的監(jiān)控管理在FusionManager系統(tǒng)中，您可以查詢存儲系統(tǒng)的總容量和可用容量等。虛擬化資源管理虛擬化資源管理是指在 FusionManager系統(tǒng)中，管理員可以統(tǒng)一管理不同系統(tǒng)提供的虛擬資源，包括虛擬機資源、虛擬網(wǎng)絡資源和虛擬存儲資源等。虛擬機生命周期管理創(chuàng)建虛擬機FusionManager系統(tǒng)中，管理員可以通過以下方式創(chuàng)建虛擬機：創(chuàng)建應用。使用虛擬機模板創(chuàng)建虛擬機。自定義方式創(chuàng)建虛擬機。克隆方式創(chuàng)建虛擬機。銷毀虛擬機管理員可以通過刪除應用來銷毀虛擬機，將不再使用的虛擬機銷毀，以釋放系統(tǒng)資源。虛擬機操作管理管理員可以通過對一個或多個虛擬機，執(zhí)行啟動/喚醒、安全重啟、強制重啟、休眠、安全關閉和強制關閉等操作。遷移虛擬機2017-9-13 華為機密，未經(jīng)許可不得擴散 第17頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密管理員可以將虛擬機從一臺主機上遷移到另一臺主機上。修復虛擬機虛擬機操作系統(tǒng)異常后，管理員可以對虛擬機進行修復。修復虛擬機不會影響用戶數(shù)據(jù)，確保用戶信息不丟失。創(chuàng)建虛擬機快照虛擬機快照可保留虛擬機某一個時刻的狀態(tài)，當虛擬機出現(xiàn)故障時，管理員可以使用快照將虛擬機恢復到創(chuàng)建快照的時刻點。虛擬機資源調整管理員可以根據(jù)業(yè)務負載調整資源的使用情況。虛擬機資源調整包括：調整虛擬機的QoS配置了虛擬機CPUQoS后，當虛擬機啟動時，系統(tǒng)會根據(jù)當前資源使用情況為虛擬機的VCPU綁定物理CPU，直到虛擬機關機。--

調整虛擬機 CPU數(shù)目管理員可以根據(jù)需要，增加或者減少虛擬機的CPU核數(shù)，以便滿足虛擬機上業(yè)務負載發(fā)生變化時，對計算資源的不同需求。調整內存大小管理員可以根據(jù)需要增加或者減少虛擬機的內存容量，以便滿足虛擬機上業(yè)務負載發(fā)生變化時對內存的需求。----

增加或修改虛擬磁盤管理員通過增加虛擬磁盤或修改磁盤容量，滿足業(yè)務對虛擬機磁盤容量變化的需求，實現(xiàn)存儲資源的靈活使用。刪除虛擬磁盤管理員通過刪除虛擬磁盤，釋放不使用的磁盤空間，滿足業(yè)務對虛擬機磁盤容量變化的需求，實現(xiàn)存儲資源的靈活使用。增加或修改網(wǎng)卡管理員通過增加虛擬網(wǎng)卡或修改網(wǎng)卡屬性，調整虛擬機的網(wǎng)絡屬性，實現(xiàn)網(wǎng)絡資源的靈活使用。刪除網(wǎng)卡管理員通過刪除虛擬網(wǎng)卡，釋放不使用的網(wǎng)卡，實現(xiàn)網(wǎng)絡資源的靈活使用。2017-9-13 華為機密，未經(jīng)許可不得擴散 第18頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密--

增加USB控制器管理員可以為 VMware虛擬化環(huán)境中的虛擬機添加 USB控制器，添加 USB控制器后，虛擬機就可以綁定 USB設備。刪除USB控制器管理員可以為 VMware虛擬化環(huán)境中的虛擬機刪除 USB控制器，以釋放虛擬機所占用的USB控制器資源。- 綁定或解綁定 USB設備管理員將虛擬機與主機上的 USB設備進行綁定，使得虛擬機能夠訪問 USB設備，滿足用戶需求。也可以解綁定，及時釋放虛擬機占用的 USB設備資源。- 調整虛擬機磁盤的 IO上限管理員可設置虛擬機每個磁盤的 IO上限，以避免某個虛擬機的磁盤 IO過大，影響其他虛擬機的性能。虛擬機性能監(jiān)控在FusionManager系統(tǒng)中，管理員可以獲取虛擬機 CPU占用率、內存占用率、網(wǎng)絡流速和磁盤 I/O等信息，還可以按周、月、年及自定義時段查詢性能監(jiān)控結果。虛擬存儲管理FusionManager系統(tǒng)可以管理分布式存儲系統(tǒng)上的存儲資源，以數(shù)據(jù)存儲為單位分配給資源集群使用。資源集群管理資源集群由計算資源、存儲資源和網(wǎng)絡資源組成。資源集群是對計算、存儲、網(wǎng)絡等物理資源的分組，資源集群之間是相對隔離的。一個虛擬化環(huán)境中可以有多個資源集群。資源集群管理包括創(chuàng)建資源集群、刪除資源集群、擴容資源集群、減容資源集群、查詢資源集群、資源集群性能監(jiān)控和資源集群的調度策略等。在 FusionSphere解決方案中，在虛擬化環(huán)境（例如FusionCompute或VMware的vSphere）上實現(xiàn)了創(chuàng)建資源集群、刪除資源集群、擴容資源集群、減容資源集群功能。在FusionManager實現(xiàn)查詢資源集群、資源集群性能監(jiān)控和資源集群的調度策略等功能。查看資源集群2017-9-13 華為機密，未經(jīng)許可不得擴散 第19頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密管理員可以在FusionManager上查看資源集群的基本信息，例如資源集群名稱、資源集群所屬域、資源集群所屬虛擬化環(huán)境、資源集群所屬資源分區(qū)、資源集群中的虛擬機、資源集群中主機資源和存儲資源等信息。資源集群性能監(jiān)控管理員可以在 FusionManager上按周、月、年和自定義時間段查詢資源集群性能監(jiān)控。監(jiān)控指標包含平均 CPU占用率、平均內存占用率、平均網(wǎng)絡流速、 TOPCPU占用主機等信息。設置資源調度策略管理員可以在 FusionManager上設置、查看和處理資源調度策略。資源調度是指通過檢查資源集群內各個主機的負載情況，當系統(tǒng)發(fā)現(xiàn)部分主機負載較重，會自動在不同的主機之間遷移虛擬機（自動）或者給出虛擬機遷移建議（手動），以達到同一資源集群內的不同主機間的負載均衡。虛擬負載均衡管理FusionManager可以為用戶虛擬機或主機提供負載均衡服務。 用戶通過申請負載均衡服務器，將虛擬機或主機關聯(lián)到負載均衡器。負載均衡器根據(jù)用戶設定的負載均衡策略，將業(yè)務請求均勻分發(fā)到與之關聯(lián)的虛擬機或主機上，保證業(yè)務的穩(wěn)定性和可靠性。負載均衡器管理管理員可以查詢、創(chuàng)建、刪除負載均衡器。監(jiān)聽器管理管理員可以在已經(jīng)創(chuàng)建的負載均衡器上，增加新的監(jiān)聽器。每個負載均衡器中可以創(chuàng)建多個監(jiān)聽器，對外提供服務。綁定虛擬機或主機管理員可以在FusionManager中，將虛擬機或主機綁定到負載均衡器上，以實現(xiàn)綁定虛擬機或主機的負載均衡。負載均衡策略可以選擇輪詢模式或者最小連接模式。自動化運維管理員還可以針對不同應用設置不同的伸縮策略， 系統(tǒng)自動根據(jù)伸縮策略和應用的負載進行2017-9-13 華為機密，未經(jīng)許可不得擴散 第20頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密資源彈性伸縮調度。應用自動伸縮管理員可以通過對不同的應用設置不同的資源使用策略， 以達到應用自動伸縮的目的。 設置了自動伸縮策略后， 系統(tǒng)會自動根據(jù)資源策略和應用的資源占用率對應用進行動態(tài)伸縮 （例如，增加或減少該應用的虛擬機），使應用達到最佳資源占有狀態(tài)。自動伸縮策略包含組內自動伸縮策略、組間自動伸縮策略和計劃任務。組內自動伸縮策略組內自動伸縮策略是針對一個應用而言的。當某個應用的 CPU、內存資源的占用率較高，或者磁盤寫入 /讀取速度、網(wǎng)絡流入 /流出速度較高時，系統(tǒng)可以自動為該應用添加虛擬機，并自動安裝虛擬機的應用軟件，以降低應用的整體資源負載，使應用能夠健康的運行。同時，當應用的資源占用率很低時，系統(tǒng)可以自動減少該應用所使用的虛擬機，釋放相應的資源，以達到應用間資源的有效復用和節(jié)能減排的目的。組間自動伸縮策略組間自動伸縮策略是針對應用組而言的。指當系統(tǒng) CPU或內存資源不足的情況下，系統(tǒng)自動根據(jù)組間設置的資源復用策略，在資源緊張的情況下，自動釋放優(yōu)先級低的資源，以供優(yōu)先級高的應用使用。計劃任務計劃任務是針對應用組而言的。時間計劃策略允許用戶對于不同的應用實現(xiàn)資源的分時復用。用戶可以設置計劃策略，使得不同的應用分時段的使用系統(tǒng)資源。例如，白天讓辦公用戶的虛擬機使用系統(tǒng)資源，晚上分配資源給公共虛擬機。開放API和SDKFusionManager提供了支持多語言的 SDK包和靈活的API接口，供用戶進行二次開發(fā)。開放SDKFusionManager 提供多語言 SDK包，供客戶進行二次開發(fā)，支持 JAVA和Python兩種開發(fā)語言。2017-9-13 華為機密，未經(jīng)許可不得擴散 第21頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密FusionManager 同時提供了 SDK接口文檔、二次開發(fā)指南和開發(fā)樣例，為客戶順利進行二次開發(fā)提供指導。開發(fā)APIFusionManager系統(tǒng)提供開放 API，上層網(wǎng)管通過開放 API從FusionManager中獲取資源信息，方便上層網(wǎng)管管理員對系統(tǒng)進行管理和維護。接口安全保護上層網(wǎng)管通過 http和https協(xié)議與開放API互通。開放API和上層網(wǎng)管對接使用用戶名和密碼進行認證。為了保證密碼傳輸安全性， FusionManager系統(tǒng)對密碼采用了 RSA2048非對稱加密。運維數(shù)據(jù)獲取通過開放API接口，上層網(wǎng)管管理員可方便獲取 FusionManager 系統(tǒng)的運維管理數(shù)據(jù)。例如，實時和歷史告警數(shù)據(jù)、資源的實時和歷史監(jiān)控數(shù)據(jù)等。通過開放API接口，上層網(wǎng)管管理員可方便獲取 FusionManager 系統(tǒng)的資源信息。例如，集群資源、服務器資源、交換機資源和虛擬機資源等。資源的操作維護通過開放API接口，上層網(wǎng)管管理員可對FusionManager系統(tǒng)資源進行維護操作。例如，對虛擬機進行啟動、停止、重啟等操作；對服務器進行上電、下電、重啟等操作。監(jiān)控管理FusionManager提供拓撲管理、性能監(jiān)控、告警管理、任務中心管理和操作日志管理等監(jiān)控管理功能。管理員可以通過監(jiān)控信息，了解整個系統(tǒng)的軟件和硬件的運行情況，及時進行故障處理。拓撲管理管理員通過拓撲視圖可以查看物理硬件資源視圖和虛擬機資源視圖，通過拓撲視圖可以了解計算、存儲、網(wǎng)絡以及虛擬資源的邏輯關系。監(jiān)控管理2017-9-13 華為機密，未經(jīng)許可不得擴散 第22頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密狀態(tài)監(jiān)控管理員可以查看計算資源、存儲資源、網(wǎng)絡資源和虛擬資源的當前狀態(tài)，通過儀盤表的視圖方式了解系統(tǒng)的軟硬件資源，還可以導出歷史監(jiān)控數(shù)據(jù)。容量監(jiān)控管理員可以查看計算資源、存儲資源、網(wǎng)絡資源和虛擬資源等的系統(tǒng)資源容量情況，以便維護人員和管理員可以提前發(fā)現(xiàn)擴減容需求，避免資源浪費和過載的發(fā)生。告警管理告警管理是指集中監(jiān)控所有軟硬件告警， 包括計算設備告警、存儲設備告警和虛擬資源告警。所有軟硬件告警統(tǒng)一以列表的方式呈現(xiàn)給管理員。告警分為以下幾個級別：緊急：此類故障會影響系統(tǒng)提供的服務，需立即采取處理措施。重要：此類故障會影響系統(tǒng)的服務質量，需要采取緊急處理措施。次要：此類故障不影響服務質量，但為了避免造成更嚴重的故障，需要在適當時間進行處理或進一步觀察。提示：此類故障提示可能有潛在的錯誤會影響系統(tǒng)的服務質量，需根據(jù)不同錯誤類型進行處理。為了提高管理員告警處理的效率，您可以進行如下告警功能設置：設置告警轉郵件：可以設置將相應級別的告警自動轉到管理員郵箱，方便管理員及時獲取和處理告警。設置告警閾值：可以設置CPU占用率、內存占用率、磁盤I/O、網(wǎng)絡流量等告警閾值，在系統(tǒng)資源達到閾值時，產生告警。操作日志管理管理員可以在 FusionManager查詢和導出用戶操作日志。計量管理FusionManager支持自動將計量數(shù)據(jù)記錄到文件， 并通過FTP和話單服務器對接， 將計量數(shù)據(jù)上傳到話單服務器。2017-9-13 華為機密，未經(jīng)許可不得擴散 第23頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密計次話單在用戶進行虛擬機、塊存儲、備份和各類網(wǎng)絡資源的申請、修改、釋放、凍結和解凍等操作時，F(xiàn)usionManager記錄相關信息到話單文件，并發(fā)送話單文件給話單服務器。審計話單審計話單是對計量話單的補充，在計次信息遺漏時，為計費提供依據(jù)。其中，虛擬機的審計話單記錄周期可配置，其他資源的審計話單記錄周期是 5分鐘。負載均衡流量話單FusionManager定時（每隔一小時）記錄每個負載均衡器的流量信息到文件，并發(fā)送給話單服務器。彈性IP流量話單FusionManager實時收集網(wǎng)絡的彈性 IP流量信息，記錄到文件，并發(fā)送給話單服務器。0安全管理FusionManager提供了全方位的安全體系。包括日志安全管理、賬戶和密碼安全管理、權限管理、WEB安全管理、數(shù)據(jù)安全管理、操作系統(tǒng)安全管理和防畸形報文攻擊安全管理等。日志安全管理管理員通過查看日志了解系統(tǒng)的運行情況和操作記錄，從而進行用戶行為審計和問題定位。操作日志記錄了用戶對系統(tǒng)所做的操作以及操作的結果，例如登錄、退出系統(tǒng)和創(chuàng)建虛擬機等。記錄操作日志，可以快速定位系統(tǒng)是否遭受惡意的操作和攻擊。賬戶和密碼管理FusionManager提供常見賬戶的密碼修改功能，管理員可以定期修改密碼，保證系統(tǒng)的密碼安全性。權限管理FusionManager為管理員提供了功能強大的權限管理功能，使用戶在不同的組織和域下進行獨立的操作，實現(xiàn)用戶數(shù)據(jù)隔離。從而保證了系統(tǒng)內部資源的安全性。詳情請參考5.1基于2017-9-13 華為機密，未經(jīng)許可不得擴散 第24頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密角色訪問控制 。WEB安全管理防范Web應用的基本攻擊，如防止 SQL注入，防止跨站腳本攻擊。登錄頁面支持圖片驗證碼。在Web系統(tǒng)的登錄頁面，系統(tǒng)隨機生成驗證碼；只有當用戶名、密碼和隨機驗證碼全部驗證通過時，用戶才能登錄。用戶第一次登錄時沒有驗證碼輸入界面， 只有密碼輸入錯誤時才會彈出驗證碼輸入界面。長時間不使用 Web管理系統(tǒng)，系統(tǒng)會自動鎖定該管理系統(tǒng)。數(shù)據(jù)安全管理數(shù)據(jù)庫必須進行基礎的安全的配置， 保證數(shù)據(jù)庫運行安全， PostgreSQL數(shù)據(jù)庫的主要安全配置如下：記錄數(shù)據(jù)庫的操作日志。禁止數(shù)據(jù)庫帳戶遠程訪問數(shù)據(jù)庫，只能本地訪問數(shù)據(jù)庫。可通過系統(tǒng)數(shù)據(jù)備份，備份文件和數(shù)據(jù)庫的數(shù)據(jù)，可供管理員在系統(tǒng)故障時恢復系統(tǒng)。操作系統(tǒng)安全管理FusionManager系統(tǒng)使用SUSELinux操作系統(tǒng)，為了保證系統(tǒng)安全性。已經(jīng)對 SUSELinux操作系統(tǒng)進行基礎的安全配置，基礎安全配置的主要內容如下：關閉不必要的服務，如屏蔽 Telnet服務和FTP服務。加固SSH的服務?？刂莆募湍夸浀脑L問權限。記錄操作日志。防畸形報文安全FusionManager系統(tǒng)與終端用戶有交互、與非信任網(wǎng)絡互聯(lián)、容易受攻擊的等協(xié)議，在測試過程中進行了畸形報文攻擊測試，使用 Codenomicon 、xDefend進行畸泛洪類、畸形報文攻2017-9-13 華為機密，未經(jīng)許可不得擴散 第25頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密擊測試。從而保證了系統(tǒng)交互的安全性。2.2系統(tǒng)部署方案2.2.1 總體組網(wǎng)方案管理員Internet Intranet防火墻業(yè)務網(wǎng)絡VRRP管理網(wǎng)絡客戶數(shù)通網(wǎng)絡核心交換機業(yè)務/管理混合一體機網(wǎng)絡FusionCube一體機部署在客戶的數(shù)據(jù)中心機房中；采用 4*10GE上行到客戶核心交換機。網(wǎng)絡通信平面劃分為業(yè)務網(wǎng)、管理網(wǎng)。兩個網(wǎng)絡之間通過 VLAN是隔離的，保證最終用戶不能破壞基礎平臺。采用RH2288H機架服務器。一體機融合計算和存儲資源，提供虛擬化資源。每臺服務器配置1個2*10GE端口的普通網(wǎng)卡。每個機柜配置 1對S6724交換機+1個S5728（BMC接入），2017-9-13 華為機密，未經(jīng)許可不得擴散 第26頁,共31頁ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲系統(tǒng)技術建議書 機密每個機柜支持 12臺RH2288H(單柜6kW)；機柜間匯聚交換機可以是客戶提供，也可以由華為提供。如果是華為提供可選擇 1對S6724作為匯聚交換機（支持 9柜）或者1對S6748（支持20柜）。一體機采用服務器上的本地存儲。 本地存儲通過 SAS口直接連接到服務器上。 本地存儲通過FusionStorage分布式存儲軟件系統(tǒng)虛擬化成一個大資源池給用戶使用。一體機內部網(wǎng)絡按照二層網(wǎng)絡架構設計， 和客戶網(wǎng)絡連接可以選擇采用二層模式， 二層模式是，子網(wǎng)的網(wǎng)關配置客戶網(wǎng)絡， 僅將一體機交換機作為接入交換機。 主要應用于要求管理與業(yè)務隔離，用戶可配置不同子網(wǎng)安全隔離。2.2.2與客戶網(wǎng)絡對接服務器側邏輯上分為三個平面：業(yè)務平面、存儲平面和管理平面，且三個平面之間是隔離的，保證最終用戶不能破壞基礎平臺。存儲平面：服務器上存儲間通過存儲網(wǎng)絡二層直接互通。存儲設備為虛擬機提供存儲資源，但不直接與虛擬機通信，而通過虛擬化平臺轉化。業(yè)務平面：為用戶提供業(yè)務通道，為虛擬機虛擬網(wǎng)卡的通信平面，對外提供業(yè)務應用?？舍槍Σ煌摂M機細分VLAN進行訪問隔離。管理平面：負責整個云計算系統(tǒng)的管理、業(yè)務部署、系統(tǒng)加載等流量的通信。BMC平面主要負責服務器的管理，BMC平面和管理平面隔離。服務器采用2個10GE網(wǎng)口進行組網(wǎng)，業(yè)務、管理、存儲平面通過兩網(wǎng)卡聚合確保鏈路冗余。外置2個10GE交換機進行接入和匯聚，用于接入機柜內所有機架服務器，以及柜間級聯(lián)。在交換機上劃分VLAN，將管理、業(yè)務、存儲三個平面邏輯隔離，機柜內交換機再上行匯聚到客戶網(wǎng)絡中。一體機默認VLAN劃分：BMC平面為VLAN4030，管理平面為VLAN4040，存儲平面為VLAN4050，業(yè)務平面為VLAN2-4000；其中管理平面的子網(wǎng)網(wǎng)段及VLAN劃分可根據(jù)