某項目云數(shù)一體化設計方案

樣式定義：W項目-2級標題：段落間距段前：0.5行,

段后：0.5行

樣式定義：W項目-3級標題：段落間距段前：0.5行,

段后：0.5行

樣式是義：W項目7級標題

AJ各分系統(tǒng)及主要配置項設計（應用端由大數(shù)據(jù)云平臺'數(shù)據(jù)資源服務,數(shù)帶格裝的：兩端對齊，縮進：首行縮進：0厘米

據(jù)開發(fā)服務、常用開發(fā)服務寸/統(tǒng)運維管理導個分系統(tǒng)組成k系統(tǒng)架構圖如下

圖I,+O系統(tǒng)架構圖

S大數(shù)據(jù)云管理平臺設計

人數(shù)據(jù)云平臺云管理平臺是失■數(shù)據(jù)應用端通用開發(fā)系統(tǒng)的底庫,為數(shù)據(jù)資源

服務、數(shù)據(jù)開發(fā)服務、應用開發(fā)服務、系統(tǒng)運維管理提供計算，存儲，網(wǎng)絡，數(shù)

據(jù)，計算模式和存儲模式的支撐，如下圖所示。為構建適用于多元化業(yè)務資源結

構，支持高性能、高可用、高擴展的硬件架構以及軟件平臺的大數(shù)據(jù)￡平臺公管

理平臺,嚴格按照系統(tǒng)的功能和性能指標，同時考慮到全面整合各方面資源信息，

帶格式的：W項目-正文.縮進：首行縮進：0厘米,

右側：0厘米

從而使資源更加高效、安全、穩(wěn)定、敏捷，最終實現(xiàn)一個能夠面向軍方提供整體

服務的應用端火數(shù)據(jù)云平臺云管理平臺。

大數(shù)據(jù)應用端通用開發(fā)系統(tǒng)

大

數(shù)

應

系

數(shù)

數(shù)

據(jù)

用

統(tǒng)

據(jù)

據(jù)

開

開

運

資

云

發(fā)

發(fā)

維

源

管

平

服

服

服

理

臺

務

務

務

帶格式的：W項目-2級標題

：；；》1.2云平臺子系統(tǒng)設計

3,1J,“一?一，I計算管理

&1.4.2..L4~12.1.1.1.1設計概述

本項目對虛擬計算資源的需求，旨在建立以云為核心，適用于多元業(yè)務資源

結構，支持高性能、高可用、高擴展的云平臺。

它具備虛擬機的高可靠能力包含控制節(jié)點高可用、網(wǎng)絡高可用、10設備虛

擬化虛擬機4排L虛擬機44L虛擬機熱延移L快照等功能為客戶業(yè)務提供可靠的

基石。CPU、內(nèi)存的要用「動態(tài)資源調(diào)整功能為云計算提供了彈性能力。在10外

設方面可支持USB外設的虛擬機綁定能力，對網(wǎng)卡、GPU類設備可通過SRI0V能

為■VirtIO滿足租戶高性能10設備的需求。

3.1.1.2.1.21.2.1.1.1.2計算資源管理方案

根據(jù)本項目整體方案的架構設計，計算資源將分為兩部分資源：基于KVM虛

擬化技術的虛擬機資源、基于硬件服務器直接提供計算能力的資源?；谏鲜鲂?/p>

求，計算方案的整體架構如下圖所示。

帶格式的：W項目-正文.縮進：首行縮進：0厘米,

右例：0厘米

KVMXen

VmwareHyper-V

ffiigm6,淚獷

3.1.1.2.1.31.2.1.1.1.3云主機資源管理

Nova是OpenStack云平臺中的計算組織控制器，支持OpenStack云平臺中

實例(VMInstances)生命周期的所有活動。負責管理計算資源、網(wǎng)絡、認證、

所需可擴展性的平臺，Nova自身并沒有提供任何虛擬化能力，它通過調(diào)用

libvirt的API和下層Hypervisors實現(xiàn)交互。

Nova通過webservicesAPI來對外提供服務，Horizon或者其他系統(tǒng)可

以通過調(diào)用Nova-API實現(xiàn)和計算服務的交互，它存在多個各司其職的服務(即

守護進程)oNova主要的功能包括：帶格式的：丫項目-正文.縮進：首行縮進：o厘米,

右側：o厘米

a)服務器(虛擬化層)管理

b)規(guī)格(云主機類型)管理

c)鏡像管理

d)操作

I)Reboot重啟

力Rebuild重建

“Resize修改規(guī)格

4)Pause暫停

S)Suspend掛起

6)Start啟動

?)Stop關閉

S)Boot創(chuàng)建

e)租戶管理

f)額度管理

g)網(wǎng)頁訪問主機的VNCProxy管理

h)使用率統(tǒng)計管理

Nova組件的部署方式如下：

云平臺通過配置調(diào)度策略，通過過濾器(Filters)和權重器(Weighting)

來實現(xiàn)對主機資源的分配：

帶格式的：丫項目-正文.縮進：首行縮進：o厘米,

右側：o厘米

云平臺在每個計算節(jié)點上運行NovaComputer守護進程，調(diào)用Hypervisor

的driver管理VM。云平臺通過配置不同的driver,實現(xiàn)對多虛擬化層的管理：

TodayantythvpMvtsoftypepot

dotidmstoiicttLtbvut/KVA/ismost

conunondaptoymazW

Hype?V

0yMcrosottby/BA/

tNfaitriovoopfa，t拈vrt

可以基于集群、或者每個計算節(jié)點，可以設置各自不同的超分比(CPU、內(nèi)

存、磁盤)。

本項目采用的云平臺是在開源OpenStack開源項目的基礎上自研發(fā)的產(chǎn)品，

為本項目提供如下關鍵性服務：

統(tǒng)一虛擬化平臺：持基于曄圾硬件平臺的多種服務器和兼容多種存儲設

備，同時可支持多種虛擬化平臺的管理

自動化調(diào)度：支持自定義的資源管理SLA(Service-LevelAgreement)策

略、故障判斷標準及恢復策略

熱遷移：支持虛擬機在不同物理主機之間、不同磁盤附列必閭進簾生移

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：o厘米

可靠性：提供虛擬主機控制節(jié)點的HA（高可用）、FT（容災）動態(tài)升級、快

照備份、性能監(jiān)測分析、異常告警、日志管理等功能，為保證可靠性。

彈性伸縮：支持橫向彈性伸縮，根據(jù)業(yè)務負載動態(tài)增減虛擬機數(shù)量并實現(xiàn)負

荷分擔；支持縱向伸縮，即虛擬機在線擴減容（需操作系統(tǒng)支持）。

多操作系統(tǒng)支持：每個卷可根據(jù)需要部署相應的windows或Linux、Unix

操作系統(tǒng)，如WindowsServer2008,Ubuntu,Debian,CentOS等每個VM可根

據(jù)需要部署相應的麒麟或者深度系統(tǒng)。

無代理防病毒：支持基于虛擬化的無代理防病毒軟件，簡化防病毒管理

支持自動化健康檢查：系統(tǒng)通過自動化的健康狀態(tài)檢查，及時發(fā)現(xiàn)故障并預

警，確保虛擬機可運營管理

高效節(jié)能：通過NUMAT*決內(nèi)存—PU綁定等技術對虛擬機性能進行優(yōu)化，

通過自定義策略對電源能耗進行管理。

QoS支持：云管理平臺提供對CPU、虛擬網(wǎng)卡、虛擬磁提供QoS的支持。

SR10V■支持:.SR-IQV-可以配置ALAN、MAG實現(xiàn)虛擬交換的功能，并也能提供

:帶格式的：縮進：首行縮進：0字符）

虛擬機快照：對運行中的虛擬機執(zhí)行虛擬機快照，執(zhí)行快照時，對虛擬機當

前的運行狀態(tài)進行了備份，包含了虛擬機運行時的機器狀態(tài)，包括內(nèi)存、磁盤、

CPU上下文等

物理機負載均衡：利用虛擬化技術，當一個節(jié)點負載過重時，把其上的計算批注「MYU：有沒有？

任務遷移到另一個節(jié)點。同時，通過在Hypervisor中實現(xiàn)資源分配算法，調(diào)整

不同虛擬機之間的資源分配，從而提高整體性能。

分布式虛擬交換機：主機的物理網(wǎng)卡和主機中的關聯(lián)虛擬機交換機交換特性

相關屬性等的管理

支持端口鏡像：系統(tǒng)支持在標準交換機和分布式交換機上進行端口鏡像的配

置，端口鏡像由鏡像源和鏡像目標組成

DPM：根據(jù)集群中主機的負載情況進行分布式的資源調(diào)度，將虛擬機集中到

一個主機集合中運行，同時保證虛擬機所需性能，關閉無虛擬機運行主機，以達

到全局節(jié)能

4—1.2.1.1.1.4物理主機資源管理

&42J帶格式的：w項目-正文.縮進：首行縮進：0厘米,

右側：0厘米

并非所有業(yè)務都適合于虛擬化，比如比較老舊的服務器、有特殊外設要求的

業(yè)務、對性能要求較高的集群業(yè)務，這類型業(yè)務通常直接部署在物理服務器上，

同時通過云管理平臺進行管理，將物理機作為資源進行申請、部署等。

裸機與虛擬機管理有很多相似的地方，Nova組件提供的虛擬機管理方案：

關機開機，安裝部署，刪除添加，Ironic裸機管理組件與Nova組件功能類似,

但主要是解決物理機的添加、刪除、電源管理和安裝部署，將物理機也作為資源

管理起來。Ironic提供插件的機制讓廠商開發(fā)自定的driver。Ironic組件的設

計如下：

通過OpenStackIronic對裸機進行管理，可以對物理機進行遠程安裝操作

系統(tǒng)、遠程對物理機進行操作、通過IPMI的console調(diào)用，可以直接登陸物理

機進行操作。云平臺通過標準的Ironic接口集成到整個云平臺進行統(tǒng)一管理。

組件名稱組件功能

Ironic-apiRestfulAPI處理應用請求并通過RPC轉發(fā)到ironic-conductor

裸機的增刪改查，通過［PMI或者SSH進行電源管理；裸機的準備部署銷

Ironic-conductor

毀

運行在內(nèi)存中的python服務，通過遠程登錄和硬件控制提供ironic-

Ironic-python-agenl

conductor服務

云平臺可以實現(xiàn)對物理機的管理，具體特點如下:

支持物理機的池化管理：將物理機作為一個資源池進行管理，支持添加、刪

除功能

支持物理機的電源管理：實現(xiàn)對物理機的電源管理能力，支持開機、重啟、

關機功能

支持物理機的系統(tǒng)安裝：通過PXE功能實現(xiàn)操作系統(tǒng)的批量安裝

支持多廠商的硬件：通過廠商自定義驅動實現(xiàn)廠商自定義行為。帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：0厘米

支持console：實現(xiàn)通過硬件直接得到物理機Console

i2.1.1.1.5高效性

3.1.1.2.1.61.2.1.1.1.6計算高效性

a)裸金屬架構

裸金屬架構將Hypervisor直接安裝在硬件上，接管所有硬件資源。

Hypervisor層極小，不負責太復雜的管理工作，僅負責和上層的虛擬機操作系

統(tǒng)溝通及資源協(xié)調(diào)。

裸金屬架構的虛擬產(chǎn)品為了保持穩(wěn)定性及微內(nèi)核，不可能將所有硬件產(chǎn)品的

驅動程序都放入，因此對硬件兼容性有一定的要求。大部分的原生架構產(chǎn)品可支

持主流服務器及存儲設備。

b)NUMA和VCPU綁定批注[MY2]:和JNS確認下是否有這些功能

NUMA架構下，處理器被劃分成多個節(jié)點，每個節(jié)點分配一塊本地內(nèi)存空間。

所有節(jié)點中的處理器都可以訪問全部節(jié)點上的內(nèi)存，但是訪問本節(jié)點內(nèi)存延遲比

訪問某些遠程節(jié)點低。

HostNUMA保證訪問本地物理內(nèi)存，減少了內(nèi)存訪問延遲，VM訪問內(nèi)存

是基本操作，對VM性能有提升，性能提升的幅度與VM虛擬機訪問內(nèi)存大小和頻

率相關。

虛擬機所配置的vCPU默認可以在物理主機的任何一個CPU上面運行。vCPU

綁定可以指定虛擬機的vCPU運行在某個特定的物理主機的CPU上。實現(xiàn)層面上

講，通過綁定vCPU的虛擬化線程到物理主機的CPU可以實現(xiàn)虛擬機vCPU的綁

定。下圖為虛擬機vCPU綁定的示意圖。

帶格式的：W項目-正文.縮進：首行縮進：0厘米,

右例：0厘米

可以約束vCPU的運行范圍，減少因vCPU在不同物理CPU間調(diào)度導致的開

銷，提高vCPU在主機CPU上的緩存命中率。

CPU資源綁定設置是在虛擬化環(huán)境下虛擬機對CPU資源的一種綁定式的使用

方式，在某些應用場景下，出于性能、服務等級協(xié)議SLA(ServiceLevel

Agreement)保證等因素方面的考慮，虛擬機需要專享綁定CPU核資源，以減弱對

其它虛擬機的“鄰位干擾”，可以支持將物理主機上所有虛擬機的vCPU綁定到不

同的物理CPU核上已實現(xiàn)各虛擬機專享物理CPU核的目的。

支持將虛擬機的vCPU綁定到指定的物理CPU核(邏輯核)上運行，本虛擬

機無法使用其它物理CPU核；

虛擬機運行過程中實際使用的CPU資源，允許隨工作負載在分配的CPU資源

范圍內(nèi)變動；

支持將多個虛擬CPU綁定到指定的物理CPU核之上，例如虛擬機中2個vCPU

可以分別綁定到物理邏輯核3和4；

支持將多臺虛擬機的vCPU分別綁定到不同的物理CPU核上。

帶格式的：項目級標題

e)—大頁內(nèi)存1W-6

在現(xiàn)代計算機體系結構和操作系統(tǒng)4V通?？梢灾С殖^一種以上的內(nèi)存頁面足

寸。在實際使用中，除了常規(guī)使用的4KByte大小的內(nèi)存頁面以外，還可以在系

在計算機系統(tǒng)中使用內(nèi)存大頁面特性的原因是，隨著現(xiàn)代計算機系統(tǒng)中運行的應

用所訪問的內(nèi)存范圍不斷開關,一現(xiàn)有的處理器中的4LB-條目數(shù)已經(jīng)顯得非常有

帶格式的：W項目-正文.縮進：首行縮進：0厘米,

右例：0厘米

限“這種情況可能導致TLBmiss概率明顯提升，進而導致應用訪存性能下降，

的一個VM,很可能占據(jù)比普通應一用更大的內(nèi)存范圍（guestOS本身還要引入額

外的內(nèi)存開銷），從而使TLBmks率毋的情況進「步惡?―

在強調(diào)VM性能的場景下，使用內(nèi)存大頁面技術,可以在TLB.條目有限的情況下，

覆蓋更大的內(nèi)存映射范圍ia4tB降卷V2訪存平均延遲?提卅ZM

3.1.1.2.1.71.2.1.1.1.7高可靠設計

3.4.1；2「1「8—1.2.1.1.18宿主機宕機遷移服務

OpenStackHA問題一直是企業(yè)私有云最關心問題之一，也許在完美情況下

我們并不需要HA,但是我們總會碰到一些硬件故障，比如掉電，內(nèi)存、CPU故障，

一些操作系統(tǒng)故障，比如kernelpanic,Neutron-ovs-agent掛了等等。

OpenStackinstanceI1A主要包括三個主要的功能：監(jiān)控，隔離和恢復。VMware

和XenServer也是一樣的原理。

計算節(jié)點HA內(nèi)部架構：

NovaCompute/NovaEvacuateOCF

Control

plane

Compute?

plane

監(jiān)控主要做兩個事情，一個是監(jiān)控計算節(jié)點的故障，包括硬件和軟件故隙。

第二個是觸發(fā)故障的處理事件，就是指隔離和恢復。OpenStack的高可用用

pacemaker和corosync來做的，每個節(jié)點上都需要安裝pacemaker和corosync,

但是corosync只能支持到16個節(jié)點，大多數(shù)OpenStack私有云都會超過這個節(jié)

帶格式的：丫項目-正文.縮進：首行縮進：o厘米,

右側：o厘米

點數(shù)，會有很多計算節(jié)點需要添加到這個集群中來，這時候我們需要引入

pacemaker_remoteo使用pacemaker.remote后，我們可以把所有的計算節(jié)點都

加入到這個集群中，并且計算節(jié)點上不需要安裝pacemaker和corosync,只需

要pacemakerremote?雖然只裝了pacemakerremote,但這并不會影響我們實

現(xiàn)HA,pacemaker集群會監(jiān)控計算節(jié)點上pacemakerremote是否"活著"，你可

以定義什么是"活著”。在計算節(jié)點上可以監(jiān)控nova-compute,neutron-ovs-agent,

libvirt等進程，從而確定計算節(jié)點是否活著，甚至我們可以在該計算節(jié)點上啟

動虛擬機來確定計算節(jié)點是否活著。如果監(jiān)控到某個pacemaker_remote有問題，

可以馬上觸發(fā)之后的隔離和恢復事件。

隔離最主要是將不能正常工作的計算節(jié)點從OpenStack集群環(huán)境中移除，

nova-scheduler就不會在把create_instance的message發(fā)給這個計算節(jié)點。

Pacemaker已經(jīng)集成了fence這個功能，非常實用，我們可以使用fence_ipmilan

來關閉計算節(jié)點。Pacemaker集群中fence_compute會一直監(jiān)控這個計算節(jié)點是

否down了，因為nova只能在計算節(jié)點down了之后才可以執(zhí)行host-evacuate

來遷移虛擬機。有個更好的辦法，就是調(diào)用Liberty版本的force-downAPI,

可以直接把計算節(jié)點標記為down,方便更快的遷移虛擬機。

恢復就是將狀態(tài)為down計算節(jié)點上虛擬機遷移到其他計算節(jié)點上。批注［MY3］:能不能滿足需求？

Pacemaker集群會調(diào)用host-evacuateAPI將所有虛擬機遷移。host-evacuate

最后是使用rebuild來遷移虛擬機，每個虛擬機都會通過scheduler,按照調(diào)度

在不同的計算節(jié)點上啟動。也可以通過image,flavor,instancemetadata只

遷移一些重要的應用。

［帶格式的：W項目7級標題

，存儲管理*J

云平臺統(tǒng)一存儲采用基于分布式硬件存儲為基礎，存儲系統(tǒng)通過可平滑擴展

的架構、數(shù)據(jù)持續(xù)保護、讀寫加速、讀寫QoS控制以及數(shù)據(jù)分級存儲等技術來實

現(xiàn)存儲系統(tǒng)整體的高效性和可靠性。

a）彈性存儲系統(tǒng)擴展

統(tǒng)一存儲池以可伸縮的、一次尋址的一致性哈希算法技術為根基，通過去中

心化架構、數(shù)據(jù)散列存儲等關鍵技術，構建而成可靈活擴展至EB級容量的存儲

系統(tǒng)。

帶格式的：丫項目-正文.縮進：首行縮進：o厘米,

右側：o厘米

哈希算法是將所有存儲節(jié)點的地址空間分區(qū)進行統(tǒng)?編址后映射到一致性

哈?？臻g上，每一個存儲節(jié)點分區(qū)負責一個小范圍的地址空間路由并存儲一部分

數(shù)據(jù)，對每個對象的讀寫都能通過哈希算法一次尋址到對應的存儲節(jié)點分區(qū)，實

現(xiàn)整個系統(tǒng)的存儲和尋址。由于一致性哈希算法的地址空間為環(huán)形擴展并接近無

限，可通過分區(qū)大小的調(diào)整，使一致性哈希的空間具備可伸縮行，理論上可支撐

存儲單元的無限增加，構筑了EB級容量擴展能力的根基。

通過使用一致性哈希算法，使系統(tǒng)具備如下優(yōu)勢：

1）將數(shù)據(jù)均勻分散在所有參與存儲節(jié)點組成的存儲空間，在算法上支撐存

儲層面的無限擴展能力。

2）存儲節(jié)點之間，采用全對等的點對點數(shù)據(jù)訪問，減少了索引查詢的延時

開銷和瓶頸產(chǎn)生。訪問時，應用主機可以直接尋址訪問到存儲節(jié)點并進

行數(shù)據(jù)讀寫，系統(tǒng)中沒有傳統(tǒng)存儲架構中的中心節(jié)點，減少了索引查詢

時延，也規(guī)避了相應的瓶頸問題。

不僅如此，為了解決超大規(guī)模存儲系統(tǒng)中高效的數(shù)據(jù)組織和定位問題，存儲

系統(tǒng)通過對一致性哈希算法進行優(yōu)化，將節(jié)點發(fā)生變化（擴展、縮減或宕機）時

的數(shù)據(jù)重新分布盡可能減少，進一步縮短了系統(tǒng)擴容/縮容的時間窗口，提高了

系統(tǒng)的可靠性，實現(xiàn)了分布式存儲系統(tǒng)的超大規(guī)模擴展、EB級數(shù)據(jù)組織和高效

定位問題。

b）數(shù)據(jù)持續(xù)保護

強一致性數(shù)據(jù)完整性保護機制

數(shù)據(jù)一致性保護分為兩大類：強一致性、最終一致性（簡單一致性）。

強一致性數(shù)據(jù)保護機制：只要客戶端/應用獲得數(shù)據(jù)寫入成功的消息，數(shù)據(jù)

必然是落盤的，而非保持在緩存中（寫數(shù)據(jù)保存在緩存中，遇到掉電即丟失部分

數(shù)據(jù)），適用于實時性、事務性應用。

最終一致性數(shù)據(jù)保護機制：數(shù)據(jù)雖然己經(jīng)寫入存儲系統(tǒng)，但并不保證各客戶

端/應用獲取到一致的數(shù)據(jù)，即可能部分客戶端獲取的是修改前的數(shù)據(jù)，另有部

分客戶端獲取的是修改后的數(shù)據(jù)，適用于數(shù)據(jù)分析型等應用。此種機制下，必須

由客戶端或應用自身設計協(xié)調(diào)獲取一致的數(shù)據(jù)。采用最終一致性數(shù)據(jù)保護機制的

典型存儲系統(tǒng)為基于互聯(lián)網(wǎng)的分布式對象存儲系統(tǒng)。

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：0厘米

云平臺存儲系統(tǒng)采用主-從節(jié)點的驅動機制，實現(xiàn)了基于Write-All-Read-

One的強一致性數(shù)據(jù)訪問，有效保證數(shù)據(jù)一致性。具體為，主控節(jié)點負責接收到

客戶端請求后，首先執(zhí)行本地數(shù)據(jù)操作，進而驅動從控節(jié)點，并等待從控節(jié)點數(shù)

據(jù)操作完成后，再向客戶端返回讀寫操作完成響應消息。

客戶端

數(shù)據(jù)請求

圖數(shù)據(jù)讀寫過程

副本冗余保護模式

副本通過將數(shù)據(jù)寫入到多個位置來保護磁盤上的數(shù)據(jù)。

云平臺存儲系統(tǒng)支持配置2~8個副本。可以使用副本策略，或者糾刪與副本

策略共存，數(shù)據(jù)可以根據(jù)用戶要求設置為不同的數(shù)據(jù)冗余策略，通常普通數(shù)據(jù)可

采用2+1的糾刪策略，重要的數(shù)據(jù)采用三副本策略。副本相比糾刪碼消耗更多空

間，適合要求高性能的事務。

3.1.1.2.2.11.2.1.2.1.1設計概述

根據(jù)本項目對虛擬存儲資源的需求，采用成熟的OpenStackCinder集成商

業(yè)存儲的實現(xiàn)方案來滿足。OpenStack作為開放的云操作系統(tǒng)，支持業(yè)界各種優(yōu)

秀的技術。這種開放的架構使得云平臺保持技術上的先進性，具有很強的競爭

力，支持對異構存儲設備進行集中統(tǒng)一管理，能夠將不同廠商的存儲設備容量合

并到統(tǒng)一的存儲池中，所以不會造成廠商鎖定（Lock-in）。針對不同廠商不同

性能的存儲產(chǎn)品，提供分級分類管理，并以此進行虛擬存儲池的建設，根據(jù)業(yè)務帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：0厘米

對存儲性能的要求，進行存儲資源交付?；贑inder的插件驅動架構，支持對

存儲設備進行水平擴容，提供PB級的存儲容量管理，結合multipath軟件實現(xiàn)

虛擬機對虛擬存儲資源的多通道負載均衡訪問，保障在存儲設備出現(xiàn)故障后，可

以快速切換到另一存儲設備的塊存儲上，不影響虛擬機業(yè)務的正常運行。

3,一1.1,2.2；-2—1.2.1.2.1.2虛擬存儲資源管理架構

Cinder的架構如下圖所示：

a)cinder-api作為Cinder組件對外的唯一窗口，向客戶暴露Cinder能夠

提供的功能，當客戶需要執(zhí)行volume相關的操作，能且只能向cinder-

api發(fā)送REST請求。這里的客戶包括終端用戶、命令行和OpenStack其

他組件。

I)Cinder可以有多個存儲節(jié)點，當需要創(chuàng)建volume時，cinder-scheduler會

根據(jù)存儲節(jié)點的屬性和資源使用情況選擇一個最合適的節(jié)點來創(chuàng)建

volumeo

2)調(diào)度服務只管分配任務，真正執(zhí)行任務的是Worker工作服務。

3)在Cinder中，這個Worker就是cinder-volume了。這種Scheduler和

Worker之間職能上的劃分使得OpenStack非常容易擴展。

3.1.1.2.2.31.2.1.2.1.3虛擬存儲資源管理調(diào)度

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：0厘米

云平臺中的cinder組件是一個資源管理系統(tǒng)，負責向虛擬機提供持久塊存

儲資源，它把不同的后端存儲進行封裝，屏蔽各個廠家存儲實現(xiàn)的差異，向外提

供統(tǒng)一的API,使用插件的方式，結合不同的后端存儲驅動提供塊存儲服務，以

插件形式支持的塊存儲驅動如下圖所示。

Cinder的主要核心功能是對卷的管理，允許對卷、卷類型、卷快照進行處

理。通過配置浪潮的驅動，Cinder可以使用浪潮存儲給OpenStack提供塊存儲

服務、并且可將Cinder的卷、快照、一致性組的操作在浪潮存儲中實現(xiàn)。詳細

功能如下：

序號功能模塊操作

1創(chuàng)建卷

2從已有卷創(chuàng)建卷（克?。?/p>

卷操作

3擴展卷

4刪除卷

5掛載卷到虛機

卷-虛機操作

6分離虛機卷

7創(chuàng)建卷的快照

8卷-快照操作從已有卷快照創(chuàng)建卷

9刪除快照

10從鏡像創(chuàng)建卷

卷-鏡像操作

11從卷創(chuàng)建鏡像

12創(chuàng)建/刪除一致性組

卷一致性組操作

13?致性組快照操作

14Qos

其他操作

15卷遷移

16ISCSI

存儲接口協(xié)議

17FC

3.1.1.2.251.2.1.2.1.4分級多存儲池管理與調(diào)度

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右側：0厘米

云平臺存儲管理Cinder支持同時配置多種類型存儲后端，并建立邏輯映射

管理，指定存儲的SLA服務級別，不同類型的云硬盤擁有不同的讀寫性能，云平

臺管理員可以分配不同類型的存儲給不同級別的云平臺用戶。云管理員可以根據(jù)

業(yè)務應用的需要，調(diào)度能夠滿足業(yè)務運行所需性能要求的后端存儲，創(chuàng)建多種類

型的云硬盤提供給用戶業(yè)務使用。

云平臺虛擬資源池基于Cinder的VolumeType為基礎構建的一^1、邏輯分組，

具有相同metadata元數(shù)據(jù)的存儲陣列組成一個邏輯上的存儲池，這些metadata

用來定義一個特定的服務水平（如慣稱的金、銀、銅），包含一個key/valuepairs

列表，可以在創(chuàng)建volume時指定VolumeType,cinderscheduler可以根據(jù)

VolumeType定義來自動調(diào)度到相應的存儲后端。當使用cinder-volume節(jié)點使

用多種后端存儲時，云平臺會啟用filtejscheduler。scheduler使用

filtering和weighing來選擇最優(yōu)的存儲后端。首先，filterscheduler過濾

可用的存儲后端，默認情況下，AvailabilityZoneFilter和CapabilitiesFilter

被啟用。然后，filterscheduler會通過schedulerweigher權衡先前過濾的

存儲后端，如果CapacityWeigheris被啟用，此種情況下會優(yōu)先使用容量較多的

存儲后端。

3.1.1.2.2.51.2.1.2.1.5存儲池擴容

云平臺使用cinder進行統(tǒng)一存儲管理，針對不同廠家的各類主流存儲，

需要廠家提供能夠對接cinderAPI定義的驅動，來無縫集成到cinder管理程序

中，所以存儲池可以很容易的做到水平橫向的擴容，cin加r能夠提供PB級存儲

容量的管理能力。

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：0厘米

管理網(wǎng)D

000jJ卜［VOLUMES

Nova

Neutron

Keystone

計算節(jié)點

Glance

MySQLNova-Compute商業(yè)存儲

RabbitMQ

Cinder-API

CinderScheduler

Cinder-Volume

FCNetworkD

3.1.1.2.2.61.2.1.2.1.6異構商業(yè)存儲支持

云平臺針對業(yè)務存儲需求提供了多種靈活的解決方案，能夠兼容不同的

存儲產(chǎn)品，進行存儲環(huán)境的融合和標準化。既支持使用LVM格式化的本地磁盤,

也支持開源的分布式存儲，同時也支持傳統(tǒng)IT的IPSAN、FCSAN商業(yè)存儲設

備，最大化的提高企業(yè)IT設備利用率，針對特別重要的數(shù)據(jù)，用戶可以選擇在批注［MY4］：支持？

云平臺上使用這種共享存儲。Cinder存儲節(jié)點支持多種volumeprovider,包

［批注［MY5］:支持不支持

括LVM,NFS,Ceph,GlusterFS,以及EMC,IBM等商業(yè)存儲系統(tǒng)。目前，支持

的存儲包括EMC、HP、IBM>NetApp、Inspur,SolidFire等廠商的存儲設備,支

持iSCSI/FC通信方式。

帶格式的：丫項目-正文.縮進：首行縮進：0厘米,

右側：0厘米

cinder-volume為這些volumeprovider定義了統(tǒng)一的driver接口，

volumeprovider只需要實現(xiàn)這些接口，就可以driver的形式即插即用到

OpenStack中。下面是cinderdriver的架構示意圖：

cinder-volume

LVMNFSCephEMCOther

volumevolumevolumevolume

■,

volumevolumevolumevolume?volume

volumevolumeivolumevolumevolume

-1.2.1.2.1.7多通道負載均衡

帶格式的：W項目-正文.縮進：首行縮進：0厘米,

右側：0厘米

云硬盤的訪問路徑需要保證高可用性，因此需要提供多個訪問路徑，在分配

云硬盤的時候，需要分配到存在多路徑能力的存儲設備。該方案支持基于FC網(wǎng)

絡的多路徑調(diào)度，提供multipathd和multipath等工具和multipath,conf等配

置文件。這些工具通過devicemapper的ioctr的接口創(chuàng)建和配置multipath設

備。使用上述工具，配合物理鏈路上的冗余設置，能夠滿足主機到存儲管理系統(tǒng)、

存儲管理系統(tǒng)到存儲設備之間的多通道負載均衡。

31.1.2.28-1.2.1.2.1.8快照及復制策略

支持快照策略制定與復制策略制定，快照策略制定包括增量、自動刪除、清

除速率等策略，復制策略制定包括同步、異步、異步周期等策略，同時支持各種

復制方式之間的切換，在復制過程中出現(xiàn)中斷后支持斷點續(xù)傳。

3—2.91.2.1.2.1.9云硬盤備份恢復

CinderBackup是將volume備份到別的地方（備份設備），將來可以通過

restore操作恢復，Backup存放在獨立的備份設備中，有自己的備份方案和實

現(xiàn)，不依賴源volume,即便源volume不存在了，也可以restore,所以可以結

合存儲設備做容災服務。cinder-backup也通過driver架構支持多種備份

backend,包括Ceph、Swift0

CinderRestore的過程很簡單，兩步走：

I）在存儲節(jié)點上創(chuàng)建一個空白volumeo

2）將backup的數(shù)據(jù)copy到空白volume上。

restore操作的詳細流程：

|）向cinder-api發(fā)送backup請求

力cinder-api發(fā)送消息

cinder-scheduler挑選最合適的cinder-volume

4|cinder-volume創(chuàng)建空白volume

5）cinder-backup將backup數(shù)據(jù)copy到空白volume上

*4；1.2.1.2.1.10存儲即服務實現(xiàn)

多數(shù)組織用于提供多種存儲服務的存儲基礎架構都由不同的陣列類型組

成，而且這些陣列還往往來自于不同的供應商。在選擇每個存儲平臺時會以其處

理特定工作負載的能力為基礎，而且每個存儲平臺都具有自己獨特的API、管理

和監(jiān)視工具。伴隨著這樣的多樣性，如何高效管理這些存儲孤島成為一大難題。

帶格式的：丫項目-正文.縮進：首行縮進：o厘米,

右側：o厘米

隨著數(shù)據(jù)量不斷增長，需要越來越多的專業(yè)TT管理員來執(zhí)行重復的手動任務，

才能提供并優(yōu)化存儲服務以保持競爭優(yōu)勢。

基于以上存在的問題，云平臺對異構存儲產(chǎn)品進行抽象化，匯集成虛擬

存儲池，屏蔽底層存儲廠商間的產(chǎn)品差異，對上提供統(tǒng)一的接口，把底層存儲能

力以服務的形式暴露出來，這樣上層應用無需關心底層配置的復雜，就可以基于

此接口進行自動化編排，統(tǒng)一集中式管理，實現(xiàn)存儲的快速交付。

存儲即服務

塊存儲服務文件存儲服務

是供FC/ISCS脅議的塊存儲為windows或者linux操作系統(tǒng)

H服務提供網(wǎng)絡共享文件存儲服務

Linux塊存儲服務Window碳存儲服務

Q-inuxt機提供塊存儲服務

為Windows主機提供塊存儲服務

in

3.1.1.2.2.111.2.1.2.1.11自動化存儲管理

集中地自動執(zhí)行存儲調(diào)配和回收任務，將存儲團隊從重復的手動管理任

務中解放出來，讓存儲團隊可以投入到戰(zhàn)略性的價值驅動活動，加快在融合基礎

架構上交付基于云的服務。基于策略的管理和自動化可以降低發(fā)生人為錯誤的風

險，并且減少冗長的管理審查，從而提高敏捷性和工作效率。

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右側：0厘米

。。。。。

wSMl0?■??a^

異構廠商存儲

&_L4：224j_1.2.1.2.1.12基于服務目錄的存儲交付

通過策略驅動型自助服務目錄，簡化IT消費者按需請求和獲得存儲資源

的方式。用戶可以輕松訂閱滿足其工作負載需求的存儲資源。用戶不需要了解或

關心向應用程序提供存儲的底層硬件和軟件。云平臺會根據(jù)管理員預定義的策略,

自動調(diào)配正確的硬件和軟件來滿足其需求。即時提供所需的存儲資源，從而最大

限度地減少了用戶與IT之間的交互。我們根據(jù)其SLA服務等級部署新應用程序

的時間從幾天縮短到了幾分鐘。

3，-1,2:243-1.2.1.2.1.13塊存儲服務

塊存儲服務的最主要用途是作為虛擬硬盤提供給instance使用。塊存

儲是通過Attach操作掛載到instance上的，如下圖所示：

帶格式的：w項目-正文.縮進：首行縮進：o厘米,

右例：o厘米

iSCSI是Client-Server架構，有target和initiator兩個術語。

Target提供iSCSI存儲資源的設備，簡單的說，就是iSCSI服務器。

Initiator使用iSCSI存儲資源的設備，也就是iSCSI客戶端。

Initiator需要與target建立iSCSI連接,執(zhí)行l(wèi)ogin操作，然后就可

以使用target上面的塊存儲設備了。

下面來看看Attach操作的流程圖

吳

,1工、

(_API

I2:3二

?X/olume'J

Messaging4