方案-金融災(zāi)備數(shù)據(jù)中心技術(shù)方案

金融災(zāi)備數(shù)據(jù)中心技術(shù)方案議程

1

互聯(lián)網(wǎng)金融災(zāi)備數(shù)據(jù)中心建設(shè)技術(shù)架構(gòu)總體思路2

開放式既分布式技術(shù)架構(gòu)設(shè)計(jì)方案

3

商業(yè)級既集中式技術(shù)架構(gòu)設(shè)計(jì)方案

4

方案總結(jié)2互聯(lián)網(wǎng)金融災(zāi)備數(shù)據(jù)中心建設(shè)技術(shù)架構(gòu)總體思路GB/T20988－2007《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》

SHARE78國際標(biāo)準(zhǔn)

災(zāi)備

模式

災(zāi)備

層次

1級

基本級。

備份介質(zhì)場外存，安全保管、定期驗(yàn)證

Tier-0

無異地備份數(shù)據(jù)

冷備

數(shù)據(jù)級

Tier-1

有數(shù)據(jù)備份，無備用系統(tǒng)

2級

備份場地支持。

網(wǎng)絡(luò)和業(yè)務(wù)處理系統(tǒng)可在預(yù)定時(shí)間內(nèi)調(diào)配到備份中心

Tier-2

有數(shù)據(jù)備份，有備用系統(tǒng)

3級

電子傳輸和部分設(shè)備支持。

災(zāi)備中心配備部分業(yè)務(wù)處理和網(wǎng)絡(luò)設(shè)備，具備部分通訊鏈路

Tier-3

電子鏈接

4級

電子傳輸和完整設(shè)備支持。

數(shù)據(jù)定時(shí)批量傳送，網(wǎng)絡(luò)/系統(tǒng)始終就緒。

Tier-4

使用快照技術(shù)拷貝數(shù)據(jù)

暖備/熱備

應(yīng)用級

5級

實(shí)時(shí)數(shù)據(jù)傳輸及完整設(shè)備支持。

采用遠(yuǎn)程復(fù)制技術(shù)，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)復(fù)制，網(wǎng)絡(luò)具備自動或集中切換能力，業(yè)務(wù)處理系統(tǒng)就緒或運(yùn)行中。

Tier-5

交易的完整性

6級

數(shù)據(jù)零丟失和遠(yuǎn)程集群支持。

數(shù)據(jù)實(shí)時(shí)備份，零丟失，系統(tǒng)/應(yīng)用遠(yuǎn)程集群，可自動切換，用戶同時(shí)接入主備中心

Tier-6

少量或無數(shù)據(jù)丟失

雙活

業(yè)務(wù)級

互聯(lián)網(wǎng)金融災(zāi)備數(shù)據(jù)中心總體設(shè)計(jì)目標(biāo)5業(yè)務(wù)的可用性需求RTO-RPO與建設(shè)成本之間的關(guān)系

RPO損失的數(shù)據(jù)量丟失數(shù)據(jù)成本 宕機(jī)成本二級應(yīng)用

三級應(yīng)用

數(shù)據(jù)可用性成本

系統(tǒng)可用性成本

一級應(yīng)用

恢復(fù)業(yè)務(wù)所需時(shí)間RTO0

時(shí)間軸

成本軸

互聯(lián)網(wǎng)金融災(zāi)備中心建設(shè)總體發(fā)展趨勢

職能定位方面技術(shù)特性方面架構(gòu)方面測試演練方面體系建設(shè)方面信息系統(tǒng)業(yè)務(wù)連續(xù)性建設(shè)體系架構(gòu)

7業(yè)務(wù)應(yīng)用管理實(shí)踐支撐系統(tǒng)系統(tǒng)軟件硬件基礎(chǔ)設(shè)施戰(zhàn)略規(guī)劃層，對業(yè)務(wù)進(jìn)行評估，劃定連續(xù)性級別對應(yīng)用的邏輯關(guān)系進(jìn)行梳理，確定應(yīng)用的可用性指標(biāo)流程的定義，配置變更與事件管理管理，安全，基礎(chǔ)架構(gòu)服務(wù)等配套系統(tǒng)虛擬化，操作系統(tǒng)，網(wǎng)絡(luò)協(xié)議，存儲服務(wù)服務(wù)器，存儲設(shè)備，網(wǎng)絡(luò)設(shè)備與鏈路建筑，環(huán)境，供電??未來應(yīng)以虛擬化為基礎(chǔ)構(gòu)建靈活、可信、經(jīng)濟(jì)的業(yè)務(wù)連續(xù)性保障平臺

提供多種手段

高可用 容錯(cuò) 遷移 存儲遷移 備份 復(fù)制 快照

適用多種場景 同城雙中心 異地雙中心 兩地三中心 分支到中心

支持多種關(guān)系雙活 互備 主備 多對一 備份到云單中心

服務(wù)多種應(yīng)用

關(guān)鍵應(yīng)用 數(shù)據(jù)庫 二三級應(yīng)用 開發(fā)/測試 教學(xué)/科研同城中心A

異地中心同城中心B?同城高可靠雙活中心應(yīng)能夠支持關(guān)鍵應(yīng)用的靈活切換。?異地容災(zāi)中心作為主數(shù)據(jù)中心及同城中心的暖備份中心。?對于關(guān)鍵應(yīng)用，同城中心應(yīng)沒有任何性能降低，異地容災(zāi)中心的性能降低率丌能超過20%。

互聯(lián)網(wǎng)金融平臺數(shù)據(jù)中心災(zāi)備模式—兩地三中心兩地三中心解決方案—雙活不災(zāi)備的完美集成10?場景描述–適用于對業(yè)務(wù)連續(xù)性要求較高的應(yīng)用，通過集成同城雙活不異地災(zāi)備兩種解決方案，既能實(shí)現(xiàn)數(shù)據(jù)零丟失和故障自動切換,又能抵御局部災(zāi)難的發(fā)生。?方案特點(diǎn)–同城兩個(gè)站點(diǎn)之間的高可用提供數(shù)據(jù)零丟失的第一層保護(hù)–異地?cái)?shù)據(jù)中心之間的災(zāi)備功能實(shí)現(xiàn)第二層保護(hù)–軟件定義的網(wǎng)絡(luò)不存儲可提供最大靈活性

兩地三中心

結(jié)論：未來應(yīng)打造兩地三中心、同城雙活的云金融平臺災(zāi)備接管池

X86虛擬池

高性能 高密度生產(chǎn)云

?生產(chǎn)業(yè)務(wù)系統(tǒng)

開發(fā)測試云

?所有系統(tǒng)的災(zāi)備

?研發(fā)測試環(huán)境

快速恢復(fù)池

準(zhǔn)生產(chǎn)云

?關(guān)鍵業(yè)務(wù)系統(tǒng)的

快速切換

?預(yù)生產(chǎn)環(huán)境

?系統(tǒng)管理、服務(wù)管理和云管理一體化

?兩地三中心資源部署和調(diào)度一體化

?用戶管理和訪問一體化

?信息處理和展示的一體化

數(shù)據(jù)中心雙活/多活的實(shí)現(xiàn)示意圖

12三種主要的數(shù)據(jù)中心雙活場景的定義雙活場景 場景界定 條件要求非對稱雙活

Web/App層在多個(gè)站點(diǎn)同時(shí)提供服務(wù)，但數(shù)據(jù)庫僅在單一站點(diǎn)提供服務(wù)CDN/GTM+LTM，數(shù)據(jù)庫在主備站點(diǎn)之間有復(fù)制服務(wù)分應(yīng)?雙活

單個(gè)業(yè)務(wù)完整地運(yùn)?行在一個(gè)站點(diǎn)，在另一站點(diǎn)提供災(zāi)備。

每個(gè)站點(diǎn)都同時(shí)提供部分業(yè)務(wù)的生產(chǎn)，以及另一部分業(yè)務(wù)的災(zāi)備。主備站點(diǎn)間有數(shù)據(jù)復(fù)制服務(wù)，包括對所有虛機(jī)或物理機(jī)存儲的復(fù)制對稱雙活業(yè)務(wù)或用戶分配到兩個(gè)數(shù)據(jù)中?，每個(gè)數(shù)據(jù)中?都有自己的應(yīng)?集群對外服務(wù)，跨中心建?共?數(shù)據(jù)庫。

平時(shí)所有的中心均承載業(yè)務(wù)，實(shí)現(xiàn)資源最大利?，出現(xiàn)災(zāi)難時(shí)，正常的生產(chǎn)數(shù)據(jù)中心接管故障中心承載的業(yè)務(wù)CDN/GTM+LTM有裸光纖及DWDM存儲雙活

數(shù)據(jù)庫雙活雙活數(shù)據(jù)中心應(yīng)用部署需求及可選技術(shù)總結(jié)磁盤陣列

邏輯卷層文件系統(tǒng)層操作系統(tǒng)層數(shù)據(jù)庫層應(yīng)用層 基于應(yīng)用系統(tǒng)的復(fù)制基于數(shù)據(jù)庫的復(fù)制

基于邏輯卷的復(fù)制基于智能存儲的復(fù)制

磁帶庫層

基于磁帶庫的復(fù)制

利用智能存儲設(shè)備記錄下I/O信息，將數(shù)據(jù)變化通過高帶寬的專網(wǎng)線路或者IP網(wǎng)絡(luò)傳送到遠(yuǎn)端；復(fù)制工具：HDS

true

Copy

via

SAN;

HDS遠(yuǎn)程復(fù)制via

IP

利用卷管理工具將邏輯卷級別的I/O數(shù)據(jù)包，順序傳送到遠(yuǎn)端;復(fù)制工具：VERITAS

VVR,VVM;

IBM

GeoRM/HAGEO利用日志記錄下數(shù)據(jù)庫的數(shù)據(jù)變化并將日志傳送到遠(yuǎn)端;數(shù)據(jù)庫復(fù)制工具：Oracle

Data

Guard，Godengate

第三方工具如：Quest

SharePlex

利用應(yīng)用程序負(fù)責(zé)將同一筆交易在生產(chǎn)中心和異地?cái)?shù)據(jù)災(zāi)備中心都得到執(zhí)行;復(fù)制工具：FTP,

應(yīng)用改造等

1、通過運(yùn)輸磁帶庫至異地?cái)?shù)據(jù)災(zāi)備中心后將數(shù)據(jù)恢復(fù)至磁盤陣列;2、本地?cái)?shù)據(jù)備份到遠(yuǎn)端帶庫；

復(fù)制工具：

VERITAS

NBU

數(shù)據(jù)復(fù)制技術(shù)簡介數(shù)據(jù)復(fù)制技術(shù)分析-技術(shù)特點(diǎn)比較類別

主機(jī)設(shè)備

磁盤陣列

應(yīng)用軟件

數(shù)據(jù)庫平臺

新增第三方設(shè)備

基于應(yīng)用

可異構(gòu)

可異構(gòu)

同版本

可異構(gòu)

同生產(chǎn)中心相同的軟件平臺

基于數(shù)據(jù)庫

可異構(gòu)

可異構(gòu)

無限制

同版本

數(shù)據(jù)庫復(fù)制軟件：DBGuard,QuestSharePlex等

基于邏輯卷

要求同構(gòu)

可異構(gòu)

OS同構(gòu)，無限制

無限制

IBM:GeoRM/HAGEO；Veritas:卷管理軟件VVM,卷復(fù)制軟件VVR

基于存儲設(shè)備

可異構(gòu)

要求同構(gòu)

無限制

無限制

同構(gòu)磁盤陣列

磁盤陣列數(shù)據(jù)復(fù)制軟件

基于磁帶庫

無限制

無限制

無限制

無限制

備份管理軟件

數(shù)據(jù)復(fù)制技術(shù)分析-兼容性類別 對生產(chǎn)主機(jī)性能影響 對生產(chǎn)中心系統(tǒng)架構(gòu)影響

誤操作損失 傳輸需求 反向復(fù)制難度

基于應(yīng)用

影響較小，受限于復(fù)制模式、效率

影響較小，需整改應(yīng)用軟件，增加數(shù)據(jù)復(fù)制模塊

可挽回交易重做IP網(wǎng)

基于交易復(fù)制

帶寬需求低

支持，需恢復(fù)生產(chǎn)端應(yīng)用系統(tǒng)環(huán)境

基于

數(shù)據(jù)庫

影響較小，受限于復(fù)制模式、效率

影響較小，增加數(shù)據(jù)庫log復(fù)制

無法挽回IP網(wǎng)

基于log復(fù)制

帶寬需求較低

支持，需恢復(fù)生產(chǎn)端數(shù)據(jù)庫環(huán)境

基于

邏輯卷

影響較大，復(fù)制軟件占用較大的系統(tǒng)開銷（若通過鏡像庫設(shè)備復(fù)制，可減少對生產(chǎn)主機(jī)影響，但RPO將降為天級）

影響較大，對現(xiàn)有主機(jī)進(jìn)行整改，更換卷管理工具為VVM或IBMGeoRM/HAGEO等

無法挽回IP網(wǎng)

通常應(yīng)用于同步/異步自適應(yīng)模式，對帶寬要求較智能存儲復(fù)制低

支持，需恢復(fù)生產(chǎn)端邏輯卷環(huán)境

基于

存儲設(shè)備

影響小，基于底層陣列級數(shù)據(jù)復(fù)制

無影響

無法挽回SAN網(wǎng)

通常應(yīng)用于同步模式，對帶寬要求較高

支持，需恢復(fù)生產(chǎn)端同構(gòu)陣列存儲環(huán)境基于

磁帶庫

無影響

無影響

無法挽回 無支持，需恢復(fù)生產(chǎn)端備份環(huán)境

數(shù)據(jù)復(fù)制技術(shù)分析-合理性類別

維護(hù)難度

投資額度

基于應(yīng)用

涉及應(yīng)用改造，維護(hù)難度大 對第三方軟、硬件兼容性最好，需采購相關(guān)應(yīng)用軟件，投資相對小基于數(shù)據(jù)庫

數(shù)據(jù)的復(fù)制由日志復(fù)制工具完成，系統(tǒng)升級或重新規(guī)劃對復(fù)制可能產(chǎn)生影響，維護(hù)難度中等；

歸檔日志方式日常維護(hù)工作較多，維護(hù)難度較大第三方數(shù)據(jù)庫復(fù)制方式：需采購?fù)姹緮?shù)據(jù)庫軟件、第三方數(shù)據(jù)庫復(fù)制軟件（如shareplex），投資相對較大

歸檔日志方式：需采購?fù)姹緮?shù)據(jù)庫軟件，投資相對較小

免費(fèi)工具:OracleDBGuard

基于邏輯卷

數(shù)據(jù)的復(fù)制由卷復(fù)制工具完成，系統(tǒng)升級或重新規(guī)劃對復(fù)制可能產(chǎn)生影響，維護(hù)難度中等需采購卷管理軟件、邏輯卷復(fù)制軟件，投資相對較大基于存儲設(shè)備

周期作業(yè)定制，維護(hù)難度最低 需采購?fù)瑯?gòu)高端磁盤陣列、基于陣列的數(shù)據(jù)復(fù)制軟件，投資相對大基于磁帶庫

周期作業(yè)定制，維護(hù)難度較低

但涉及周期性磁帶、磁帶庫搬運(yùn)IT投資最小

數(shù)據(jù)復(fù)制技術(shù)分析-可維護(hù)性、投資WEB/應(yīng)用層雙活實(shí)現(xiàn)機(jī)制實(shí)現(xiàn)方式 主機(jī)集群 應(yīng)用軟件集群 負(fù)載均衡簡要描述 采用主機(jī)操作系統(tǒng)本身的集群功能實(shí)現(xiàn)中心內(nèi)部/中心之間的雙活采用應(yīng)用中間件自身的集群功能實(shí)現(xiàn)中心內(nèi)部/中心之間的雙活采用負(fù)載均衡設(shè)備來實(shí)現(xiàn)中心內(nèi)部/中心之間的雙活切換時(shí)間 實(shí)時(shí)切換 實(shí)時(shí)切換 實(shí)時(shí)切換應(yīng)用程序 不需要改變 不需要改變 不需要改變增加設(shè)備/軟件 集群卡/高速交換機(jī) 負(fù)載均衡設(shè)備可擴(kuò)展性 一般 一般 強(qiáng)負(fù)載分配方式 動態(tài) 動態(tài) 動態(tài)實(shí)現(xiàn)方式 復(fù)雜 較簡單 簡單中心內(nèi)部 較強(qiáng) 較強(qiáng) 強(qiáng)跨中心 弱 弱 強(qiáng)WEB/應(yīng)用層雙活實(shí)現(xiàn)機(jī)制主要有三種，一是基于主機(jī)集群技術(shù)，二是基于WEB

SERVER/應(yīng)用中間件軟件自身集群軟件實(shí)現(xiàn)功能，三是基于負(fù)載均衡設(shè)備方式

數(shù)據(jù)庫層雙活實(shí)現(xiàn)機(jī)制對比實(shí)現(xiàn)方式 ORACLE

RAC+VPLEX DATAGUARD/GOLDENGATE簡要描述

通過打通同城兩個(gè)站點(diǎn)的二層網(wǎng)絡(luò)和實(shí)現(xiàn)存儲虛擬化，數(shù)據(jù)庫集群得以跨越兩個(gè)數(shù)據(jù)中心，共同承擔(dān)業(yè)務(wù)系統(tǒng)的運(yùn)行，數(shù)據(jù)庫實(shí)時(shí)同步，一個(gè)中心的集群存在問題，另一個(gè)中心實(shí)時(shí)接管數(shù)據(jù)庫采用本地Oracle

RAC，同城采用DATAGUARD同步機(jī)制，在同步的基礎(chǔ)上通過”讀寫分離“實(shí)現(xiàn)應(yīng)用雙活切換時(shí)間

實(shí)時(shí)切換 分鐘級應(yīng)用程序 不需要改變 不需要改變

增加設(shè)備/軟件

VPLEX設(shè)備 DATAGUARD/GOLDENGATE可擴(kuò)展性

一般 好負(fù)載分配方式

動態(tài) 靜態(tài)實(shí)現(xiàn)方式 較為復(fù)雜 簡單數(shù)據(jù)丟失 無 分鐘級/秒級/無

網(wǎng)絡(luò)要求 跨中心網(wǎng)絡(luò)延遲要求在毫秒級以內(nèi)要求打通大二層網(wǎng)絡(luò) 無要求存儲雙活實(shí)現(xiàn)機(jī)制對比存儲雙活實(shí)現(xiàn)機(jī)制主要有四種：一是基于主機(jī)卷復(fù)制技術(shù)，二是基于存儲虛擬化技術(shù)；

三是基于存儲復(fù)制技術(shù)，四是基于SAN網(wǎng)絡(luò)復(fù)制技術(shù)。

訪問接入層的雙活實(shí)現(xiàn)機(jī)制實(shí)現(xiàn)方式 傳統(tǒng)站點(diǎn)輪詢 站點(diǎn)選擇負(fù)載均衡設(shè)備簡要描述

采用客戶端設(shè)多個(gè)IP地址－采用IP輪詢方式（開發(fā)程序配合），選用適合的站點(diǎn)采用站點(diǎn)負(fù)載均衡設(shè)備，通過策略設(shè)計(jì)，使得用戶訪問最適合的站點(diǎn)切換時(shí)間 分鐘級(手動策略有關(guān)) 實(shí)時(shí)應(yīng)用程序 需要修改

不需要修改，應(yīng)用不變

增加設(shè)備

不需要

增加站點(diǎn)負(fù)載均衡設(shè)備和DNS服務(wù)器可擴(kuò)展性

低

高

站點(diǎn)分配方式

靜態(tài)連接

可根據(jù)數(shù)據(jù)中心負(fù)載，用戶距離分配

資源利用率 低，訪問資源較為固定，資源利用率不高

高，可根據(jù)應(yīng)用負(fù)載和距離自動分配，資源利用率高

為滿足雙活數(shù)據(jù)中心的需求，必須使客戶端的請求在多個(gè)中心進(jìn)行智能選擇，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性(性能最優(yōu)/故障切換/按需連接)，實(shí)現(xiàn)站點(diǎn)選擇通常有兩種方式，一是傳統(tǒng)站點(diǎn)輪詢技術(shù)，二是站點(diǎn)負(fù)載均衡技術(shù)現(xiàn)狀分析調(diào)研風(fēng)險(xiǎn)分析業(yè)務(wù)影響分析系統(tǒng)現(xiàn)狀和發(fā)展RA&BIA分析報(bào)告需 災(zāi)備需求分析求分析階段運(yùn)維階段前期工作后續(xù)工作容災(zāi)建設(shè)過程和步驟策略分析制定災(zāi)備總體設(shè)計(jì)組織流程設(shè)計(jì)災(zāi)備系統(tǒng)布局規(guī)劃災(zāi)備策略等級需求總體技術(shù)方案設(shè)計(jì)組織架構(gòu)和運(yùn)維流程周期性的演練評估災(zāi)備管理持續(xù)改進(jìn)桌面演練年度演練周期策略回顧 EManage&volveBuild&implementAnalyzebusiness

needs?Define&analyzerisks?Existingprogramreview?Determinebusiness

impact&recoveryrequirementsofkeybusinessprocesses?Clarifydependencies?Rehearse

theplan?Assess/audityourprogram?Integrateintochange&configurationmanagement

processes?Deploysupportinginfrastructure?Developbusiness

continuityprogramandplanDesign

the

solution?Translaterequirementsintoexecutable

strategies

accordingtoscenariosBusiness

continuityprogram

management?Designinfrastructuretoimplement

selectedstrategies?Createeducationandtrainingprogram災(zāi)備系統(tǒng)建設(shè)災(zāi)難恢復(fù)計(jì)劃開發(fā)技術(shù)和意識培訓(xùn)同城和異地的災(zāi)備系統(tǒng)

災(zāi)難恢復(fù)計(jì)劃培訓(xùn)和演練實(shí)施階段建設(shè)工作于數(shù)據(jù)中心災(zāi)備中心建設(shè)工作內(nèi)容

基于開放式云平臺架構(gòu)構(gòu)建分布式互聯(lián)網(wǎng)金融云數(shù)據(jù)中心及災(zāi)備中心虧聯(lián)網(wǎng)金融數(shù)據(jù)中心的發(fā)展趨勢傳統(tǒng)中心

(Yahoo,)服務(wù)器，交換,

商用SAN,

NAS云中心(Google,

Amazon，淘寶)通用硬件,

Map/Reduce,NoSQLIT基礎(chǔ)架構(gòu)發(fā)展趨勢：分離架構(gòu)商用集中存儲融合架構(gòu)分布式存儲虧聯(lián)網(wǎng)金融分布式于數(shù)據(jù)中心技術(shù)范疇集中方式

分布式方式

災(zāi)備

災(zāi)備+多活負(fù)載均衡

兩地三中心

雙活、多活、數(shù)據(jù)中心同級平等

資源固化

資源池化靈活調(diào)配

保證RPO

追求RPO和RTO人工切換管理

資源調(diào)度切換自動化

面向分布式云計(jì)算的新一代容災(zāi)架構(gòu)的趨勢跨地域的分布式虛擬化數(shù)據(jù)中心，延伸傳統(tǒng)災(zāi)備中心功能分布式云數(shù)據(jù)中心雖然從物理上講也是在建同城或三中心，但從建設(shè)方向上看不再拘泥兩地三中心的概念，而是

更趨向平等、同級和平臺化，保證數(shù)據(jù)完整性、業(yè)務(wù)連續(xù)性不間斷提供服務(wù)、業(yè)務(wù)彈性和敏捷性、自動化。

虧聯(lián)網(wǎng)金融分布式于數(shù)據(jù)中心平臺技術(shù)架構(gòu)分布式數(shù)據(jù)中心同城災(zāi)備數(shù)據(jù)中心整體規(guī)劃基亍OPENSTACK開源于管理平臺多數(shù)據(jù)中心物理架構(gòu)數(shù)據(jù)中心數(shù)據(jù)存儲技術(shù)：分布式存儲共享存儲設(shè)備serversserversSAN網(wǎng)絡(luò)LAN網(wǎng)絡(luò)網(wǎng)絡(luò)機(jī)柜存儲機(jī)柜服務(wù)器機(jī)柜網(wǎng)絡(luò)機(jī)柜……服務(wù)器機(jī)柜傳統(tǒng)SAN集中存儲部署方案：■兩套系統(tǒng)：服務(wù)器、存儲整列■兩套網(wǎng)絡(luò)：以太網(wǎng)、FCSAN■兩套管理：虛機(jī)管理、磁盤管理serversFusionStorserversLAN網(wǎng)絡(luò)服務(wù)器機(jī)柜網(wǎng)絡(luò)機(jī)柜……FusionStor服務(wù)器機(jī)柜開放式分布式存儲部署方案：■一套系統(tǒng)，只有服務(wù)器系統(tǒng)■一套網(wǎng)絡(luò)，只有以太網(wǎng)■計(jì)算不存儲采用統(tǒng)一管理軟件FusionCloud，簡化管理，降低運(yùn)維工作量虛擬存儲技術(shù)參數(shù)

傳統(tǒng)集中存儲系統(tǒng)

分布式存儲系統(tǒng)

分布式存儲優(yōu)越之處

可擴(kuò)展性

性能及磁盤數(shù)量受控制器限制，可擴(kuò)展性有限

無縫線性擴(kuò)展

擴(kuò)容升級時(shí)無需更換硬件設(shè)備，無需遷移數(shù)據(jù)。

磁盤層面的負(fù)載均衡

磁盤間的負(fù)載高度不平衡

在所有磁盤間完美的均衡負(fù)載

降低磁盤故障幾率

重建時(shí)間

大約10小時(shí)每T

大約20分鐘每T

風(fēng)險(xiǎn)窗口極大縮短，降低了雙重故障的可能

重建開銷

在重建期間部分磁盤會經(jīng)受很大的負(fù)載壓力

重建的負(fù)載壓力均勻分布于整個(gè)系統(tǒng)

降低了雙重故障的風(fēng)險(xiǎn)

改進(jìn)了重建期間的性能

保護(hù)方式

一般在同一磁盤托架中

相同副本數(shù)據(jù)位于不同的設(shè)備模塊之中

降低了雙重故障的風(fēng)險(xiǎn)

控制器(模塊)故障

時(shí)的系統(tǒng)行為

單主控故障緩存機(jī)制失效，性能大幅下降。同時(shí)面臨雙重故障風(fēng)險(xiǎn)

模塊故障后系統(tǒng)冗余迅速重建，重建期間性能無下降。

降低了雙重故障的風(fēng)險(xiǎn)

故障期間仍然保持高性能。

建設(shè)成本

需要HBA卡、FC交換機(jī)，服務(wù)器磁盤浪費(fèi)。

充分利用服務(wù)器本地磁盤，無需HBA及FC設(shè)備。

總體成本低

數(shù)據(jù)中心數(shù)據(jù)復(fù)制技術(shù)：分布式存儲與傳統(tǒng)集中存儲的比較分布式存儲架構(gòu)說明

VM

重要應(yīng)用

X86

ServerVM

普通應(yīng)用1

VM

普通應(yīng)用2

VM

數(shù)據(jù)庫

VM

重要應(yīng)用

X86

ServerVM

普通應(yīng)用1

VM

普通應(yīng)用2

VM

數(shù)據(jù)庫

網(wǎng)絡(luò)虧聯(lián)

VM

重要應(yīng)用

X86

ServerVM

普通應(yīng)用1

VM

普通應(yīng)用2

VM

數(shù)據(jù)庫

基亍X86的分布式存儲系統(tǒng)

架構(gòu)特點(diǎn)：第一是計(jì)算不存儲的融合；第二是滿足大數(shù)據(jù)對每個(gè)節(jié)點(diǎn)存儲需求的線性增長；第三是滿足每個(gè)節(jié)點(diǎn)IO性能需求的線性增長。分布式存儲為外部主機(jī)提供存儲的自動負(fù)載均衡

虛擬機(jī)

x86物理主機(jī)

虛擬機(jī)

x86物理主機(jī)

虛擬機(jī)

x86物理主機(jī)

虛擬機(jī)

x86物理主機(jī)IPSAN?每次IO由多路徑軟件選擇承載該次IO的存儲節(jié)點(diǎn)（負(fù)責(zé)存儲系統(tǒng)與發(fā)起該IO的應(yīng)用服務(wù)器之間的通信），實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載均衡、節(jié)點(diǎn)間均衡負(fù)載?在存儲系統(tǒng)內(nèi)，系統(tǒng)根據(jù)忙閑程度選擇具體承載某IO的副本節(jié)點(diǎn)，獲得最佳性能的I/O負(fù)載平衡分布式存儲架構(gòu)具備超強(qiáng)的故障恢復(fù)能力以空閑的硬盤作為熱備,多對一重構(gòu)，且參不重構(gòu)的硬盤數(shù)通常丌超過10塊。熱備盤傳統(tǒng)RAID組Sparechunks分布式存儲重構(gòu)時(shí)間

可靠性 性能傳統(tǒng)RAID組 10小時(shí)/TB左右

重構(gòu)期間無保護(hù)，易造成數(shù)據(jù)丟失。重構(gòu)期間讀性能大幅降低。分布式存儲 20分鐘/TB左右

分布式存儲大大降低風(fēng)險(xiǎn)窗口。性能無影響。任意一塊磁盤故障，剩余全部磁盤都參不重構(gòu)，多對多重構(gòu)，過程無瓶頸。zone1zone2zone3site2?支持將所有的zone劃分至丌同的site?數(shù)據(jù)寫入時(shí)，將丌同副本分布在丌同的site中?允許同一個(gè)site整體故障而丌影響業(yè)務(wù)的正常運(yùn)行分布式存儲多數(shù)據(jù)中心解決方案zone1zone2zone3site1zone1zone2zone3site3數(shù)據(jù)中心計(jì)算技術(shù)：OPENSTACK

NOVA主流虛擬化平臺調(diào)度技術(shù)OpenstackOS云系統(tǒng)

OpenStackNovavCenter`ESXIVMVMVM`ESXIVMVMVM`ESXIVMVMVMCVM`CVKVMVMVM`CVKVMVMVM`CVKVMVMVMXenCenter`XenServerVMVMVM`XenServerVMVMVM`XenServerVMVMVMKVM`kvmVMVMVM`kvmVMVMVM`kvmVMVMVMCASplug-in VMwarePlug-in CitrixPlug-in KVMOpenstack

OS云操作系統(tǒng)能夠同時(shí)調(diào)度業(yè)界主流虛擬化平臺

CAS VMware Citrix KVM原理：通過為不同的虛擬化軟件開發(fā)特定的插件，實(shí)現(xiàn)對異構(gòu)虛擬化平臺的調(diào)度；

創(chuàng)建虛擬機(jī)

刪除虛擬機(jī)

重啟虛擬機(jī)

更改虛擬機(jī)

向用戶交付虛擬機(jī)時(shí)，屏蔽底層虛擬化差異

2核/4G/50GWindowsServer2008分布式數(shù)據(jù)中心基亍OPENSTACK開源于管理平臺單數(shù)據(jù)中心部署功能模塊數(shù)據(jù)中心網(wǎng)絡(luò)虧聯(lián)技術(shù)：建網(wǎng)模式的選擇數(shù)據(jù)中心網(wǎng)絡(luò)虧聯(lián)技術(shù)：建網(wǎng)模式的選擇網(wǎng)絡(luò)資源池化：交換矩陣（vFabric）交換矩陣混合Overlay模型

vSwitch支持VTEP功能，使VM接入VXLAN網(wǎng)絡(luò)。物理機(jī)接入VXLAN網(wǎng)絡(luò)，通過支持VTEP功能的Leaf設(shè)備來實(shí)現(xiàn)。其它Leaf無需支持VTEP。

N:1的核心（Spine）備份

分布式IP網(wǎng)關(guān)SpineLeafL2L3L3ECMPvSwitch管控平臺vSwitch vSwitchVM VM VMSpineLeafL2L3L3ECMP管控平臺vSwitch vSwitchVM VM網(wǎng)絡(luò)Overlay模型

Leaf支持VTEP功能，VM和物理機(jī)都通過Leaf設(shè)備來接入VXLAN網(wǎng)絡(luò)。

N:1的核心（Spine）備份

分布式IP網(wǎng)關(guān)名稱

支持者

方案簡述

產(chǎn)品形式

網(wǎng)絡(luò)虛擬化方式

數(shù)據(jù)新增

報(bào)頭長度

技術(shù)特點(diǎn)VXLAN

Cisco、VMware、HP、Citrix、RedHat、Broadcom

L2over

UDP

Cisco:N1000VBCM:Trident2其他：OpenvSwitch

VXLAN報(bào)頭

24bit

VNI

50Byte

不改變L2~L4報(bào)文結(jié)構(gòu)，現(xiàn)有網(wǎng)絡(luò)設(shè)備即可支持多路徑負(fù)載均衡。NVGRE

微軟、HP、Broadcom、

Dell、Emulex、Intel

L2over

GRE

微軟:Hyper-VvSwitchBCM:TridentEmulex:網(wǎng)卡

其他：OpenvSwitch

NVGRE報(bào)頭

24bit

VSI

42Byte

問題：改變了GRE報(bào)文頭，需要升級網(wǎng)絡(luò)設(shè)備才能支持多路徑負(fù)載均衡。

STT

Nicira(被Vmware收購)

無狀態(tài)TCP

vSwitch

STT報(bào)頭

64bitContext

ID

58~76Byte

問題：改變了TCP報(bào)文頭，當(dāng)前無商用芯片支持，僅VMware純虛擬化環(huán)境可用，產(chǎn)業(yè)生態(tài)脆弱。Cisco也不支持

Overlay三大技術(shù)流派，以VXLAN最為成熟，產(chǎn)業(yè)鏈極為健壯，是事實(shí)上的標(biāo)準(zhǔn)。服務(wù)器機(jī)房vSwitch vSwitch

vSwitch網(wǎng)絡(luò)機(jī)房分布式IP網(wǎng)關(guān)：混合Overlay模型SpineLeafL2L3L3ECMPvSwitchVM

業(yè)務(wù)1-網(wǎng)關(guān)

業(yè)務(wù)2-網(wǎng)關(guān)

業(yè)務(wù)3-網(wǎng)關(guān)

業(yè)務(wù)4-網(wǎng)關(guān)IP：

MAC:0011-1111-22220011-1111-33330011-2222-33330011-2222-5555VM VM VM

Leaf交換機(jī)屬于所有的業(yè)務(wù)區(qū)域

業(yè)務(wù)的IP網(wǎng)關(guān)——VM的IP網(wǎng)關(guān)存在于所有的vSwitch上，物理服務(wù)器的IP網(wǎng)關(guān)在支持VTEP功能的Leaf交換機(jī)上

Leaf交換機(jī)下的服務(wù)器服務(wù)于所有的業(yè)務(wù)區(qū)域。也就是說，服務(wù)器的部署位置丌受網(wǎng)絡(luò)的限制。

業(yè)務(wù)部署靈活，不位置無關(guān)。服務(wù)器資源池化業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4可在任意位置部署L2L3VCF控制器混合overlay模型中，Leaf交換機(jī)屬于所有的業(yè)務(wù)區(qū)域，業(yè)務(wù)的IP網(wǎng)關(guān)—VM的IP網(wǎng)關(guān)存在于所有的vSwitch上，物理服務(wù)器的IP網(wǎng)關(guān)在支持VTEP功能的Leaf交換機(jī)上，Leaf交換機(jī)下的服務(wù)器服務(wù)于所有的業(yè)務(wù)區(qū)域。也就是說，服務(wù)器的部署位置不受網(wǎng)絡(luò)的限制。業(yè)務(wù)部署靈活，與位置無關(guān)。

網(wǎng)絡(luò)機(jī)房服務(wù)器機(jī)房分布式IP網(wǎng)關(guān)—網(wǎng)絡(luò)Overlay模型SpineLeafL2L3L3ECMP

業(yè)務(wù)1-網(wǎng)關(guān)

業(yè)務(wù)2-網(wǎng)關(guān)

業(yè)務(wù)3-網(wǎng)關(guān)

業(yè)務(wù)4-網(wǎng)關(guān)IP：

MAC:0011-1111-22220011-1111-33330011-2222-33330011-2222-5555

Leaf交換機(jī)屬于所有的業(yè)務(wù)區(qū)域

業(yè)務(wù)的IP網(wǎng)關(guān)——VM和物理服務(wù)器的IP網(wǎng)關(guān)都在Leaf交換機(jī)上

Leaf交換機(jī)下的服務(wù)器服務(wù)于所有的業(yè)務(wù)區(qū)域。也就是說，服務(wù)器的部署位置丌受網(wǎng)絡(luò)的限制。

業(yè)務(wù)部署靈活，不位置無關(guān)。vSwitchVMvSwitchVMvSwitchVMvSwitchVM服務(wù)器資源池化業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4可在任意位置部署業(yè)務(wù)的IP網(wǎng)關(guān)—VM和物理服務(wù)器的IP網(wǎng)關(guān)都在Leaf交換機(jī)上，Leaf交換機(jī)下的服務(wù)器服務(wù)于所有的業(yè)務(wù)區(qū)域。也就是說，服務(wù)器的部署位置不受網(wǎng)絡(luò)的限制。業(yè)務(wù)部署靈活，與位置無關(guān)

雙活數(shù)據(jù)中心客戶端切換技術(shù)方式1：智能DNS全局站點(diǎn)選擇（GSS）GSS和負(fù)載均衡，后者對服務(wù)器健康檢查并通知GSSLayer3CoreISPA

Intranet ISPBAccessAggAccessDCA

DCBVLANA

00

00

GSSSNAT SNATL2Links

(GEor10GE)L3Links

(GEor10GE)ACE

ACE

基于“名字”：智能DNS解析

GSS）

基于“地址”：位置與地址分離協(xié)議（LISP）

L2Links

(GEor10GE)L3Links

(GEor10GE)Layer3CoreISPA

Intranet ISPBAccessAggAccessAggDCA

DCBVLANA

PublicNetworkPrefix RouteLocator10.10.10.1 A,B10.10.10.2 A,B… …10.10.10.5 C,

D10.10.10.6 C,

DIngress

Tunnel

IP_DA=AC,D321IP_DA=D 3客戶端切換技術(shù)方式2：在地址和路由上實(shí)現(xiàn)資源重定位（LISP：Locator-ID

Separation

Protocol）

基于“名字”：智能DNS解析

GSS）

基于“地址”：位置與地址分離協(xié)議（LISP）

基于傳統(tǒng)商業(yè)級集中式技術(shù)架構(gòu)構(gòu)建互聯(lián)網(wǎng)金融云數(shù)據(jù)中心及災(zāi)備中心雙控制器

metroCluster

Active-ActiveESX備份代理城域互聯(lián)RTT<5msFC集中存儲陣列集中監(jiān)控控制臺核心路由器/交換機(jī)ESX ESX ESX ESX ESX備份代理IP/BGP基亍NetappMetrocluster同城存儲級雙活+VmwareHA、FT主機(jī)高可用平臺級雙活實(shí)現(xiàn)機(jī)制DWDMDWDM雙控制器

metroClusterActive-Active

Agg1

Agg2

Agg3

Agg4

Agg1

Agg2

Agg3

Agg4

基亍NetappMetroCluster同城存儲層雙活數(shù)據(jù)syncmirror同步復(fù)制工作機(jī)制51DataCenter#1DataCenter#2

Host1Host2DC1Primary DC2PrimaryDC2MirrorFAS1 FAS2DC1MirrorWindow1VmwareESX1VmwareWindow2 ESX2光纖交換機(jī)

FCSwitch存儲控制器

光纖交換機(jī)

存儲控制器

FCSwitch距離小于100公里

FC磁盤柜

FC磁盤柜

光纖交換機(jī)

FCSwitch存儲系統(tǒng)控制器和磁盤柜均互為鏡像，完全物理冗余，并且互為失敗切換，為關(guān)鍵業(yè)務(wù)應(yīng)用提供最好的高可用性。

FC FCFC FCFC FC52對于非RPO=0的業(yè)務(wù)系統(tǒng)，推薦使用

VMware

vCenter

Site

RecoveryManager

(SRM)

與

NetApp

存儲的Snapmirror異步數(shù)據(jù)復(fù)制技術(shù)，能夠顯著縮短恢復(fù)時(shí)間目標(biāo)

(RTO)

和恢復(fù)點(diǎn)目標(biāo)

(RPO)

基亍Netapp

Snapmirror同城存儲級數(shù)據(jù)異步復(fù)制機(jī)制+Vmware

SRM站點(diǎn)自動恢復(fù)實(shí)現(xiàn)同城災(zāi)備切換1、現(xiàn)網(wǎng)絡(luò)設(shè)備采用Juiper設(shè)備，通過單第三方ISP上聯(lián)到level3運(yùn)營商2、現(xiàn)網(wǎng)采用靜態(tài)路由方案與ISP進(jìn)行互聯(lián)3、現(xiàn)網(wǎng)無DNS負(fù)載，DNS負(fù)載由運(yùn)營商實(shí)現(xiàn)災(zāi)備中心網(wǎng)絡(luò)架構(gòu)-現(xiàn)有網(wǎng)絡(luò)架構(gòu)災(zāi)備中心網(wǎng)絡(luò)架構(gòu)-采用JUIPER

MPLS二層VPN

VPLS技術(shù)構(gòu)建SiSi SiSi內(nèi)聯(lián)區(qū)Internet接入?yún)^(qū)外聯(lián)區(qū)三大運(yùn)營商Internet主中心 災(zāi)備中心SiSi SiSi內(nèi)聯(lián)區(qū)Internet接入?yún)^(qū)外聯(lián)區(qū)EBGP EBGPEBGP EBGP核心交換區(qū)生產(chǎn)應(yīng)用區(qū)核心交換區(qū)生產(chǎn)應(yīng)用區(qū)VPLSVPLS可以同時(shí)

支持同IP的VM遷移以及雙活

VM的應(yīng)用層

同步。網(wǎng)絡(luò)

采用VPLS方式進(jìn)行

支撐，網(wǎng)絡(luò)

自適應(yīng)軟件

架構(gòu)。

容災(zāi)網(wǎng)絡(luò)架構(gòu)演進(jìn)—新網(wǎng)絡(luò)架構(gòu)特點(diǎn)網(wǎng)絡(luò)架構(gòu)新特性：

1、Internet雙節(jié)點(diǎn)異地接入；

2、新增Internet邊界路由器，使用EBGP方案與第三方運(yùn)營商對接。

3、新增全局DNS負(fù)載設(shè)備。

優(yōu)勢：

1、互聯(lián)網(wǎng)接入雙級冗余，提高可用性。

2、采用EBGP

方案對接，實(shí)現(xiàn)靈活調(diào)度控制、提高網(wǎng)絡(luò)自愈能力。

3、GSLB實(shí)現(xiàn)業(yè)務(wù)級靈活調(diào)度，提高整體業(yè)務(wù)級自愈能力。

4、高擴(kuò)展架構(gòu)、實(shí)現(xiàn)網(wǎng)絡(luò)及業(yè)務(wù)分級解耦。未來擴(kuò)展將十分簡單。

容災(zāi)網(wǎng)絡(luò)架構(gòu)GSLB

容災(zāi)網(wǎng)絡(luò)架構(gòu)演進(jìn)-Internet

出口流量切換總結(jié)（互聯(lián)網(wǎng)金融災(zāi)備數(shù)據(jù)中心建設(shè)技術(shù)建議）總體災(zāi)備建設(shè)技術(shù)演進(jìn)思路59積極采用不同層面的災(zāi)備技術(shù)分步驟分層次滿足網(wǎng)金控股各業(yè)務(wù)系統(tǒng)基于未來互聯(lián)網(wǎng)金融云數(shù)據(jù)中心的建設(shè)戰(zhàn)略

首先應(yīng)充分挖掘并利用已有核心設(shè)備的潛力去構(gòu)建主數(shù)據(jù)中心和災(zāi)備數(shù)據(jù)中心的災(zāi)備基礎(chǔ)架構(gòu)

對于未來新業(yè)務(wù)的快速部署以及大幅降低采購成本，應(yīng)積極采用開源分布式云計(jì)算基礎(chǔ)架構(gòu)部署模式逐步替換基于集中式存儲模式的災(zāi)備部署模式

1）對于核心業(yè)務(wù)系統(tǒng)，建議采用Netapp