等保2.0時代下銀行新一代核心系統(tǒng)升級及容災(zāi)項目建設(shè)方案

1、 等保2.0時代下銀行新一代核心系統(tǒng)升級及容災(zāi)項目建設(shè)方案 | 周末送資料 【摘要】本文開始部分主要分享某銀行核心系統(tǒng)升級及容災(zāi)項目實踐經(jīng)驗，分析了核心業(yè)務(wù)系統(tǒng)的需求，根據(jù)現(xiàn)有資源和補(bǔ)充資源完成基礎(chǔ)架構(gòu)補(bǔ)充與設(shè)計。文章重點分享核心光纖交換機(jī)、核心存儲及核心備份系統(tǒng)的配置實施方案；此外還詳盡分享了核心系統(tǒng)同城容災(zāi)切換流程、存儲關(guān)鍵操作與狀態(tài)轉(zhuǎn)換，也對新核心系統(tǒng)及其容災(zāi)切換實踐工作進(jìn)行復(fù)盤。文章最后對項目后期的運(yùn)行維護(hù)、監(jiān)控變更等實際管理工作提出切實建議，希望以上文字能給從事相關(guān)工作的同行們項目建設(shè)提供參考和依據(jù)。【作者】張鵬，任職于某城市商業(yè)銀行運(yùn)行維護(hù)中心，從事存儲、備份、應(yīng)用負(fù)載等實施、運(yùn)維

2、與管理工作，曾參與行內(nèi)新一代核心系統(tǒng)上線、容災(zāi)建設(shè)切換等項目。1. 銀行新一代核心系統(tǒng)業(yè)務(wù)需求分析1.1 原有業(yè)務(wù)系統(tǒng)架構(gòu)以及核心系統(tǒng)面臨的挑戰(zhàn)某銀行核心系統(tǒng)自2006年投產(chǎn)以來，有效的支撐了某銀行業(yè)務(wù)的快速發(fā)展，但由于原有的核心系統(tǒng)受到傳統(tǒng)系統(tǒng)架構(gòu)的限制，以客戶為中心的設(shè)計程度較弱，參數(shù)化和產(chǎn)品組件化程度不高，在客戶體驗、產(chǎn)品創(chuàng)新、差異化定價、參數(shù)管理方面的需求響應(yīng)程度較弱。整體開發(fā)實施費(fèi)時費(fèi)力，周期過長，不能快速響應(yīng)業(yè)務(wù)部門的需求，對未來銀行的業(yè)務(wù)發(fā)展支撐能力不足。1.2 銀行新一代核心系統(tǒng)業(yè)務(wù)架構(gòu)設(shè)計原則核心系統(tǒng)在銀行業(yè)務(wù)體系中處于重要地位，通過新一代核心系統(tǒng)建設(shè)，從整體架構(gòu)、系統(tǒng)功能、

3、產(chǎn)品功能、數(shù)據(jù)支持和技術(shù)創(chuàng)新等各方面實現(xiàn)核心系統(tǒng)全方位能力的提升，進(jìn)一步滿足未來金融市場的需要。實現(xiàn)高度業(yè)務(wù)規(guī)則化、產(chǎn)品參數(shù)化、技術(shù)組件化、數(shù)據(jù)標(biāo)準(zhǔn)化的信息系統(tǒng)，以便能夠更高效、更敏捷、更安全地響應(yīng)業(yè)務(wù)創(chuàng)新發(fā)展的要求。1.3 新一代核心系統(tǒng)業(yè)務(wù)架構(gòu)建設(shè)規(guī)劃核心系統(tǒng)軟件在多法人、事業(yè)部制、客戶信息管理、產(chǎn)品工廠、交易核算分離、機(jī)構(gòu)柜員、公共業(yè)務(wù)、賬務(wù)處理、資產(chǎn)業(yè)務(wù)處理、負(fù)債業(yè)務(wù)處理、銀行卡業(yè)務(wù)處理、憑證式國債、支付結(jié)算業(yè)務(wù)處理、清算業(yè)務(wù)處理、內(nèi)部管控、集成接口等方面具備足夠的業(yè)務(wù)支持能力，同時滿足產(chǎn)品創(chuàng)新、差異化定價和利率市場化的要求。核心系統(tǒng)支持分層、松耦合、面向服務(wù)的SOA架構(gòu)，以適應(yīng)IT系

4、統(tǒng)、服務(wù)、產(chǎn)品、流程變化的能力；平臺需滿足可靠性、可維護(hù)性、可移植性、高可用性、系統(tǒng)稽核性、安全性、開放性、擴(kuò)展性等非功能性需求；系統(tǒng)性能需求主要包括：對集群的支持、文件傳輸方式的要求、多節(jié)點應(yīng)用部署能力、批量控制、接口性能、并發(fā)度控制、數(shù)據(jù)庫幾個方面?；谟布O(shè)備的拓展，核心系統(tǒng)應(yīng)能夠提供1.5億賬戶數(shù)下的支持與服務(wù)；數(shù)據(jù)標(biāo)準(zhǔn)要求：符合某銀行數(shù)據(jù)標(biāo)準(zhǔn)需求，實施的設(shè)計方案要符合某銀行數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)架構(gòu)及數(shù)據(jù)模型應(yīng)符合某銀行相關(guān)IT規(guī)范及數(shù)據(jù)標(biāo)準(zhǔn)的要求。核心系統(tǒng)軟件還具備高穩(wěn)定性、高可靠性、高安全性、高性能等非功能性要求。在技術(shù)能力上需要滿足以下特征：支持集群部署、靈活的架構(gòu)設(shè)計、組件化的應(yīng)用、

5、7*24小時不間斷服務(wù)能力、數(shù)據(jù)安全管理、快捷高效的二次開發(fā)、詳盡的產(chǎn)品文檔支持、全面地運(yùn)維監(jiān)控等。2. 銀行新一代核心系統(tǒng)基礎(chǔ)架構(gòu)整體設(shè)計2.1 原有核心系統(tǒng)基礎(chǔ)架構(gòu)原有核心系統(tǒng)如圖1所示，核心系統(tǒng)以小型機(jī)為主，核心存儲為VMAX40k，承載核心系統(tǒng)數(shù)據(jù)庫、CICS中間件、MCP及ESB等系統(tǒng)，為適應(yīng)架構(gòu)、性能、數(shù)據(jù)標(biāo)準(zhǔn)、IT規(guī)范與數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)能力等不斷變化的要求，需要設(shè)計并搭建新一代核心系統(tǒng)基礎(chǔ)架構(gòu)。圖1：原有核心系統(tǒng)基礎(chǔ)架構(gòu)2.2 新一代核心系統(tǒng)基礎(chǔ)架構(gòu)資源補(bǔ)充與設(shè)計新一代核心業(yè)務(wù)系統(tǒng)采用的是某核心廠商的產(chǎn)品，按照產(chǎn)品功能分為核心模塊、卡模塊、前端模塊、報表模塊，按照數(shù)據(jù)不同特性將核心

6、數(shù)據(jù)劃分為四個數(shù)據(jù)庫。應(yīng)用和數(shù)據(jù)庫安裝在目前較為成熟的AIX 7.1 和 RedHat 6.8操作系統(tǒng)中，數(shù)據(jù)庫采用的是DB2 10.5，報表應(yīng)用的中間件使用的是WAS 8.5，其他模塊應(yīng)用未使用單獨(dú)的中間件產(chǎn)品。圖2是核心系統(tǒng)整體的邏輯架構(gòu)圖：圖2：新一代核心系統(tǒng)邏輯架構(gòu)圖核心系統(tǒng)服務(wù)發(fā)布核心系統(tǒng)對外提供服務(wù)方式主要分為2種，一種是間接訪問方式：網(wǎng)上銀行、手機(jī)銀行等外圍系統(tǒng)訪問發(fā)布在ESB（企業(yè)服務(wù)總線）的核心系統(tǒng)服務(wù)。第二種直接訪問方式：柜面系統(tǒng)、ESB、BANCS LINK直接訪問核心業(yè)務(wù)系統(tǒng)服務(wù)。第一種方式ESB通過發(fā)布通用的Web services的接口，減少外圍的報文格式轉(zhuǎn)換，提高

7、了外圍系統(tǒng)的改造工作量，提高了外圍系統(tǒng)的接口調(diào)用的穩(wěn)定率。采用第二種方法的系統(tǒng)屬于調(diào)用接口較為復(fù)雜或與核心系統(tǒng)報文接口相似的系統(tǒng)，這類系統(tǒng)一般不適合通過ESB進(jìn)行調(diào)用。核心系統(tǒng)四節(jié)點多活模式核心系統(tǒng)系統(tǒng)對外提供服務(wù)采用四節(jié)點多活模式，四節(jié)點中任意節(jié)點都可獨(dú)立提供全部的核心聯(lián)機(jī)服務(wù)。ESB（企業(yè)服務(wù)總線）按照一對一原則與核心系統(tǒng)應(yīng)用進(jìn)行連接，ESB又將自身的服務(wù)發(fā)布在負(fù)載均衡設(shè)備上，外圍系統(tǒng)只連接負(fù)載均衡設(shè)備，負(fù)載均衡設(shè)備采用權(quán)重輪詢算法將外部的訪問請求均衡的分布到各個ESB節(jié)點，最終均衡的訪問到核心應(yīng)用的四個節(jié)點中。一旦某一ESB節(jié)點、核心應(yīng)用節(jié)點出現(xiàn)問題，通過負(fù)載均衡關(guān)閉對應(yīng)應(yīng)用通過即可，不

8、影響其他節(jié)點提供對外服務(wù)。核心系統(tǒng)日庫、夜庫、卡庫、報表庫功能核心數(shù)據(jù)庫采用DB2 v10.5，主要應(yīng)用對外服務(wù)主要由日庫和夜庫、卡庫、報表庫四個數(shù)據(jù)庫組成。日庫承載全部業(yè)務(wù)交易數(shù)據(jù)；夜庫承載每天日庫批處理過程中發(fā)生的交易數(shù)據(jù)，當(dāng)批處理完成后夜庫數(shù)據(jù)再匯入日庫，卡庫承載卡相關(guān)業(yè)務(wù)，通過AIX HACMP構(gòu)建的HA進(jìn)行數(shù)據(jù)庫的第一層保護(hù)。通過數(shù)據(jù)庫的DB2 HADR技術(shù)作為第二層保護(hù)，DB2 HADR將生產(chǎn)庫的數(shù)據(jù)實時復(fù)制到目標(biāo)數(shù)據(jù)庫，形成生產(chǎn)數(shù)據(jù)庫的只讀庫,只讀庫可以承載一部分查詢業(yè)務(wù)，并且當(dāng)生產(chǎn)庫發(fā)生故障時，也可以激活只讀庫為可寫庫，起到生產(chǎn)庫備機(jī)的作用，目前HADR庫未連接任務(wù)應(yīng)用。參考庫

9、作為批處理過程中對日庫數(shù)據(jù)的參考，數(shù)據(jù)來源于批處理前對日庫的存儲快照。報表庫的實時數(shù)據(jù)是通過CDC數(shù)據(jù)實時同步軟件復(fù)制日庫、夜庫、卡庫相關(guān)表實現(xiàn)的，同時報表庫每日核心批量完成后，會加工卸數(shù)庫的表的數(shù)據(jù)，并將加工后的結(jié)果存入報表庫中。隨著自有產(chǎn)權(quán)的新數(shù)據(jù)中心建成，生產(chǎn)數(shù)據(jù)中心、同城容災(zāi)以及異地容災(zāi)數(shù)據(jù)中心均發(fā)生變化，同城容災(zāi)規(guī)劃架構(gòu)如圖3，新一代核心系統(tǒng)項目在新數(shù)據(jù)中心投入必要主機(jī)、存儲與網(wǎng)絡(luò)資源，確保新一代核心系統(tǒng)基礎(chǔ)架構(gòu)資源方面能夠滿足功能要求、性能需求、數(shù)據(jù)標(biāo)準(zhǔn)要求以及穩(wěn)定、可靠、安全等非功能性要求。圖3：新一代核心系統(tǒng)同城容災(zāi)架構(gòu)圖同城、異地容災(zāi)數(shù)據(jù)中心存儲資源，需要對原有數(shù)據(jù)中心基礎(chǔ)架

10、構(gòu)存儲資源進(jìn)行擴(kuò)容、搬遷利舊重新配置等工作，最終實現(xiàn)新的兩地三中心架構(gòu)。如圖4兩地三中心存儲容災(zāi)架構(gòu)所示：綠色為現(xiàn)有存儲資源，橘色為需要搬遷或重新部署后補(bǔ)充進(jìn)存儲資源池內(nèi)使用。核心存儲部分除Vmax200k新購安裝之外，其余Vmax40k都需要擴(kuò)容及搬遷、重配置。圖4：兩地三中心存儲容災(zāi)資源補(bǔ)充架構(gòu)圖3. 核心存儲及備份方案3.1 核心存儲光纖交換機(jī)實施方案核心存儲光纖交換機(jī)型號為F96，兩臺設(shè)備組成獨(dú)立的Fabric網(wǎng)絡(luò)，考慮到核心主機(jī)訪問生產(chǎn)數(shù)據(jù)傳輸、備份網(wǎng)絡(luò)（SAN）數(shù)據(jù)傳輸與同城容災(zāi)存儲同步復(fù)制數(shù)據(jù)三部分的需求，在FOS層將光纖交換機(jī)劃分為三個虛擬邏輯交換機(jī)：包括一個核心存儲交換機(jī)、一

11、個備份用交換機(jī)和一個存儲復(fù)制用交換機(jī)，每個邏輯交換機(jī)有各自獨(dú)立的Zone配置文件，僅對存儲復(fù)制用邏輯交換機(jī)主中心和容災(zāi)中心間進(jìn)行級聯(lián)，簡化級聯(lián)zone配置，便于故障的迅速定位與排查，也便于存儲管理員、備份管理員和容災(zāi)管理員等不同職責(zé)權(quán)限人員進(jìn)行獨(dú)立管理與變更。三組邏輯交換機(jī)視圖如下，光模塊可以在三組邏輯交換機(jī)之間調(diào)整（調(diào)整過程中會被disable掉）核心存儲邏輯交換機(jī)：均為核心主機(jī)數(shù)據(jù)訪問HBA卡端口與核心存儲前端口圖5：核心存儲邏輯交換機(jī)核心備份邏輯交換機(jī)：均為備份主機(jī)HBA卡端口、物理帶庫drive端口和虛擬帶庫前端口圖6：核心備份邏輯交換機(jī)存儲復(fù)制邏輯交換機(jī)：均為交換機(jī)級聯(lián)端口與存儲復(fù)制

12、RDF端口圖7：存儲復(fù)制邏輯交換機(jī)3.2 核心存儲實施與配置方案核心存儲在實施與配置早期，需要根據(jù)新購存儲的自身情況，按照生命周期管理原則，規(guī)劃整理好核心系統(tǒng)的基本分配需求、查詢或保護(hù)克隆需求、同城容災(zāi)系統(tǒng)需求以及備份需求等。當(dāng)前核心存儲配置如表1：表1：核心存儲配置表主中心存儲Vmax200k配置同城容災(zāi)Vmax40k擴(kuò)容后配置異地容災(zāi)Vmax40k擴(kuò)容配置引擎配置雙引擎（每個引擎512G內(nèi)存）雙引擎（每個引擎256G內(nèi)存）單引擎（每個引擎192G內(nèi)存）硬盤托架120槽位2.5英寸硬盤托架4個15槽位3.5英寸硬盤托架24個15槽位3.5英寸硬盤托架8個（待擴(kuò)容）硬盤配置2.5” 960GB

13、 SSD閃盤50塊（含2塊熱備），2.5” 10K 600GB磁盤196塊（含4塊熱備）；3.5”800GB SSD閃盤18塊（含2塊熱備），3.5”400GB SSD閃盤74塊（含2塊熱備），3.5” 15K 600GB磁盤204塊（含12塊熱備）；3.5” 10K 900GB磁盤48塊（含4塊熱備）；待擴(kuò)容前端口16個16G前端口32個8G前端口16個8G前端口本地數(shù)據(jù)復(fù)制30T本地數(shù)據(jù)復(fù)制軟件容量許可30T本地數(shù)據(jù)復(fù)制軟件容量許可SRDF遠(yuǎn)程數(shù)據(jù)保護(hù)30T SRDF遠(yuǎn)程數(shù)據(jù)保護(hù)容量許可30T SRDF遠(yuǎn)程數(shù)據(jù)保護(hù)容量許可遠(yuǎn)程數(shù)據(jù)保護(hù)容量許可存儲池SSD閃盤使用RAID5，形成可用空間30

14、TB存儲池；SAS硬盤使用RAID10，形成可用空間50TB的存儲池；SSD閃盤使用RAID5，形成可用空間30TB存儲池；SAS硬盤使用RAID10，形成可用空間50TB的存儲池；SAS硬盤使用RAID5，形成可用80TB存儲池；（待擴(kuò)容）邏輯卷每個LUN大小統(tǒng)一為200GB每個LUN大小統(tǒng)一為200GB每個LUN大小統(tǒng)一為200GB3.2.1 核心存儲基本分配核心存儲基本分配考慮功能、容量、性能需求，劃分如表2，標(biāo)注共享部分還需要分配10GB HDD邏輯磁盤作為PowerHA心跳磁盤使用。表2：核心存儲分配表存儲設(shè)備用途LUN大小個數(shù)磁盤類型備注主中心存儲Vmax200k核心數(shù)據(jù)庫主機(jī)20

15、0GB21SSD共享（附心跳盤）核心數(shù)據(jù)庫備機(jī)核心數(shù)據(jù)庫HADR只讀庫200GB21HDD卡庫主機(jī)200GB9SSD共享（附心跳盤）卡庫備機(jī)卡庫備機(jī)只讀200GB9SSD參考庫主機(jī)200GB17HDD共享（附心跳盤）參考庫備機(jī)卸數(shù)庫主機(jī)200GB17HDD共享（附心跳盤）卸數(shù)庫備機(jī)報表庫主機(jī)200GB10HDD共享（附心跳盤）報表庫備機(jī)CDC主機(jī)200GB2HDD共享（附心跳盤）CDC備機(jī)200GB同城容災(zāi)中心存儲Vmax40k核心數(shù)據(jù)庫主機(jī)_同城容災(zāi)200GB21HDD卡庫主機(jī)_同城容災(zāi)200GB9HDD參考庫主機(jī)_同城容災(zāi)200GB17HDD卸數(shù)庫主機(jī)_同城容災(zāi)200GB17HDD報表庫主

16、機(jī)_同城容災(zāi)200GB10HDDCDC主機(jī)_同城容災(zāi)200GB2HDD異地容災(zāi)中心存儲Vmax40k核心數(shù)據(jù)庫主機(jī)_異地容災(zāi)200GB21HDD卡庫主機(jī)_異地容災(zāi)200GB9HDD3.2.2 核心存儲Clone需求配置核心系統(tǒng)數(shù)據(jù)庫在指定時間點對核心數(shù)據(jù)庫存儲數(shù)據(jù)發(fā)起克隆，對核心數(shù)據(jù)庫影響時間極短（從核心數(shù)據(jù)庫Suspend、克隆命令完成，到核心數(shù)據(jù)庫恢復(fù)的秒級時間），克隆的目標(biāo)數(shù)據(jù)可用于備份、功能測試和報表功能，新一代核心系統(tǒng)中除上述用途外，也采用克隆數(shù)據(jù)進(jìn)行容災(zāi)切換前的數(shù)據(jù)保護(hù)和準(zhǔn)生產(chǎn)環(huán)境搭建及核心數(shù)據(jù)庫的投產(chǎn)測試等功能，如表3所示。用作保護(hù)的克隆功能，區(qū)別于其他用途，需要確認(rèn)克隆數(shù)據(jù)10

17、0%同步完成，再對克隆源端數(shù)據(jù)讀寫；另外需要準(zhǔn)備克隆的反向刷新腳本，一旦源端數(shù)據(jù)被破壞，需要對調(diào)克隆源端、目標(biāo)端卷ID，用做克隆數(shù)據(jù)進(jìn)行恢復(fù)源數(shù)據(jù)卷，謹(jǐn)慎保存反向克隆腳本。表3：核心存儲Clone配置表存儲設(shè)備克隆數(shù)據(jù)庫克隆數(shù)據(jù)庫用途克隆庫來源反向clone主中心存儲Vmax200k參考庫主機(jī)核心數(shù)據(jù)庫批前克隆備份核心數(shù)據(jù)庫主機(jī)需要卸數(shù)庫主機(jī)核心數(shù)據(jù)庫批后克隆備份、卸數(shù)核心數(shù)據(jù)庫主機(jī)、卡庫主機(jī)需要核心數(shù)據(jù)庫HADR主機(jī)在同城容災(zāi)搭建之前、預(yù)防生產(chǎn)庫主、備機(jī)故障，同城容災(zāi)搭建后，會遷移至其他存儲，并取消clone卡庫備機(jī)只讀不需要核心準(zhǔn)生產(chǎn)主機(jī)1.用于核心庫、卡庫準(zhǔn)生產(chǎn)系統(tǒng)2.同城容災(zāi)切換前數(shù)據(jù)

18、保護(hù)1.卸數(shù)庫主機(jī)2.核心數(shù)據(jù)庫主機(jī)不需要同城容災(zāi)中心存儲Vmax40k參考庫主機(jī)_同城容災(zāi)同城容災(zāi)核心數(shù)據(jù)庫批前克隆備份同城容災(zāi)核心數(shù)據(jù)庫主機(jī)需要卸數(shù)庫主機(jī)_同城容災(zāi)同城容災(zāi)核心數(shù)據(jù)庫批后克隆備份、卸數(shù)同城容災(zāi)核心數(shù)據(jù)庫主機(jī)、卡庫主機(jī)需要異地容災(zāi)中心存儲Vmax40k暫無需求3.2.3 核心存儲容災(zāi)配置方案容災(zāi)規(guī)劃設(shè)計的基本策略是“大同城、小異地、以用代備、資源復(fù)用”，新建主生產(chǎn)中心承擔(dān)生產(chǎn)系統(tǒng)、內(nèi)部辦公系統(tǒng)、準(zhǔn)生產(chǎn)驗證、研發(fā)測試等環(huán)境的設(shè)備運(yùn)行與維護(hù)工作，分支行網(wǎng)點、社保等三方機(jī)構(gòu)、網(wǎng)上銀行等外聯(lián)線路的主要接入點；同城容災(zāi)中心承擔(dān)關(guān)鍵系統(tǒng)的容災(zāi)運(yùn)行服務(wù)，按應(yīng)用系統(tǒng)風(fēng)險度評估結(jié)果，差異化配置

19、同城容災(zāi)資源，能快速恢復(fù)保證網(wǎng)點、線上業(yè)務(wù)正常服務(wù)，監(jiān)管報送類系統(tǒng)能夠及時報送，并滿足監(jiān)管對于RTO、RPO的基本要求，能夠在業(yè)務(wù)高峰期，作為輔助資源分流業(yè)務(wù)；異地容災(zāi)中心第一階段建立核心系統(tǒng)等關(guān)鍵生產(chǎn)系統(tǒng)的數(shù)據(jù)級容災(zāi)，確保關(guān)鍵生產(chǎn)數(shù)據(jù)安全，滿足監(jiān)管最低要求；第二階段實現(xiàn)應(yīng)用級容災(zāi)，在極端情況下，能夠恢復(fù)網(wǎng)點基本營業(yè)，保障基本的對客戶服務(wù)能力，滿足當(dāng)前監(jiān)管要求。核心系統(tǒng)同城容災(zāi)采用SRDF/S將主中心核心存儲數(shù)據(jù)同步復(fù)制到同城容災(zāi)數(shù)據(jù)中心；異地容災(zāi)通過SRDF/A異步復(fù)制，將同城數(shù)據(jù)中心數(shù)據(jù)復(fù)制到異地容災(zāi)中心，作為數(shù)據(jù)保護(hù)與驗證。如圖8所示，同城與異地容災(zāi)存儲配置如下：圖8：同城與異地容災(zāi)存儲

20、配置圖創(chuàng)建與使用同城和異地存儲復(fù)制關(guān)系步驟需要如下五步：存儲間建立復(fù)制RA端口連接同城容災(zāi)中心間通過DWDM設(shè)備連接兩中心F96光纖交換機(jī)，并在兩個獨(dú)立的光纖網(wǎng)絡(luò)中，配置兩存儲RA端口zone，確認(rèn)存儲端口物理連通；類似，異地容災(zāi)中心之間配置SAN Router R06通過WAN網(wǎng)，連接同城中心與異地中心存儲端口。存儲內(nèi)創(chuàng)建SRDF RA端口組根據(jù)存儲配置文件中端口的定義，選擇屬性為RF，且與對端連通的端口作為RA組成員，主中心存儲4號RA端口組包含1e/2e/3e/4e的port7四個端口，對應(yīng)的同城中心同步復(fù)制4號RA端口組包含7f/8f/9/10h的port0四個端口；異步復(fù)制在同城、異

21、地中心的端口組號為30，分別包含8h/9f的port0和7h/8h的port0。存儲內(nèi)將復(fù)制邏輯卷組成DG按照業(yè)務(wù)不同，將需要復(fù)制的邏輯卷放入該業(yè)務(wù)DG中，根據(jù)復(fù)制關(guān)系，指定DG在存儲關(guān)系中的類型，目前通常設(shè)置為動態(tài)RDF類型，便于隨時改變復(fù)制方向。存儲間建立復(fù)制關(guān)系源卷R1與目標(biāo)卷R2建立好pair對應(yīng)關(guān)系后，指定復(fù)制關(guān)系的本端存儲與遠(yuǎn)端存儲，和復(fù)制需要的RA端口組。發(fā)起、斷開數(shù)據(jù)同步，驗證同步數(shù)據(jù)通過對之前定義的DG操作，可以發(fā)起組內(nèi)多個邏輯卷的數(shù)據(jù)復(fù)制，查詢數(shù)據(jù)復(fù)制速率與狀態(tài)，斷開數(shù)據(jù)復(fù)制關(guān)系，使遠(yuǎn)端邏輯卷Write Enable，以及配合業(yè)務(wù)系統(tǒng)進(jìn)行的存儲復(fù)制數(shù)據(jù)切換、回切等動作。配置

22、上值得關(guān)注的同城中心的邏輯卷，同時作為主中心的目標(biāo)卷與異地中心的源卷，因此該邏輯卷組成的DG屬性為R21，這種處于復(fù)制關(guān)系中間結(jié)點的存儲，不但對RDF端口數(shù)量上有要求，對存儲前端Cache容量也有相應(yīng)的要求，配置不當(dāng)會影響提供生產(chǎn)服務(wù)的存儲性能。3.3 核心備份系統(tǒng)實施與配置方案按照新一代核心系統(tǒng)簽署的數(shù)據(jù)管理協(xié)議，兼顧在2019年12月1日正式實施的等保2.0備份與災(zāi)難恢復(fù)的規(guī)定，核心備份系統(tǒng)對業(yè)務(wù)數(shù)據(jù)、系統(tǒng)數(shù)據(jù)和系統(tǒng)軟件應(yīng)進(jìn)行基本的本地備份與恢復(fù)，此外隨著測評級別的提高，對數(shù)據(jù)和業(yè)務(wù)的連續(xù)性要求也隨之提高，除備份之外，還要有數(shù)據(jù)和業(yè)務(wù)系統(tǒng)的本地高可用和異地容災(zāi)手段，這兩部分可以通過集群軟件

23、、數(shù)據(jù)庫復(fù)制軟件和存儲復(fù)制等功能實現(xiàn)。圖9：核心備份系統(tǒng)架構(gòu)圖如圖9核心備份系統(tǒng)架構(gòu)圖所示：左右兩側(cè)主、備數(shù)據(jù)中心備份系統(tǒng)均配有備份服務(wù)器集群，通過LAN和SAN兩個網(wǎng)絡(luò)對該中心服務(wù)器進(jìn)行本地的備份與恢復(fù)；等保2.0二級技術(shù)要求中需要的異地定時備份由虛擬帶庫DataDomain的DDBoost Association來實現(xiàn)，配合NetBackup備份軟件對于服務(wù)器備份策略的生命周期SLP實現(xiàn)備份數(shù)據(jù)到容災(zāi)端備份服務(wù)器的Replication復(fù)制和備份數(shù)據(jù)在本地物理帶庫落地備份。為了降低重復(fù)數(shù)據(jù)備份的比率，減小以太網(wǎng)絡(luò)的數(shù)據(jù)傳輸壓力，安裝了DDBoost OST插件的服務(wù)器會在傳輸備份數(shù)據(jù)之前，

24、通過計算與對比，規(guī)避重復(fù)數(shù)據(jù)的傳輸，實現(xiàn)源端去重功能。除此之外，NBU備份服務(wù)器通過SAN網(wǎng)絡(luò)識別存儲設(shè)備上映射給服務(wù)器的邏輯卷，以只讀方式將數(shù)據(jù)傳輸至虛擬帶庫或虛擬帶庫，也會減少備份任務(wù)耗時，減少物理磁帶消耗，同時也大大降低備份LAN網(wǎng)絡(luò)的數(shù)據(jù)傳輸壓力（隨著備份次數(shù)增多，帶寬可減少90%以上）。4. 容災(zāi)切換流程與切換實踐經(jīng)驗監(jiān)管部門對于實現(xiàn)銀行關(guān)鍵業(yè)務(wù)與服務(wù)渠道的高可用性保障提出了明確的要求，并且將銀行IT系統(tǒng)的容災(zāi)能力納入了相關(guān)監(jiān)管指標(biāo)，根據(jù)監(jiān)管的要求，以及我行的實際情況，2019年科技部門啟動了圍繞新核心系統(tǒng)的兩地三中心容災(zāi)體系建設(shè)工作，并列入本年度科技重點工作。為達(dá)到既要落實監(jiān)管要求

25、與保障生產(chǎn)安全，又要有效控制成本的工作目標(biāo)，協(xié)同風(fēng)險、合規(guī)、內(nèi)審以及主要業(yè)務(wù)部門，針對行內(nèi)當(dāng)前系統(tǒng)，以保障核心業(yè)務(wù)、關(guān)鍵對客服務(wù)渠道、監(jiān)管報送等為主要目標(biāo)，設(shè)計了配套的評估流程與算法，經(jīng)過量化評估，最終確定，在2019年度首期實現(xiàn)，36套應(yīng)用系統(tǒng)實施同城容災(zāi)，復(fù)雜程度最高的核心系統(tǒng)，容災(zāi)切換步驟將會作為其他應(yīng)用系統(tǒng)標(biāo)準(zhǔn)和參考。4.1 核心系統(tǒng)同城容災(zāi)主要切換流程核心系統(tǒng)同城容災(zāi)切換分為兩個過程，主中心向容災(zāi)中心切換和容災(zāi)中心向主中心切換。切換步驟類似，以主中心向容災(zāi)中心為例，切換步驟分為切換前檢查、生產(chǎn)環(huán)境服務(wù)停止、切換并啟動容災(zāi)服務(wù)、業(yè)務(wù)測試及環(huán)境檢查幾個步驟。圖10：核心系統(tǒng)同城容災(zāi)切換流

26、程圖切換前檢查當(dāng)日核心批量和備份結(jié)束后，檢查生產(chǎn)系統(tǒng)健康情況，并在準(zhǔn)生產(chǎn)環(huán)境克隆一份當(dāng)日最新核心數(shù)據(jù)庫做一份邏輯保護(hù)（該步驟為提前追數(shù)），當(dāng)以外發(fā)生時，可以使用克隆數(shù)據(jù)反向刷新進(jìn)生產(chǎn)系統(tǒng)作為數(shù)據(jù)還原。后續(xù)應(yīng)用環(huán)境進(jìn)行快照備份，需要在全閃NAS中做一份當(dāng)日最新的snapshot；后續(xù)是容災(zāi)環(huán)境健康檢查與生產(chǎn)到容災(zāi)中間環(huán)境的網(wǎng)絡(luò)鏈路檢查，包括SAN環(huán)境以及波分設(shè)備的連通性；生產(chǎn)環(huán)境服務(wù)停止并行完成下面五項內(nèi)容：停止所有外圍系統(tǒng)、停止所有通過CDC實現(xiàn)的日、夜、卡庫邏輯復(fù)制、停止企業(yè)服務(wù)總線信號燈、停止企業(yè)服務(wù)總線負(fù)載均衡流量、停止圖形前端信號燈，之后串行執(zhí)行核心應(yīng)用系統(tǒng)的停止，檢查核心數(shù)據(jù)庫和卡庫

27、流水表，停止核心數(shù)據(jù)庫和卡庫，準(zhǔn)生產(chǎn)克隆數(shù)據(jù)一份日、夜、卡庫實現(xiàn)邏輯保護(hù)，完成后主生產(chǎn)中心到容災(zāi)存儲的同步復(fù)制斷開并對調(diào)兩生產(chǎn)中心的復(fù)制方向；切換并啟動容災(zāi)服務(wù)開通網(wǎng)絡(luò)主中心到容災(zāi)中心的網(wǎng)絡(luò)VLAN之后，容災(zāi)端主機(jī)核對并更新VG信息之后，會啟動核心數(shù)據(jù)庫和卡庫，再次比對檢查數(shù)據(jù)庫的流水表，與之前主中心結(jié)果比對一直之后，啟動核心數(shù)據(jù)庫應(yīng)用，啟動數(shù)據(jù)庫CDC同步復(fù)制，啟動ESB信號燈和負(fù)載均衡流量控制，開啟外圍業(yè)務(wù)系統(tǒng)，開啟圖形前端節(jié)點信號燈業(yè)務(wù)測試及環(huán)境檢查業(yè)務(wù)測試完成之后，可以發(fā)起核心存儲由容災(zāi)中心到主中心的反向數(shù)據(jù)復(fù)制，檢查確認(rèn)存儲同步復(fù)制的方向后，也就完成主中心向容災(zāi)中心的切換。4.2 核

28、心存儲同城容災(zāi)切換主要操作與狀態(tài)轉(zhuǎn)換步驟1 生產(chǎn)到容災(zāi)中間網(wǎng)絡(luò)鏈路檢查及SRDF狀態(tài)查詢圖9：同城容災(zāi)存儲切換前狀態(tài)步驟2 存儲同步復(fù)制斷開split圖10：同城容災(zāi)存儲同步復(fù)制斷開狀態(tài)步驟3 存儲同步復(fù)制方向?qū)φ{(diào)swap圖10：同城容災(zāi)存儲swap動作步驟4 核心存儲復(fù)發(fā)起數(shù)據(jù)同步復(fù)制（JB原生產(chǎn)數(shù)據(jù)會被覆蓋）establish圖11：同城容災(zāi)存儲swap后發(fā)起同步狀態(tài)4.3 同城容災(zāi)切換實踐經(jīng)驗總結(jié)核心系統(tǒng)存儲同城容災(zāi)切換演練完成后，有下面幾點還是值得復(fù)盤的：第一、同城容災(zāi)切換過程中，存儲同步復(fù)制通過split命令斷開后，主中心與容災(zāi)中心數(shù)據(jù)均為可以讀寫狀態(tài)，如果容災(zāi)端驗證數(shù)據(jù)的過程中，主

29、中心數(shù)據(jù)被更改，將失去最直接的一份數(shù)據(jù)保護(hù)。為保護(hù)主中心生產(chǎn)數(shù)據(jù)不被破壞，存儲采用failover命令去切換存儲，這樣在R2端提供生產(chǎn)服務(wù)同時，R1端數(shù)據(jù)將保持只讀狀態(tài)，補(bǔ)充示意圖：圖12：同城容災(zāi)存儲切換采用failover狀態(tài)第二、對于主中心與容災(zāi)中心的波分DWDM線路要實時進(jìn)行監(jiān)控與冗余性檢查主中心與容災(zāi)中心的存儲復(fù)制是通過波分設(shè)備DWDM實現(xiàn)的，當(dāng)波分之間線路不穩(wěn)定，造成延時大或者時斷時續(xù)的情況時，輕則影響存儲同步復(fù)制的傳輸速度，重則會造成存儲設(shè)備的RDF端口Partitioned，影響切換動作而且恢復(fù)時間不可控；數(shù)據(jù)通過下面這條路徑傳輸?shù)倪^程中，監(jiān)控盡可能布置在存儲設(shè)備、SAN交換機(jī)

30、和波分設(shè)備上；數(shù)據(jù)傳輸路徑：主中心存儲-主中心SAN交換機(jī)-經(jīng)跳線架-主中心波分-運(yùn)營商線路-容災(zāi)中心波分-光纖直連-容災(zāi)中心SAN交換機(jī)-容災(zāi)中心存儲存儲設(shè)備可以通過symrdf ping/symsan/symrdf命令檢查遠(yuǎn)端設(shè)備連通性，連接端口狀態(tài)，以及RDF pairs狀態(tài)表4：同城容災(zāi)存儲切換命令檢查監(jiān)控表光線交換機(jī)可以通過fcping和zonevalidate表5：同城容災(zāi)光纖交換機(jī)檢查監(jiān)控表5. 項目效果5.1 新一代核心業(yè)務(wù)系統(tǒng)上線運(yùn)行情況新一代核心系統(tǒng)的建設(shè)是某銀行成立以來建設(shè)規(guī)模最大的科技工程，堪稱其發(fā)展史上新的里程碑。項目關(guān)聯(lián)外圍近200個系統(tǒng)的改造與驗收，歷時近兩年，參

31、與人員超過500人。經(jīng)過投產(chǎn)前的周密部署與調(diào)度安排，全行上下同心奮戰(zhàn)，參與機(jī)構(gòu)300余家，參戰(zhàn)人員達(dá)到3000余人，投產(chǎn)歷時18小時，比預(yù)計時間提前7小時，圓滿完成了新核心系統(tǒng)項目群整體投產(chǎn)的各項任務(wù)，順利完成投產(chǎn)上線，已正式對外營業(yè)一年零三個月，日均金融交易總筆數(shù)在近百萬以上，日均請求總筆數(shù)近千萬，響應(yīng)時間在30毫秒左右，相比上一代和系統(tǒng)，日均請求數(shù)為100萬左右，響應(yīng)時間在100ms左右，各項指標(biāo)均已達(dá)到了預(yù)期目標(biāo)，新一代核心系統(tǒng)的上線，標(biāo)志著某銀行翻開“智慧運(yùn)營”新篇章。依托新核心系統(tǒng)這一新的發(fā)展引擎，借助金融科技的引領(lǐng)，該行將持續(xù)從客戶體驗、服務(wù)效能、流程優(yōu)化等方面著手，積極構(gòu)建新型商

32、業(yè)銀行運(yùn)營服務(wù)模式，進(jìn)一步加快發(fā)展和服務(wù)轉(zhuǎn)型，助力智慧銀行建設(shè)，全面提升核心競爭優(yōu)勢。5.2 核心系統(tǒng)存儲運(yùn)行情況新一代核心系統(tǒng)主中心存儲Vmax200K已安全平穩(wěn)運(yùn)行2年左右，容量已經(jīng)分配60%左右。因為分配已預(yù)留出未來2至4年的容量增長空間，所以容量分配上也沒有過多的變更；內(nèi)存的命中率都平均維持在60%左右，且?guī)缀鯖]有從內(nèi)存到存儲后端磁盤的寫等待情況發(fā)生，后端壓力不大而且壓力平均；存儲前端主機(jī)訪問IOPS平均在10000以下,批量及高峰在24000左右，前端平均帶寬300MB/s以下，壓力不大，存儲性能表現(xiàn)突出。圖13：新一代核心存儲容量統(tǒng)計圖圖14：新一代核心存儲半年內(nèi)性能統(tǒng)計圖核心系統(tǒng)

33、也需要面對每日批量任務(wù)的挑戰(zhàn)，如圖15所示，當(dāng)日23點左右有高并發(fā)的IO產(chǎn)生，讀寫各半，數(shù)據(jù)量并不大，但延時寫WP數(shù)量和寫延時激增，延時到十幾ms，同城容災(zāi) SRDF/s同步復(fù)制，需要將IO寫到遠(yuǎn)端存儲，返回后通知前端主機(jī)寫操作完成，但如果大量密集IO操作，會使部分寫操作超時無法返回，再次發(fā)起多次的寫操作，最終導(dǎo)致在批量期間，大量業(yè)務(wù)超時情況出現(xiàn)。圖15：新一代核心存儲每天性能統(tǒng)計圖臨時的解決辦法在大量IO操作的這段時間，暫時斷開SRDF/s的復(fù)制保護(hù)，避開IO高峰后，再回復(fù)同步復(fù)制。永久解決的建議之一是在設(shè)計和測試之處，做好各個環(huán)節(jié)的測試，上線前將參數(shù)調(diào)整至最優(yōu)，包括系統(tǒng)數(shù)據(jù)庫、系統(tǒng)參數(shù)（條

34、帶化）、存儲參數(shù)等，避免生產(chǎn)上線后無法調(diào)整底層參數(shù)的尷尬；另外，建議擴(kuò)充生產(chǎn)與容災(zāi)端SSD pool中磁盤數(shù)量或使用全閃存儲，提高存儲讀寫性能，同時進(jìn)一步縮短存儲復(fù)制與DWDM鏈路延時，根本上解決在批量任務(wù)時存儲無法滿足響應(yīng)時間的情況。另外，非批量時間核心系統(tǒng)存儲性能出現(xiàn)偶發(fā)性能較差情況，與SRDF/s同步復(fù)制IO返回慢也有直接關(guān)系，提高主生產(chǎn)與同城容災(zāi)存儲讀寫性能，避免DWDM運(yùn)營商鏈路抖動與高延時情況發(fā)生，就顯得尤為重要，在未來向等保2.0要求的4級發(fā)展時，雙活數(shù)據(jù)中心成敗的關(guān)鍵，也在于存儲本身的性能與存儲間DWDM鏈路的可靠性和低延時性。5.3 核心備份系統(tǒng)運(yùn)行情況核心系統(tǒng)每日批量完成后

35、，手工執(zhí)行業(yè)務(wù)數(shù)據(jù)備份，備份數(shù)據(jù)在虛擬帶庫中保存一周，并復(fù)制到同城容災(zāi)中心虛擬帶庫，兩中心物理帶庫永久保存。圖16：新一代核心備份策略圖如圖16備份策略中核心系統(tǒng)的SLP，備份任務(wù)由DataDomain虛擬帶庫完成并保存一周，后續(xù)復(fù)制到同城數(shù)據(jù)中心DataDomain虛擬帶庫保存一周，由于復(fù)制關(guān)系是一對一，因此目標(biāo)備份服務(wù)器target master中會配置成源端備份服務(wù)器所有的目標(biāo)服務(wù)器，隨后，主中心備份服務(wù)器還會按照SLP進(jìn)行物理帶庫的永久保存， 傳輸?shù)酵侵行牡牧硪环輸?shù)據(jù)，會按同城中心SLP配置策略，導(dǎo)入數(shù)據(jù)后，在虛擬帶庫保存一周，物理帶庫永久保存。5.4核心系統(tǒng)同城容災(zāi)切換時間與改善目

36、標(biāo)核心系統(tǒng)同城容災(zāi)經(jīng)過數(shù)輪演練、功能性切換和正式切換，最近一次主中心到同城容災(zāi)中心切換耗時40分鐘左右；分行網(wǎng)點驗證近千筆非現(xiàn)金交易，涵蓋對私客戶所有類型，且驗證無誤；由同城容災(zāi)中心回切主中心耗時30分鐘左右。切換的過程整體比較順利，個別環(huán)節(jié)還有需要完善。除在上面章節(jié)提到的通過技術(shù)層面提高切換安全性，監(jiān)控層面提高切換流程可控性之外，從操作實施上也需要標(biāo)準(zhǔn)化，更快完成切換，如果可以實時顯示切換過程，并且把切換過程標(biāo)準(zhǔn)化，利用自動化調(diào)度工具完成，在突發(fā)故障緊急切換時，可以降低人為操作風(fēng)險，更快速、穩(wěn)妥地完成容災(zāi)切換，恢復(fù)業(yè)務(wù)系統(tǒng)。前面提出了一些技術(shù)和操作上的改善建議，最后從切換流程上也要在計劃性災(zāi)難切換手冊的基礎(chǔ)上，補(bǔ)充非計劃性的災(zāi)難恢復(fù)手冊，其中存儲故障導(dǎo)致非計劃容災(zāi)切換的場景下，存儲執(zhí)行的步驟至少應(yīng)包含：1）確認(rèn)主中心存儲故障且無法管理訪問，進(jìn)行故障恢復(fù)；2）通過同城容災(zāi)存儲管理機(jī)，確認(rèn)同城容災(zāi)存儲同步復(fù)制狀態(tài)：Patitioned，即無法發(fā)現(xiàn)對端存儲設(shè)備；3）Split斷開存儲同步復(fù)制，啟用同城容災(zāi)存儲；4）啟用容災(zāi)端數(shù)據(jù)庫服務(wù)器，更改核心應(yīng)用數(shù)據(jù)庫連接指向，啟動外圍系統(tǒng)驗證業(yè)務(wù)；5）生產(chǎn)端存儲恢復(fù)后，安排維護(hù)窗口，用同城容災(zāi)端存儲數(shù)據(jù)反向refresh生產(chǎn)端數(shù)據(jù)，