某人壽保險IT系統(tǒng)基礎架構容災經(jīng)驗分享

xx人壽IT系統(tǒng)基礎架構容災經(jīng)驗分享

XX人壽保險股份有限公司系1996年8月22日經(jīng)中國人民銀行總行批準成立的全國性、股份制人壽保險公司。

截至2012年，XX人壽總資產(chǎn)超4100億元，凈資產(chǎn)近210億元，在全國設立了北京、上海、湖北、山東、廣東等35家分公司，各級機構超4200家，構建起完整的服務網(wǎng)絡為客戶提供及時和周到的服務，累計為2776萬個人客戶和25萬機構客戶提供過服務，累計理賠客戶927萬人次，累計理賠金額99億元。

XX人壽旗下?lián)碛蠿X資產(chǎn)管理有限責任公司、XX養(yǎng)老保險股份有限公司和XX之家投資有限公司。XX資產(chǎn)是國內資本市場大型機構投資者之一，受托資產(chǎn)管理總規(guī)模超4600億元，綜合投資收益率居于行業(yè)前列。2012年，XX人壽和XX資產(chǎn)分別通過“保監(jiān)會不動產(chǎn)投資能力和投資計劃產(chǎn)品創(chuàng)新能力備案”，成為《保險資金投資不動產(chǎn)暫行辦法》實施以來，行業(yè)內第一批取得不動產(chǎn)直接投資、不動產(chǎn)金融產(chǎn)品設立與發(fā)行雙重資格的保險集團化公司。

未來，XX人壽將堅持專業(yè)化經(jīng)營，深耕壽險產(chǎn)業(yè)鏈，為廣大客戶提供“從搖籃到天堂”持續(xù)一生的全方位金融保險服務，致力于讓保險更便捷、更實惠，讓XX人壽成為人們生活的一部分。客戶簡介

1.客戶急需解決的問題與需求2.什么是容災3.容災方案的選擇4.容災技術5.數(shù)據(jù)遠程容災軟件

6.容災演練客戶需求

ECM系統(tǒng)作為XX人壽重要的在線業(yè)務支撐系統(tǒng)，為一線業(yè)務人員提供在線的電子文檔、電子保單等服務。主數(shù)據(jù)中心：金融街數(shù)據(jù)中心，運行所有重要系統(tǒng)的核心機房，滿足所有重要系統(tǒng)的數(shù)據(jù)備份、恢復需求。ECM系統(tǒng)是金融街數(shù)據(jù)中心中最重要的系統(tǒng)之一。在2008年部署了EMC與HDS存儲，作為高速存儲負責OLTP事件型oralce數(shù)據(jù)庫核心并且同時存放海量影像文件。為ECM系統(tǒng)提供了一個高性高效率能的存儲池。由于現(xiàn)在地址災難和各種火災停電等因素造成只有一個數(shù)據(jù)中心的xx人壽數(shù)據(jù)安全性相對較低，而隨著國家法律法規(guī)對于金融保險行業(yè)的要求，在同城建設數(shù)據(jù)容災中心成了重中之重的任務。規(guī)劃本地容災中心：亦莊容災數(shù)據(jù)中心，滿足ECM系統(tǒng)的本地數(shù)據(jù)級容災需求，通過40Mbit帶寬傳遞容災數(shù)據(jù)（每天的新增數(shù)據(jù)），實現(xiàn)了數(shù)據(jù)級容災。同時由于本套系統(tǒng)為客戶的核心業(yè)務數(shù)據(jù)庫存放的系統(tǒng)，所以在保障數(shù)據(jù)安全性的前提下對存儲系統(tǒng)的性能有很高的要求，不能因為部署容災中心增加了容災傳輸?shù)男阅軌毫缶陀绊懏斍暗目蛻魯?shù)據(jù)正常訪問?？蛻衄F(xiàn)狀金融街數(shù)據(jù)中心主業(yè)務存儲主機群集主機群集主機群集主業(yè)務存儲性能情況什么是容災容災備份系統(tǒng)就是防止意外情況而采取的一種解決方案，其目的只有一個，那就是保證數(shù)據(jù)安全。根據(jù)DisasterRecoveryJounal的調查表明，在受到災難襲擊的5個公司中，將有2個公司無法從災難中重新開始工作。而那些即使是重新開張的公司中，也將有至少1個將在兩年后關張建設容災系統(tǒng)的目的就是保護所有的業(yè)務數(shù)據(jù)，保證業(yè)務的連續(xù)性什么是業(yè)務連續(xù)性業(yè)務持續(xù)性（ContinuousBusiness）=保證業(yè)務的穩(wěn)定保證企業(yè)可以面對計劃的和意外的事件發(fā)生的時候繼續(xù)維持運作受到對下面兩個方面的理解的驅動業(yè)務影響：考慮如何避免對商業(yè)的影響業(yè)務流程與風險：考慮計劃和意外事件發(fā)生時的情況數(shù)據(jù)的可用性保護只是操作靈活性的一部分，最終的解決方案將會圍繞著其它方面（例如人員、流程和架構等）(恢復策略)Backup策略Replication策略GeoClusterSynchronousReplicationAsynchronousReplicationDBlog性價比WhataboutApplicationavailabilityandbusinessaccessavailabilityApplicationDataBusinessAccessCMCC運營方式技術難度業(yè)務恢復速度維護人員要求資源復用主備中心相對簡單慢相對簡單相對不高較低雙中心相對復雜快相對復雜相對較高較高兩種方式同城容災遠距離容災災難抵御種類較少較多對用戶服務的連續(xù)性較差較好網(wǎng)絡組織難度較容易難度較大技術復雜度較容易難度較大容災中心技術支持較好較差人員組織較容易難度較大項目管理協(xié)調難度低高工程投資較低較高運營成本較低較高建設周期較短較長兩種方式同級設備容災主機處理能力與生產(chǎn)中心相等存儲設備與生產(chǎn)中心配置相等容災中心系統(tǒng)可靠性與生產(chǎn)中心設置級別相當，如主機集群等投資高，與生產(chǎn)中心平臺投資接近降級設備容災主機處理能力低于生產(chǎn)中心存儲設備配置低于生產(chǎn)中心容災中心系統(tǒng)可靠性低于生產(chǎn)中心設置級別，如不考慮主機集群等投資低于同級規(guī)模CMCC設備配置策略存儲級數(shù)據(jù)庫級(Oracle)IPStor第三方軟件(VVR)LVM(VxVM)數(shù)據(jù)復制策略Recovery-timeObjective(RTO)多長時間內關鍵應用必須恢復–

我能承受多長時間宕機?Recovery-pointObjective(RPO)哪一個時間點之前的數(shù)據(jù)必須被恢復–

我能容忍多少數(shù)據(jù)丟失?被選定的切實可行的災難恢復方案必須基于成本和恢復時間的平衡如果我花費多一點，我的恢復過程會快多少?如果我花費少一點，我的恢復過程會慢多少?預定的恢復目標決定相關解決方案需要對中心機房所有的主機系統(tǒng)都有進行改造，改為使用VeritasVolumeManager。而這種方式需要把IBM主機上的VG信息都鏟掉，即所有的數(shù)據(jù)庫都要首先備份到磁帶庫上，然后把IBM主機的卷管理軟件改為VeritasVolumeManager，然后重建VG，再把數(shù)據(jù)從磁帶庫上恢復出來。系統(tǒng)風險極大！在實施階段很容易造成現(xiàn)有系統(tǒng)的不穩(wěn)定、數(shù)據(jù)丟失項目實施周期長，并且需要每個業(yè)務主系統(tǒng)都要多次停機，社會影響較大VeritasVVR通過主機實現(xiàn)，對主機系統(tǒng)和應用系統(tǒng)影響較大性能不可預測、難于優(yōu)化、需要在每臺主機上都進行配置和優(yōu)化如果采用VeritasVVR解決方案，需要對生產(chǎn)中心的8臺IBM主機、將近20個分區(qū)、容災中心將要購買的所有主機和分區(qū)都要進行改造，工作量可想而知！如果進行軟件升級，則所有的主機則都要重新調整，不但工作量大，而且風險高！如果采用VeritasVVR解決方案，將來的新建系統(tǒng)都要進行相同的工作，工作量很大VeritasVVR是按照CPU個數(shù)計算License，成本不菲而采用IBM硬件容災方案，是與主機無關的；如果采用IBM存儲解決方案，那么只對2臺存儲進行操作。將來微碼升級、系統(tǒng)配置也只針對2臺存儲。軟件解決方案

HDS虛擬化方案IBM方案方案復雜度復雜簡單實施復雜度復雜簡單實施風險在生產(chǎn)端要把EMCDMX3000虛擬化，需要把主機映射關系重做小是否適合大型數(shù)據(jù)庫不適合，目前來看虛擬化方案僅適用于文件系統(tǒng)應用適合對整體系統(tǒng)性能影響對EMCDMX3000的每一次訪問都要通過USP機頭，對系統(tǒng)性能影響可想而知無影響軟件維保成本每年需要維保成本，標準配置無現(xiàn)場服務；如需現(xiàn)場服務，需額外購買軟件維保隨存儲硬件設備提供，不增加額外成本；IBM提供現(xiàn)場服務容災成功案例較少很多對集成商的工作影響大小硬件解決方案SynchronousRemoteReplication同步復制實時鏡像，數(shù)據(jù)同步系統(tǒng)快速恢復，最少數(shù)據(jù)丟失理論極限值100km，距離越長，時延越大高帶寬需求（I/O峰值計算）對生產(chǎn)端I/O響應時間沖擊備份端存儲處理能力要求足夠好否則會連累生產(chǎn)端，導致宕機Cache、DestagingSynchronous1-Writetoprimary2-Writetosecondary3-Writecompleteonsecondary4-I/OCompletion1生產(chǎn)主機

可以無需備份主機342100公里P-VOLS-VOL同步數(shù)據(jù)復制的理想條件網(wǎng)絡帶寬光纖1000Mb/sATM622Mb/s距離<10公里，最長不超過30公里TheRollingDisaster...(IBM,4/8/94)“Exceptinatotaldisaster,(explosion,earthquake)youshouldNEVERexpectyourentiresystemtofailatthesamemoment.Failureswillbeintermittentandgradual,andthedisasterwillactuallyoccurovermanyseconds,evenminutesThisistheRollingDisaster”.除了地震，爆炸等完全毀滅性災難外，你根本不可能碰到系統(tǒng)同時癱瘓的情況。故障總是間斷的，漸漸的累積起來的，整個災難的過程會持續(xù)數(shù)秒鐘，甚至幾分鐘，這就是我們所謂的RollingDisaster。同步方式的挑戰(zhàn):RollingDisasterRollingDisaster數(shù)據(jù)保持I/O的一致性數(shù)據(jù)結構可能被破壞，數(shù)據(jù)不可用第一波故障災難結束－計算終止Corruptioncanoccur保證數(shù)據(jù)一致性和完整性TimestampwritesequencingConsistencygroup最小的響應時間沖擊低帶寬（平均I/O計算）很少的數(shù)據(jù)丟失沒有0數(shù)據(jù)丟失Asynchronous1生產(chǎn)中心容災中心PrimaryHost

3421-Writetoprimary2-I/OCompletion3-Writetosecondary4-Writecompleteonsecondary任何距離S-VOLP-VOLMainframeVSE,VM,OS390IBMAIXSunSolarisHP-UX,TRU-64andVMSWin2K/WinNTAsynchronousRemoteReplication異步復制容災方式的采用同步容災的理想條件距離<30公里兩地有光纖連接或者622Mb/sATM異步容災沒有距離限制在實際銀行、電信的應用中，同步容災對聯(lián)機事務處理類的業(yè)務會增加響應時間，對批處理業(yè)務處理速度也有很大的影響技術的選擇是性能，投資和RPO等指標的平衡應用級容災，需要針對容災對應用做出相應的調整cache5nanoseconds/m–speedoflightinFiber2microseconds/switchupto1ms–writeintocachememoryupto30ms–writetoback-enddisk時延考慮Σ=~1ms1,000IOPSforlocalwritetocachesynchronousconsiderationscachecachewriteIOcomplete5ηs/m2μs/switch1mscachewrite+0.3mscachereadremotelinklatency1mscachewriteΣ=~2.3ms 435IOPS@0km100kmFCdirect ~1ms(ROT)DWDM ~250ηs/devFCIPEurope ~19msFCIPtransatlantic ~81msFCIPNorthAmerica ~44msFCIPSing.<->US ~210msΣ=~3.3ms 303IOPS@100kmΣ=~83ms 12IOPS@IPLondon-NY數(shù)據(jù)遠程復制軟件移動BOSS/BAS系統(tǒng)容災(原有系統(tǒng))CRM計費結算營業(yè)帳務經(jīng)營分析DB2OLAP數(shù)據(jù)挖掘…

SAN經(jīng)營分析系統(tǒng)SANSANDWDM欽洲北路機房金橋機房關于容災鏈路的問題目前情況看，容災鏈路主要有以下方式將長波口放置在大交換機上（湖南、上海移動）將長波口放置在小交換機上大、小交換機不互聯(lián)（遼寧移動、江蘇移動）大、小交換機互聯(lián)（ISL）容災鏈路到底需要多少對光纖需要采集現(xiàn)有生產(chǎn)系統(tǒng)的數(shù)據(jù)對現(xiàn)有生產(chǎn)系統(tǒng)進行先期優(yōu)化