某三級甲等醫(yī)院數(shù)據(jù)中心雙活建設(shè)方案

某三級甲等醫(yī)院數(shù)據(jù)中心雙活建設(shè)方案目錄contents背景與現(xiàn)狀需求分析架構(gòu)設(shè)計應(yīng)用效果總結(jié)背景與現(xiàn)狀01某省立醫(yī)院是省衛(wèi)生健康委直屬的、非營利性三級甲等綜合醫(yī)院，下轄兩個院區(qū)，年門診量270萬人次，住院量近10萬人次。醫(yī)院自2014年開始基于VPLEX整合原有VNX5500、VNX5600、CX-480等存儲設(shè)備建設(shè)了A-P（Active-Passive）雙活數(shù)據(jù)中心。利用RecoverPoint將數(shù)據(jù)實時同步至第三數(shù)據(jù)中心機房，實現(xiàn)數(shù)據(jù)持續(xù)保護。背景與現(xiàn)狀醫(yī)院電子病歷系統(tǒng)部署在VMware虛擬環(huán)境下，利用VMware的HA功能實現(xiàn)高可用，服務(wù)器采用WindowsServer2008R2操作系統(tǒng)，數(shù)據(jù)庫采用Oracle11g，使用NBU備份軟件進行數(shù)據(jù)備份。經(jīng)過近十年的持續(xù)運行，這批設(shè)備已經(jīng)老化，部分存儲設(shè)備性能落后，無法滿足日益增長的業(yè)務(wù)需求。電子病歷系統(tǒng)大量的病歷文書以小文件形式存儲在磁盤上，頻繁的調(diào)閱和寫入對磁盤IOPS、響應(yīng)時延等要求較高。背景與現(xiàn)狀雙活數(shù)據(jù)中心是指兩個數(shù)據(jù)中心分別有自己的存儲、網(wǎng)絡(luò)以及服務(wù)器資源，兩個數(shù)據(jù)中心同時對外提供服務(wù)，整個系統(tǒng)具有業(yè)務(wù)負載均衡和自動故障切換功能。隨著醫(yī)院業(yè)務(wù)量的持續(xù)增長，系統(tǒng)高峰期時常出現(xiàn)業(yè)務(wù)卡頓，部分時段系統(tǒng)的響應(yīng)時間在30秒以上，嚴重影響了臨床科室應(yīng)用體驗?，F(xiàn)有雙活架構(gòu)復(fù)雜，網(wǎng)元數(shù)量眾多，運行維護成本也較高，為此，醫(yī)院準備對現(xiàn)有雙活數(shù)據(jù)中心進行升級改造。背景與現(xiàn)狀新一代醫(yī)院數(shù)據(jù)中心建設(shè)中，全閃A-A（Active-Active）雙活數(shù)據(jù)中心已成為多方共識，因為其穩(wěn)定性高、安全性高、性能高效，可以保障核心業(yè)務(wù)連續(xù)性，保障數(shù)據(jù)安全性。醫(yī)院經(jīng)調(diào)研后決定基于全閃存儲搭建新一代A-A雙活數(shù)據(jù)中心，以提升數(shù)據(jù)中心支撐平臺能力，滿足臨床核心業(yè)務(wù)系統(tǒng)需求。背景與現(xiàn)狀需求分析02根據(jù)國家相關(guān)政策要求，醫(yī)療數(shù)據(jù)需長期在線訪問，但隨著時間的增長，數(shù)據(jù)量的持續(xù)增長會嚴重拖累數(shù)據(jù)庫性能。如醫(yī)生站、護士站、自助機、微信小程序等各種數(shù)據(jù)查詢寫入，還有臨床數(shù)據(jù)中心、大數(shù)據(jù)平臺數(shù)據(jù)抽取等?；ヂ?lián)網(wǎng)診療的不斷發(fā)展，在醫(yī)院就診高峰時段，大量業(yè)務(wù)及就醫(yī)人員并發(fā)訪問，帶來性能挑戰(zhàn)。系統(tǒng)響應(yīng)變慢，將降低就診效率，影響患者就醫(yī)體驗。系統(tǒng)性能要求業(yè)務(wù)系統(tǒng)出現(xiàn)問題會對正常診療秩序產(chǎn)生重大影響，因此醫(yī)院數(shù)據(jù)中心要具有可靠的解決方案。核心業(yè)務(wù)系統(tǒng)仍能連續(xù)運行，醫(yī)院診療過程不中斷。隨著醫(yī)院信息化應(yīng)用的不斷深入，醫(yī)療應(yīng)用的重要程度越來越高。業(yè)務(wù)連續(xù)性要求這些數(shù)據(jù)一旦遭受損失，其價值是無法估量的。因此，必須建立數(shù)據(jù)連續(xù)保護和容災(zāi)備份方案來保障醫(yī)療數(shù)據(jù)的安全性。并且要確保在數(shù)據(jù)損壞后能夠快速恢復(fù)到保護時間點的數(shù)據(jù)。在誤操作、中病毒等場景下，也要確保數(shù)據(jù)不會受到損壞。醫(yī)院信息系統(tǒng)中保存了大量的醫(yī)療數(shù)據(jù)及患者隱私數(shù)據(jù)，如HIS、EMR、LIS、PACS等。數(shù)據(jù)安全性要求穩(wěn)定運行是醫(yī)院關(guān)鍵業(yè)務(wù)系統(tǒng)的核心訴求，系統(tǒng)中斷將影響掛號、繳費、就診、報告查詢等，會導(dǎo)致業(yè)務(wù)無法開展。根據(jù)《電子病歷應(yīng)用管理規(guī)范(試行)》要求，住院病歷保存時間不得少于30年。業(yè)務(wù)穩(wěn)定性需求系統(tǒng)在故障與災(zāi)害威脅、無法避免的誤操作與邏輯錯誤時，如何保證關(guān)鍵業(yè)務(wù)系統(tǒng)不間斷運行變得至關(guān)重要。在電子病歷時代，為滿足個體終生健康保障需求，支持大數(shù)據(jù)時代的醫(yī)學(xué)研究，醫(yī)療數(shù)據(jù)的保存期限需要更久而且要保證數(shù)據(jù)不能丟失。《全國醫(yī)院信息化建設(shè)標準與規(guī)范（試行）》規(guī)定，三級甲等醫(yī)院容災(zāi)備份應(yīng)滿足：關(guān)鍵業(yè)務(wù)信息系統(tǒng)復(fù)原時間目標（RTO）≤15分鐘，復(fù)原點目標（RPO）≤10分鐘?！夺t(yī)院信息互聯(lián)互通標準化成熟度測評方案（2020年版）》對存儲災(zāi)備能力要求為四級甲等RTO≤0.25h，RPO≤0.25h。根據(jù)這些政策文件的要求，新建雙活數(shù)據(jù)中心容災(zāi)備份應(yīng)至少滿足RTO≤10分鐘，RTO≤10分鐘?！夺t(yī)院信息系統(tǒng)軟件基本功能規(guī)范》明確規(guī)定：門診信息系統(tǒng)恢復(fù)時間在5—10分鐘之內(nèi)、支持7x24小時工作等。容災(zāi)備份要求架構(gòu)設(shè)計03為了提升存儲空間利用率，啟用數(shù)據(jù)重刪壓縮功能，減少數(shù)據(jù)占用的空間，提高每TB可用空間性價比。任意數(shù)據(jù)中心單個存儲故障時，另一臺存儲設(shè)備仍能保存相同數(shù)據(jù)，最大化保障業(yè)務(wù)連續(xù)性。每個數(shù)據(jù)中心的存儲可同時提供讀寫服務(wù)，實現(xiàn)無縫切換和業(yè)務(wù)訪問不中斷。在5號樓和6號樓兩個數(shù)據(jù)中心機房各部署一臺華為OceanStorDorado全閃存儲，實現(xiàn)無網(wǎng)關(guān)A-A存儲雙活架構(gòu)。基于HyperMetro技術(shù)對兩臺磁盤陣列做鏡像冗余配置，確保數(shù)據(jù)安全性和可靠性。存儲層面1網(wǎng)絡(luò)鏈路層面在網(wǎng)絡(luò)鏈路層面，醫(yī)院前期在基于VPLEX的雙活數(shù)據(jù)中心建設(shè)時已利用OSPF路由協(xié)議實現(xiàn)負載均衡。基于HSRP熱備份路由協(xié)議實現(xiàn)鏈路聚合，數(shù)據(jù)中心之間已實現(xiàn)大二層打通，為業(yè)務(wù)雙活提供條件。兩個數(shù)據(jù)中心之間通過裸光纖直連，存儲、交換機和服務(wù)器通過專用的SAN網(wǎng)絡(luò)互聯(lián)，均采用冗余方式組網(wǎng)。兩個數(shù)據(jù)中心的交換機通過FC互聯(lián)，利用其高效率和可靠性來保障存儲之間實時同步數(shù)據(jù)。原有電子病歷系統(tǒng)依賴于虛擬化的HA功能實現(xiàn)高可用，同一時間只能有一個節(jié)點對外提供服務(wù)，無法滿足大量并發(fā)業(yè)務(wù)的應(yīng)用。醫(yī)院在兩個數(shù)據(jù)中心各部署一臺安裝OracleLinux操作系統(tǒng)的物理服務(wù)器，組成OracleRAC負載均衡故障轉(zhuǎn)移集群。通過Oracle自動存儲管理ASM功能對兩個數(shù)據(jù)中心的存儲提供外部冗余管理模式，實現(xiàn)跨數(shù)據(jù)中心的負載均衡和自動故障轉(zhuǎn)移功能。利用OracleADG(ActiveDataGuard)技術(shù)配置只讀副本，完成主備庫實時同步，實現(xiàn)零數(shù)據(jù)丟失保護，并滿足高性能、高可靠性、讀寫分離等需求。兩個數(shù)據(jù)中心的應(yīng)用使用獨立的虛擬化集群，通過流量入口控制進行集群DRS負載均衡及HA主備故障切換，從而在應(yīng)用層面實現(xiàn)雙活。0102030405計算應(yīng)用層面在早期的雙活架構(gòu)中，醫(yī)院仲裁設(shè)備部署在6號樓數(shù)據(jù)中心，因運維人員理線誤碰導(dǎo)致心跳網(wǎng)絡(luò)中斷而出現(xiàn)腦裂的情況。為此醫(yī)院完善了第三容災(zāi)機房設(shè)施，并部署了獨立的物理服務(wù)器（當然也可以使用虛擬機）作為仲裁設(shè)備，避免單數(shù)據(jù)中心整體發(fā)生災(zāi)難時，仲裁設(shè)備也一并故障。利用華為OceanStorDorado全閃存儲提供的靜態(tài)優(yōu)先級模式設(shè)置優(yōu)先存活站點，實現(xiàn)雙仲裁保護能力，保障業(yè)務(wù)系統(tǒng)數(shù)據(jù)安全。服務(wù)器及虛擬化集群之間的仲裁也部署于該容災(zāi)機房。雙活仲裁部署01利用存儲的HyperCDP特性，我們啟用了高頻快照功能，每三秒生成一個快照，并將快照日志實時同步至第三容災(zāi)數(shù)據(jù)中心。02這個中心部署了華為混閃存儲來存放快照日志，以節(jié)約采購成本，同時能滿足數(shù)據(jù)持續(xù)保護要求。03在數(shù)據(jù)恢復(fù)時，可以通過文件系統(tǒng)共享掛載直接訪問，實現(xiàn)RPO＝0，RTO≈0，滿足互聯(lián)互通、電子病歷評級及相關(guān)政策對RPO和RTO的要求。04我們還部署了具有重刪壓縮功能的備份一體機，通過RMAN(RecoveryManager)接口對ADG副本進行備份，確保極端情況下數(shù)據(jù)的可恢復(fù)。容災(zāi)備份方面應(yīng)用效果04原有存儲設(shè)備IOPS僅有6.8萬，而華為OceanStorDorado全閃存儲（配置15塊3.84TBNVMe固態(tài)盤）實測IOPS達到23萬，系統(tǒng)響應(yīng)速度提升3倍以上。醫(yī)院電子病歷系統(tǒng)遷移至新雙活架構(gòu)后，系統(tǒng)響應(yīng)速度明顯提升，就診高峰期業(yè)務(wù)從未出現(xiàn)卡頓情況，連調(diào)閱數(shù)據(jù)量最大的應(yīng)用也能在3秒內(nèi)完成。華為OceanStorDorado全閃存儲具有較好的橫向擴展能力，可滿足未來不可預(yù)期的業(yè)務(wù)增長，并提供豐富的數(shù)據(jù)保護服務(wù)。在不影響業(yè)務(wù)系統(tǒng)性能的情況下充分發(fā)揮固態(tài)硬盤的優(yōu)勢，提供高性能、高可靠、高可用的存儲系統(tǒng)，保障核心業(yè)務(wù)7x24小時穩(wěn)定在線。全閃存儲加速，保證核心業(yè)務(wù)性能要求醫(yī)院原有基于VPLEX建立的AP雙活數(shù)據(jù)中心，部分業(yè)務(wù)以數(shù)據(jù)中心A為主以數(shù)據(jù)中心B為備，部分業(yè)務(wù)以數(shù)據(jù)中心B為主以數(shù)據(jù)中心A為備。存儲資源利用率和讀寫性能提升100%，一個數(shù)據(jù)中心發(fā)生意外，另一個數(shù)據(jù)中心將自動接管業(yè)務(wù)應(yīng)用，整個數(shù)據(jù)中心可實現(xiàn)無感知切換。數(shù)據(jù)零丟失，業(yè)務(wù)零中斷，提升了數(shù)據(jù)中心整體對外服務(wù)能力。兩個數(shù)據(jù)中心可同時承擔起所有對外訪問的業(yè)務(wù)，實現(xiàn)業(yè)務(wù)負載均衡的同時故障可無縫切換，沒有主備之分，共同承擔業(yè)務(wù)。真正A-A雙活01隨著醫(yī)院信息系統(tǒng)的快速發(fā)展和業(yè)務(wù)大集中，醫(yī)院數(shù)據(jù)中心容災(zāi)備份的壓力也越來越大。02醫(yī)院原有的持續(xù)數(shù)據(jù)保護設(shè)備雖然可以實現(xiàn)RPO=3秒，但是隨著數(shù)據(jù)量快速膨脹，RTO已經(jīng)將近25分鐘。03此次基于全閃存儲搭建的無網(wǎng)關(guān)A-A雙活數(shù)據(jù)中心架構(gòu)，可以實現(xiàn)RPO＝0，RTO≈0，保障核心應(yīng)用不受宕機困擾。04還部署了具有重刪壓縮功能的備份一體機，降低網(wǎng)絡(luò)備份流量，提升備份效率，并滿足電子病歷應(yīng)用水平分級評價五級對容災(zāi)備份的要求。秒級數(shù)據(jù)保護，滿足容災(zāi)備份要求利用存儲設(shè)備自帶的HyperMetro特性，實現(xiàn)無網(wǎng)關(guān)A-A雙活架構(gòu)，無需額外采購網(wǎng)關(guān)設(shè)備及進行復(fù)雜的配置，至少為醫(yī)院節(jié)約100萬的采購成本。充分利用現(xiàn)有硬件基礎(chǔ)實施，無需對現(xiàn)有網(wǎng)絡(luò)架構(gòu)、業(yè)務(wù)系統(tǒng)、運維方式進行變動，為醫(yī)院節(jié)省大量人力和時間成本。簡化組網(wǎng)和管理，減輕后臺運維壓力，兩個數(shù)據(jù)中心的全閃存儲互為鏡像，數(shù)據(jù)可以在兩臺存儲之間實時同步，并能在單臺設(shè)備故障切換時實現(xiàn)業(yè)務(wù)無感知。簡化雙活架構(gòu)，降低采購和運維成本在電子病歷系統(tǒng)原有基于HA的高可用方案中，臨床數(shù)據(jù)中心定時抽取電子病歷文書內(nèi)容，避開業(yè)務(wù)高峰，導(dǎo)致臨床數(shù)據(jù)中心與電子病歷生產(chǎn)系統(tǒng)存在半天的數(shù)據(jù)差。此次基于OracleRAC+ADG技術(shù)實現(xiàn)應(yīng)用雙活，臨床數(shù)據(jù)中心抽取電子病歷文書內(nèi)容及容災(zāi)備份均通過只讀副本完成，不對生產(chǎn)系統(tǒng)造成任何影響。而且數(shù)據(jù)抽取可以同步進行，實現(xiàn)臨床數(shù)據(jù)中心與業(yè)務(wù)系統(tǒng)數(shù)據(jù)幾乎一致，為醫(yī)生提供更加及時的決策信息支持，提高醫(yī)療質(zhì)量和安全性。讀寫分離，減少對生產(chǎn)系統(tǒng)影響總結(jié)05在雙活數(shù)據(jù)中心建設(shè)過程中，我們需要考慮兩數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)之間相互調(diào)用、應(yīng)用解耦問題。兩數(shù)據(jù)中心彼此可完全脫離對方獨立運作，對外提供服務(wù)，且數(shù)據(jù)可以保持一致性。業(yè)務(wù)雙活的應(yīng)用架構(gòu)從底層基礎(chǔ)設(shè)施到高層應(yīng)用是完全解耦的?？偨Y(jié)本次搭建的全閃無網(wǎng)關(guān)A-A雙活架構(gòu)正是秉承這一理念，不僅帶來了性能和可靠性的提升。同時