2025金融數(shù)據(jù)庫(kù)存算分離架構(gòu)選型白皮書(shū)

金融場(chǎng)景業(yè)務(wù)特 金融業(yè)數(shù)據(jù)庫(kù)應(yīng)用的基礎(chǔ)架構(gòu)問(wèn)題和需 集中式數(shù)據(jù)庫(kù)存算分離技 分布式數(shù)據(jù)庫(kù)存算分離技 云原生數(shù)據(jù)庫(kù)存算分離技 性能指 可靠性指 可用性指 成本效益分 能耗指 擴(kuò)展性指 安全性要 運(yùn)維指 演進(jìn)能 總 外置存儲(chǔ)的存算分離架 存算協(xié)同的存算分離架 工商銀行數(shù)據(jù)庫(kù)存算分離架構(gòu)實(shí) 農(nóng)業(yè)銀行新一代存算分離數(shù)據(jù)庫(kù)實(shí) 平安銀行MySQL數(shù)據(jù)庫(kù)存算分離架構(gòu)探 上海銀行數(shù)據(jù)庫(kù)存算分離架構(gòu)的應(yīng)用試點(diǎn)實(shí) 微眾銀行TDSQL+OceanDisk存算分離架 人保壽險(xiǎn)數(shù)據(jù)庫(kù)存算分離架構(gòu)轉(zhuǎn)型升 狀數(shù)據(jù)庫(kù)（IDS）和層次數(shù)據(jù)庫(kù)（IMS）等形態(tài)。IBM1966推出的層次型數(shù)據(jù)庫(kù)IMS，與該公司的服務(wù)器、存儲(chǔ)和中間件等IBMSybase繁榮時(shí)代。盡管如此，OracleDB2RAID等方面實(shí)現(xiàn)顯著提升。由此，ITIBMOracleEMCIOE第三階段（2000）：數(shù)據(jù)庫(kù)技術(shù)呈現(xiàn)多元化發(fā)展趨2000年前后，隨著互聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用，數(shù)據(jù)庫(kù)技術(shù)進(jìn)入多元化混發(fā)展的時(shí)代，數(shù)據(jù)庫(kù)應(yīng)用更加多樣化。在此期間，X86服務(wù)器憑借其價(jià)格優(yōu)勢(shì)和通用性，一定程度上擴(kuò)展了傳統(tǒng)IOEx86NVMeOverFabric、RDMA圖1鑒于生產(chǎn)交易系統(tǒng)的聯(lián)機(jī)事務(wù)處理（OLTP）特性，OLTP數(shù)效運(yùn)營(yíng)和管理方面發(fā)揮著重要作用。該平支持多種業(yè)務(wù)系統(tǒng)，在處理聯(lián)機(jī)分析處理（OLAP）業(yè)務(wù)的數(shù)據(jù)智能分析平中，OLAP數(shù)據(jù)庫(kù)憑借其對(duì)復(fù)雜查詢(xún)的高效處理、靈活的數(shù)據(jù)分析能力以及支持多維數(shù)據(jù)模型等優(yōu)勢(shì)滿(mǎn)足數(shù)據(jù)智能分析平對(duì)數(shù)據(jù)處理和分析的需求。在金融業(yè)數(shù)據(jù)庫(kù)應(yīng)用中，OLAP數(shù)據(jù)庫(kù)實(shí)例21%。近年來(lái)隨著大數(shù)據(jù)技術(shù)的迅猛發(fā)展金融數(shù)據(jù)分析平的使得從傳統(tǒng)封閉架構(gòu)向開(kāi)放解耦架構(gòu)轉(zhuǎn)型的過(guò)程中面臨諸多挑本文將著重分析生產(chǎn)交易場(chǎng)景下數(shù)據(jù)庫(kù)處理的業(yè)務(wù)特性。圖25000（5000TPS）IO1.5-2.5致CPU的IOCPU的負(fù)載，使其無(wú)需處理存儲(chǔ)IO請(qǐng)求，進(jìn)而提升服務(wù)器CPU在業(yè)心基礎(chǔ)架構(gòu)的可靠性需提升至99.9999%以上，以滿(mǎn)足整體業(yè)務(wù)99.999%的要求。1000戶(hù)流失。存算一體架構(gòu)的x8699%。RAID用于在數(shù)據(jù)故障后提供冗余保護(hù)。然而在可靠性方面，RAID卡圖3592圖4圖5雙活或存儲(chǔ)同步復(fù)制方案，結(jié)數(shù)據(jù)庫(kù)層的日志異步復(fù)制方案，如OracleRAC+OracleADG。該方案可以保障同城跨數(shù)據(jù)中心雙集群實(shí)現(xiàn)RPO=0，即數(shù)據(jù)無(wú)丟失，并通過(guò)疊加異地容災(zāi)技術(shù)，實(shí)現(xiàn)兩地三中心分鐘級(jí)RTO圖6圖7圖8LANFree圖9多樣化的技術(shù)平（虛擬化和容器平）承載著多樣化的業(yè)使得各平的運(yùn)維復(fù)雜度不斷增加。銀行業(yè)務(wù)種類(lèi)繁多，各類(lèi)應(yīng)用平混存在，因此數(shù)據(jù)庫(kù)種通過(guò)QuotaQoS算分離架構(gòu)能夠兼顧物理服務(wù)器計(jì)算資源虛擬化平和容器平統(tǒng)應(yīng)用與云及互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景日益融，業(yè)務(wù)動(dòng)態(tài)性顯著增強(qiáng)。數(shù)據(jù)庫(kù)具備出色的彈性伸縮能力持續(xù)服務(wù)能力以及理的成本。8979.62%，證券業(yè)和保90%。詳細(xì)情況如下圖所示。圖10圖11采用存算分離架構(gòu)的集中式數(shù)據(jù)庫(kù)能夠有效解決以下關(guān)鍵下沉，以及IO能開(kāi)銷(xiāo)顯著，因此更適一些數(shù)據(jù)能夠完美分片的業(yè)務(wù)場(chǎng)景。業(yè)使用比例僅為17.51%，而證券和保險(xiǎn)行業(yè)這一比例甚至不足圖1215平來(lái)應(yīng)對(duì)系統(tǒng)復(fù)雜度的提升。50%。以某全國(guó)性銀行的信用卡數(shù)據(jù)庫(kù)系統(tǒng)為例原系統(tǒng)僅需4小型60%以上。數(shù)據(jù)庫(kù)分庫(kù)分表及或多副本冗余機(jī)制會(huì)導(dǎo)致集群規(guī)模的擴(kuò)CU5%，數(shù)據(jù)庫(kù)服務(wù)10226%，3CU1200多迫使該行因機(jī)房空間不足而需擴(kuò)建數(shù)優(yōu)化。例如，OceanBaseIONoF間故障場(chǎng)景的秒級(jí)切換。在存儲(chǔ)層采用全互聯(lián)A-ALUN圖13“OceanBase+華為GaussDB容災(zāi)，確保RPO=0。圖14“GaussDB+圖15云原生數(shù)據(jù)庫(kù)的設(shè)計(jì)理念是構(gòu)建一種更契“資源彈性管理”理念的數(shù)據(jù)庫(kù)架構(gòu)，充分利用云平的資源池化特性，適應(yīng)云平基礎(chǔ)設(shè)施，實(shí)現(xiàn)資源規(guī)格的靈活控制、應(yīng)用的多模、更優(yōu)的彈下圖展示了PolarDB公共云計(jì)算環(huán)境下根據(jù)業(yè)務(wù)發(fā)展彈性擴(kuò)展集群的需求。在圖16PolarDB整存儲(chǔ)資源池、內(nèi)存資源池技術(shù)與HTAP是云原生數(shù)據(jù)庫(kù)存算分離部署來(lái)實(shí)現(xiàn)HTAP圖17GaussDBHTAP騰訊TDSQL-C圖18TDSQL-C隨著云計(jì)算技術(shù)的不斷發(fā)展，Serverless已成為云原生數(shù)用戶(hù)的多樣化需求。因此，Serverless數(shù)據(jù)庫(kù)需具備智能彈性未來(lái)的云原生數(shù)據(jù)庫(kù)將深度融AI技術(shù)通過(guò)AI助力云原生數(shù)據(jù)庫(kù)提效，以及云原生數(shù)據(jù)庫(kù)與向量能力的結(jié)，朝著全場(chǎng)標(biāo)來(lái)進(jìn)行綜比較不同業(yè)務(wù)系統(tǒng)對(duì)指標(biāo)要求的側(cè)重點(diǎn)有所不同，以確保所選架構(gòu)最符實(shí)際應(yīng)用要求。50萬(wàn)tpmC@10ms(90th)。（注：90th90%比例）。0.1ms20GB/s99.9999%的數(shù)據(jù)可靠性標(biāo)準(zhǔn)。SSDSSD33RAID3SSD5TB/h。能力?！缎畔踩夹g(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》對(duì)信息系統(tǒng)的可用方案可實(shí)現(xiàn)RPO=0，RTO<120S。實(shí)現(xiàn)RPO=0，RTO<120S。中心異地高可用方案實(shí)現(xiàn)RPO＜1RTO<102GB/s。復(fù)，百TB5表1銀行業(yè)RTO/RPO架構(gòu)與傳統(tǒng)存算耦架構(gòu)的硬件成本，評(píng)估節(jié)省的金額。1）MySQL群一主兩從，總共需要6服務(wù)器；2）采用存算分離共享存儲(chǔ)表2()高度（高度()高度（高度-RAIDTP（允許三塊盤(pán)故障）100T1/2表3本地盤(pán)存儲(chǔ)（三副本-消耗的能量，包括CPU、GPU要6服務(wù)器；2）采用存算分離共享存儲(chǔ)架構(gòu)，2服務(wù)器+1表4典型功耗-盤(pán)為兩套MySQL39%。90%以上。520%。偵測(cè)分析：檢測(cè)I/O行為是否異常，如發(fā)現(xiàn)異常，能生態(tài)兼容性：能夠與多種技術(shù)棧、工具、平和服務(wù)5數(shù)據(jù)庫(kù)存算分離架構(gòu)vs.力。計(jì)算和存儲(chǔ)資源緊密耦，由于耦度高，節(jié)點(diǎn)故障的影響通過(guò)外置存儲(chǔ)和計(jì)算資源的分離部署結(jié)存儲(chǔ)的高可靠特務(wù)器中，數(shù)據(jù)庫(kù)數(shù)據(jù)則通過(guò)外置高可靠高性能存儲(chǔ)，結(jié)高速輸能力，實(shí)現(xiàn)數(shù)據(jù)庫(kù)IOPSIO圖19SAN支持主流數(shù)據(jù)庫(kù)類(lèi)型，以及ARM、X86等多計(jì)算平。2GB/s，103：客戶(hù)批量改造現(xiàn)網(wǎng)數(shù)據(jù)庫(kù)，若采用sharenothing4：數(shù)據(jù)庫(kù)全棧改造升級(jí)，需要在滿(mǎn)足當(dāng)前業(yè)務(wù)性能基圖20907*24邏輯進(jìn)行重構(gòu)的方式實(shí)現(xiàn)轉(zhuǎn)型。工商銀行計(jì)使用超過(guò)40類(lèi)傳70200和復(fù)雜計(jì)算批量場(chǎng)景的需求，具備百萬(wàn)級(jí)QPSPB級(jí)分離架構(gòu)與廠(chǎng)商進(jìn)行大型業(yè)務(wù)系統(tǒng)0racle數(shù)據(jù)庫(kù)轉(zhuǎn)型的多集步，異地園區(qū)間通過(guò)異步方式實(shí)現(xiàn)增量日志同步，具備本地RPO=0&RTO<30秒、同城RPO=0&RTO<180秒和異地RPO<1分鐘&RTO<10分鐘的金融級(jí)高可用通力。圖21目前工商銀行綜應(yīng)用存儲(chǔ)級(jí)日志復(fù)制數(shù)據(jù)庫(kù)流復(fù)制等多圖22SQLOracle95%以上，人工改造成90%以上，突破了數(shù)據(jù)庫(kù)轉(zhuǎn)型的技術(shù)瓶頸和實(shí)施障礙。和測(cè)試復(fù)雜度，提升測(cè)試效率，程序測(cè)試覆蓋率達(dá)100%，分支覆蓋率達(dá)95%，保障數(shù)據(jù)庫(kù)架構(gòu)轉(zhuǎn)型過(guò)程平穩(wěn)可控。15OGB/小時(shí)。經(jīng)過(guò)大量實(shí)踐，工商銀行形成了一套無(wú)需整體重構(gòu)Oracle耦的存算一體數(shù)據(jù)庫(kù)，優(yōu)點(diǎn)是計(jì)算在本節(jié)點(diǎn)讀寫(xiě)數(shù)據(jù)，數(shù)據(jù)傳此外，存算分離架構(gòu)與云基礎(chǔ)設(shè)施技術(shù)結(jié)，使得數(shù)據(jù)庫(kù)的管理基于存算分離數(shù)據(jù)庫(kù)的技術(shù)特點(diǎn)農(nóng)業(yè)銀行結(jié)自身需求特一是制定分類(lèi)的硬件資源配置策略結(jié)存算分離技術(shù)特點(diǎn)的業(yè)務(wù)連續(xù)性，選擇“物理機(jī)裸金屬+企業(yè)高端閃存”的組架構(gòu)務(wù)虛擬機(jī)+分布式存儲(chǔ)”的組架構(gòu)。了驗(yàn)證數(shù)據(jù)庫(kù)的傳統(tǒng)基本功能外，還結(jié)云計(jì)算技術(shù)，增加了對(duì)完成存算分離數(shù)據(jù)庫(kù)與我行內(nèi)部運(yùn)維管理體系的融工作確保為進(jìn)一步提升產(chǎn)品易用性，引入集群?jiǎn)胃?dòng)IP方面，農(nóng)業(yè)銀行充分利用云計(jì)算的彈性擴(kuò)展優(yōu)勢(shì)，結(jié)持續(xù)迭代通過(guò)vmwareREDHAT，存儲(chǔ)使MYSQL23一資源使用率不均由于虛擬化后單物理機(jī)上部署多虛擬但是使用的VMWARE四是虛擬機(jī)OSOS方案一：存算分離虛擬化方案一：存算分離虛擬化這種架構(gòu)是對(duì)當(dāng)前MySQL決之前的問(wèn)題。一是設(shè)備采用ARM圖24的強(qiáng)同步實(shí)現(xiàn)，MySQL故障情況下保障數(shù)據(jù)一致性，實(shí)現(xiàn)RPO=0。以上兩種方案各有優(yōu)何理調(diào)度通過(guò)削峰填谷來(lái)實(shí)現(xiàn)資源有效利用可能會(huì)建設(shè)一套Serverless能力。圖25上圖為容器化后MYSQL過(guò)數(shù)據(jù)庫(kù)復(fù)制技術(shù)進(jìn)行跨IDC出現(xiàn)主機(jī)故障時(shí)可以在原有外接存儲(chǔ)上利用K8S的調(diào)度能力迅速拉起一個(gè)新POD以做到數(shù)據(jù)零丟失。而在同城雙活中，MYSQLIDCK8S以做到切換到雙活的MYSQL更具有彈性，提高資源利用的同時(shí)，可增加單物理機(jī)的部署密MYSQL平的數(shù)據(jù)交叉比對(duì)提高數(shù)據(jù)的一體化程度和數(shù)據(jù)口徑的一圖26管控系統(tǒng)：負(fù)責(zé)TDSQL通過(guò)實(shí)際性能測(cè)試比較，使用集中存儲(chǔ)陣列(OceanStorDorado18500V6)、全閃SSD（NVME），相比本地SSD硬盤(pán)綜性能有較明顯提（包括IOPS帶寬和時(shí)延等指標(biāo)，圖27結(jié)性能影響、容量擴(kuò)展便利性、磁盤(pán)設(shè)備可靠性等因素，存力和算力剝離，各司其職。計(jì)算節(jié)點(diǎn)DN存儲(chǔ)，達(dá)到充分利用SSD從主機(jī)到交換機(jī)網(wǎng)絡(luò)到存儲(chǔ)，采用端到端NVMe協(xié)議通信,IO據(jù)重構(gòu)不影響性能，降低IOTDSQLOceanDisk微眾銀行TDSQL據(jù)存放于數(shù)據(jù)庫(kù)服務(wù)器本地SSDSSD受限于本地SSD盤(pán)容量和IOPS能力，單數(shù)據(jù)庫(kù)服務(wù)本地SSD故障需進(jìn)行數(shù)據(jù)庫(kù)服務(wù)器替換，對(duì)業(yè)務(wù)有一經(jīng)過(guò)產(chǎn)品調(diào)研和POC測(cè)試，選用華為分布式存儲(chǔ)設(shè)備構(gòu)。該架構(gòu)可提升TDSQLTDSQL采用存算分離架構(gòu)，計(jì)算層采用X86或ARM架構(gòu)服務(wù)器，存儲(chǔ)層采用分布式存儲(chǔ)OceanDisk，數(shù)據(jù)庫(kù)服務(wù)器通過(guò)高速RoCE網(wǎng)絡(luò)協(xié)議直接訪(fǎng)問(wèn)OceanDiskTDSQL以資源池的形式交付，一個(gè)資源池包含多計(jì)算服務(wù)器和3 binlog做數(shù)據(jù)同步，由TDSQL內(nèi)置強(qiáng)同步機(jī)制保證主備數(shù)據(jù)一實(shí)例設(shè)置CPU資源限制。每個(gè)實(shí)例使用獨(dú)立的邏輯卷，借助限，從而保障關(guān)鍵實(shí)例獲得優(yōu)先的IOPS、帶寬和時(shí)延保障。限制單OceanDisk部署的TDSQL實(shí)例數(shù)量（如50個(gè)），降低OceanDiskOceanDisk實(shí)例獲得的IOPS、吞吐量和IO主備節(jié)點(diǎn)均勻分布在不同的OceanDisk為確保OceanDisk穩(wěn)定可靠運(yùn)行，需控制其負(fù)載在一定閾RAID6TDSQL量需求。OceanDisk70%以下，預(yù)留空間應(yīng)對(duì)突增的數(shù)據(jù)量以及磁盤(pán)故障導(dǎo)致的可用容量下降。TDSQL6T，需避免因單實(shí)2.IOPSIOPSTDSQLIOPSOceanDisk分析其IOPS使用模式，并結(jié)業(yè)務(wù)SLA要求，理評(píng)估所需的IOPSOceanDisk的SmartQoS功能，為不同TDSQL例或數(shù)據(jù)庫(kù)配置IOPS會(huì)上報(bào)到行內(nèi)統(tǒng)一告警平。通過(guò)RestfulAPI拉取OceanDiskIOPS容量使用率、I/O錯(cuò)誤率等關(guān)鍵指標(biāo)信息寫(xiě)入數(shù)據(jù)庫(kù)，與TDSQL監(jiān)控?cái)?shù)據(jù)做聯(lián)分析：設(shè)置指標(biāo)告警閾值（CPU、IOPS、IO），超過(guò)捕捉IO、CPU源消耗較大的SQL；采集全量SQLSQL發(fā)現(xiàn)隱患SQL。TDSQL運(yùn)維管理平覆蓋了80%以上的日常運(yùn)維操作，包括OceanDisk內(nèi)置web管理DeviceManager，操作功能完善，通過(guò)開(kāi)發(fā)系列工具，對(duì)接TDSQLOSSOceanDiskIOOceanDiskIOPS性能影響，如SQL圖28IOSQL延上升，數(shù)據(jù)庫(kù)QPS業(yè)務(wù)應(yīng)用系統(tǒng)使用TDSQL均衡資源使用率，提高資源利用率。1TDSQL3OceanDisk和多數(shù)據(jù)庫(kù)服務(wù)器。TDSQL資源均衡包括如3單服務(wù)器上CPU、內(nèi)存的均衡使用，單OceanDisk容量、IOPS、IO組內(nèi)進(jìn)行理的DB節(jié)點(diǎn)遷移調(diào)度，使資源池內(nèi)各硬件負(fù)載盡量均衡。同時(shí)應(yīng)兼顧實(shí)例重要程度，保障關(guān)鍵實(shí)例的IOPSIOTDSQLOceanDisk，于TDSQL的性能和故障問(wèn)題可能與數(shù)據(jù)庫(kù)自身、OceanDisk或TDSQL10G6T，支持在線(xiàn)擴(kuò)容。靈活容量管理也帶來(lái)了服務(wù)器CPU建拷貝數(shù)據(jù)帶來(lái)的IO、帶寬資源消耗，以及重建時(shí)間較長(zhǎng)帶來(lái)OceanDiskRAID6存算分離架構(gòu)增加了存儲(chǔ)產(chǎn)品OceanDisk，但大幅減少數(shù)據(jù)本項(xiàng)目通過(guò)選用基于存算分離架構(gòu)的平為Oracle數(shù)據(jù)庫(kù)構(gòu)建高性能基礎(chǔ)設(shè)施環(huán)境，通過(guò)內(nèi)部高帶寬、低時(shí)延RDMA21套災(zāi)備環(huán)境，涉及計(jì)算節(jié)點(diǎn)達(dá)12，存儲(chǔ)節(jié)點(diǎn)17，其中單計(jì)算、需求使用6或5配置NVMeSSD盤(pán)的x86服務(wù)器部署圖29計(jì)