分布式數(shù)據(jù)庫助力金融科技架構(gòu)轉(zhuǎn)型

1、分布式數(shù)據(jù)庫助力金融科技架構(gòu)轉(zhuǎn)型移動化與互聯(lián)網(wǎng)化推動科技的發(fā)展集中式架構(gòu)問題系統(tǒng)分散，數(shù)據(jù)共亨度低缺乏靈活的水平伸縮能力無法快速應(yīng)對瞬時爆發(fā)的業(yè)務(wù)增長采購運維成本高昂缺乏自主掌控能力，生產(chǎn)運行風(fēng)險大大集中大機架構(gòu)，重核心業(yè)務(wù)系統(tǒng)分布式SOA面向服務(wù)架構(gòu)應(yīng)用程序分布式虛擬化部署、微服務(wù)數(shù)據(jù)存儲分布式大數(shù)據(jù)、分布式影像 平臺核心父易分布式分布式父易型數(shù)據(jù)庫分布式技術(shù)在企業(yè)中的發(fā)展歷程應(yīng)用程序開發(fā)從煙茵式架構(gòu)向分布式的轉(zhuǎn)型應(yīng)用 削墑數(shù)據(jù)庫中間件微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)微 服 務(wù)數(shù)據(jù)庫微 服 務(wù)微 服 務(wù)傳統(tǒng)架構(gòu)向微 服務(wù)轉(zhuǎn)型應(yīng)用 削墑數(shù)據(jù)庫如何應(yīng)對微服

2、務(wù)應(yīng)用框架Oracle IBM 0B2MySQLMySQLPGSQLPGSQL分布式數(shù)據(jù)庫MySQL實例MySQL實例PGSQL實例PGSQL實例集中式存儲數(shù)據(jù)緊耦合無法彈性擴張單點故障碎片化存儲數(shù)據(jù)碎片化數(shù)據(jù)無共享運維成本高分布式存儲微服務(wù)對應(yīng)獨 立實例物理分散存儲 彈性擴張分布式數(shù)據(jù)庫技術(shù)的典型應(yīng)用場景數(shù)據(jù)倉庫大數(shù)據(jù)影像平臺數(shù)據(jù)中臺聯(lián)機父易數(shù)據(jù)倉庫 傳統(tǒng)報表統(tǒng)計分析類 業(yè)務(wù)，使用分布式MPP數(shù)據(jù)庫大數(shù)據(jù) 離線數(shù)據(jù)挖掘，使用 Hadoop技術(shù)堆棧影像平臺 非結(jié)構(gòu)化對象存儲， 使用分布式數(shù)據(jù)庫或?qū)ο蟠鎯?shù)據(jù)中臺 提供聯(lián)機生產(chǎn)業(yè)務(wù)的 核心系統(tǒng)瘦身，使用分布式數(shù)據(jù) 庫聯(lián)機父易 提供在線父易型服務(wù)，

3、 使用分布式數(shù)據(jù)庫分布式技術(shù)在傳統(tǒng)大數(shù)據(jù)數(shù)倉的價值用得廣大數(shù)據(jù)支持多種數(shù)據(jù)類 型的存儲支持MapReduce對非結(jié) 構(gòu)化數(shù)據(jù)自定義訪問方 式算得快分布式計算有效利用所 有設(shè)備計算能力使用預(yù)計算技術(shù)有效降 低實時計算需求存得多橫向擴展提升存儲量列存儲壓縮能力強分布式數(shù)據(jù)庫技術(shù)在統(tǒng)計分析中的不足 大數(shù)據(jù)支持多種數(shù)據(jù)類型用得廣 的存儲 支持MapReduce對非結(jié)構(gòu)化數(shù)據(jù)自定義訪問方式 分布式計算有效利用所有算得快 設(shè)備計算能力 使用預(yù)計算技術(shù)有效降低實時計算盂求存得多 橫向擴展提升存儲呈 列存儲壓縮能力強可靠性弱并發(fā)能力不足響應(yīng)速度不夠聯(lián)機交易業(yè)務(wù)需要什么樣的分布式數(shù)據(jù)庫？ACID的支持 事務(wù)、致

4、性等，處理OLTPSQL完整支持 MySQL/PostgreSQL語法的完整兼容分布式與擴展性 分布式是新代架構(gòu)的基礎(chǔ)，擴展性能應(yīng)對變化的數(shù) 據(jù)量Multi-model與多租戶 multi-model多模數(shù)據(jù)庫引擎，同引擎處理多種 數(shù)據(jù)應(yīng)用場景，符合微服務(wù)和云數(shù)據(jù)庫的架構(gòu)理念HTAP 混合事務(wù)和分析場景，適應(yīng)更多數(shù)據(jù)應(yīng)用需求傳 統(tǒng) 技 術(shù) 兼 容 性新 技 術(shù) 酌 瞻 性Application核心信貸CRM票據(jù)分庫分表clusterclusterclustercluster將不同模塊的數(shù)據(jù)表分庫存儲，庫間 不相互關(guān)聯(lián)杳詢，如果有，必須通過 數(shù)據(jù)冗余或在應(yīng)用層次加工來解決， 對應(yīng)用程序侵入較大。

5、通過分布式中間件進行用戶ID的路由分發(fā)，保 證用戶的類操作涉及的表在個節(jié)點上完成， 避免分布式事務(wù)。如果有跨節(jié)點的事務(wù)，則通 過中間件保證其致性。原生分布式數(shù)據(jù)庫將表分布到不同朸器的庫上，減輕數(shù)據(jù)庫的壓 力物理朸的CPU、內(nèi)存、網(wǎng)絡(luò)I0負載分攤。支持 分布式事務(wù)。Application分布式中間件（路由分發(fā)MQ)用戶組1用戶組2用戶組3用戶組4XXXclusterclusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據(jù)clusterApplicationc

6、lusterclustercluster核心核心DB1核心DB2核心DB3核心DBn信貸信貸DB1信貸DB2信貸DB3信貸DBnCRMCRM-DB1CRM-DB2CRM-DB3CRM-DBn票據(jù)票據(jù)DB1票據(jù)DB2票據(jù)DB3票據(jù)DBnXXX票據(jù)DB1 X 票據(jù)DB2 X票據(jù)DB3X 票據(jù)DBn分布式交易型數(shù)據(jù)庫技術(shù)發(fā)展體系應(yīng)用垂直分庫垂直分庫分庫分表原生分布式數(shù)據(jù)庫起點比較早，應(yīng)用控制能力強，可進 行深度定制化對千底層數(shù)據(jù)庫沒有任何特殊要求， 完全在應(yīng)用程序內(nèi)部進行分庫構(gòu)建中間SQL解析層，盡可能將標(biāo)準(zhǔn)SQL拆分成多個子杳詢下壓到下層數(shù)據(jù)庫，在SQL層進行結(jié)杲拼裝對千底層數(shù)據(jù)庫無特殊要求，在中

7、間 件進行SQL切分（支持XA即可）部分兼容傳統(tǒng)SQL，應(yīng)用程序開發(fā)難 度小千垂直分庫數(shù)據(jù)庫內(nèi)部處理分布式事務(wù)與數(shù)據(jù)切 分邏輯，對千應(yīng)用程序完全透明，不 需感知底層數(shù)據(jù)分布數(shù)據(jù)庫內(nèi)部原生支持分布式事務(wù)，性 能遠遠高千分庫分表高可用與容災(zāi)能力由數(shù)據(jù)庫內(nèi)核原生 支持，不需額外輔助工具應(yīng)用程序邏輯侵入性極強，應(yīng)用程序 需要進行復(fù)雜邏輯才能進行合理數(shù)據(jù) 分布拓撲結(jié)構(gòu)調(diào)整或擴容時非常痔苦，幾 乎不可能完成在線擴容很難支持跨庫事務(wù)應(yīng)用程序邏輯侵入性較強，應(yīng)用程序 需感知底層數(shù)據(jù)分布結(jié)構(gòu)，才能設(shè)計 出優(yōu)化后的杳詢邏輯中間件實現(xiàn)分布式事務(wù)，跨庫事務(wù)使 用XA機制，性能大幅度下降作為單點向新型分布式數(shù)據(jù)庫轉(zhuǎn)型的

8、 過渡階段，技術(shù)延續(xù)性堪憂技術(shù)較新，業(yè)界成熟案例相對較少輔助工具相對較少，生態(tài)環(huán)境有待完 善優(yōu) 勢劣 勢分布式數(shù)據(jù)庫技術(shù)發(fā)展體系對比金融級分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫架構(gòu)”計算存儲分離” 分布式數(shù)據(jù)庫架構(gòu)數(shù)據(jù)庫實例區(qū)數(shù)據(jù)存儲區(qū)元數(shù)據(jù)管理區(qū)協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)1數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)2數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)3數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)4數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)5數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)6MySQL實例PGSQL實例S3實例編目節(jié)點 編目節(jié)點 編目節(jié)點主副本1從副本2從副本3每個實例均可作為高可用

9、負載 均衡 且能進行對等讀寫操作Sequoia DB分 布 式 存 儲 引 擎SequoiaDB支持多種數(shù)據(jù)庫實例類型關(guān)系型文檔型MySQLPostgreSQLJSON SparkSQL對象型S3Posix文件系統(tǒng)關(guān)系型數(shù)據(jù)庫實例：MySQLMySQL實例1（高可用）MySQL實例2（高可用）MySQL實例3（高可用）MySQL實例4（高可用）全兼容MySQL數(shù)據(jù)庫增刪改查語法(SQL、DML)視圖、存儲過程、觸發(fā)器、自增字段(DDL、DCL)語法 跨節(jié)點跨表事務(wù)、四種隔離級別、讀已提交能力協(xié)議級兼容MySQL客戶端協(xié)議級兼容JDBC驅(qū)動通訊協(xié)議 支持所有MySQL開發(fā)框架訪問計劃計算方式兼容

10、MySQL訪問計劃 統(tǒng)計信息收集策略兼容MySQL分布式事務(wù)能力悲觀鎖賣已提父能力MySQL/PGSQL/SparkSQL保持100%兼容原生MySQL/PGSQL/SparkSQL解 析與執(zhí)行引擎，不需擔(dān)心語法兼 容訪間計劃流水類數(shù)據(jù)按時間與ID 維切分，避免數(shù)據(jù)搬遷余額類數(shù)據(jù)按ID散列，保 證均衡無熱點傳統(tǒng)段提父機制保證數(shù)據(jù)跨節(jié)點致性段提父表設(shè)計原2PC則鎖機制兼容性HT P能力+數(shù)據(jù)湖：MySQL + SparkSQLMySQL實例1（高可用）MySQL實例2（高可用）MySQL實例3（高可用）MySQL實例4（高可用）SparkSQL實例1SparkSQL實例2微服務(wù)框架下，對成千上萬

11、個MySQL數(shù)據(jù)庫實例做到統(tǒng)一化管理，防止數(shù)據(jù)碎片化，并對來自不同實 例和服務(wù)的數(shù)據(jù)統(tǒng)一實時分析，避免聯(lián)機交易與分析業(yè)務(wù)相互干擾多模式與多租戶在一個集群內(nèi)同時提供關(guān)系型數(shù)據(jù)庫以及對象存儲實例 盡可能減少用戶對于異構(gòu)產(chǎn)品的學(xué)習(xí)與運維成本MySQL實例1MySQL實例2S3對象存儲Posix文件系統(tǒng)結(jié)構(gòu)化存儲格式非結(jié)構(gòu)化存儲格式多租戶與數(shù)據(jù)隔離數(shù)據(jù)中臺域非結(jié)構(gòu)化數(shù)據(jù)域數(shù) 據(jù) 存 儲 區(qū)聯(lián)機父易互聯(lián)網(wǎng)服務(wù)影像存儲審計監(jiān)督數(shù)據(jù)倉庫機器學(xué)習(xí)結(jié)構(gòu)化與非結(jié)構(gòu)化存儲格式File HeaderSpace Management ExtentData Segment MetadataCS Metadatapage1

12、page2.offset 1offset 2空閑空間key2key1支持多種容災(zāi)模式，數(shù)據(jù)零丟失同城方案1、主備機房使用可靠高速光纖直連2、每個分區(qū)主節(jié)點在主中心3、平時使用強致同步策略保障數(shù)據(jù)不丟4、故障發(fā)生時使用takeover工具進行集群分離， 備集群獨立運行 5、故障恢復(fù)后使用merge工具進行集群合并雙活方案1、應(yīng)用程序直連本地數(shù)據(jù)中心數(shù)據(jù)庫協(xié)調(diào)節(jié)點2、應(yīng)用程序不需要關(guān)注底層數(shù)據(jù)存儲主備中 心復(fù)制和通訊策略兩地三中心1、遠程數(shù)據(jù)中心使用異步機制進行數(shù)據(jù)復(fù)制2、數(shù)據(jù)中心之間可進行流量控制保證不會占用過多帶寬異構(gòu)數(shù)據(jù)源復(fù)制策略異步數(shù)據(jù)復(fù)制策略1、使用1S54或+Sv格式定期將異構(gòu)數(shù)據(jù)源M

13、r始數(shù)據(jù) p行導(dǎo)出Qcdc件2、tTFT6a方式將c件傳輸至巨杉數(shù)據(jù)庫M客戶端3、tTIdbBDGrJs具將cdc件導(dǎo)o巨杉數(shù)據(jù)庫4、滿足異構(gòu)數(shù)據(jù)源T+1M數(shù)據(jù)復(fù)制策略，簡單S靠準(zhǔn)h時數(shù)據(jù)復(fù)制策略1、異構(gòu)數(shù)據(jù)源使用lmMs具將日志c件h時解析x 寫o管道2、tTAGacAe SJFrD對管道信息監(jiān)nx轉(zhuǎn)換Q標(biāo)準(zhǔn)D32 DD2命令 3、指令分發(fā)至P線程處理服務(wù)p行巨杉歷史數(shù)據(jù)庫M b刪改查4、滿足異構(gòu)數(shù)據(jù)源T+OM數(shù)據(jù)復(fù)制策略，秒級延時5、if支持5racCe /FCdeE /aJe(對y5racCe數(shù)據(jù)源)、0B3 +D+(對y0B3 DB2)、00E(對y0B30EfFrDBx)、V及+aE

14、EeC(對y3LSQ2)6、對eifN支持M數(shù)據(jù)庫需O尋找開源M日志解析 s具或p行獨立開發(fā)OracleDB2InformixMySQL導(dǎo) 入 工 具歷史庫異 步 數(shù) 據(jù) 復(fù) 制 策 略DB2InformixMySQL歷史庫準(zhǔn) 實 時 數(shù) 據(jù) 復(fù) 制 策 略定期任務(wù)實時推送Oracle日志解析格式轉(zhuǎn)化任務(wù)處理聯(lián)機交易場景中分布式數(shù)據(jù)庫應(yīng)用接入層應(yīng)用應(yīng)用應(yīng)用服務(wù)層杳詢服務(wù)賬務(wù)服務(wù)場景控制流程調(diào)度備份服務(wù)外部服務(wù)鑒權(quán)服務(wù)用戶權(quán)限安全服務(wù)服 務(wù)用戶服務(wù)存儲層SequoiaDB巨杉數(shù)據(jù) 庫RedisCeph物理層計算虛擬化網(wǎng)絡(luò)虛擬化存儲虛擬化 laaS虛擬機虛擬機虛擬機 VM物理機物理機物理機X86物

15、理機集群管控配詈中心注冊中心消息服務(wù)組 消息推送資源服務(wù)組 資源更新杳詢賬 戶組外部備 份組安全服 務(wù)組場景控 制服務(wù) 組認證授權(quán) 服務(wù)組分布式數(shù)據(jù)庫分布式緩存分布式存儲微服務(wù)框架分布式數(shù)據(jù)庫開發(fā)管理渠道層A地B地應(yīng)用應(yīng)用應(yīng)用數(shù) 據(jù) 中 心API分布式緩存數(shù)據(jù)庫實例MySQL實例MySQL實例協(xié)調(diào)節(jié)點備數(shù)據(jù)協(xié)調(diào)節(jié)點備數(shù)據(jù)備數(shù)據(jù)主數(shù)據(jù)SequoiaDB存儲SequoiaDB分布式數(shù)據(jù)庫數(shù)據(jù)中心1API分布式緩存數(shù)據(jù)庫實例MySQL實例MySQL實例協(xié)調(diào)節(jié)點備數(shù)據(jù)協(xié)調(diào)節(jié)點備數(shù)據(jù)備數(shù)據(jù)主數(shù)據(jù)SequoiaDB存儲SequoiaDB分布式數(shù)據(jù)庫數(shù)據(jù)中心2API分布式緩存數(shù)據(jù)庫實例MySQL實例MySQ

16、L實例協(xié)調(diào)節(jié)點備數(shù)據(jù)協(xié)調(diào)節(jié)點備數(shù)據(jù)備數(shù)據(jù)主數(shù)據(jù)SequoiaDB存儲SequoiaDB分布式數(shù)據(jù)庫數(shù)據(jù)中心3實時開少同城雙活兩地三中心架構(gòu)數(shù)據(jù)中臺場景中分布式數(shù)據(jù)庫應(yīng)用數(shù)據(jù)中臺業(yè)務(wù)價值數(shù)據(jù)匯聚 連接前后縱觀大局 統(tǒng)領(lǐng)全局技術(shù)升級 應(yīng)用快捷套數(shù)據(jù)個ID組服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)規(guī)范定義從業(yè)務(wù)源頭標(biāo)準(zhǔn)化技術(shù)內(nèi)核工具化規(guī)范定義、建模研發(fā)、調(diào)度運維元數(shù)據(jù)驅(qū)動智能化智能化規(guī)劃計算和存儲單元技術(shù)驅(qū)動數(shù)據(jù)連接通過統(tǒng)ID進行業(yè)務(wù)間數(shù)據(jù)連接技術(shù)內(nèi)核工具化自動化數(shù)據(jù)清洗、高效標(biāo)簽生產(chǎn)業(yè)務(wù)驅(qū)動技術(shù)價值化打破信息孤島，產(chǎn)生高價值數(shù)據(jù)主題式數(shù)據(jù)服務(wù)主題邏輯表屏蔽復(fù)雜的物理表統(tǒng)多樣化數(shù)據(jù)服務(wù)高并發(fā)杳詢自由報表在線服 務(wù)跨源數(shù)據(jù)

17、服務(wù)屏蔽異構(gòu)數(shù)據(jù)源數(shù)據(jù)中臺體系結(jié)構(gòu)實時數(shù)據(jù)服務(wù)內(nèi)容管理場景中分布式數(shù)據(jù)庫應(yīng)用銀行業(yè)內(nèi)容管理系統(tǒng)發(fā)展歷史新一代 ECM 非結(jié)構(gòu)化數(shù)據(jù)量巨大。銀行每E產(chǎn)生大量憑證、票據(jù)、報表、檔案以及其他非結(jié)構(gòu)化數(shù)據(jù)。 銀行的非結(jié)構(gòu)化數(shù)據(jù)直接關(guān)系銀行的核心價值，包括信用、法規(guī)遵從、風(fēng)險管理、客服等。 銀行的非結(jié)構(gòu)化數(shù)據(jù)涉及諸C業(yè)務(wù)領(lǐng)域，M存在大量業(yè)務(wù)間的傳遞和共享需求。 非結(jié)構(gòu)化數(shù)據(jù)的操作常常是業(yè)務(wù)流程的重要環(huán)節(jié)，直接影響業(yè)務(wù)流程的效率。 銀行的非結(jié)構(gòu)化數(shù)據(jù)通常有很強的生命周期管理和安全方面的需求。傳E 需求弱事務(wù)型碎片化 隨時隨地云計算互聯(lián)網(wǎng)銀行CE-簡單的影像 5用獨立服務(wù)于CE的 影像服務(wù)E一7供服務(wù)的影

18、像40全行級的-3管理 40，21采用傳EECM架構(gòu)2003-20042005-20072007-20102010-2014SCM 3.0架構(gòu)設(shè)計應(yīng)用服務(wù)資源管理層原C服務(wù)編制組件安全 管理應(yīng)用服務(wù) 質(zhì)簫管理數(shù)據(jù)生命 周期管理可拔插原C服務(wù)層全文檢索圖像檢索視頻檢索OCR識別語音識別元數(shù)據(jù)管理應(yīng)用系統(tǒng)智能識別 云平臺應(yīng)用存/恒信投行管理 系統(tǒng)企貸、個 貸電C檔案 系統(tǒng)IT運營監(jiān) 控系統(tǒng)云服務(wù)資源管理層并行計算框架資源管理服務(wù)數(shù)據(jù)挖R服務(wù)全文檢索服務(wù)其他管理服務(wù)數(shù)據(jù)存/層元數(shù)據(jù)服務(wù)應(yīng)用存/應(yīng)用存/應(yīng)用存/應(yīng)用存/應(yīng)用存/應(yīng)用存/根據(jù)存/系統(tǒng) 的特點，根據(jù) 應(yīng)用類型與生 命周期，使用 不同級別的存/方式文件緩存層元數(shù)據(jù)存/文件O久化存/層文件歸檔層應(yīng)用服務(wù)層文件搜索簡單文件存/ 下載服務(wù)復(fù)合