新一代分布式數(shù)據(jù)庫SequoiaDB介紹

1、新一代分布式數(shù)據(jù)庫SequoiaDB介紹巨杉數(shù)據(jù)庫數(shù)據(jù)庫發(fā)展與趨勢(shì)？數(shù)據(jù)庫行業(yè)的技術(shù)發(fā)展路線1960s1980s1990s2010年后層次型數(shù)據(jù)庫主機(jī)關(guān)系型數(shù)據(jù)庫小型機(jī)關(guān)系型數(shù)據(jù)庫分布式數(shù)據(jù)庫集中式架構(gòu)普遍缺乏彈性伸縮的能力， 隨著交易量和數(shù)據(jù)量的增長，系統(tǒng)支 持的容量容易遇到硬件或技術(shù)的瓶頸。 尤其在支持面向互聯(lián)網(wǎng)海量客戶相關(guān) 業(yè)務(wù)時(shí)，不能有效處理瞬時(shí)爆發(fā)的海 量交易，嚴(yán)重制約了海量客戶的獲取 以及大規(guī)模業(yè)務(wù)營銷。集中式架構(gòu)采用單體應(yīng)用設(shè)計(jì)，軟件開發(fā)和 運(yùn)行管理的最小單元是應(yīng)用，管理力度較粗， 容易“牽一發(fā)而動(dòng)全身”，應(yīng)用的開發(fā)過程不易 踐行輕量化敏捷開發(fā)理念，系統(tǒng)在運(yùn)行過程 中容易出現(xiàn)單點(diǎn)

2、故障，難以有效進(jìn)行故障隔 離?；诩惺郊軜?gòu)的核心系統(tǒng)基礎(chǔ)設(shè)施使用小型機(jī)或 大型機(jī)，硬件和軟件采購成本高，開發(fā)和運(yùn)維主要 依賴于服務(wù)廠商，服務(wù)成本高。技術(shù)體系封閉，技術(shù)的發(fā)展高度依賴于廠商，特別 是依賴國外廠商，缺乏自主可控能力，在一定程度 上存在信息安全風(fēng)險(xiǎn)。應(yīng)用程序開發(fā)從煙囪式架構(gòu)向分布式的轉(zhuǎn)型應(yīng)用 前端數(shù)據(jù)庫中間件微微微服服服務(wù)務(wù)務(wù)數(shù)據(jù)庫微微微服服服務(wù)務(wù)務(wù)數(shù)據(jù)庫微微微服服服務(wù)務(wù)務(wù)數(shù)據(jù)庫傳統(tǒng)架構(gòu)向 微服務(wù)轉(zhuǎn)型應(yīng)用 前端數(shù)據(jù)庫如何應(yīng)對(duì)微服務(wù)應(yīng)用框架集中式關(guān)系型 數(shù)據(jù)庫分布式數(shù)據(jù)庫MySQL實(shí)例MySQL實(shí)例PGSQL實(shí)例S3實(shí)例集中式存儲(chǔ)數(shù)據(jù)緊耦合無法彈性擴(kuò)張單點(diǎn)故障碎片化存儲(chǔ)數(shù)據(jù)碎片化數(shù)據(jù)

3、無共享運(yùn)維成本高分布式存儲(chǔ)微服務(wù)對(duì)應(yīng)獨(dú) 立實(shí)例物理分散存儲(chǔ)邏輯集中管理微服務(wù) 1微服務(wù) 2微服務(wù) 3微服務(wù) 4微服務(wù) 1微服務(wù) 2微服務(wù) 3微服務(wù) 4微服務(wù) 1微服務(wù) 2微服務(wù) 3微服務(wù) 4MySQLMySQLPGSQLS3對(duì)象 存儲(chǔ)分布式交易型數(shù)據(jù)庫技術(shù)發(fā)展體系A(chǔ)pplicationclusterclusterclustercluster核心信貸CRM票據(jù)應(yīng)用垂直分庫Applicationclusterclusterclustercluster核心信貸CRM票據(jù)核心DB1信貸DB1CRM-DB1核心DB2信貸DB2CRM-DB2核心DB3信貸DB3CRM-DB3核心DBn信貸DBnCRM-D

4、Bn票據(jù)DB1票據(jù)DB2票據(jù)DB3票據(jù)DBn原生分布式數(shù)據(jù)庫分庫分表分布式中間件（路由分發(fā)）clustercluster用戶組1Application核心信貸CRM票據(jù)核心DB1信貸DB1CRM-DB1核心DB2信貸DB2CRM-DB2核心DB信貸DBCRM-DB心DBn3核3信貸DBnRM-DBn票據(jù)DB1票據(jù)DB2票據(jù)DB3C3票據(jù)DBn用戶組2用戶組3用戶組4clustercluster分布式數(shù)據(jù)庫技術(shù)發(fā)展體系對(duì)比垂直分庫起點(diǎn)比較早，應(yīng)用控制能力強(qiáng)，可進(jìn) 行深度定制化對(duì)于底層數(shù)據(jù)庫沒有任何特殊要求， 完全在應(yīng)用程序內(nèi)部進(jìn)行分庫分庫分表構(gòu)建中間SQL解析層，盡可能將標(biāo)準(zhǔn) SQL拆分成多個(gè)子

5、查詢下壓到下層數(shù) 據(jù)庫，在SQL層進(jìn)行結(jié)果拼裝對(duì)于底層數(shù)據(jù)庫無特殊要求，在中間 件進(jìn)行SQL切分（支持XA即可）部分兼容傳統(tǒng)SQL，應(yīng)用程序開發(fā)難 度小于垂直分庫原生分布式數(shù)據(jù)庫數(shù)據(jù)庫內(nèi)部處理分布式事務(wù)與數(shù)據(jù)切 分邏輯，對(duì)于應(yīng)用程序完全透明，不 需感知底層數(shù)據(jù)分布數(shù)據(jù)庫內(nèi)部原生支持分布式事務(wù)，性 能遠(yuǎn)遠(yuǎn)高于分庫分表高可用與容災(zāi)能力由數(shù)據(jù)庫內(nèi)核原生 支持，不需額外輔助工具應(yīng)用程序邏輯侵入性極強(qiáng)，應(yīng)用程序 需要進(jìn)行復(fù)雜邏輯才能進(jìn)行合理數(shù)據(jù) 分布拓?fù)浣Y(jié)構(gòu)調(diào)整或擴(kuò)容時(shí)非常痛苦，幾 乎不可能完成在線擴(kuò)容很難支持跨庫事務(wù)應(yīng)用程序邏輯侵入性較強(qiáng)，應(yīng)用程序 需感知底層數(shù)據(jù)分布結(jié)構(gòu)，才能設(shè)計(jì) 出優(yōu)化后的查詢邏輯

6、中間件實(shí)現(xiàn)分布式事務(wù)，跨庫事務(wù)使 用XA機(jī)制，性能大幅度下降作為單點(diǎn)向新型分布式數(shù)據(jù)庫轉(zhuǎn)型的 過渡階段，技術(shù)延續(xù)性堪憂技術(shù)較新，業(yè)界成熟案例相對(duì)較少輔助工具相對(duì)較少，生態(tài)環(huán)境有待完 善優(yōu) 勢(shì)劣 勢(shì)分布式核心交易業(yè)務(wù)？交易業(yè)務(wù)需要什么樣的分布式數(shù)據(jù)庫ACID的支持事務(wù)、一致性等，處理OLTPSQL完整支持分布式與擴(kuò)展性分布式是新一代架構(gòu)的基礎(chǔ)，擴(kuò) 展性能應(yīng)對(duì)變化的數(shù)據(jù)量云與多租戶同一引擎處理多種數(shù)據(jù)應(yīng)用場(chǎng)景， 符合微服務(wù)和云數(shù)據(jù)庫的架構(gòu)理念HTAP混合事務(wù)和分析場(chǎng)景，適應(yīng)更多數(shù)據(jù)應(yīng)用需求MySQL/PostgreSQL 語法的完整兼容安全性金融級(jí)的數(shù)據(jù)高可用保障 兩地三中心，多活架構(gòu)傳 統(tǒng) 技

7、術(shù) 兼 容 性新 技 術(shù) 前 瞻 性計(jì)算存儲(chǔ)分離架構(gòu)計(jì)算存儲(chǔ)分離架構(gòu)彈性擴(kuò)展能力強(qiáng)大的分布式事務(wù)能力二段提交機(jī)制保證數(shù)據(jù)跨節(jié)點(diǎn)一致性無需手工處理indoubt- transaction流水類數(shù)據(jù)按時(shí)間與ID二維切 分，避免數(shù)據(jù)搬遷余額類數(shù)據(jù)按ID散列，保證均 衡無熱點(diǎn)悲觀鎖MVCC讀已提交能力MySQL/PGSQL/MariaDB/SparkSQL 保持100%兼容原生MySQL/PGSQL/MariaDB/SparkSQL解析與執(zhí)行引擎， 不需擔(dān)心語法兼容訪問計(jì)劃兼容性鎖機(jī)制二段提交 2PC表設(shè)計(jì)原則MySQL兼容能力語法增刪改查語法（SQL、DML）視圖、存儲(chǔ)過程、觸發(fā)器、自增字段（DDL

8、、DCL）跨節(jié)點(diǎn)跨表事務(wù)、四種隔離級(jí)別、讀已提交能力通訊協(xié)議協(xié)議級(jí)兼容MySQL客戶端協(xié)議級(jí)兼容JDBC驅(qū)動(dòng)支持所有MySQL開發(fā)框架訪問計(jì)劃訪問計(jì)劃計(jì)算方式兼容MySQL統(tǒng)計(jì)信息收集策略兼容MySQL高可用能力同分區(qū)內(nèi)數(shù)據(jù)節(jié)點(diǎn)之間通過心跳保持連接主節(jié)點(diǎn)2輪接收不到超半數(shù)節(jié)點(diǎn)心跳會(huì)自動(dòng)降備備節(jié)點(diǎn)2輪接收不到主節(jié)點(diǎn)心跳會(huì)發(fā)起選舉投票超半數(shù)節(jié)點(diǎn)同意后備節(jié)點(diǎn)當(dāng)選新的主節(jié)點(diǎn)應(yīng)用 程序主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)讀、寫操作只讀只讀異步 日志復(fù)制應(yīng)用 程序主數(shù)據(jù)節(jié)點(diǎn)主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)自動(dòng)選主應(yīng)用 程序主數(shù)據(jù)節(jié)點(diǎn)從數(shù)據(jù)節(jié)點(diǎn)異步 日志復(fù)制節(jié)點(diǎn)恢復(fù)只讀讀、寫操作節(jié)點(diǎn) 恢復(fù)同步多中心容災(zāi)能力同城方案 1、主備

9、機(jī)房使用可靠高速光纖直連2、每個(gè)分區(qū)主節(jié)點(diǎn)在主中心3、平時(shí)使用強(qiáng)一致同步策略保障數(shù)據(jù)不丟4、故障發(fā)生時(shí)使用takeover工具進(jìn)行集群分離， 備集群獨(dú)立運(yùn)行5、故障恢復(fù)后使用merge工具進(jìn)行集群合并雙活方案1、應(yīng)用程序直連本地?cái)?shù)據(jù)中心數(shù)據(jù)庫協(xié)調(diào)節(jié) 點(diǎn)2、應(yīng)用程序不需要關(guān)注底層數(shù)據(jù)存儲(chǔ)主備中 心復(fù)制和通訊策略兩地三中心1、遠(yuǎn)程數(shù)據(jù)中心使用異步機(jī)制進(jìn)行數(shù)據(jù)復(fù)制2、數(shù)據(jù)中心之間可進(jìn)行流量控制保證不會(huì)占 用過多帶寬數(shù)據(jù)備份恢復(fù)數(shù)據(jù)庫實(shí)例級(jí)備份MySQL/PostgreSQL原生記錄備份策略集群級(jí)備份全量離線備份全量在線備份增量在線備份文件系統(tǒng)級(jí)備份讀節(jié)點(diǎn)文件系統(tǒng)全量備份靜態(tài)文件增量備份分布式集群數(shù)據(jù)

10、庫實(shí)例數(shù)據(jù)庫實(shí)例數(shù)據(jù)庫實(shí)例HTAP讀寫分離能力MySQL實(shí)例1（高可用）MySQL實(shí)例2（高可用）MySQL實(shí)例3（高可用）MySQL實(shí)例4（高可用）SparkSQL實(shí)例1SparkSQL實(shí)例2微服務(wù)框架下，對(duì)成千上萬個(gè)MySQL數(shù)據(jù)庫實(shí)例做到統(tǒng)一化管理，防止數(shù)據(jù)碎片化，并對(duì)來自不同實(shí) 例和服務(wù)的數(shù)據(jù)統(tǒng)一實(shí)時(shí)分析，避免聯(lián)機(jī)交易與分析業(yè)務(wù)相互干擾多租戶物理隔離能力在一個(gè)集群內(nèi)同時(shí)提供關(guān)系型數(shù)據(jù)庫以及對(duì)象存儲(chǔ)實(shí)例 盡可能減少用戶對(duì)于異構(gòu)產(chǎn)品的學(xué)習(xí)與運(yùn)維成本MySQL實(shí)例1MySQL實(shí)例2S3對(duì)象存儲(chǔ)Posix文件系統(tǒng)結(jié)構(gòu)化存儲(chǔ)格式非結(jié)構(gòu)化存儲(chǔ)格式多租戶權(quán)限管理能力核心賬務(wù)實(shí)例信貸實(shí)例信用卡實(shí)例渠道

11、業(yè)務(wù)實(shí)例每個(gè)實(shí)例提供完全隔離的權(quán)限控制與數(shù)據(jù)可視范圍確保不會(huì)管理員不會(huì)有意無意使實(shí)例訪問被隔離的其他信息WLM負(fù)載管理能力優(yōu)先級(jí)策略管理1、針對(duì)用戶名與 IP 地址（數(shù)據(jù)庫 實(shí)例）定義業(yè)務(wù)優(yōu)先級(jí)2、硬件資源發(fā)生競(jìng)爭(zhēng)時(shí)基于優(yōu)先級(jí) 進(jìn)行調(diào)度3、低負(fù)載情況下不造成任何額外負(fù) 擔(dān)與開銷4、高負(fù)載情況下優(yōu)先調(diào)度重要應(yīng)用Whatwedo？金融級(jí)應(yīng)用數(shù)據(jù)領(lǐng)先5440億銀行單一集群最大數(shù)據(jù)量 5440億條記錄2PB銀行最大單集群 數(shù)據(jù)量超過2PB141銀行最大單集群141臺(tái)物理服務(wù)器金融級(jí)用戶認(rèn)可，新一代分布式數(shù)據(jù)庫應(yīng)用標(biāo)桿巨杉數(shù)據(jù)庫部分客戶列表全維度金融客戶50+金融級(jí)客戶跨越兩代數(shù)據(jù)庫技術(shù)路線全球前三大傳

12、統(tǒng)關(guān)系型數(shù)據(jù)庫中唯一的分布式數(shù)據(jù)庫。 巨杉的核心研發(fā)團(tuán)隊(duì)來自于IBM DB2數(shù)據(jù)庫實(shí)驗(yàn)室。兩代分布式OLTP數(shù)據(jù)庫基因融合新一代分布式數(shù)據(jù)庫全球最廣泛應(yīng)用的產(chǎn)品，云數(shù)據(jù) 庫未來的發(fā)展主流方向。規(guī)模應(yīng)用場(chǎng)景，覆蓋全維度金融級(jí)數(shù)據(jù)應(yīng)用核心交易數(shù)據(jù)中臺(tái)內(nèi)容管理實(shí)時(shí)數(shù)據(jù) 服務(wù)2014年2018年2019年某股份制銀行 在線業(yè)務(wù)替換， 打響數(shù)據(jù)庫替 換Oracle的“第 一槍”某大型股份制銀 行柜面業(yè)務(wù)遷移 至巨杉數(shù)據(jù)庫， 成功替換IBM DB2某大型銀行網(wǎng) 貸業(yè)務(wù)核心替 換Oracle2016年某大型農(nóng)信銀 行聯(lián)社柜面業(yè) 務(wù)替換Oracle金融級(jí)核心數(shù)據(jù)庫替換之路銀行業(yè)典型案例，加速金融級(jí)數(shù)據(jù)庫升級(jí)從

13、2014年開始建設(shè)，國內(nèi)最 早應(yīng)用國產(chǎn)分布式數(shù)據(jù)庫的 銀行案例單集群141臺(tái)物理服務(wù)器， 分布式數(shù)據(jù)庫領(lǐng)域金融行 業(yè)最大規(guī)模生產(chǎn)環(huán)境集群 之一77個(gè)在線應(yīng)用已接入使用 了巨杉數(shù)據(jù)庫廣發(fā)銀行數(shù)據(jù)服務(wù)平臺(tái)，完 全遷移至巨杉數(shù)據(jù)庫基于SequoiaDB的數(shù)據(jù)服務(wù)平 臺(tái)匯總信息：物理服務(wù)器：91臺(tái)接入系統(tǒng)總數(shù)：81個(gè)接入數(shù)據(jù)表總數(shù)：3441張接入數(shù)據(jù)記錄數(shù)：5444億接入數(shù)據(jù)總量：249TB網(wǎng)貸業(yè)務(wù)核心交易平臺(tái)上線 巨杉數(shù)據(jù)庫使用國產(chǎn)分布式交易型數(shù) 據(jù)庫作為底層核心基于微服務(wù)架構(gòu)體系，可 彈性擴(kuò)張分布式事務(wù)一致性管理巨杉數(shù)據(jù)庫：國內(nèi)金融行業(yè)廣泛使用的新一代國產(chǎn)分布式數(shù)據(jù)庫專注金融行業(yè)應(yīng)用，在超過50家

14、金融級(jí)用戶生產(chǎn)系統(tǒng)上 線應(yīng)用底層核心代碼完全從零自 研，并已進(jìn)行開源技術(shù)路線跨越了新老兩代 OLTP數(shù)據(jù)庫，融合技術(shù)基 因，創(chuàng)造獨(dú)有的技術(shù)路線中國金融行業(yè)規(guī)模最大 的獨(dú)立國產(chǎn)分布式數(shù)據(jù) 庫集群之一核心團(tuán)隊(duì)來自IBM DB2， 擁有更豐富的OLTP數(shù)據(jù) 庫研發(fā)經(jīng)驗(yàn)國內(nèi)唯一一個(gè)連續(xù)三年 進(jìn)入Gartner榜單的國產(chǎn) 數(shù)據(jù)庫海內(nèi)外業(yè)界認(rèn)可入選Gartner數(shù)據(jù)庫報(bào)告2017 中國數(shù)據(jù)庫產(chǎn)品首次入選Gartner報(bào)告，巨杉數(shù) 據(jù)庫與阿里云為第一批入選產(chǎn)品廠商連續(xù)3年入選報(bào)告的分布式數(shù)據(jù)庫產(chǎn)品Gartner Peer Insights 獲評(píng)高分82%的用戶為巨杉數(shù)據(jù)庫評(píng)價(jià)五星滿分64%的用戶評(píng)價(jià)來自于金

15、融銀行業(yè)27%的用戶評(píng)價(jià)來自于百億美元以上規(guī)模的公司行業(yè)認(rèn)可與標(biāo)準(zhǔn)制定3參與信通院分布式事務(wù)數(shù)據(jù)庫、MPP數(shù)據(jù)庫等標(biāo) 準(zhǔn)制定金融電子化雜志多次獲評(píng) “優(yōu)秀自主創(chuàng)新”“優(yōu)秀創(chuàng)新技術(shù)”獎(jiǎng)“國家高新技術(shù)企業(yè)” 認(rèn)證，省市級(jí)“創(chuàng)新產(chǎn)業(yè)領(lǐng) 軍團(tuán)隊(duì)”，“科技創(chuàng)新小巨人企業(yè)”SequoiaDB 3.4正式發(fā)布？SequoiaDB 3.4 正式發(fā)布數(shù)據(jù)庫實(shí)例進(jìn)一步提升高可用能力算子下推存儲(chǔ)節(jié)點(diǎn)，精確 計(jì)算支持無事務(wù)模式，實(shí)現(xiàn)更 高性能完善修改表、列、主鍵和 索引操作兼容 MariaDB 語法數(shù)據(jù)庫引擎強(qiáng)一致事務(wù)性能提升提升副本數(shù)據(jù)同步性能提供增量數(shù)據(jù)抽取能力全文索引支持?jǐn)?shù)組類型插入數(shù)據(jù)支持重復(fù)鍵替代索引支持 not null 約束大對(duì)象引擎提供S3