分布式數(shù)據(jù)庫架構(gòu)創(chuàng)新

1、技術(shù)創(chuàng)新，變革未來云數(shù)據(jù)庫時代分布式數(shù)據(jù)庫架構(gòu)創(chuàng)新新一代NewSQL數(shù)據(jù)庫技術(shù)趨勢ACID的支持：事務(wù)、一致性等，處理OLTPSQL完整支持：MySQL/PostgreSQL語法的完整兼容分布式與擴(kuò)展性：分布式是新一代架構(gòu)的基礎(chǔ)，擴(kuò)展性能應(yīng)對變化的 數(shù)據(jù)量Multi-model與云架構(gòu): multi-model多模數(shù)據(jù)庫引擎，同一引擎處理多 種數(shù)據(jù)應(yīng)用場景，符合微服務(wù)和云數(shù)據(jù)庫的架構(gòu)理念HTAP: 混合事務(wù)和分析場景，適應(yīng)更多數(shù)據(jù)應(yīng)用需求計算存儲 分離架構(gòu)設(shè)計SequoiaDB MySQL 分布式數(shù)據(jù)庫架構(gòu)SQL解析區(qū)數(shù)據(jù)存儲區(qū)協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點協(xié)調(diào) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù)

2、節(jié)點分區(qū)1數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)2數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)3數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)4數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)5數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點數(shù)據(jù) 節(jié)點分區(qū)6MySQL服務(wù)MySQL服務(wù)MySQL服務(wù)元數(shù)據(jù)管理區(qū)編目節(jié)點 編目節(jié)點 編目節(jié)點主副本1從副本2從副本3每個服務(wù)均可 進(jìn)行讀寫操作MySQL主從復(fù)制架構(gòu)MySQL服務(wù)（主）MySQL解析器InnoDBAPPMySQL服務(wù)（備）MySQL解析器InnoDBMySQL服務(wù)（備）MySQL解析器InnoDBAPPAPP讀寫只讀只讀binlog shippingSequoiaDB MySQL 100%兼容，彈性擴(kuò)

3、張，多活架構(gòu)MySQL服務(wù)（主）MySQL解析器APPMySQL服務(wù)（主）MySQL解析器MySQL服務(wù)（主）MySQL解析器APPAPP讀寫讀寫讀寫SequoiaDB分布式數(shù)據(jù)庫SequoiaDB MySQL內(nèi)部設(shè)計解析：模塊劃分Handler Adapter：作為適配層與MySQL進(jìn)行適配對接， 實現(xiàn)與表相關(guān)的操作Data Parser：負(fù)責(zé)數(shù)據(jù)記錄以及字段的解析Index：負(fù)責(zé)索引的解析、創(chuàng)建以及索引遍歷控制 Condition Parser：負(fù)責(zé)解析查詢條件Optimizer Proxy：作為優(yōu)化器的代理，實現(xiàn)統(tǒng)計信息 等收集Config Mgr：管理存儲引擎相關(guān)的配置參數(shù) SE Ha

4、ndler Pool：存儲引擎的句柄資源管理池SE Handler Adapter：實現(xiàn)與存儲引擎對接適配MySQLHandler AdapterConfig MgrOptimizer ProxySE Handler AdapterIndexData ParserCondition ParserSE Handler PoolStorage EngineAPPAPPAPPAPPSequoiaDB MySQL內(nèi)部設(shè)計解析：線程模型SDB-1SDB-2SDB-3Coord_1Coord_2MySQLTableHandle PoolSequoiaDB Connector PoolSession-1Se

5、ssion-2Session-3SequoiaDB MySQL內(nèi)部設(shè)計解析：查詢條件下壓開始獲取條件樹i t em條件樹遍歷完成？生成BsonObjY當(dāng)前是否有待 解析的Obj結(jié)束新建解析樹節(jié)點Obj解析i t emN型Y將當(dāng)前Obj 壓棧Y當(dāng)前節(jié)點指針指向 新建的ObjN作為參數(shù)push到當(dāng) 前的Obji t em是函數(shù)類 N當(dāng)前Obj 解析完成？從棧頂pop一個ObjY將當(dāng)前Obj 作為參 數(shù)push到上一步pop出的Obj 節(jié)點中當(dāng)前節(jié)點指針指向pop出的Obj 節(jié)點NSequoiaDB MySQL內(nèi)部設(shè)計解析：字段下壓規(guī)則字段定義類型條件字段類型處理規(guī)則數(shù)據(jù)型（tiny、short、l

6、ong、medium、longlong、float、double decimal）（unsigned、 signed）整型（tiny、short、long、medium、longlong）不超過longlong所能表示的范圍，轉(zhuǎn)換成longlong處理；超過longlong表示的范圍（如：unsigned longlong）， 轉(zhuǎn)換成decimal下壓浮點型（float、double）轉(zhuǎn)換成double處理、decimal轉(zhuǎn)換成decimal處理string如果是合法的數(shù)值類型（整型或浮點型）轉(zhuǎn)換成decimal處理，否則條件不下壓字符類型（char, string, text, blob）字

7、符類型（char, string, text）轉(zhuǎn)成字符串處理blob轉(zhuǎn)成binary處理日期類型（date）字符類型（char, string, text）如果是合法的日期類型轉(zhuǎn)換成日期處理，否則條件不下壓時間戳類型(timestamp, datetime)字符類型（char, string, text）如果是合法的時間類型并且時間范圍在1902年2037內(nèi)則轉(zhuǎn)換成時間戳處理，否則條件不下壓原生分布式數(shù)據(jù)庫引擎SequoiaDB 分布式數(shù)據(jù)庫架構(gòu)計算分布+存儲分布SequoiaDB 分布式數(shù)據(jù)庫架構(gòu)SequoiaDB數(shù)據(jù)存儲層采用分布式架構(gòu)，實現(xiàn)了彈性水平擴(kuò)展以及高性能和高可用，靈活適應(yīng)不同規(guī)

8、模企業(yè) 及不同作業(yè)方式的需要。數(shù)據(jù)切分：系統(tǒng)提供垂直切分和水平切分的多維分片 管理方式，數(shù)據(jù)可以按多種條件切分，均勻分布到集 群中的各個數(shù)據(jù)節(jié)點。高可用：數(shù)據(jù)在系統(tǒng)中至少保留三個副本，高可用機(jī) 制，保證了數(shù)據(jù)的持續(xù)安全使用。硬件成本降低：分布式架構(gòu)均采用通用x86服務(wù)器+高 密度硬盤，相比傳統(tǒng)的“小機(jī)+高端存儲”的配置， 大大節(jié)省了用戶投資費用。彈性擴(kuò)容：SequoiaDB的存儲節(jié)點可按需彈性擴(kuò)展， 系統(tǒng)支持在線擴(kuò)容SequoiaDB MySQL特性：MySQL分區(qū)表使用comment設(shè)置MySQL 不支持的特性分區(qū)信息不指定分區(qū)鍵則默認(rèn)使用第 一個字段支持多維分區(qū)功能其他A: 2018040

9、1, 20180501)A: 20180501, 20180601)A: 20180301, 20180401)A: 20180201, 20180301)A: 20180101, 20180201)主 表子表1子表2子表3子表4子表5mysql create table mainCl(a int, b text, c timestamp) engine = sequoiadbcomment =table_options:IsMainCL:true,ShardingKey:c:1,ShardingType:range;支持多活架構(gòu)讀寫只讀讀寫SequoiaDB ：支持兩地三中心部署，數(shù)據(jù)零丟失

10、同城方案1、主備機(jī)房使用可靠高速光纖直連2、每個分區(qū)主節(jié)點在主中心3、平時使用強(qiáng)一致同步策略保障數(shù)據(jù)不丟4、故障發(fā)生時使用takeover工具進(jìn)行集群分離， 備集群獨立運行5、故障恢復(fù)后使用merge工具進(jìn)行集群合并雙活方案1、應(yīng)用程序直連本地數(shù)據(jù)中心數(shù)據(jù)庫協(xié)調(diào)節(jié)點2、應(yīng)用程序不需要關(guān)注底層數(shù)據(jù)存儲主備中心 復(fù)制和通訊策略兩地三中心1、遠(yuǎn)程數(shù)據(jù)中心使用異步機(jī)制進(jìn)行數(shù)據(jù)復(fù)制2、數(shù)據(jù)中心之間可進(jìn)行流量控制保證不會占用 過多帶寬SequoiaDB ：數(shù)據(jù)域邏輯與物理隔離信貸業(yè)務(wù)域信用卡業(yè)務(wù)域數(shù) 據(jù) 存 儲 區(qū)核心業(yè)務(wù)信貸業(yè)務(wù)信用卡業(yè)務(wù)風(fēng)控系統(tǒng)審計系統(tǒng)客戶畫像系統(tǒng)SequoiaDB 3.0 全文檢索索

11、引支持sd 運行架構(gòu)SequoiaDBSearch Engine Connectorsearch engineroute agentsearch engine agentshard session managerdata cappeddata cappeddatadataroute agentindex session managerAssync session and Assync session manag ershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessio

12、nTCPlistenerIndexer readershard sessionagent sessionagent sessionexternal data source managerCB managerMain loopEDSEDSEDSSequoiaDB 3.0 對象存儲+文件系統(tǒng)支持平臺統(tǒng)一監(jiān)控管理方案SequoiaDB提供全面的圖形 化集群監(jiān)控功能集群健康狀態(tài)資源使用狀態(tài)SequoiaDB提供圖形化操作 界面集群部署、擴(kuò)容集群管理數(shù)據(jù)CURD操作數(shù)據(jù)管理，切分、 均衡等MySQL兼容樣例SequoiaDB MySQL特性：MySQL語法兼容使用原生MySQL解析引擎 存儲引擎從Inn

13、oDB設(shè)置為SequoiaDBSequoiaDB MySQL特性：MySQL語法兼容使用原生MySQL解析引擎100%支持MySQL語法CRUD操作完美支持SequoiaDB MySQL特性：MySQL語法兼容使用原生MySQL解析引擎支持多表關(guān)聯(lián)支持跨表跨節(jié)點事務(wù)操作SequoiaDB MySQL特性：MySQL語法兼容使用原生MySQL解析引擎支持創(chuàng)建視圖支持存儲過程SequoiaDB MySQL特性：MySQL語法兼容使用原生MySQL解析引擎支持索引支持訪問計劃案例分享銀行在線交易系統(tǒng)在線交易系統(tǒng)是銀行的最重要的核心系統(tǒng)之一。隨著技術(shù)的演進(jìn)和監(jiān)管政策的更新，目前銀行 核心交易系統(tǒng)面臨的

14、主要痛點是：隨著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，核心交易系統(tǒng)在數(shù)據(jù)量和并發(fā)性等性能要求逐漸增多。分布式架構(gòu)在擴(kuò)展性、高可用等方面帶來了諸多好處，因此銀行在線交易系統(tǒng)也存在分布式架構(gòu)轉(zhuǎn)型 的需求，以應(yīng)對性能、成本、跨地域管理和數(shù)據(jù)安全的多種業(yè)務(wù)要求。事務(wù)和數(shù)據(jù)一致性是核心系統(tǒng)數(shù)據(jù)庫必須要求的特性，保證事務(wù)和一致性是在線系統(tǒng)的重要要求。數(shù)據(jù)量和性能的 擴(kuò)展分布式架構(gòu)轉(zhuǎn)型事務(wù)和一致性高可靠性自主可控與數(shù)據(jù) 安全要求支持部署兩地三中心與同城雙活架構(gòu)，災(zāi)難中數(shù)據(jù)零丟失產(chǎn)品的逐步國產(chǎn)自主可控以及“兩地三中心”等數(shù)據(jù)安全要求越來越重要。銀行在線業(yè)務(wù)系統(tǒng)銀行在線業(yè)務(wù)系統(tǒng)基于SequoiaDB集群部署某股份制銀行銀行直銷系統(tǒng)

15、、柜面流水查詢、 移動終端查詢系統(tǒng)等華南某股份制銀行銀行全行柜面無紙化系統(tǒng)（包括業(yè)務(wù)數(shù)據(jù)和影像數(shù)據(jù)）、近線數(shù)據(jù)查 詢（共30多個業(yè)務(wù)系統(tǒng)）某省農(nóng)信系統(tǒng)流程銀行、非結(jié)構(gòu)化數(shù)據(jù)平臺（包括業(yè)務(wù)數(shù)據(jù)和影像數(shù)據(jù)）SQL程序訪問 SDB應(yīng) 用 中 間 件保險企業(yè)-生產(chǎn)系統(tǒng)瘦身案例統(tǒng)計分析類應(yīng)用直接以生產(chǎn)庫作為數(shù) 據(jù)源，同一份數(shù)據(jù)甚至被重復(fù)訪問， 占用大量生產(chǎn)庫的批處理時間窗口。大量近線數(shù)據(jù)保存在生產(chǎn)庫中，近線 數(shù)據(jù)的查詢需要訪問生產(chǎn)庫，加重生 產(chǎn)庫的負(fù)擔(dān)。統(tǒng)計分析類應(yīng)用直接訪問生產(chǎn)庫缺少統(tǒng)一的全量數(shù)據(jù)平臺缺乏有效的數(shù)據(jù)遷移方案當(dāng)前的近線數(shù)據(jù)遷移方案效率不高，導(dǎo)致生產(chǎn)庫的 規(guī)模遲遲不能得到控制，已經(jīng)影響到個

16、別省份的生 產(chǎn)效率。巨杉數(shù)據(jù)庫：第一個上榜Gartner數(shù)據(jù)庫列表的中國數(shù)據(jù)庫公司受到行業(yè)客戶廣泛認(rèn)可，擁 有多家500世界強(qiáng)客戶及數(shù)十 家大型銀行客戶，在金融行 業(yè)樹立標(biāo)桿地位巨杉是國內(nèi)唯一商業(yè)化的新 型分布式數(shù)據(jù)庫，在銀行核 心系統(tǒng)大規(guī)模取代北美同類 產(chǎn)品，功能性能全面領(lǐng)先國 際競品中國唯一金融級自主分布式 數(shù)據(jù)庫，受到頂級基金支持， 在自主可控要求下在中國存 在巨大市場空間多模分布式數(shù)據(jù)庫，支持 結(jié)構(gòu)化交易、半結(jié)構(gòu)化以 及非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫開發(fā)頂尖團(tuán)隊，中國 第一批數(shù)據(jù)庫內(nèi)核開發(fā)者， 具有豐富行業(yè)經(jīng)驗銀行客戶穩(wěn)健增長，已經(jīng)成 為中國最大金融級新型數(shù)據(jù) 庫廠商2017 2018 連續(xù)兩年入選Gartner數(shù)據(jù)庫推薦報告的國產(chǎn)數(shù)據(jù)庫產(chǎn)品SequoiaDB技