新一代NewSQL數(shù)據(jù)庫(kù)架構(gòu)與實(shí)現(xiàn)

1、新一代NewSQL數(shù)據(jù)庫(kù)架構(gòu)與實(shí)現(xiàn)新代NewSQL數(shù)據(jù)庫(kù)技術(shù)趨勢(shì)ACID的持：事務(wù)、致性等，處理OLTPSQL完整持：MySQL/PostgreSQL語(yǔ)法的完整兼容分布式與擴(kuò)展性：分布式是新代架構(gòu)的基礎(chǔ)，擴(kuò)展性能應(yīng)對(duì)變化的數(shù) 據(jù)量Multi-model與云架構(gòu): multi-model多模數(shù)據(jù)庫(kù)引擎，同引擎處理多 種數(shù)據(jù)應(yīng)場(chǎng)景，符合微服務(wù)和云數(shù)據(jù)庫(kù)的架構(gòu)理念HTAP: 混合事務(wù)和分析場(chǎng)景，適應(yīng)更多數(shù)據(jù)應(yīng)需求SequoiaDB技術(shù)與產(chǎn)品發(fā)展路徑SequoiaDB 2.0 vs IBM CM8/Filenet 提供分布式對(duì)象存儲(chǔ)與SQL能SequoiaDB 3.0 vs Oracle/MySQL

2、完全滿(mǎn)ACID與OLTP能SequoiaDB融級(jí)分布式 數(shù)據(jù)庫(kù)Operational Database分布式 對(duì)象存儲(chǔ)分布式 NewSQL201420162017SequoiaDB 1.0 vs MongoDB 提供分布式JSON存儲(chǔ)的能歷史數(shù)據(jù)查詢(xún)分析 數(shù)據(jù)命周期管理影像管理平臺(tái)流程銀、柜紙化系統(tǒng)核交易系統(tǒng)MySQL兼容架構(gòu)與實(shí)現(xiàn)MySQL主從復(fù)制架構(gòu)MySQL服務(wù)（主）MySQL解析器InnoDBAPPMySQL服務(wù)（備）MySQL解析器InnoDBMySQL服務(wù)（備）MySQL解析器InnoDBAPPAPP讀寫(xiě)只讀只讀binlog shippingSequoiaDB MySQL 100%

3、兼容，彈性擴(kuò)張，多活架構(gòu)MySQL服務(wù)（主）MySQL解析器APPMySQL服務(wù)（主）MySQL解析器MySQL服務(wù)（主）MySQL解析器APPAPP讀寫(xiě)讀寫(xiě)讀寫(xiě)SequoiaDB分布式數(shù)據(jù)庫(kù)SequoiaDB MySQL 分布式數(shù)據(jù)庫(kù)架構(gòu)SQL解析區(qū)數(shù)據(jù)存 儲(chǔ)區(qū)元數(shù)據(jù) 管理區(qū)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)協(xié)調(diào) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)1數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)2數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)3數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)4數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)5數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)數(shù)據(jù) 節(jié)點(diǎn)分區(qū)6MySQL服務(wù)MySQL服務(wù)MySQL服務(wù)編節(jié)點(diǎn)編節(jié)點(diǎn)編節(jié)點(diǎn)主副本

4、1從副本2從副本3每個(gè)服務(wù)均可 進(jìn)讀寫(xiě)操作SequoiaDB MySQL內(nèi)部設(shè)計(jì)解析：模塊劃分MySQLHandler AdapterSE Handler PoolConfig MgrOptimizer ProxySE Handler AdapterIndexData ParserCondition ParserStorage EngineAPPAPPAPPAPPHandler Adapter：作為適配層與MySQL進(jìn)適配對(duì) 接，實(shí)現(xiàn)與表相關(guān)的操作Data Parser：負(fù)責(zé)數(shù)據(jù)記錄以及字段的解析Index：負(fù)責(zé)索引的解析、創(chuàng)建以及索引遍歷控制Condition Parser：負(fù)責(zé)解析查詢(xún)條件

5、Optimizer Proxy：作為優(yōu)化器的代理，實(shí)現(xiàn)統(tǒng)計(jì)信息 等收集Config Mgr：管理存儲(chǔ)引擎相關(guān)的配置參數(shù)SE Handler Pool：存儲(chǔ)引擎的句柄資源管理池SE Handler Adapter：實(shí)現(xiàn)與存儲(chǔ)引擎對(duì)接適配SequoiaDB MySQL內(nèi)部設(shè)計(jì)解析：線程模型SDB-2SDB-1SDB-3Coord_1Coord_2MySQLTableHandle PoolSequoiaDB Connector PoolSession-1Session-2Session-3SequoiaDB MySQL內(nèi)部設(shè)計(jì) 解析：查詢(xún)條件下壓開(kāi)始獲取條件樹(shù)i t em條件樹(shù)遍歷完成？生成Bson

6、ObjY當(dāng)前是否有待 解析的Obj結(jié)束新建解析樹(shù)節(jié)點(diǎn)Obj解析i t emNi t em是函數(shù)類(lèi)型Y將當(dāng)前Obj 壓棧Y當(dāng)前節(jié)點(diǎn)指針指向 新建的ObjN作為參數(shù)push到當(dāng) 前的ObjN當(dāng)前Obj 解析完成？從棧頂pop一個(gè)ObjY將當(dāng)前Obj 作為參 數(shù)push到上一步pop出的Obj 節(jié)點(diǎn)中當(dāng)前節(jié)點(diǎn)指針指向pop出的Obj 節(jié)點(diǎn)NSequoiaDB MySQL內(nèi)部設(shè)計(jì)解析：字段下壓規(guī)則字段定義類(lèi)型條件字段類(lèi)型處理規(guī)則數(shù) 據(jù) 型 （ tiny 、short 、 long 、medium、longlong 、 floatdouble、decimal）（ unsigned 、 signed）整

7、型 （ tiny 、 short 、 long 、 medium 、 longlong）、不超過(guò)longlong所能表的范圍，轉(zhuǎn)換成longlong處理；超過(guò)longlong 表的范圍（如：unsigned longlong），轉(zhuǎn)換成decimal下壓浮點(diǎn)型（float、double）轉(zhuǎn)換成double處理decimal轉(zhuǎn)換成decimal處理string如果是合法的數(shù)值類(lèi)型（整型或浮點(diǎn)型）轉(zhuǎn)換成decimal處理，否則條 件不下壓字符類(lèi)型（ char, string, text, blob字符類(lèi)型（char, string, text）轉(zhuǎn)成字符串處理）blob轉(zhuǎn)成binary處理期類(lèi)型（ d

8、ate）字符類(lèi)型（char, string, text）如果是合法的期類(lèi)型轉(zhuǎn)換成期處理，否則條件不下壓時(shí) 間 戳 類(lèi) 型 (timestamp, datetime)字符類(lèi)型（char, string, text）如果是合法的時(shí)間類(lèi)型并且時(shí)間范圍在1902年2037內(nèi)則轉(zhuǎn)換成時(shí)間戳 處理，否則條件不下壓分布式架構(gòu)與特性SequoiaDB 分布式數(shù)據(jù)庫(kù)架構(gòu)計(jì)算分布+存儲(chǔ)分布SequoiaDB 分布式數(shù)據(jù)庫(kù)架構(gòu)SequoiaDB數(shù)據(jù)存儲(chǔ)層采分布式架構(gòu)，實(shí)現(xiàn)了彈性平擴(kuò)展以及性能和可，靈活適應(yīng)不同規(guī) 模企業(yè)及不同作業(yè)式的需要。數(shù)據(jù)切分：系統(tǒng)提供垂直切分和平切分的多 維分管理式，數(shù)據(jù)可以按多種條件切分，

9、均勻分布到集群中的各個(gè)數(shù)據(jù)節(jié)點(diǎn)?？桑簲?shù)據(jù)在系統(tǒng)中少保留三個(gè)副本， 可機(jī)制，保證了數(shù)據(jù)的持續(xù)安全使。彈性擴(kuò)容：SequoiaDB的存儲(chǔ)節(jié)點(diǎn)可按需彈性 擴(kuò)展，系統(tǒng)持在線擴(kuò)容硬件成本降低：分布式架構(gòu)均采通x86服務(wù) 器+密度硬盤(pán)，相傳統(tǒng)的“機(jī)+端存儲(chǔ)” 的配置，節(jié)省了戶(hù)投資費(fèi)。SequoiaDB MySQL特性：MySQL分區(qū)表使comment設(shè)置MySQL 不持的特性分區(qū)信息不指定分區(qū)鍵則默認(rèn)使第個(gè)字 段持多維分區(qū)功能其他20180401,A: 20180501)20180501,A: 20180601)20180301,A: 20180401)20180201,A: 20180301)20180

10、101,A: 20180201)數(shù)據(jù)組1數(shù)據(jù)組2數(shù)據(jù)組3主 表表1表2表3表4表5mysql create table mainCl(a int, b text, c timestamp) engine = sequoiadb comment=table_options:IsMainCL:true,ShardingKey:c:1,ShardingType:range ;支持多活架構(gòu)讀寫(xiě)只讀讀寫(xiě)SequoiaDB ：持兩地三中部署，數(shù)據(jù)零丟失同城案1、主備機(jī)房使可靠速光纖直連2、每個(gè)分區(qū)主節(jié)點(diǎn)在主中3、平時(shí)使強(qiáng)致同步策略保障數(shù)據(jù)不丟4、故障發(fā)時(shí)使takeover具進(jìn)集群分 離，備集群獨(dú)運(yùn)5、故障

11、恢復(fù)后使merge具進(jìn)集群合并雙活案1、應(yīng)程序直連本地?cái)?shù)據(jù)中數(shù)據(jù)庫(kù)協(xié)調(diào)節(jié) 點(diǎn)2、應(yīng)程序不需要關(guān)注底層數(shù)據(jù)存儲(chǔ)主備中復(fù)制和通訊策略?xún)傻厝?、遠(yuǎn)程數(shù)據(jù)中使異步機(jī)制進(jìn)數(shù)據(jù)復(fù)制2、數(shù)據(jù)中之間可進(jìn)流量控制保證不會(huì)占過(guò)多帶寬SequoiaDB ：數(shù)據(jù)域邏輯與物理隔離信貸業(yè)務(wù)域信卡業(yè)務(wù)域數(shù) 據(jù) 存 儲(chǔ) 區(qū)核業(yè)務(wù)信貸業(yè)務(wù)信卡業(yè)務(wù)控系統(tǒng)審計(jì)系統(tǒng)客戶(hù)畫(huà)像系統(tǒng)SequoiaDB 3.0 全檢索索引持sd 運(yùn)行架構(gòu)SequoiaDBSearch Engine Connectorsearch engineroute agentsearch engine agentshard session managerdata c

12、appeddata cappeddatadataroute agentindex session managerAssync session and Assync session manag ershard sessionshard sessionshard sessionindex sessionindex sessionindex sessionshard sessionTCPlistenerIndexer readershard sessionagent sessionagent sessionexternal data source managerCB managerMain loop

13、EDSEDSEDSSequoiaDB 3.0 對(duì)象存儲(chǔ)+件系統(tǒng)持平臺(tái)統(tǒng)監(jiān)控管理案SequoiaDB提供全的 圖形化集群監(jiān)控功能集群健康狀態(tài)資源使?fàn)顟B(tài)SequoiaDB提供圖形化 操作界集群部署、擴(kuò)容集群管理數(shù)據(jù)CURD操作數(shù)據(jù)管理，切分、均 衡等MySQL兼容樣例SequoiaDB MySQL特性：MySQL語(yǔ)法兼容使原MySQL解析引擎存儲(chǔ)引擎從InnoDB設(shè)置為 SequoiaDBSequoiaDB MySQL特性：MySQL語(yǔ)法兼容使原MySQL解析引擎100%持MySQL語(yǔ)法CRUD操作完美持SequoiaDB MySQL特性：MySQL語(yǔ)法兼容使原MySQL解析引擎持多表關(guān)聯(lián)持跨表跨

14、節(jié)點(diǎn)事務(wù)操作SequoiaDB MySQL特性：MySQL語(yǔ)法兼容使原MySQL解析引擎持創(chuàng)建視圖持存儲(chǔ)過(guò)程SequoiaDB MySQL特性：MySQL語(yǔ)法兼容使原MySQL解析引擎持索引持訪問(wèn)計(jì)劃案例分享銀行在線交易系統(tǒng)在線交易系統(tǒng)是銀行的最重要的核心系統(tǒng)之一。隨著技術(shù)的演進(jìn)和監(jiān)管政策的更新，目 前銀行核心交易系統(tǒng)面臨的主要痛點(diǎn)是：數(shù)據(jù)量和性能的擴(kuò)展：隨著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，核心交易系統(tǒng)在數(shù)據(jù)量和并發(fā)性等性能要求逐 漸增多。分布式架構(gòu)轉(zhuǎn)型：分布式架構(gòu)在擴(kuò)展性、高可用等方面帶來(lái)了諸多好處，因此銀行在線交易系 統(tǒng)也存在分布式架構(gòu)轉(zhuǎn)型的需求，以應(yīng)對(duì)性能、成本、跨地域管理和數(shù)據(jù)安全的多種業(yè)務(wù)要求。事務(wù)和一致性：事務(wù)和數(shù)據(jù)一致性是核心系統(tǒng)數(shù)據(jù)庫(kù)必須要求的特性，保證事務(wù)和一致性是在 線系統(tǒng)的重要要求。高可靠性：支持兩地三中心部署，災(zāi)難中零數(shù)據(jù)丟失，與同城雙活架構(gòu)自主可控與數(shù)據(jù)安全要求：產(chǎn)品的逐步國(guó)產(chǎn)自主可控以及“兩地三中心”等數(shù)據(jù)安全要去越來(lái) 越重要。SQL程序訪問(wèn)SDB應(yīng) 用 中 間 件銀行在線業(yè)務(wù)系統(tǒng)基于SequoiaDB集群部署某股份制銀行銀行直銷(xiāo)系統(tǒng)、柜面流水查詢(xún)、 移動(dòng)終端查詢(xún)系統(tǒng)等華南某股份制銀行銀行全行柜面無(wú)紙化系統(tǒng)（包括業(yè)務(wù)數(shù)據(jù)和影像數(shù)據(jù)）、近線數(shù)據(jù)查詢(xún)（共30多個(gè)業(yè)務(wù)