NewSQL技術(shù)架構(gòu)演進(jìn)

1、滴滴NewSQL技術(shù)架構(gòu)演進(jìn)技術(shù)創(chuàng)新 變革未來(lái)分享大綱上篇：成熟的NoSQL存儲(chǔ)系統(tǒng)Fusion 中篇：基于Fusion的NewSQL探索實(shí)踐 下篇：分布式數(shù)據(jù)庫(kù)設(shè)計(jì)大綱概述第一章：成熟的NoSQL存儲(chǔ)系統(tǒng)Fusion背景介紹NoSQL存儲(chǔ)Fusion之架構(gòu)需求1:百億級(jí)歷史訂單如何存儲(chǔ)？需求2:數(shù)百TB的司機(jī)行程軌 跡如何落地？NoSQL存儲(chǔ)Fusion之亮點(diǎn)數(shù)據(jù)流動(dòng)降級(jí)容災(zāi)極致效率安全保障智能管控亮點(diǎn)1:數(shù)據(jù)流動(dòng)一站式DTS平臺(tái)Fastload普通1入流程2析核心痛點(diǎn)浪費(fèi)T3資涌d難以保證穩(wěn)定性dS產(chǎn)效率低d需L方：標(biāo)簽平臺(tái)特征平臺(tái)d 需L點(diǎn)：如.支持每D百億級(jí)a速查詢d如.快速F新TB級(jí)

2、數(shù)據(jù)dFastload架構(gòu)大圖集群熱遷移單節(jié)點(diǎn)1小時(shí)遷移300GB。亮點(diǎn)2：降級(jí)容災(zāi)集群容災(zāi)：底層實(shí)現(xiàn)集群間數(shù)據(jù)同步，提供2種切流用戶可通過(guò)切換VIP來(lái)實(shí)現(xiàn)切流VIP可用的情況下，我們一鍵切流平臺(tái)， 切換VIP指向的RS主庫(kù)降級(jí)：犧牲一致性，保證可用性集群容災(zāi)亮點(diǎn)3:極致效率亮點(diǎn)4:安全保障升級(jí)時(shí)數(shù)據(jù)備份磁盤(pán)占用少、備份速度快 無(wú)須侵入代碼。100%覆蓋線上集群。用戶快照。 checkpoint數(shù)據(jù)多版本?？汕袚Q數(shù)據(jù)版本及回滾。第二章：基于Fusion的NewSQL探索實(shí)踐背景MySQL核心痛點(diǎn)靈活問(wèn)題，加字段開(kāi)銷大。擴(kuò)展問(wèn)題，分庫(kù)分表不透明。成本問(wèn)題，性能和壓縮比偏低。NewSQL核心能力輕

3、松加字段。存儲(chǔ)不限量。更高性價(jià)比。重大挑戰(zhàn)如何感知Schema。如何兼容MySQL binlog。如何實(shí)現(xiàn)二級(jí)索引（索引、數(shù)據(jù)分離）。如何實(shí)現(xiàn)完備事務(wù)及交互。架構(gòu)Schema管理IDnameagenumber1li2011232wang2211243zhang191125keyfieldvaluestudent_1nameliage20number1123binlog兼容二級(jí)索引 (唯一和非唯一）消費(fèi)MQ的binlog，拼接索引key并存儲(chǔ)。索引構(gòu)建依據(jù)config3用戶配置而定。同一個(gè)的索引，每行數(shù)據(jù)帶上相同的分區(qū)健， 保證存儲(chǔ)在同一個(gè)節(jié)點(diǎn)，避免scan的時(shí)候跨節(jié)點(diǎn)查詢。IDnameagen

4、umber1li2011232wang2211243zhang191125Index_age(非唯一)valuestudent_age_20_1nullstudent_age_22_2nullstudent_age_19_3nullIndex_number(唯一)valuestudent_number_11231student_number_11242student_number_11253事務(wù)功能事務(wù)交互實(shí)現(xiàn)：Redis開(kāi)源客戶端自帶lua功能，MySQL 通過(guò)comment傳遞。一階段交互：1.Proxy無(wú)需維護(hù)事務(wù)狀態(tài)。2.鎖處理更簡(jiǎn)單。3.不關(guān)心事務(wù)的多個(gè)請(qǐng)求是否在同一個(gè)節(jié)點(diǎn)。一階段交互事務(wù)總結(jié)第三章：分布式數(shù)據(jù)庫(kù)設(shè)計(jì)背景NewSQL方案核心痛點(diǎn) “偽分布式！”只能做單機(jī)事務(wù)。只能做單機(jī)索引(hash分片，節(jié)點(diǎn)間不連續(xù)）。集群數(shù)據(jù)規(guī)模受限于索引存儲(chǔ)。只能做異步索引。不支持Jion。分布式數(shù)據(jù)庫(kù)的重大挑戰(zhàn)分布式事務(wù)。數(shù)據(jù)、索引無(wú)限擴(kuò)展。實(shí)時(shí)索