TDSQL分布式金融級數(shù)據(jù)庫架構(gòu)

1、騰訊TDSQL分布式金融級數(shù)據(jù)庫架構(gòu)全局讀一致性面向金融類業(yè)務(wù)，十年積累，億級賬戶驗證騰訊公司內(nèi)與計費(fèi)、充值、轉(zhuǎn)賬、財務(wù)等核心系統(tǒng)90%以上都使用TDSQL！2002騰訊SP業(yè)務(wù)原生MYSQL2004增值業(yè)務(wù)分庫分表手工 伸縮2008業(yè)務(wù)爆炸一致性、7X24可用性2010騰訊計費(fèi)超高并發(fā)超短 時延2012米大師，騰訊 充值更名TDSQL2015騰訊云金融云2014WeBank私有化部署2017分布式事務(wù)2018全時態(tài)數(shù)據(jù)庫向上攀登 永不止步2019全局讀一致性分布式事務(wù)處理模型與數(shù)據(jù)異常目錄CONTENTS業(yè)界主流數(shù)據(jù)庫的解決方式TDSQL全局讀一致性的實現(xiàn)技術(shù)并發(fā)操作可以被區(qū)分為四種：讀-讀

2、、讀-寫、寫-讀、寫-寫寫-讀寫-寫讀-寫讀-讀無異有異常常有異有異常常讀半已提交數(shù)據(jù)異常兩個數(shù)據(jù)節(jié)點(diǎn)Na、Nb；兩個數(shù)據(jù)項X、YNa節(jié)點(diǎn)commit完成；Nb節(jié)點(diǎn)commit未完成全局該事務(wù)處于committing狀態(tài)第1個分布式事務(wù)第2個分布式事務(wù)結(jié)果：賬目不平目錄CONTENTS分布式事務(wù)處理模型與數(shù)據(jù)異常業(yè)界主流數(shù)據(jù)庫的解決方式TDSQL全局讀一致性的實現(xiàn)技術(shù)解決方案編號各種方案缺點(diǎn)案例1全局事務(wù)管理器非去中心化、低效Pg XC2基于封鎖的并發(fā)訪問控制算法+全 局可串行化低效某些系統(tǒng)SS2PL+MVCC3全局可串行化+線性一致性所有事件全序排序=所有事務(wù)全 局排序，低效Spanner

3、SS2PL+MVCC4全局可串行化+混合邏輯時鐘+全局 事務(wù)提交標(biāo)志數(shù)據(jù)是否可讀，需要通過全局事 務(wù)提交狀態(tài)驗證，增加通訊次數(shù)CockroachDB SSI+MVCC52次讀Scalable atomic visibility with ramp transactions增加了通訊輪數(shù)，且只能解決讀 半已提交數(shù)據(jù)異常學(xué)術(shù)界的解決 方式分布式讀半已提交異常Cross異常更多的數(shù)據(jù)異常Carsten Binnig, Stefan Hildenbrand, Franz Frber, Donald Kossmann, Juchang Lee, Norman May: Distributed snaps

4、hot isolation: global transactions pay globally, local transactions pay locally. VLDB J. 23(6): 987-1011 (2014)Cross異常更多的數(shù)據(jù)異常存在的業(yè)務(wù)問題：事務(wù)x、y同時發(fā)起對賬，對賬結(jié)果 不同解決技術(shù)：實現(xiàn)全局可串行 化目錄CONTENTS分布式事務(wù)處理模型與數(shù)據(jù)異常業(yè)界主流數(shù)據(jù)庫的解決方式TDSQL全局讀一致性的實現(xiàn)技術(shù)第一代TDSQL分布式事務(wù)處理模型start transaction; 修改user1的金額; 修改user2的金額; commit;第二代TDSQL分布式事務(wù)處理

5、模型start transaction; 修改user1的金額; 修改user2的金額; commit;全局一致性概念Bailis P, Davidson A, Fekete A, et al. Highly available transactions:Virtues and limitations. In Proc. of VLDB. 2013. 181-192核心：同時滿足2個一致讀的角度：分布式讀數(shù)據(jù)一致性讀寫混合的角度：分布式事務(wù) 的事務(wù)一致性非多副本的數(shù)據(jù)一致性技術(shù)難點(diǎn)：正確性相對容易實現(xiàn)性能難以提高解決方案TDSQL全時態(tài)數(shù)據(jù)庫核心問題：分布式、全態(tài)數(shù)據(jù)在任何時間點(diǎn)的數(shù) 據(jù)一致性解決技術(shù)：寫寫沖突封鎖機(jī)制互斥MVCC從新版本到舊版本局部節(jié)點(diǎn)處于Prepared狀態(tài)全局事務(wù)Committed/ Prepared狀態(tài)異步、批量設(shè)置本地事務(wù)狀態(tài)全局邏輯時鐘（非跨城/洲分布）沖突可串行化VLDB 2019 騰訊全時態(tài)論文A Lightweight and Efficient Temporal Database Management System in TDSQLN1子節(jié)點(diǎn)N2子節(jié)點(diǎn)全局狀態(tài)是否可見PreparedPreparedPreparing不可見，讀前一個版本PreparedPreparedPrepare