TiDB數(shù)據(jù)庫設(shè)計(jì)理念與實(shí)踐

1、TiDB數(shù)據(jù)庫設(shè)計(jì)理念與實(shí)踐技術(shù)創(chuàng)新，變革未來初 心心目中理想的數(shù)據(jù)庫無需分庫分表不用關(guān)心容量規(guī)劃任意時(shí)候都能擴(kuò)展，彈性伸縮部分機(jī)器損壞或者數(shù)據(jù)中心故障仍然能夠提供服務(wù)已有系統(tǒng)遷移成本低能有更多時(shí)間喝咖啡，讀書，寫代碼行動(dòng)分布式事務(wù)算法證明 TLA+ (/pingcap/tla-plus)MySQL 協(xié)議兼容降低遷移成本水平擴(kuò)展不再擔(dān)心任意時(shí)刻計(jì)算和存儲(chǔ)的彈性伸縮高可用睡個(gè)好覺Cloud native能運(yùn)行在所有的云上徹底模塊化，存儲(chǔ)層，計(jì)算層，調(diào)度分離全景圖（一千米外）Storage layer(tikv)SQL layer(tidb-server)SQL layer(tidb-server

2、)SQL layer(tidb-server) SQL layer(tidb-server)Storage layer(tikv)Storage layer(tikv)Storage layer(tikv) Storage layer(tikv)MySQLprotocol.scheduler全景圖（近在咫尺）SQL 層無狀態(tài)客戶端連接任意 tidb-serverMySQL 協(xié)議支持SQLASTLogical PlanOptimized Logical PlanCost ModelSelected Physical PlanTiKVTiKVTiKVtidb-serverStatisticsTiK

3、VTiKVTiKVTiKV ClusterOLTP 到 HTAP 的演進(jìn)越來越多的用戶需要實(shí)時(shí)的 OLAPReal-time Warehousing當(dāng)數(shù)據(jù)都在一個(gè)系統(tǒng)里的時(shí)候這是最自然的需求存儲(chǔ)層 - TiKVTiKV 作為 TiDB 的底層分布式存儲(chǔ)提供諸多特性分布式事務(wù)使用 Raft 協(xié)議做強(qiáng)一致的復(fù)制數(shù)據(jù)被拆分成多個(gè) RegionRegion 可以分裂，合并，并在機(jī)器之 間來根據(jù)負(fù)載流動(dòng)原生支持 Coprocessor，加速 SQL Predicate Push DownTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKVTiKV NodesC

4、lientDataflow存儲(chǔ)層 - TiKVRegion 5Region 4Region 1Region 1Region 3Region 2Region 3Region 3Region 5TiKV node 1TiKV node 2TiKV node 3Store 1Store 2Store 3Region 5Region 1Region 2TiKV node 4Store 4RPCClient (Key Value APIs or Coprocessor Call)RPCRPCRPCPD 1PD 2PD 3Placement DriverRaft GroupRegion 4Region 4

5、Region 2一些實(shí)戰(zhàn)經(jīng)驗(yàn)大中臺(tái)型業(yè)務(wù)多源數(shù)據(jù)實(shí)時(shí)匯總MySQL Sharding 的完美替代方案跨數(shù)據(jù)中心高可用部署異地多活和分庫分表說再見MySQL MasterMySQL MasterMySQL MasterMySQL MasterMySQL MasterSyncerSyncerSyncerSyncerSynceAs Slave Clusterr大中臺(tái)- Realtime unified data platform通往實(shí)時(shí)數(shù)據(jù)倉庫- Spark connector異地多活- Geo replicationR1RackRackR2DC - 1DC - 2R1RackRackR2DC -

6、3R1RackRackR2R1RackRackR2DC - Seattle 1DC - Seattle 2R1RackRackR2DC - Santa ClaraR1RackRackR2After schedulingAll in TiDB- 轉(zhuǎn)轉(zhuǎn)公司的 TiDB 實(shí)踐實(shí)施效果：TiDB 整體響應(yīng)延時(shí)非常穩(wěn)定，不受業(yè)務(wù)流量高 峰影響TiDB/TiKV通過線性擴(kuò)容無縫提升吞吐量微信小紅點(diǎn)、世界杯促銷承擔(dān) 5 倍容量增長(zhǎng)案例文章：TiDB 分布式數(shù)據(jù)庫在轉(zhuǎn)轉(zhuǎn)的應(yīng)用實(shí)踐文章鏈接：/R1MAXEq以前：MySQL + MongoDB大數(shù)據(jù)量性能瓶頸業(yè)務(wù)侵入 - 被迫 shading業(yè)務(wù)多維度成本、復(fù)雜

7、度疊加增加運(yùn)維成本故障切換時(shí)間長(zhǎng) & 高可用方案解決方案：All in TiDB已經(jīng)上線 11 套 OLTP 系統(tǒng)，1 套 OLAP 系統(tǒng)，包括核心的IM、交易、用戶、商品等待上線 3 套，最終完成 90% 系統(tǒng)上線幾十T 數(shù)據(jù)量、千億級(jí)表、萬級(jí) TPS美團(tuán)的 TiDB 實(shí)踐案例美團(tuán)數(shù)據(jù)庫歷史狀態(tài)：MySQL + NoSQL數(shù)千服務(wù)器 + 萬億級(jí)請(qǐng)求數(shù)/天自研了 NoSQL 、 MySQL Proxy擁有多個(gè)業(yè)內(nèi)頂級(jí)存儲(chǔ)開發(fā)、數(shù)據(jù)庫內(nèi)核開發(fā)小組美團(tuán)的 TiDB 實(shí)踐案例美團(tuán)下一代的數(shù)據(jù)庫選型考量未來新美大業(yè)務(wù)幾十倍的數(shù)據(jù)量增長(zhǎng)目標(biāo)，需要更強(qiáng)大的技術(shù)支持，數(shù)據(jù)庫是關(guān)鍵基礎(chǔ)組件之一所以對(duì)新一代分布

8、式關(guān)系型數(shù)據(jù)庫需求量遠(yuǎn)大于傳統(tǒng)的 MySQL + NoSQL新美大的最終選擇：TiDB美團(tuán)的 TiDB 實(shí)踐案例線上使用情況：上線 10 套系統(tǒng)分布在如下 6 個(gè)事業(yè)群及平臺(tái)：配送事業(yè)部出行事業(yè)部閃付事業(yè)部酒旅事業(yè)部美團(tuán)平臺(tái)基礎(chǔ)研發(fā)平臺(tái)OLTP 為主美團(tuán)關(guān)于 TiDB 實(shí)踐的一些經(jīng)驗(yàn)開啟 Region Merge 選項(xiàng)系統(tǒng)會(huì)自動(dòng)將多個(gè)小 Region 合并成一個(gè)，降低路由信息維護(hù)的開銷打開 dynamic-level-bytes加快刪除數(shù)據(jù)后的空間回收速度更多細(xì)節(jié)參考美團(tuán)的同學(xué)寫的系列分享文章美團(tuán)的 TiDB 實(shí)踐案例深度參與開發(fā)，運(yùn)維和推廣專門 DBA 小組來進(jìn)行 TiDB 試點(diǎn)、推廣專門基

9、礎(chǔ)研發(fā)小組來進(jìn)行 TiDB 開發(fā)合作，涵蓋 SQL 層，存儲(chǔ)層即將發(fā)布更多源碼級(jí)別的參與，改進(jìn)經(jīng)驗(yàn)系列文章HTAP 實(shí)例 - 易果生鮮的實(shí)踐實(shí)施效果：T+1 數(shù)倉升級(jí)為實(shí)時(shí)數(shù)倉（T+0）。TiDB 天然的滿足了數(shù)據(jù)量線性擴(kuò)展的問題。同時(shí)還 大大的節(jié)省了運(yùn)維成本。案例文章：TiDB / TiSpark 在易果集團(tuán)實(shí)時(shí)數(shù)倉中的創(chuàng)新實(shí)踐文章鏈接：/RTYVhzH業(yè)務(wù)現(xiàn)狀：SQL Server 當(dāng)數(shù)據(jù)量到達(dá)一定的階段，性能出現(xiàn)拐 點(diǎn)，彈性擴(kuò)展很難實(shí)現(xiàn)。HDFS + Hive + Spark + Presto + Kylin 方案在數(shù)據(jù) 量增大的情況下，ETL 越來越慢，很難滿足更復(fù)雜 的 OLAP 需

10、求，但與此同時(shí)，業(yè)務(wù)對(duì)實(shí)時(shí)或者準(zhǔn)實(shí) 時(shí)的需求越來越強(qiáng)烈。實(shí)施方案：使用 Flume、syncer 數(shù)據(jù)實(shí)時(shí)同步到 TiDB。使用 TiSpark 替換 Hadoop 進(jìn)行實(shí)時(shí)數(shù)倉業(yè)務(wù)。某國(guó)有商業(yè)銀行的 TiDB 多活銀行核心實(shí)例項(xiàng)目背景：核心支付交易系統(tǒng)物理規(guī)劃IDC1、IDC2各配置兩個(gè)機(jī)柜，均用于部署生產(chǎn)主集群，IDC3一個(gè)機(jī)柜用于部署生產(chǎn)主集群，另一個(gè)機(jī)柜用 于部署災(zāi)備從集群。每個(gè)IDC配置兩臺(tái)萬兆交換機(jī)（以主備模式部署），主 集群各臺(tái)機(jī)器內(nèi)部通信、從集群各臺(tái)機(jī)器內(nèi)部通信、 主從集群之間都是使用萬兆網(wǎng)絡(luò)。全局DNS下掛載三個(gè)IDC的負(fù)載均衡，各IDC種負(fù)載 均衡掛載各自中心內(nèi)部的TiDB

11、服務(wù)器以上信息均來自行方 對(duì)外發(fā)布的技術(shù)文章進(jìn)化將 Value 從 LSM tree 中分離出來減少寫放大內(nèi)存能緩存更多索引解決數(shù)據(jù)庫一行比較大的問題（比如一行 4k或者更大）進(jìn)化Serverless基于 K8S存儲(chǔ)和計(jì)算資源云化已經(jīng)支持 GKE(Google Kubernetes Engine) 和 AWS EKS(Amazon Elastic Container Service for Kubernetes根據(jù)負(fù)載自動(dòng)/透明擴(kuò)展（next step）云上自動(dòng)創(chuàng)建 TiDB 集群教程已經(jīng)上線進(jìn)化冷熱分離存儲(chǔ)降低存儲(chǔ)和計(jì)算成本簡(jiǎn)化數(shù)據(jù)管理進(jìn)化行列混合引擎更好的計(jì)算性能更徹底的 HTAP更好的隔離更智能的優(yōu)化器TiDB 大家可能不知道的那些事Infoworld 2018 best of open source software awardTiDB 大家可能不知道的那些事CNCF database landscapeTiDB 大家可能不知道的那些事TiKV: CNCF Sandbox Projec