騰訊云-TDSQL分布式數(shù)據(jù)庫(kù)服務(wù)概述

1、TDSQL分布式數(shù)據(jù)庫(kù)服務(wù)產(chǎn)品概述目 錄 TOC o 1-3 h z u HYPERLINK l _Toc31988298 產(chǎn)品簡(jiǎn)介產(chǎn)品概述 PAGEREF _Toc31988298 h 4 HYPERLINK l _Toc31988299 簡(jiǎn)介 PAGEREF _Toc31988299 h 4 HYPERLINK l _Toc31988300 解決問題 PAGEREF _Toc31988300 h 4 HYPERLINK l _Toc31988301 單機(jī)數(shù)據(jù)庫(kù)瓶頸 PAGEREF _Toc31988301 h 4 HYPERLINK l _Toc31988302 應(yīng)用層分片開發(fā)工作量大 P

2、AGEREF _Toc31988302 h 4 HYPERLINK l _Toc31988303 開源方案或 NoSQL 難題 PAGEREF _Toc31988303 h 4 HYPERLINK l _Toc31988304 產(chǎn)品優(yōu)勢(shì) PAGEREF _Toc31988304 h 6 HYPERLINK l _Toc31988305 超高性能 PAGEREF _Toc31988305 h 6 HYPERLINK l _Toc31988306 專業(yè)可靠 PAGEREF _Toc31988306 h 6 HYPERLINK l _Toc31988307 簡(jiǎn)單易用 PAGEREF _Toc3198

3、8307 h 6 HYPERLINK l _Toc31988308 應(yīng)用場(chǎng)景 PAGEREF _Toc31988308 h 7 HYPERLINK l _Toc31988309 大型應(yīng)用（超高并發(fā)實(shí)時(shí)交易場(chǎng)景） PAGEREF _Toc31988309 h 7 HYPERLINK l _Toc31988310 物聯(lián)網(wǎng)數(shù)據(jù)（PB 級(jí)數(shù)據(jù)存儲(chǔ)訪問場(chǎng)景） PAGEREF _Toc31988310 h 7 HYPERLINK l _Toc31988311 文件索引（萬億行數(shù)據(jù)毫秒級(jí)存?。?PAGEREF _Toc31988311 h 7 HYPERLINK l _Toc31988312 高性價(jià)比商業(yè)數(shù)

4、據(jù)庫(kù)解決方案 PAGEREF _Toc31988312 h 7 HYPERLINK l _Toc31988313 基本原理水平分表 PAGEREF _Toc31988313 h 9 HYPERLINK l _Toc31988314 概述 PAGEREF _Toc31988314 h 9 HYPERLINK l _Toc31988315 水平切分 PAGEREF _Toc31988315 h 9 HYPERLINK l _Toc31988316 寫入數(shù)據(jù)（ SQL 語(yǔ)句含有 shardkey ） PAGEREF _Toc31988316 h 11 HYPERLINK l _Toc31988317

5、 數(shù)據(jù)聚合 PAGEREF _Toc31988317 h 12 HYPERLINK l _Toc31988318 讀取數(shù)據(jù)（有明確 shardkey 值） PAGEREF _Toc31988318 h 12 HYPERLINK l _Toc31988319 讀取數(shù)據(jù)（無明確 shardkey 值） PAGEREF _Toc31988319 h 12 HYPERLINK l _Toc31988320 讀寫分離 PAGEREF _Toc31988320 h 14 HYPERLINK l _Toc31988321 功能簡(jiǎn)介 PAGEREF _Toc31988321 h 14 HYPERLINK l

6、_Toc31988322 基本原理 PAGEREF _Toc31988322 h 14 HYPERLINK l _Toc31988323 只讀賬號(hào) PAGEREF _Toc31988323 h 14 HYPERLINK l _Toc31988324 彈性拓展 PAGEREF _Toc31988324 h 15 HYPERLINK l _Toc31988325 概述 PAGEREF _Toc31988325 h 15 HYPERLINK l _Toc31988326 擴(kuò)容過程 PAGEREF _Toc31988326 h 15 HYPERLINK l _Toc31988327 新增分片擴(kuò)容 PA

7、GEREF _Toc31988327 h 15 HYPERLINK l _Toc31988328 現(xiàn)有分片擴(kuò)容 PAGEREF _Toc31988328 h 15 HYPERLINK l _Toc31988329 強(qiáng)同步 PAGEREF _Toc31988329 h 17 HYPERLINK l _Toc31988330 背景 PAGEREF _Toc31988330 h 17 HYPERLINK l _Toc31988331 存在問題 PAGEREF _Toc31988331 h 17 HYPERLINK l _Toc31988332 解決方案 PAGEREF _Toc31988332 h

8、17 HYPERLINK l _Toc31988333 實(shí)例架構(gòu) PAGEREF _Toc31988333 h 19 HYPERLINK l _Toc31988334 地域選擇 PAGEREF _Toc31988334 h 20產(chǎn)品簡(jiǎn)介產(chǎn)品概述19-11-19 10:36:08簡(jiǎn)介分布式數(shù)據(jù)庫(kù) TDSQL（TencentDB for TDSQL，TDSQL）是部署在騰訊云上的一種支持自動(dòng)水平拆分、Shared Nothing 架構(gòu)的分布式數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)即業(yè)務(wù)獲取的是完整的邏輯庫(kù)表，而后端會(huì)將庫(kù)表均勻的拆分到多個(gè)物理分片節(jié)點(diǎn)。TDSQL 默認(rèn)部署主備架構(gòu)，提供容災(zāi)、備份、恢復(fù)、監(jiān)控、遷移等

9、全套解決方案，適用于 TB 或 PB 級(jí)的海量數(shù)據(jù)庫(kù)場(chǎng)景。解決問題單機(jī)數(shù)據(jù)庫(kù)瓶頸面對(duì)互聯(lián)網(wǎng)類業(yè)務(wù)百萬級(jí)以上的用戶量，單機(jī)數(shù)據(jù)庫(kù)由于硬件和軟件的限制，數(shù)據(jù)庫(kù)在數(shù)據(jù)存儲(chǔ)容量、訪問容量、容災(zāi)等方面都會(huì)隨著業(yè)務(wù)的增長(zhǎng)而到達(dá)瓶頸。TDSQL 目前單分片最大可支持6TB存儲(chǔ)，如果性能或容量不足以支撐業(yè)務(wù)發(fā)展時(shí)，在控制臺(tái)自動(dòng)升級(jí)擴(kuò)容。升級(jí)過程中，您無需關(guān)心分布式系統(tǒng)內(nèi)的數(shù)據(jù)遷移，均衡和路由切換。升級(jí)完成后訪問 IP 不變，僅在自動(dòng)切換時(shí)存在秒級(jí)閃斷，您僅需確保有重連機(jī)制即可。應(yīng)用層分片開發(fā)工作量大應(yīng)用層分片將業(yè)務(wù)邏輯和數(shù)據(jù)庫(kù)邏輯高度耦合，給當(dāng)前業(yè)務(wù)快速迭代帶來極大的開發(fā)工作量?；?TDSQL 透明自動(dòng)拆分

10、的方案，開發(fā)者只需要在第一次接入時(shí)修改代碼，后續(xù)迭代無需過多關(guān)注數(shù)據(jù)庫(kù)邏輯，可以極大減少開發(fā)工作量。開源方案或 NoSQL 難題選擇開源或 NoSQL 產(chǎn)品也能夠解決數(shù)據(jù)庫(kù)瓶頸，這些產(chǎn)品免費(fèi)或者費(fèi)用相對(duì)較低，但可能有如下問題：產(chǎn)品 bug 修復(fù)取決于社區(qū)進(jìn)度。您的團(tuán)隊(duì)是否有能持續(xù)維護(hù)該產(chǎn)品的人，且不會(huì)因?yàn)槿耸伦儎?dòng)而影響項(xiàng)目。關(guān)聯(lián)系統(tǒng)是否做好準(zhǔn)備。您的業(yè)務(wù)重心是什么，投入資源來保障開源產(chǎn)品的資源管控和生命周期管理、分布式邏輯、高可用部署和切換、容災(zāi)備份、自助運(yùn)維、疑難排查等是否是您的業(yè)務(wù)指標(biāo)。TDSQL 支持 Web 控制臺(tái)，提供完善的數(shù)據(jù)備份、容災(zāi)、一鍵升級(jí)等功能，完善的監(jiān)控和報(bào)警體系，大部分

11、故障都通過自動(dòng)化程序處理恢復(fù)。產(chǎn)品優(yōu)勢(shì)19-09-27 16:20:57超高性能單分片最大性能可達(dá)超24萬 QPS，整個(gè)實(shí)例性能隨著分片數(shù)量增加線性擴(kuò)展。不存在中間件 + 數(shù)據(jù)庫(kù)方案中的性能瓶頸，即 TProxy 也可以做線性擴(kuò)展。強(qiáng)同步性能與異步同步相當(dāng)，能讓您在數(shù)據(jù)不丟失的情況下，也擁有較高的性能。專業(yè)可靠經(jīng)過騰訊各類核心業(yè)務(wù)10余年大規(guī)模產(chǎn)品的驗(yàn)證，包括社交、電商、支付、音視頻等。提供完善的數(shù)據(jù)備份、容災(zāi)、一鍵升級(jí)等功能。完善的監(jiān)控和報(bào)警體系，大部分故障都通過自動(dòng)化程序處理恢復(fù)。支持分布式數(shù)據(jù)庫(kù)領(lǐng)域領(lǐng)先功能，如分布式多表 JOIN、小表廣播、分布式事務(wù)、SQL 透?jìng)鞯?。?jiǎn)單易用除少量語(yǔ)法

12、與原生 MySQL、MariaDB 不同外，使用起來如使用單機(jī)數(shù)據(jù)庫(kù)，分片過程對(duì)業(yè)務(wù)透明且無需干預(yù)。兼容 MySQL 協(xié)議（支持 MySQL、MariaDB 等內(nèi)核）。支持 Web 控制臺(tái)，讀寫分離能力、專有運(yùn)維管理指令等。應(yīng)用場(chǎng)景19-09-27 16:01:29說明：說明：TDSQL 目前僅適用于 OLTP 場(chǎng)景的業(yè)務(wù)，例如，交易系統(tǒng)、前臺(tái)系統(tǒng)；不適用于 ERP、BI 等存在大量 OLAP 業(yè)務(wù)的系統(tǒng)。大型應(yīng)用（超高并發(fā)實(shí)時(shí)交易場(chǎng)景）電商、金融、O2O、社交應(yīng)用、零售、SaaS 服務(wù)提供商，普遍存在用戶基數(shù)大（百萬級(jí)或以上）、營(yíng)銷活動(dòng)頻繁、核心交易系統(tǒng)數(shù)據(jù)庫(kù)響應(yīng)日益變慢的問題，制約業(yè)務(wù)發(fā)展

13、。TDSQL 提供線性水平擴(kuò)展能力，能夠?qū)崟r(shí)提升數(shù)據(jù)庫(kù)處理能力，提高訪問效率，峰值 QPS 達(dá)1500萬+，輕松應(yīng)對(duì)高并發(fā)的實(shí)時(shí)交易場(chǎng)景。微信支付、財(cái)付通、騰訊充值等都是使用的 TDSQL 架構(gòu)的數(shù)據(jù)庫(kù)。物聯(lián)網(wǎng)數(shù)據(jù)（PB 級(jí)數(shù)據(jù)存儲(chǔ)訪問場(chǎng)景）在工業(yè)監(jiān)控和遠(yuǎn)程控制、智慧城市的延展、智能家居、車聯(lián)網(wǎng)等物聯(lián)網(wǎng)場(chǎng)景下，傳感監(jiān)控設(shè)備多、采樣率高、數(shù)據(jù)PBEBTDSQLtokudb（相對(duì)于共享存儲(chǔ)方案）存儲(chǔ)海量數(shù)據(jù)。文件索引（萬億行數(shù)據(jù)毫秒級(jí)存?。┮话銇碚f，作為云服務(wù)平臺(tái)，存在大量的圖片、文檔、視頻數(shù)據(jù)，數(shù)據(jù)量都在億級(jí) - 萬億級(jí)，服務(wù)平臺(tái)通常需要將這些文件的索引存入數(shù)據(jù)庫(kù)，并在索引層面提供實(shí)時(shí)的新增、修

14、改、讀取、刪除操作。由于服務(wù)平臺(tái)承載著其他客戶的訪問，服務(wù)質(zhì)量和性能要求極高。傳統(tǒng)數(shù)據(jù)庫(kù)無法支撐如此規(guī)模的訪問和使用， TDSQL 超高性能和擴(kuò)展能力并配合強(qiáng)同步能力，有效的保證平臺(tái)服務(wù)質(zhì)量和數(shù)據(jù)一致性。高性價(jià)比商業(yè)數(shù)據(jù)庫(kù)解決方案政務(wù)機(jī)構(gòu)、大型企業(yè)、銀行等行業(yè)為了支持大規(guī)模數(shù)據(jù)存儲(chǔ)和高并發(fā)數(shù)據(jù)庫(kù)訪問，對(duì)小型機(jī)和高端存儲(chǔ)依賴極強(qiáng)。而互聯(lián)網(wǎng)企業(yè)通過低成本 x86 服務(wù)器和開源軟件即可做到商業(yè)數(shù)據(jù)庫(kù)相同甚至更高的能力。TDSQL 適用于諸如國(guó)家級(jí)或省級(jí)業(yè)務(wù)系統(tǒng)匯聚、大型企業(yè)電商和渠道平臺(tái)、銀行的互聯(lián)網(wǎng)業(yè)務(wù)和交易系統(tǒng)等場(chǎng)景?；驹硭椒直?9-11-06 17:57:36概述水平拆分方案，實(shí)際上是分

15、布式數(shù)據(jù)庫(kù)的基礎(chǔ)原理，他的每個(gè)節(jié)點(diǎn)都參與計(jì)算和數(shù)據(jù)存儲(chǔ)，且每個(gè)節(jié)點(diǎn)都僅計(jì)算和存儲(chǔ)一部分?jǐn)?shù)據(jù)。因此，無論業(yè)務(wù)的規(guī)模如何增長(zhǎng)，我們僅需要在分布式集群中不斷的添加設(shè)備，用新設(shè)備去應(yīng)對(duì)增長(zhǎng)的計(jì)算和存儲(chǔ)需要即可。水平切分水平切分（分表）：是按照某種規(guī)則，將一個(gè)表的數(shù)據(jù)分散到多個(gè)物理獨(dú)立的數(shù)據(jù)庫(kù)服務(wù)器中，形成“獨(dú)立”的數(shù)據(jù)庫(kù)“分片”。多個(gè)分片共同組成一個(gè)邏輯完整的數(shù)據(jù)庫(kù)實(shí)例。常規(guī)的單機(jī)數(shù)據(jù)庫(kù)中，一張完整的表僅在一個(gè)物理存儲(chǔ)設(shè)備上讀寫。分布式數(shù)據(jù)庫(kù)中，根據(jù)在建表時(shí)設(shè)定的分表鍵，系統(tǒng)將根據(jù)不同分表鍵自動(dòng)分布到不同的物理分片中，但邏輯上仍然是一張完整的表。在 TDSQL 中，數(shù)據(jù)的切分通常就需要找到一個(gè)分表鍵（

16、shardkey）以確定拆分維度，再采用某個(gè)字段求模（HASH）的方案進(jìn)行分表，而計(jì)算 HASH 的某個(gè)字段就是 shardkey。 HASH 算法能夠基本保證數(shù)據(jù)相對(duì)均勻地分散在不同的物理設(shè)備中。寫入數(shù)據(jù)（ SQL 語(yǔ)句含有 shardkey ）業(yè)務(wù)寫入一行數(shù)據(jù)。shardkeyhash。hash 值范圍對(duì)應(yīng)不同的分片（調(diào)度系統(tǒng)預(yù)先分片的算法決定）。數(shù)據(jù)根據(jù)分片算法，將數(shù)據(jù)存入實(shí)際對(duì)應(yīng)的分片中。數(shù)據(jù)聚合數(shù)據(jù)聚合：如果一個(gè)查詢 SQL 語(yǔ)句的數(shù)據(jù)涉及到多個(gè)分表，此時(shí) SQL 會(huì)被路由到多個(gè)分表執(zhí)行，TDSQL 會(huì)將各個(gè)分表返回的數(shù)據(jù)按照原始 SQL 語(yǔ)義進(jìn)行合并，并將最終結(jié)果返回給用戶。注意：

17、注意：執(zhí)行 SELECT 語(yǔ)句時(shí)，建議您在 where 條件帶上 shardKey 字段，否則會(huì)導(dǎo)致數(shù)據(jù)需要全表掃描然后網(wǎng)關(guān)才對(duì)執(zhí)行結(jié)果進(jìn)行聚合。全表掃描響應(yīng)較慢，對(duì)性能影響很大。讀取數(shù)據(jù)（有明確 shardkey 值）selectshardkeyshardkeyhash。hash 值范圍對(duì)應(yīng)不同的分片。數(shù)據(jù)根據(jù)分片算法，將數(shù)據(jù)從對(duì)應(yīng)的分片中取出。讀取數(shù)據(jù)（無明確 shardkey 值）selectshardkeyProxyProxy讀寫分離19-11-04 19:57:56功能簡(jiǎn)介當(dāng)處理大數(shù)據(jù)量讀請(qǐng)求的壓力大、要求高時(shí)，可以通過讀寫分離功能將讀的壓力分布到各個(gè)從節(jié)點(diǎn)上。TDSQL 默認(rèn)支持讀

18、寫分離功能，架構(gòu)中的每個(gè)從機(jī)都能支持只讀能力，如果配置有多個(gè)從機(jī)，將由網(wǎng)關(guān)集群（TProxy）自動(dòng)分配到低負(fù)載從機(jī)上，以支撐大型應(yīng)用程序的讀取流量?；驹碜x寫分離基本的原理是讓主節(jié)點(diǎn)（Master）處理事務(wù)性增、改、刪操作（INSERT、UPDATE、DELETE），讓從節(jié)點(diǎn)（Slave）處理查詢操作（SELECT）。只讀賬號(hào)只讀帳號(hào)是一類僅有讀權(quán)限的帳號(hào)，默認(rèn)從數(shù)據(jù)庫(kù)集群中的從機(jī)（或只讀實(shí)例）中讀取數(shù)據(jù)。通過只讀帳號(hào)，對(duì)讀請(qǐng)求自動(dòng)發(fā)送到備機(jī)，并返回結(jié)果。彈性拓展19-09-27 16:08:06概述TDSQL 支持在線實(shí)時(shí)擴(kuò)容，擴(kuò)容方式分為新增分片和現(xiàn)有分片擴(kuò)容兩種方式，整個(gè)擴(kuò)容過程對(duì)業(yè)務(wù)

19、完全透明，無需業(yè)務(wù)停機(jī)。擴(kuò)容時(shí)僅部分分片存在秒級(jí)的只讀或中斷，整個(gè)集群不會(huì)受影響。擴(kuò)容過程TDSQL 主要是采用自研的自動(dòng)再均衡技術(shù)保證自動(dòng)化的擴(kuò)容和穩(wěn)定。新增分片擴(kuò)容A 節(jié)點(diǎn)（實(shí)際上可能影響多個(gè)節(jié)點(diǎn)）存在瓶頸。GA 節(jié)點(diǎn)部分?jǐn)?shù)據(jù)搬遷（從備機(jī)）G數(shù)據(jù)完全同步后，A、Gproxy現(xiàn)有分片擴(kuò)容基于現(xiàn)有分片的擴(kuò)容相當(dāng)于更換了一塊更大容量的物理分片。說明：說明：基于現(xiàn)有分片的擴(kuò)容沒有增加分片，不會(huì)改變劃分分片的邏輯規(guī)則和分片數(shù)量。按需要升級(jí)的配置分配一個(gè)新的物理分片（以下簡(jiǎn)稱新分片）。將需要升級(jí)的物理分片（以下簡(jiǎn)稱老分片）的數(shù)據(jù)、配置等同步數(shù)據(jù)到新分片中。同步數(shù)據(jù)完成后，在騰訊云網(wǎng)關(guān)做路由切換，切換到

20、新分片繼續(xù)使用。強(qiáng)同步19-10-16 18:04:35背景傳統(tǒng)數(shù)據(jù)復(fù)制方式有如下三種：異步復(fù)制：應(yīng)用發(fā)起更新請(qǐng)求，主節(jié)點(diǎn)（Master） 完成相應(yīng)操作后立即響應(yīng)應(yīng)用，Master 向從節(jié)點(diǎn)（Slave）異步復(fù)制數(shù)據(jù)。強(qiáng)同步復(fù)制：應(yīng)用發(fā)起更新請(qǐng)求，Master 完成操作后向 Slave 復(fù)制數(shù)據(jù)，Slave 接收到數(shù)據(jù)后向 Master 返回成功信息，Master 接到 Slave 的反饋后再應(yīng)答給應(yīng)用。Master 向 Slave 復(fù)制數(shù)據(jù)是同步進(jìn)行的。半同步復(fù)制：正常情況下數(shù)據(jù)復(fù)制方式采用強(qiáng)同步復(fù)制方式，當(dāng) Master 向 Slave 復(fù)制數(shù)據(jù)出現(xiàn)異常的時(shí)候（Slave 不可用或者雙節(jié)點(diǎn)

21、間的網(wǎng)絡(luò)異常）退化成異步復(fù)制。當(dāng)異?；謴?fù)后，異步復(fù)制會(huì)恢復(fù)成強(qiáng)同步復(fù)制。存在問題當(dāng) Master 或 Slave 不可用時(shí)，以上三種傳統(tǒng)數(shù)據(jù)復(fù)制方式均有幾率引起數(shù)據(jù)不一致。數(shù)據(jù)庫(kù)作為系統(tǒng)數(shù)據(jù)存儲(chǔ)和服務(wù)的核心能力，其可用性要求非常高。在生產(chǎn)系統(tǒng)中，通常都需要用高可用方案來保證系統(tǒng)不間斷運(yùn)行，而數(shù)據(jù)同步技術(shù)是數(shù)據(jù)庫(kù)高可用方案的基礎(chǔ)。解決方案MAR 強(qiáng)同步復(fù)制方案是騰訊自主研發(fā)的基于 MySQL 協(xié)議的異步多線程強(qiáng)同步復(fù)制方案，只有當(dāng)備機(jī)數(shù)據(jù)完全同步（日志）后，才由主機(jī)給予應(yīng)用事務(wù)應(yīng)答，保障數(shù)據(jù)正確安全。原理示意圖如下：MAR 強(qiáng)同步方案在性能上優(yōu)于其他主流同步方案，具體數(shù)據(jù)詳情可參見 HYPERLINK /document/product/557/10105 強(qiáng)同步性能對(duì)比數(shù)據(jù)。主要特點(diǎn)如下：一致性的同步復(fù)制，保證節(jié)點(diǎn)間數(shù)據(jù)強(qiáng)一致性。對(duì)業(yè)務(wù)層面完全透明，業(yè)務(wù)層面無需做讀寫分離或同步強(qiáng)化工作。將串行同步線程異步化，引入線程池能力，大幅度提高性能。支持