PostgreSQL與騰訊云國(guó)產(chǎn)數(shù)據(jù)庫(kù)技術(shù)實(shí)踐

1、PostgreSQL與騰訊云國(guó)產(chǎn)數(shù)據(jù)庫(kù)技術(shù)實(shí)踐運(yùn)維智能監(jiān)控訂閱商業(yè)分析智能管家DBBrain數(shù)據(jù)管理服務(wù)遷移上云服務(wù)服務(wù)模塊審計(jì)訂閱告警遷移備份HA管理平臺(tái)后臺(tái)運(yùn)維 管理平臺(tái)數(shù)據(jù)庫(kù)PaaS產(chǎn)品MySQLSQL ServerPostGreSQLMariaDBRedisMemcachedMongoDBCTSDBCynosDBTDSQLTBASETcaplusDBSnovaGreenplum物理設(shè)備操作系統(tǒng)（加強(qiáng)定制版Linux）調(diào)度系統(tǒng)故障遷移業(yè)務(wù)調(diào)配騰訊云數(shù)據(jù)庫(kù)產(chǎn)品矩陣用戶(hù)行業(yè)電商模塊金融模塊零售模塊安防模塊工業(yè)模塊教育模塊數(shù)據(jù)庫(kù)SaaS產(chǎn)品自有業(yè)務(wù)打磨產(chǎn)研結(jié)合產(chǎn)用結(jié)合TCETencent Cl

2、oud Enterprise月活用戶(hù)達(dá)10.82億交易筆數(shù)超過(guò)4600億筆7000萬(wàn)微粒預(yù)授信3800萬(wàn)開(kāi)通用戶(hù)6000億累計(jì)放款額200億賬戶(hù)（含合作伙伴）500億+日均請(qǐng)求 平均5毫秒響應(yīng)微信支付圖webank微 粒 貸微 車(chē) 貸從自有業(yè)務(wù)到產(chǎn)用結(jié)合技術(shù)普及生態(tài)完善社區(qū)影響社會(huì)分工技術(shù)優(yōu)化場(chǎng)景完善資源整合增強(qiáng)影響推動(dòng)協(xié)作調(diào)配資源突破技術(shù)從開(kāi)源不斷回饋開(kāi)源內(nèi)部應(yīng)用技術(shù)創(chuàng)新內(nèi)部開(kāi)源 協(xié)同外部代碼 開(kāi)放回饋開(kāi)源薩師煊黑板報(bào)數(shù)據(jù)庫(kù)正式登場(chǎng)中國(guó)數(shù)據(jù)庫(kù) 商業(yè)格局形成分布式數(shù)據(jù)庫(kù)快速發(fā)展MySQL與互聯(lián)網(wǎng)的碰撞1978 - 1990誕生于恢復(fù)高考之后1989 - 1998Oracle一統(tǒng)江湖1999 -

3、 2011互聯(lián)網(wǎng)傳奇-MySQL傳奇2013 至今互聯(lián)網(wǎng)傳奇-百花齊放Oracle正式進(jìn)軍中國(guó) 互聯(lián)網(wǎng)興起，Oracle“太 貴”，技術(shù)社區(qū)興起 業(yè)務(wù)多元化，高速發(fā)展DB2infomix金融行業(yè)Oracle電信行業(yè)Oracle國(guó)防、軍工核心領(lǐng)域MySQL 在互聯(lián)網(wǎng)公司 一統(tǒng)江湖數(shù)據(jù)庫(kù)發(fā)展史2007年團(tuán)隊(duì)成立騰訊充值2010年TDSQL 1.0發(fā)布應(yīng)用于 財(cái)付通2012年TBase 1.0發(fā)布騰訊廣告業(yè)務(wù)2014年內(nèi)部云發(fā)布WeBank/WeChat2015年公有云發(fā)布2017年專(zhuān)有云發(fā)布2018年云原生CynosDB2019年TBase開(kāi)源2019.11.06正式開(kāi)源騰訊云自研數(shù)據(jù)庫(kù)發(fā)展歷史p

4、ostgre云原生的分布式數(shù)據(jù)庫(kù)C y n o s D BMPP分布式數(shù)據(jù)庫(kù)T B a s e采用Shared-Storage&shared-Nothing雙架構(gòu)，雙引擎的雙核出擊方案，覆蓋主流應(yīng)用場(chǎng)景。加強(qiáng)版主備社區(qū)版T e n c e n t D B f o r P o s t g r e S Q L加強(qiáng)版分布式數(shù)倉(cāng)T e n c e n t D B f o r G r e e n p l u m騰訊云PG數(shù)據(jù)庫(kù)系列主要產(chǎn)品線(xiàn)Local DataDatanode1Local catalogCoordinatorGlobal catalogGTM-MTransation InfoGlobal

5、 objectGTM-STransation InfoGlobal objectCoordinatorGlobal catalogCoordinatorGlobal catalogDatanode2Local catalogDatanode3Local catalogLocal DataDatanode4Local catalogLocal DataLocal DataDatanode(數(shù)據(jù)節(jié)點(diǎn)DN)GTM(事務(wù)管理器)Coordinator(協(xié)調(diào)節(jié)點(diǎn)CN)網(wǎng)絡(luò)分布式數(shù)據(jù)庫(kù)架構(gòu)-性能可擴(kuò)展的聯(lián)邦架構(gòu)兼容開(kāi)源數(shù)據(jù)庫(kù)MySQLPostgreSQL計(jì)算與存儲(chǔ)分離日志即數(shù)據(jù)庫(kù)可計(jì)算智能存儲(chǔ)面向云服務(wù)的

6、體系結(jié)構(gòu)騰訊云存儲(chǔ)服務(wù)騰訊云網(wǎng)絡(luò)服務(wù)軟件優(yōu)化與新硬件相結(jié)合SPDKRDMA分布式數(shù)據(jù)庫(kù)架構(gòu)-計(jì)算存儲(chǔ)分離的云原生架構(gòu)大量?jī)?nèi)核優(yōu)化；全球同服等超高性能 場(chǎng)景。金融級(jí)高可用確保99.999%以上高可用；跨區(qū)容 災(zāi)；同城雙活；故障自動(dòng)恢復(fù)。數(shù)據(jù)強(qiáng)一致確保主從架構(gòu)下數(shù)據(jù)強(qiáng)一致，分布 式事務(wù)特性。高安全性減少用戶(hù)誤操作/黑客入侵帶來(lái)的安 全風(fēng)險(xiǎn)。良好的擴(kuò)展無(wú)論是資源，還是功能，均需提供良 好的擴(kuò)展性。便捷的運(yùn)維解決90%以上的日常管理運(yùn)維，讓DBA抽出時(shí)間去優(yōu)化業(yè)務(wù)?；ヂ?lián)網(wǎng)高性能騰訊云數(shù)據(jù)庫(kù)設(shè)計(jì)理念主從節(jié)點(diǎn)默認(rèn)采用強(qiáng)同步（實(shí)時(shí)同步）當(dāng)從節(jié)點(diǎn)同步日志后，主節(jié)點(diǎn)才給業(yè)務(wù)應(yīng)主從從MAR零誤差無(wú)錯(cuò)亂數(shù)據(jù)強(qiáng)一致基

7、于主從架構(gòu)的“并行多線(xiàn)程強(qiáng)同步復(fù)制方案”P(pán)REPARED狀態(tài)COMMIT狀態(tài)R O L L B A C K 狀態(tài)異常階段及原因動(dòng)作有有無(wú)commit階段異常參與節(jié)點(diǎn)故障COMMIT剩余事務(wù)有無(wú)有prepare階段異常參與節(jié)點(diǎn)宕機(jī)ROLLBACK剩余事務(wù)有無(wú)無(wú)prepare階段異常發(fā)起 節(jié)點(diǎn)宕機(jī)ROLLBACK剩余事務(wù)第一階段：事務(wù)管理器要求每個(gè)涉及到事務(wù)的數(shù)據(jù)庫(kù)預(yù)提交(precommit)此操作，并反映是否可以提交.第二階段：事務(wù)協(xié)調(diào)器要求每個(gè)數(shù)據(jù)庫(kù)提交數(shù)據(jù)，或者回滾數(shù)據(jù)。需要解決的問(wèn)題:資源阻塞問(wèn)題：殘留的存在prepare狀態(tài)的兩階段事務(wù)仍然持有 一些資源鎖，這將會(huì)阻塞之后對(duì)部分?jǐn)?shù)據(jù)的訪(fǎng)問(wèn)

8、和更新操作。數(shù)據(jù)不一致問(wèn)題：數(shù)據(jù)不一致問(wèn)題集中體現(xiàn)在第二階段的故障場(chǎng) 景中。當(dāng)兩階段提交事務(wù)出現(xiàn)了部分commit部分prepare，那么 更新數(shù)據(jù)在部分commit的節(jié)點(diǎn)可見(jiàn)；當(dāng)兩階段提交事務(wù)出現(xiàn)了 部分commit部分rollback，那么數(shù)據(jù)在所有節(jié)點(diǎn)出現(xiàn)了不可恢復(fù) 的不一致?tīng)顟B(tài)。協(xié)調(diào)節(jié)點(diǎn)宕機(jī)問(wèn)題：當(dāng)事務(wù)將一直殘留下來(lái)。出現(xiàn)協(xié)調(diào)節(jié)點(diǎn)宕機(jī) 的情況，即便是有做了主備倒換，產(chǎn)生了新的協(xié)調(diào)節(jié)點(diǎn)，參與節(jié) 點(diǎn)中的異常兩階段數(shù)據(jù)強(qiáng)一致-分布式事務(wù)384項(xiàng)指標(biāo)ms級(jí)切換進(jìn)程保護(hù)自動(dòng)免切一旦確認(rèn)異常，系統(tǒng)最快可以在200ms內(nèi)切換可自動(dòng)或預(yù)制，免切策略，減少數(shù)據(jù) 庫(kù)“假死”故障帶來(lái)的業(yè)務(wù)損失。內(nèi)置保護(hù)進(jìn)程

9、，軟件故障自動(dòng)恢復(fù)， 預(yù)防人物誤操作。整套集群有384項(xiàng)不同維度的監(jiān)控指標(biāo)，并根據(jù)業(yè)務(wù)自定義完善的監(jiān)控規(guī) 則。02010403金融級(jí)高可用金融級(jí)高可用-多中心多活數(shù)據(jù)中心（AZ）數(shù)據(jù)中心（AZ）DNGTMCN CNDNCN CNGTMGTMCN CNDNDNDNDNDNCN CNGTMDNCN CNGTMGTMCN CNDNDNDNDNregion數(shù)據(jù)流DDL控制流復(fù)制集群內(nèi)通信業(yè)務(wù)請(qǐng)求讀寫(xiě)混合負(fù)載均衡regionDDL控制DDL控制業(yè)務(wù)系統(tǒng)data_syncdata_sync數(shù)據(jù)中心（AZ）業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)中心（AZ）業(yè)務(wù)系統(tǒng)讀寫(xiě)混合負(fù)載均衡ERRMQERRMQ事前傳輸加密數(shù)據(jù)加密細(xì)粒度

10、鑒權(quán)事中內(nèi)核級(jí)的安全策略?xún)?nèi)置SQL防火墻防誤操作機(jī)制事后運(yùn)維操作審計(jì)數(shù)據(jù)庫(kù)審計(jì)服務(wù)器審計(jì)超級(jí)權(quán)限控制符合國(guó)家標(biāo)準(zhǔn)通過(guò)國(guó)際認(rèn)證高安全性數(shù)據(jù)庫(kù)DBA安全管理員審計(jì)管理員數(shù)據(jù)管理員傳統(tǒng)數(shù)據(jù)庫(kù)立法權(quán)：制定強(qiáng)制安全訪(fǎng)問(wèn)策略。強(qiáng)制安全訪(fǎng)問(wèn)策略由安全員獨(dú)立完成。系統(tǒng)所有用戶(hù)都要遵守強(qiáng)制安全訪(fǎng)問(wèn)策略。分解分解分解司法權(quán)：系統(tǒng)所有操作都被記錄，包括安全員，管理員 的操作。審計(jì)策略由審計(jì)管理員單獨(dú)制定。審計(jì)員本身的操作也會(huì)強(qiáng)制記錄，不可修改。行政權(quán)：具備自主訪(fǎng)問(wèn)控制權(quán)。不可干預(yù)審計(jì)員和安全員的動(dòng)作。Tbase數(shù)據(jù)庫(kù)安全性-三權(quán)分立同一個(gè)數(shù)據(jù)庫(kù)集群分配相互隔離的兩類(lèi)實(shí)例基于相同數(shù)據(jù)源OLTP GROUPOLAP G

11、ROUPOLAP&OLTP GROUPOLTP CNOLAP CNOLTP CNOLAP CNDNDNDNDNDNDN流復(fù)制流復(fù)制流復(fù)制流復(fù)制流復(fù)制流復(fù)制DN_SDN_SDN_SDN_SDN_S1DN_S2DN_S1DN_S2資源專(zhuān)用隔離，兩個(gè)實(shí)例互不影響，適用于計(jì)算公用數(shù)據(jù)源，用性能換資源；量特別大，且無(wú)需實(shí)時(shí)得到分析數(shù)據(jù)的場(chǎng)景適用于實(shí)時(shí)分析且性能要求不高的場(chǎng)景。良好的擴(kuò)展性-HTAP數(shù)據(jù)分區(qū)+分片數(shù)據(jù)防傾斜方案冷熱數(shù)據(jù)分離良好的擴(kuò)展性-冷熱分離02業(yè)務(wù)方-云數(shù)據(jù)庫(kù)管理系統(tǒng)從租戶(hù)視角，提供實(shí)例的運(yùn)維功能，可管理數(shù)據(jù)庫(kù)實(shí)例，包括實(shí) 例申請(qǐng)與退還、系統(tǒng)監(jiān)控與告警、備份與恢復(fù)、性能優(yōu)化等。運(yùn)維方-

12、運(yùn)營(yíng)平臺(tái)從管理員視角，提供數(shù)據(jù)庫(kù)的全部運(yùn)維功能，可管理 集群的物理資源、調(diào)度決策系統(tǒng)、備份與恢復(fù)系統(tǒng)、 可用區(qū)管理、實(shí)例管理等。便捷運(yùn)維-多重管理系統(tǒng)成熟的監(jiān)控鏈路自動(dòng)化異常識(shí)別多維度故障診斷智能的性能優(yōu)化01便捷運(yùn)維-智能管家DBBrain網(wǎng)上 政務(wù)金融 支付互聯(lián) 核心物聯(lián) 網(wǎng)數(shù)據(jù) 倉(cāng)庫(kù)應(yīng)用案例-迄今效果成本下降75%以上傳統(tǒng)商用數(shù)據(jù)庫(kù)，僅硬件投入在2500萬(wàn)，而采用 基于騰訊TDSQL的分布式數(shù)據(jù)庫(kù)架構(gòu)建設(shè)， 硬件投入約600萬(wàn)元，僅硬件成本下降75% 以上。性能提升20%以上高頻賬戶(hù)類(lèi)交易耗時(shí)在300毫秒之內(nèi)，查詢(xún)類(lèi)交 易耗時(shí)在100毫秒之內(nèi)，20秒內(nèi)可以完成1萬(wàn)筆批量代發(fā)代扣業(yè)務(wù)，日終跑批耗時(shí)14分鐘， 存款結(jié)息耗時(shí)11分鐘，貸款結(jié)息耗時(shí)3分鐘， 此類(lèi)批量業(yè)務(wù)進(jìn)行時(shí)，該行數(shù)據(jù)庫(kù)負(fù)載均保 持在10%以下，極限處理能力可達(dá)到 6200TPS，優(yōu)于老架構(gòu)。單點(diǎn)故障故障40s恢復(fù)數(shù)據(jù)庫(kù)分片“一主三備”的模式，保證主節(jié)點(diǎn)故 障時(shí)可以在40s以?xún)?nèi)自動(dòng)切換到備節(jié)點(diǎn)并恢 復(fù)業(yè)務(wù)；應(yīng)用案例-第一個(gè)傳統(tǒng)銀行核心系統(tǒng)跑在國(guó)產(chǎn)數(shù)據(jù)庫(kù)上監(jiān)控能力自動(dòng)化運(yùn)維能力高可用高可靠多副本強(qiáng)一致分布