騰訊云數(shù)據(jù)庫智能運(yùn)維發(fā)展

1、騰訊云數(shù)據(jù)庫智能運(yùn)維發(fā)展技術(shù)創(chuàng)新，變革未來數(shù)據(jù)庫智能運(yùn)維時代的演進(jìn)數(shù)據(jù)庫智能運(yùn)維的分級騰訊云數(shù)據(jù)庫智能運(yùn)維的探索和實(shí)踐數(shù)據(jù)庫智能運(yùn)維時代的價值目錄Part 1數(shù)據(jù)庫智能運(yùn)維時代的演進(jìn)石器時代工具時代專家時代智能時代業(yè)務(wù) 驅(qū)動開源 技術(shù) 驅(qū)動單機(jī)少量集群 分散式管理單機(jī)大量集群 集中式管理分布式，多種類型集群 平臺化管理彈性、集約成本 云化管理成本和效率數(shù)據(jù)庫開源數(shù)據(jù)庫中間件 等組件開源數(shù)據(jù)庫運(yùn)維管 理平臺的建設(shè)KVM、K8s等虛擬化 技術(shù)開源和Tbase等 數(shù)據(jù)庫技術(shù)開源數(shù)據(jù)庫運(yùn)維-石器時代client Aclinet Bclient CDB ADB BDB C主要問題：業(yè)務(wù)不出問題就行了 主

2、要手段：人主要階段：知識積累階段數(shù)據(jù)庫運(yùn)維-工具時代鳥槍換鳥炮client Aclinet Bclient CDB ADB BDB C數(shù)據(jù)庫中間件主要問題：運(yùn)維效率問題 主要手段：人 + 腳本工具 主要階段：知識轉(zhuǎn)化生產(chǎn)力數(shù)據(jù)庫運(yùn)維-專家時代知識共享的時代數(shù)據(jù)庫實(shí)例自動化管理日志監(jiān)控審計(jì)SQL服務(wù)服務(wù)服務(wù)自助主要問題：運(yùn)維效率，流程管理，資源成本 主要手段：人 + 腳本工具+平臺主要階段：知識共享時代，但還需要自己把知識 轉(zhuǎn)化為生產(chǎn)力數(shù)據(jù)庫運(yùn)維-智能時代云+智能的時代統(tǒng)一云管平臺主要問題：彈性，智能主要手段：人 + 腳本工具+云平臺+智能引擎 主要階段：數(shù)據(jù)庫能力和經(jīng)驗(yàn)共享全鏈路日志和監(jiān)控機(jī)器

3、學(xué)習(xí)和大數(shù)據(jù)分析專家經(jīng)驗(yàn)最大化輸出石器時代工具時代專家時代智能時代第一次數(shù)據(jù)集中公司內(nèi)：從分散管理到集中管理第二次數(shù)據(jù)集中行業(yè)內(nèi)：從云下到云上技術(shù)和能力共享的時代 請擁抱這個時代的到來Part 2數(shù)據(jù)庫智能運(yùn)維的分級數(shù)據(jù)庫智能運(yùn)維的分級人工參與運(yùn)維人工化運(yùn)維工具化基礎(chǔ)平臺化高級自動化服務(wù)智能化Level 1智能運(yùn)維Level 4Level 3Level 2Level 0人工完成數(shù)據(jù)庫 的部署、監(jiān)控、 SQL上線、故障 處理等操作常用運(yùn)維操作腳 本化，通過腳本+預(yù)案的方式輔 助DBA進(jìn)行管理數(shù)據(jù)庫運(yùn)維平臺 具備基礎(chǔ)管控能 力的自動化主要包括自動化 部署、監(jiān)控、故 障切換、災(zāi)備、 上線等能力數(shù)據(jù)庫

4、運(yùn)維平臺 具備高級管控能 力的自動化主要包括容量管 理、異常診斷、 數(shù)據(jù)審計(jì)、優(yōu)化 分析、流量管控 等能力服務(wù)完全由數(shù)據(jù) 庫系統(tǒng)接管，不 需要人工處理主要包括自適應(yīng)、 自修復(fù)、自優(yōu)化、 自決策等高度自 治的管理能力Part 3騰訊云數(shù)據(jù)庫智能運(yùn)維的探索 和實(shí)踐騰訊云數(shù)據(jù)庫智能運(yùn)維體系數(shù)據(jù)采集全量存儲數(shù)據(jù)加工計(jì)算智能實(shí)時診斷智能化數(shù)據(jù)庫管控平臺智能化決策引擎自適應(yīng)數(shù)據(jù)庫引擎訓(xùn)練數(shù)據(jù)深度強(qiáng)化學(xué)習(xí)配置推薦TencentDB自適應(yīng)自動化自決策數(shù)據(jù)庫實(shí)例自動化管理SQL自 助實(shí)日監(jiān)審例志控計(jì)管服服服理務(wù)務(wù)務(wù)度量指標(biāo)采集云數(shù)據(jù)庫自動性能優(yōu)化系統(tǒng) CDBTuneAn End-to-End Automatic

5、 Cloud Database Tuning System Using Deep Reinforcement Learning- SIGMOD 2019用戶很難發(fā)現(xiàn)導(dǎo)致數(shù)據(jù)庫系統(tǒng)性能下降的原因并有效地解決對于擁有數(shù)十萬計(jì)用戶實(shí)例的云服務(wù)提供商來說，完全依賴數(shù) 據(jù)庫專家進(jìn)行數(shù)據(jù)庫參數(shù)調(diào)優(yōu)并不現(xiàn)實(shí)利用 AI 技術(shù)解決數(shù)據(jù)庫系統(tǒng)性能問題，為用戶及時地調(diào)整數(shù) 據(jù)庫系統(tǒng)參數(shù)，以保證數(shù)據(jù)庫的性能維持在一個較優(yōu)的狀態(tài)性能調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫專家在線性能調(diào)優(yōu)需要的時間最短，比otterTune快一倍降低學(xué)習(xí)門檻和提升調(diào)參效率基于時間序列的預(yù)測模型（Prophet）在容量管理上的應(yīng)用初始數(shù)據(jù)預(yù)測趨勢和 實(shí)

6、際結(jié)果的 對比累加回歸模型：y(t) = g(t)+s(t)+h(t)+etg(t)：growth(增長趨勢)s(t)：seasonality（季節(jié)趨勢）h(t)：holidays（節(jié)假日對預(yù)測值的影響）et：為噪聲項(xiàng)對我們的價值：對客戶的價值：容量管理：知道在什么時間點(diǎn)進(jìn)行資源擴(kuò)容挖掘大客戶：發(fā)現(xiàn)未來需求量巨大的潛在客戶對自己使用的資源量進(jìn)行分析，提前預(yù)測在什么 時候需要進(jìn)行擴(kuò)容方便預(yù)算和資源配置騰訊智能化數(shù)據(jù)庫運(yùn)營管理平臺數(shù)據(jù)倉庫日志分析系統(tǒng)管控平臺健康報表DB實(shí)例DB實(shí)例DB實(shí)例DB實(shí)例宿主機(jī)宿主機(jī)DB狀態(tài)信息： 連接數(shù)，QPS，主 從延遲等DB系統(tǒng)信息： 表結(jié)構(gòu)，表索引SQL信息：歷史

7、SQL，SQL執(zhí) 行情況系統(tǒng)信息：Cpu、mem、io、 network元數(shù) 據(jù)鎖鎖等待慢查詢空間 資源會話主備切換主從延遲SQL優(yōu)化事務(wù)信息資源采集存儲索引分析展示故障預(yù)警故障自動診斷歷史事件剖析優(yōu)化建議操作管理控制臺 自動化專家知識庫積累降低DBA工作復(fù)雜 度，提升幸福感騰訊云智能運(yùn)維云化產(chǎn)品全局大盤展示實(shí)時異常診斷深度優(yōu)化分析安全威脅識別技術(shù)規(guī)避賦能風(fēng)險提升移動效率辦公騰訊云圖-一站式數(shù)據(jù)可視化平臺46款豐富組件24個擴(kuò)展大屏15種數(shù)據(jù)源12張行業(yè)模板零門檻設(shè)計(jì)，所 見即所得騰訊云圖-拖拽式自由布局，快速打造炫酷專業(yè)大屏Part 4 數(shù)據(jù)庫運(yùn)維智能時代的價值開源可控共享合作TencentDBTDSQL（Tencent Distributed SQL）TBaseCynosDBDBBrainMySQLSQLserverMongoDB RedisTDataCTSDBTcaplusDBDTSDatabase Expert Ser