數(shù)據(jù)庫(kù)智能優(yōu)化系統(tǒng)探索與實(shí)踐

1、數(shù)據(jù)庫(kù)智能優(yōu)化系統(tǒng)探索與實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)AgendaWhy阿里數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求HowCloudDBA關(guān)鍵技術(shù)Now數(shù)據(jù)庫(kù)智能優(yōu)化探索Q & AQ & AAgendaWhy阿里數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求HowCloudDBA關(guān)鍵技術(shù)Now數(shù)據(jù)庫(kù)智能優(yōu)化探索Q & AQ & A數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求業(yè)務(wù)訴求服務(wù)產(chǎn)品化全局規(guī)模優(yōu)化 主動(dòng)診斷智能異常發(fā)現(xiàn) 容量預(yù)估業(yè)務(wù)發(fā)展速度遠(yuǎn)超DBA人員發(fā)展速度數(shù)據(jù)庫(kù)規(guī)模大，成本壓力數(shù)據(jù)庫(kù)性能帶來(lái)的穩(wěn)定性風(fēng)險(xiǎn)(如爛SQL)業(yè)務(wù)負(fù)載變化常態(tài)化，報(bào)警前故障已發(fā)生 業(yè)務(wù)場(chǎng)景復(fù)雜，數(shù)據(jù)庫(kù)性能容量預(yù)估難 .數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求用戶(hù)訴求信息透明自助化診斷優(yōu)化 持續(xù)優(yōu)化量化跟蹤，流程閉

2、環(huán) 產(chǎn)品化輸出“數(shù)據(jù)庫(kù)運(yùn)行的怎么樣？”“數(shù)據(jù)庫(kù)調(diào)用時(shí)延為啥變高了？” “數(shù)據(jù)庫(kù)剛優(yōu)化了怎么又慢了 ？” “上次的優(yōu)化效果怎么樣 ？” “我們需要DBA啊.“CloudDBAAlibaba用戶(hù)身邊的數(shù)據(jù)庫(kù)專(zhuān)家人工具化自動(dòng)化智能化CloudDBA是一個(gè)數(shù)據(jù)庫(kù)智能優(yōu)化產(chǎn)品，面向開(kāi)發(fā)人員提供自助化診斷優(yōu)化 服務(wù)，致力于成為用戶(hù)身邊的數(shù)據(jù)庫(kù)專(zhuān)家。AgendaWhy阿里數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求HowCloudDBA關(guān)鍵技術(shù)Now數(shù)據(jù)庫(kù)智能優(yōu)化探索Q & AQ & ACloudDBA整體架構(gòu)產(chǎn)品設(shè)計(jì)原則自助化流程閉環(huán)主動(dòng)診斷規(guī)模優(yōu)化 數(shù)據(jù)驅(qū)動(dòng) 智 能 化分析建議采納跟蹤評(píng)估采集SQL優(yōu)化閉環(huán)需求 分析數(shù)據(jù)模 型設(shè)

3、計(jì)庫(kù)表設(shè) 計(jì)/變更SQLReview線下 測(cè)試預(yù)發(fā)/線 上部署線上 監(jiān)控主動(dòng) 優(yōu)化優(yōu)化 建議采納 建議量化 評(píng)估開(kāi)發(fā)流程閉環(huán)優(yōu)化流程閉環(huán)持續(xù)優(yōu)化壓測(cè)慢日志 全量SQL流水AliSQLSQLTemplate實(shí)時(shí)/離線計(jì)算全局分析需優(yōu)化SQL集合When/What to Optimize?Continuous & Adaptive Self-tuningHow to OptimizeSQL診斷優(yōu)化Deploy & Evaluate建議推送量化跟蹤SQL優(yōu)化 What-if Optimizer全局視角代價(jià)評(píng)估(CBO)動(dòng)態(tài)采樣空間優(yōu)化實(shí)例遷移？緊急擴(kuò)容？刪除數(shù)據(jù)？數(shù)據(jù)驅(qū)動(dòng) 數(shù)據(jù)通道AliSQL Se

4、rverDBAgentKafkaAliSQL(RocksDB) SQL實(shí)時(shí)性能、 離線分析結(jié)果AliSQL ServerDBAgentAliSQL ServerDBAgentjStormSparkODPS(SQL流水、性能數(shù)據(jù)）AliSQL ServerDBAgent數(shù)據(jù)采集指標(biāo)豐富(OS/DB/Log/SQL等) 秒級(jí)采集全網(wǎng)覆蓋實(shí)時(shí)分析多維度實(shí)時(shí)匯聚 秒級(jí)延遲全量SQL分析離線分析性能成本模型 容量預(yù)測(cè)超大數(shù)據(jù)量數(shù)據(jù)驅(qū)動(dòng) 全量SQL分析數(shù)據(jù)驅(qū)動(dòng)-全量SQL業(yè)務(wù)價(jià)值實(shí)時(shí)全量SQL性能查看SQL Workload優(yōu)化性能熱點(diǎn)分析 性能優(yōu)化度 量SQL審計(jì)SQL模型分析 數(shù)據(jù)驅(qū)動(dòng)全局優(yōu)化量化全網(wǎng)

5、優(yōu)化收益建立全網(wǎng)性能成本模型全網(wǎng)性能成本基線發(fā)現(xiàn)規(guī)模優(yōu)化點(diǎn)AgendaWhy阿里數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求HowCloudDBA關(guān)鍵技術(shù)Now數(shù)據(jù)庫(kù)智能優(yōu)化探索Q & AQ & A智能優(yōu)化自動(dòng)化到智能化異常檢測(cè)/關(guān)聯(lián)分析主動(dòng)預(yù)警容量預(yù)估自診斷，自?xún)?yōu)化 圖片來(lái)源智能優(yōu)化探索空間預(yù)測(cè)Goal: Value:基于歷史增長(zhǎng)趨勢(shì)預(yù)測(cè)空間可用天數(shù) 自動(dòng)擴(kuò)容決策提供輸入全局實(shí)例調(diào)度策略輸入Challenges: 無(wú)規(guī)律導(dǎo)入/刪除數(shù)據(jù)Algorithm:Prophet(Facebook) RDP(Ramer Douglas Peucker)Result:智能優(yōu)化探索異常發(fā)現(xiàn)被動(dòng)診斷 - 主動(dòng)診斷未報(bào)警DB已經(jīng)異常？歷史特征學(xué)習(xí)？快速發(fā)現(xiàn)異常？智能優(yōu)化探索自診斷，自?xún)?yōu)化SummaryWhy阿里數(shù)據(jù)庫(kù)優(yōu)化服務(wù)訴求HowCloudDBA關(guān)鍵技術(shù)Now數(shù)據(jù)庫(kù)智能優(yōu)化探索Q & AWe are hiring!Java技術(shù)專(zhuān)家/高級(jí)專(zhuān)家數(shù)據(jù)庫(kù)診斷優(yōu)化Java后端