專20-2-打造全方位的數(shù)據(jù)庫自動(dòng)化、自助化平臺

自動(dòng)化、自助化平臺李京生2016.5.10目錄CONTENTS景模龐大雜模龐大雜系統(tǒng)壓力大應(yīng)運(yùn)維管理解決方案性能自性能自動(dòng)優(yōu)化系統(tǒng)監(jiān)控配置管理部署改造智能分析數(shù)據(jù)安全提取備份恢復(fù)安全審計(jì)分布式數(shù)據(jù)庫故障故障切換數(shù)據(jù)結(jié)轉(zhuǎn)數(shù)據(jù)自助查詢數(shù)據(jù)庫流程管理助上線目錄CONTENTS統(tǒng)一化服務(wù)器資源申請分配數(shù)據(jù)庫上線流程化數(shù)據(jù)庫授權(quán)數(shù)據(jù)庫版本升級上線自統(tǒng)一化服務(wù)器資源申請分配數(shù)據(jù)庫上線流程化數(shù)據(jù)庫授權(quán)數(shù)據(jù)庫版本升級概要概要據(jù)庫流程……...語法分析聯(lián)合執(zhí)行處理模塊結(jié)構(gòu)化UI展示表單模板工作流引擎規(guī)則引擎業(yè)務(wù)模塊基礎(chǔ)資源模塊語法分析聯(lián)合執(zhí)行處理模塊結(jié)構(gòu)化UI展示表單模板工作流引擎規(guī)則引擎業(yè)務(wù)模塊基礎(chǔ)資源模塊ACKUPCMDBManager管理端基基礎(chǔ)模塊簡圖上線自動(dòng)化——上線自動(dòng)化要點(diǎn)要點(diǎn)2法檢測SQL法檢測3程審批批環(huán)節(jié)5備份及執(zhí)行回滾的2法檢測SQL法檢測3程審批批環(huán)節(jié)5備份及執(zhí)行回滾的份，并檢查4處理態(tài)評估步步驟說明11基礎(chǔ)進(jìn)行據(jù)核查的部門結(jié)構(gòu)樹部門審核權(quán)限s規(guī)范的審核流程基于應(yīng)用的信息平臺關(guān)聯(lián)應(yīng)用平臺上線執(zhí)行多級審核授權(quán)信息填寫常規(guī)及BI的部門結(jié)構(gòu)樹部門審核權(quán)限s規(guī)范的審核流程基于應(yīng)用的信息平臺關(guān)聯(lián)應(yīng)用平臺上線執(zhí)行多級審核授權(quán)信息填寫常規(guī)及BI授權(quán)目錄CONTENTS定制化的安裝策略支持多版本，單主從，集群部署實(shí)現(xiàn)研發(fā)自助化權(quán)限，DBA權(quán)限控制資產(chǎn)信息關(guān)聯(lián)，數(shù)據(jù)庫批量安裝及數(shù)據(jù)庫同步校驗(yàn)，備份及監(jiān)控添加切換系統(tǒng)完成數(shù)據(jù)庫集群的改造批量化資源回收運(yùn)維管理自定制化的安裝策略支持多版本，單主從，集群部署實(shí)現(xiàn)研發(fā)自助化權(quán)限，DBA權(quán)限控制資產(chǎn)信息關(guān)聯(lián)，數(shù)據(jù)庫批量安裝及數(shù)據(jù)庫同步校驗(yàn)，備份及監(jiān)控添加切換系統(tǒng)完成數(shù)據(jù)庫集群的改造批量化資源回收功能要點(diǎn)功能要點(diǎn)自助化下的安全控制完整部署流程控制數(shù)據(jù)庫集群改造切換應(yīng)應(yīng)用狀態(tài)查詢，數(shù)據(jù)銷毀，資產(chǎn)信息回收1.數(shù)據(jù)庫集群批量化2.設(shè)置集群數(shù)據(jù)源3.集群安全選項(xiàng)設(shè)置主從設(shè)置安裝及關(guān)聯(lián)1.數(shù)據(jù)庫集群安裝及架構(gòu)信息自動(dòng)更新2.集群主機(jī)監(jiān)控自主3.集群備份設(shè)置運(yùn)1.數(shù)據(jù)庫集群批量化2.設(shè)置集群數(shù)據(jù)源3.集群安全選項(xiàng)設(shè)置主從設(shè)置安裝及關(guān)聯(lián)1.數(shù)據(jù)庫集群安裝及架構(gòu)信息自動(dòng)更新2.集群主機(jī)監(jiān)控自主3.集群備份設(shè)置安安裝部署流程簡述1.項(xiàng)目及數(shù)據(jù)庫集群息獲取2.版本及主機(jī)信息1.項(xiàng)目及數(shù)據(jù)庫集群息獲取2.版本及主機(jī)信息配置批量化設(shè)置3.系統(tǒng)安裝環(huán)境初始化?備份進(jìn)程監(jiān)控?同一網(wǎng)段任務(wù)數(shù)限制同步及校驗(yàn)結(jié)果確認(rèn)拆分及切換安全性運(yùn)維管理自動(dòng)化?備份進(jìn)程監(jiān)控?同一網(wǎng)段任務(wù)數(shù)限制同步及校驗(yàn)結(jié)果確認(rèn)拆分及切換安全性擴(kuò)容部署擴(kuò)容部署?集群數(shù)據(jù)同步??集群數(shù)據(jù)同步?批量校驗(yàn)集群數(shù)據(jù)數(shù)據(jù)獲數(shù)據(jù)獲取??壓縮傳輸?集群讀庫拆分?jǐn)U展?從庫流量切換?擴(kuò)容是否完成?CMDB信息是否更新成功涉及多個(gè)機(jī)房、幾千臺數(shù)據(jù)庫，大規(guī)模的數(shù)據(jù)部署性能、穩(wěn)定性的要求，出現(xiàn)的異常情況處理有大量切換信息溝通，信息溝通的時(shí)效性運(yùn)維管理自動(dòng)化——部署與改造涉及多個(gè)機(jī)房、幾千臺數(shù)據(jù)庫，大規(guī)模的數(shù)據(jù)部署性能、穩(wěn)定性的要求，出現(xiàn)的異常情況處理有大量切換信息溝通，信息溝通的時(shí)效性改改造中的挑戰(zhàn)多機(jī)房、多核心系統(tǒng)數(shù)據(jù)庫切換不容有失，切換復(fù)雜基礎(chǔ)信息1.項(xiàng)目基礎(chǔ)信息2.數(shù)據(jù)庫集群架構(gòu)3.研發(fā)基礎(chǔ)信息1.項(xiàng)目基礎(chǔ)信息2.數(shù)據(jù)庫集群架構(gòu)3.研發(fā)erp、權(quán)限1.基礎(chǔ)環(huán)境部署2.數(shù)據(jù)庫從庫的批量部署全性考慮批量部署數(shù)據(jù)核驗(yàn)改改造環(huán)境部署關(guān)聯(lián)系統(tǒng)關(guān)聯(lián)系統(tǒng)1.集群架構(gòu)信息批量化更新2.監(jiān)控信息自動(dòng)添加3.備份自動(dòng)部署1.定時(shí)批量的數(shù)據(jù)校驗(yàn)2.異常數(shù)據(jù)的修復(fù)運(yùn)維管理自動(dòng)化——部署與改造改改造切換技術(shù)點(diǎn)數(shù)據(jù)庫集群的批量化切換切換過程中的數(shù)據(jù)一致性問題集群切換異常情況下的回滾超大集群切換的安全管理周邊關(guān)聯(lián)應(yīng)用系統(tǒng)的一致化調(diào)整單機(jī)切換按集群切換按單機(jī)切換按集群切換按項(xiàng)目切換改改造解決方案項(xiàng)目信息類型務(wù)創(chuàng)建運(yùn)維管理自動(dòng)化——部署與改造項(xiàng)目信息類型務(wù)創(chuàng)建切換中任務(wù)展示切換中任務(wù)源源機(jī)房目務(wù)執(zhí)行切換中實(shí)例展示運(yùn)維管理自動(dòng)化——部署與改造目務(wù)執(zhí)行切換中實(shí)例展示跨機(jī)房跨機(jī)房應(yīng)用連接情況查詢集群架構(gòu)信息查詢運(yùn)維管理自動(dòng)化——部署與改造應(yīng)用連接情況查詢集群架構(gòu)信息查詢研發(fā)自助研發(fā)自助化集群DNS查詢數(shù)據(jù)庫性能指標(biāo)查詢運(yùn)維管理自動(dòng)化——故障切換故故障切換方案 (dbswitch)?DBA自研發(fā)，運(yùn)用在可自動(dòng)切換?數(shù)據(jù)庫異常狀態(tài)監(jiān)測及自動(dòng)切換?實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)補(bǔ)齊、校驗(yàn)?基于故障點(diǎn)切換?基于集群切換?基于項(xiàng)目切換?基于機(jī)房的切換庫數(shù)據(jù)展示運(yùn)維管理自動(dòng)化——系統(tǒng)監(jiān)控庫數(shù)據(jù)展示監(jiān)監(jiān)控架構(gòu)簡圖資產(chǎn)信資產(chǎn)信息數(shù)據(jù)庫數(shù)據(jù)庫層持久層報(bào)表理配處理據(jù)采集運(yùn)維管理自動(dòng)化——系統(tǒng)監(jiān)控監(jiān)監(jiān)控自動(dòng)化管理信息信息獲取級失效監(jiān)控自動(dòng)處理資產(chǎn)設(shè)備的自主添加分組應(yīng)用的自定義模板及觸發(fā)條件添加不同應(yīng)用監(jiān)控閥值動(dòng)態(tài)調(diào)整關(guān)聯(lián)資產(chǎn)信息實(shí)現(xiàn)機(jī)擴(kuò)展信息的實(shí)多業(yè)務(wù)應(yīng)用分組信息顯示按問題嚴(yán)重性劃分級按時(shí)間階段進(jìn)行告警升級，持續(xù)報(bào)警分級逐級上報(bào)資產(chǎn)過期設(shè)備自動(dòng)進(jìn)行監(jiān)控信息清理預(yù)處理報(bào)警信息總信息并上報(bào)處理運(yùn)維管理自動(dòng)化——系統(tǒng)監(jiān)控監(jiān)監(jiān)控功能優(yōu)化優(yōu)化系統(tǒng)監(jiān)控項(xiàng)，降低監(jiān)控服務(wù)壓力，提高監(jiān)控主機(jī)數(shù)量提高監(jiān)控粒度，優(yōu)化監(jiān)控閾值和策略，提高可靠性及時(shí)性不同級別報(bào)警信息實(shí)現(xiàn)自動(dòng)恢復(fù)，提高故障恢復(fù)時(shí)效性優(yōu)化監(jiān)控?cái)?shù)據(jù)的展現(xiàn)，提供對更豐富直觀的性能監(jiān)測數(shù)據(jù)運(yùn)維管理自動(dòng)化——智能分析性性能指標(biāo)析容量管理數(shù)據(jù)分?jǐn)?shù)據(jù)分析用戶接入與權(quán)限控制Client1Client2Client3 海量數(shù)據(jù)支撐慢日志管理設(shè)慢日志的分析,示與推送訂閱日志訂閱日志用戶接入與權(quán)限控制Client1Client2Client3 海量數(shù)據(jù)支撐慢日志管理設(shè)慢日志的分析,示與推送訂閱日志訂閱日志訂閱日志用戶訂閱/配置慢SQL日志慢慢日志訂閱慢日志的采集運(yùn)維管理自動(dòng)化——故障自愈?一定規(guī)則下的異常SQL?一定規(guī)則下的異常SQL處理?連接數(shù)一定范圍內(nèi)調(diào)整?性能參數(shù)一定條件下調(diào)整空間異常異常SQL的?故障自愈?MySQLMySQL數(shù)的自binlog、備份文件在一定條件下調(diào)整(非日常釋放)庫運(yùn)維管理——多中心交易管理keeperLeaderkeeperLeaderlowerperObserverZookeeperlowerIDC-Bss雙雙中心同時(shí)提供讀寫服務(wù)，異地?cái)?shù)據(jù)庫之間通過數(shù)據(jù)總線進(jìn)行同步數(shù)據(jù)運(yùn)維管理自動(dòng)化——備份恢復(fù)下載備份文件檢測上傳狀況下載備份文件數(shù)據(jù)恢復(fù)服務(wù)器檢測備份狀況備份存儲服務(wù)器數(shù)據(jù)庫管下載備份文件檢測上傳狀況下載備份文件數(shù)據(jù)恢復(fù)服務(wù)器檢測備份狀況備份存儲服務(wù)器數(shù)