新浪微博數(shù)據(jù)庫資源調(diào)度平臺(tái)架構(gòu)實(shí)踐

1、技術(shù)創(chuàng)新，變革未來新浪微博數(shù)據(jù)庫資源調(diào)度平臺(tái)架構(gòu)實(shí)踐部門介紹微博數(shù)據(jù)庫平臺(tái)負(fù)責(zé)新浪微博所有業(yè)務(wù)的數(shù)據(jù)庫服務(wù)托管覆蓋主流關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫提供整體的OLTP和OLAP解決方案支撐微博平臺(tái)、微博主站、微博廣告、熱門微博和機(jī)器學(xué)習(xí)等公司核心業(yè)務(wù)推動(dòng)公司數(shù)據(jù)庫技術(shù)創(chuàng)新和落地資源調(diào)度平臺(tái)shanks的產(chǎn)生背景微博當(dāng)前資源規(guī)模和dba配比其他亟需解決的痛點(diǎn)資源規(guī)模服務(wù)器近萬臺(tái)規(guī)模近10萬的數(shù)據(jù)庫實(shí)例數(shù)PB級(jí)關(guān)系數(shù)據(jù)存儲(chǔ)萬億級(jí)NoSQL訪問DBA人數(shù)個(gè)位數(shù)，人均管理實(shí)例近萬服務(wù)SLA 99.99%其他痛點(diǎn)數(shù)據(jù)庫資源多樣網(wǎng)絡(luò)環(huán)境復(fù)雜多云環(huán)境熱點(diǎn)事件帶來的極速峰值流量持續(xù)增長(zhǎng)的資源訪問期待一個(gè)英雄的降

2、臨基于資源調(diào)度姿勢(shì)的考量主動(dòng)被動(dòng)主動(dòng)和被動(dòng)相結(jié)合基于資源調(diào)度姿勢(shì)的考量被動(dòng)姿勢(shì) Saltstack Ansible自動(dòng)化運(yùn)維平臺(tái)基于資源調(diào)度姿勢(shì)的考量主動(dòng)姿勢(shì) AIops (智能運(yùn)維) SAAS (software as a service)基于資源調(diào)度姿勢(shì)的考量相對(duì)柔和和穩(wěn)定的方式：主動(dòng)和被動(dòng)相結(jié)合主動(dòng)感知主動(dòng)處理+ 被動(dòng)處理節(jié)奏可控、規(guī)?？煽亟y(tǒng)一資源調(diào)度平臺(tái) shanks命名來自漫畫：海賊王四皇之一一個(gè)資源服務(wù)平臺(tái)(RAAS)萬物皆資源，資源即服務(wù)為所有支持的資源提供服務(wù)化的治理和全生命周期管理提升資源管理效率提升資源穩(wěn)定性與可靠性基于go開發(fā)高性能可擴(kuò)展弱狀態(tài)Shanks架構(gòu)輕量agen

3、t元數(shù)據(jù)存儲(chǔ)基于LevelDB高效的內(nèi)存訪問支持萬臺(tái)規(guī)模支持機(jī)器和實(shí)例層面調(diào)度Shanks架構(gòu)Agent干啥metric采集和上報(bào) login free無狀態(tài)最低功能原則：別的模塊能完成的功能一律不提供 0依賴原則: agent的啟動(dòng)、運(yùn)行不依賴任何第三方提供的服務(wù) 0配置原則: agent的啟動(dòng)、運(yùn)行不依賴任何靜態(tài)配置最小化暴露原則：不額外提供不需要的未知的功能Shanks架構(gòu)Server干啥接收并分析metrics，如果觸發(fā)閾值，生成報(bào)警事件監(jiān)控資源的運(yùn)行狀態(tài)依據(jù)配置的策略進(jìn)行報(bào)警，觸發(fā)不同的exception handler進(jìn)行處理，生成 對(duì)應(yīng)的task list;接收resource

4、admin提交的任務(wù)；調(diào)度并執(zhí)行任務(wù)：尋找合適的agent，將任務(wù)轉(zhuǎn)換成相應(yīng)的command下發(fā) 給agent，完成任務(wù)的執(zhí)行提供通用API核心功能資源操作標(biāo)準(zhǔn)化自動(dòng)注冊(cè)、服務(wù)發(fā)現(xiàn)多維度監(jiān)控與報(bào)警服務(wù)自愈彈性調(diào)度設(shè)計(jì)理念足夠簡(jiǎn)潔、抽象：cs模式、界限清晰將redis、mc、mysql、HBase、mcq、qservice、DNS等統(tǒng)一描述成資源將資源的變更：包括擴(kuò)容、縮容、DDL、備份、遷移等等抽象對(duì)資源的action，以task的 方式提交Agent安裝不依賴任何環(huán)境Agent只做metric上報(bào)和login free，Server只做metric分析統(tǒng)計(jì)和任務(wù)下發(fā)足夠健壯：應(yīng)對(duì)單點(diǎn)、網(wǎng)絡(luò)割

5、接、agent掛起足夠智能：自動(dòng)恢復(fù)大比例覆蓋全網(wǎng)資源異常，降低人為干預(yù)足夠全面：將日常運(yùn)維經(jīng)驗(yàn)逐步反哺到shanks中，讓其發(fā)揮更大的作用足夠靈活：介于主動(dòng)運(yùn)維和被動(dòng)運(yùn)維之間資源標(biāo)準(zhǔn)化抽象資源類型和操作提供通用http api支持實(shí)例部署、升級(jí)、擴(kuò)縮容和遷移方便和各種運(yùn)維平臺(tái)整合批量操作成本更低自動(dòng)注冊(cè)、服務(wù)發(fā)現(xiàn)服務(wù)器初始化后agent進(jìn)程會(huì)自動(dòng)啟動(dòng)Agent會(huì)定期上報(bào)服務(wù)器上面所有服務(wù)的相關(guān)指標(biāo)agent和server定期通信，如果agent掛掉，server會(huì)感知，并會(huì)將其拉起上報(bào)的資源信息會(huì)和統(tǒng)一配置中心結(jié)合 供業(yè)務(wù)使用多維度監(jiān)控與報(bào)警agent上報(bào)的相關(guān)指標(biāo)會(huì)同步到監(jiān)控dashboa

6、rd和指標(biāo)決 策系統(tǒng)指標(biāo)決策系統(tǒng) 提供多維度的指標(biāo)聚合計(jì)算，生成資源健康 檢查報(bào)告和報(bào)警事件決策系統(tǒng)會(huì)對(duì)報(bào)警事件進(jìn)行判斷，觸發(fā)不同的處理策略服務(wù)自愈支持常規(guī)實(shí)例資源故障自愈基于標(biāo)準(zhǔn)化api封裝自定義配置自愈策略支持多種資源類型故障切換和自動(dòng)恢復(fù)機(jī)房級(jí)別網(wǎng)絡(luò)故障切換降低服務(wù)故障時(shí)間，降低人為干預(yù)成本彈性調(diào)度支持資源指標(biāo)維度的容量水位自動(dòng)調(diào)度支持多種資源的彈性擴(kuò)縮容基于資源池和產(chǎn)品線為基本調(diào)度單位支持分鐘級(jí)擴(kuò)容百臺(tái)的規(guī)模典型應(yīng)用場(chǎng)景容量問題應(yīng)對(duì)微博熱點(diǎn)數(shù)據(jù)庫訪問質(zhì)量自動(dòng)治理容量問題報(bào)警觸發(fā)業(yè)務(wù)風(fēng)險(xiǎn)被動(dòng)處理風(fēng)險(xiǎn)前置重復(fù)工作巡檢自動(dòng)化資源利用自動(dòng)發(fā)現(xiàn)應(yīng)對(duì)微博熱點(diǎn)微博典型場(chǎng)景: 新聞熱點(diǎn) 明星事件等峰值

7、高資源有狀態(tài)如何快速擴(kuò)容成本自動(dòng)彈性擴(kuò)容基于公有云的彈性快速擴(kuò)容依靠云的彈性來提高資源冗余度降低成本進(jìn)一步降低彈性擴(kuò)容時(shí)間數(shù)據(jù)庫訪問質(zhì)量治理業(yè)務(wù)反饋訪問資源慢單一實(shí)例訪問超時(shí)但是資源基礎(chǔ)監(jiān)控正常數(shù)據(jù)庫訪問質(zhì)量治理實(shí)時(shí)的訪問質(zhì)量監(jiān)控資源耗時(shí)的同比環(huán)比報(bào)警異常實(shí)例自動(dòng)處理和降級(jí)平臺(tái)收益資源管理效率提升資源穩(wěn)定性與可靠性提升自動(dòng)恢復(fù)覆蓋全網(wǎng)60%以上資源異常減少資源故障定位和恢復(fù)時(shí)間DBA工作效率提升未來展望資源服務(wù)化、規(guī)格化、云化提升DB類快速擴(kuò)縮容能力資源精細(xì)化管理、智能化管理資源服務(wù)化、規(guī)格化、云化進(jìn)一步標(biāo)準(zhǔn)化統(tǒng)一資源使用姿勢(shì)減少和業(yè)務(wù)溝通成本，資源開箱即用最大化資源利用率，應(yīng)對(duì)各種復(fù)雜場(chǎng)景的資源調(diào)度資源和機(jī)房解耦提升DB類快速擴(kuò)縮容能力數(shù)據(jù)量大 如何彈性？大DB拆小，DB規(guī)格化高效的數(shù)據(jù)備份恢復(fù)體系高效的數(shù)據(jù)傳輸體系高效