阿基米德集群管理與調(diào)度系統(tǒng)介紹

1、京東商城集群管理與調(diào)度系統(tǒng)-阿基米德（Archimedes）目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實踐2阿基米德混合部署實踐329%31%10%30%7006005004003002001000 A B C DTEXT 1 TEXT 2Morbi fermeLnorem ipsum tum justo. dolor sit.TEXT 3 TEXT 4Morbi fermeLnorem ipsum tum justo. dolor sit.培養(yǎng)習(xí)慣.用戶最小學(xué)習(xí)成本遷移到容器跑平臺.Container as VM支撐京東組件化.實現(xiàn)一鍵建站 組件倉庫.集群編排重構(gòu)整個數(shù)據(jù)中心基礎(chǔ)設(shè)施與基礎(chǔ)軟件.

2、實現(xiàn)基礎(chǔ)設(shè)施能力可編程 API化. All In Container構(gòu)建容器生態(tài)京東阿基米德調(diào)度項目.節(jié)省數(shù)據(jù)中心數(shù)億元采購成本.資源調(diào)度京東集群技術(shù)發(fā)展之路Container Eco SystemGitCI/CDLog MonitorOpts ToolsContainerLBNodePodPodNodePodPodNodePodPodPodPodPodPodPodPoddockerdockerdockerNodePodPodPodPoddockerNodePodPodPodPoddockerNodePodPodPodPoddockerIDC Physical infrastructureCo

3、ntainerNetContainerFSContainerDNSContainerISDeveloperOperatorMasterMasterMasterAPIScheduler Controller EtcdKubernetes無論任何組件失效 已經(jīng)在運(yùn)行的容器不受任何影響Container Eco System 架構(gòu)圖目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實踐2阿基米德混合部署實踐3中間件 數(shù)據(jù)庫在線應(yīng)用智能存儲大數(shù)據(jù)計算任務(wù)阿基米德智能調(diào)度系統(tǒng)機(jī)器學(xué)習(xí) 任務(wù)CPU超分內(nèi)存超分容器IP不變親和與 反親和性分配率性能應(yīng)用畫像資源限制彈性伸縮混合部署模擬仿真監(jiān)控數(shù)據(jù)應(yīng)用數(shù)據(jù)集群/系統(tǒng)/應(yīng)用

4、/機(jī)器/容器應(yīng)用畫像/資源賬單/應(yīng)用配額評價體系利用率調(diào)度算法均衡分布數(shù)據(jù)體系調(diào)度場景批量調(diào)度資源鎖定阿基米德智能調(diào)度系統(tǒng)阿基米德調(diào)度器架構(gòu)充分利用申請與實際使用差距來提升容器的部署密度監(jiān)控數(shù)據(jù)統(tǒng)計&預(yù)測節(jié)點負(fù)載保護(hù)用秒級監(jiān)控數(shù)據(jù)在線業(yè)務(wù)提升容器的部署密度挑戰(zhàn)1 內(nèi)存超分最近三年OSDI SOSP SIGCOMM NSDI相關(guān)調(diào)度論文沒有在生產(chǎn)環(huán)境對內(nèi)存調(diào)度風(fēng)險無法徹底杜絕 調(diào)度算法+兜底方案挑戰(zhàn)2 調(diào)度的衡量指標(biāo)SLA在線業(yè)務(wù)CPU 47%63%離線計算CPU 80%調(diào)度結(jié)果平均資源使用率碎片率調(diào)度效率調(diào)度平均耗時 最大耗時 建議低于200ms挑戰(zhàn)3 使用大數(shù)據(jù)存量算力用于大促Archime

5、des-schedulerEventStreamJDOS-MasterEventRecorder事件校準(zhǔn)器MockletKube-liveGrafanaEvent存儲導(dǎo)入校準(zhǔn)校準(zhǔn)JDOS生產(chǎn)環(huán)境可視化Archimedes-metrics阿基米德調(diào)度仿真平臺Node上資源分配率通過統(tǒng)計各個節(jié)點上的cpu/內(nèi)存/磁盤分配情 況，確定集群的資源瓶 頸API請求統(tǒng)計統(tǒng)計各個請求、返回碼 以及響應(yīng)時間，反映apiserver集群的狀態(tài)調(diào)度用時通過展示每個容器調(diào)度 的平均用時，反映描述 調(diào)度器的性能集群狀態(tài)實時/歷史數(shù)據(jù)集群的節(jié)點/可用節(jié)點/可用資源數(shù) 量容器總數(shù)隨時間的變化各個節(jié)點的不同資源的分配率集群

6、組件性能數(shù)據(jù)API Server的請求數(shù)，返回碼，以 及響應(yīng)時間Scheduler調(diào)度容器的時間 Kubelet的拉取鏡像時間，容器創(chuàng) 建時間可視化目錄阿基米德容器生態(tài)1阿基米德調(diào)度系統(tǒng)實踐2阿基米德混合部署實踐390%75%60%45%30%15%0%申請資源實際使用資源阿基米德混合部署混合部署架構(gòu)YarnHDFS大數(shù)據(jù)存量計算阿基米德調(diào)度器NodeManagerNodeManagerLog Temp file離線計算利用在線業(yè)務(wù)資源0:003:006:000:0021:0018:0015:0012:009:00空閑資源充分供應(yīng)計算任務(wù)除應(yīng)用實際使用的資源和為任務(wù)預(yù) 留的資源buffer外，

7、其余空閑資源 盡可能提供給計算任務(wù)使用。大數(shù)據(jù)計算使用資源應(yīng)用實際使用資源 集群資源buffer 應(yīng)用臨時閑置資源空閑資源量動態(tài)調(diào)整根據(jù)應(yīng)用在不同時段的資源實際使用量，空閑 資源量的界定也是動態(tài)調(diào)整的。一般可以在夜 間達(dá)到峰值。混合部署邊界條件計 算 任 務(wù) 容 器 化安 全 的 數(shù) 據(jù) 訪 問驅(qū) 逐 與 重 新 調(diào) 度彈 性 伸 縮計算任務(wù)容器化計算任務(wù)可以在容器內(nèi)執(zhí)行，并且可以 接受平臺分配給容器的資源上限值。安全的數(shù)據(jù)訪問計算任務(wù)的容器可以安全的訪問大數(shù)據(jù) 的數(shù)據(jù)存儲。驅(qū)逐與重新調(diào)度計算任務(wù)的容器能夠接受在特殊情況下， 平臺停止某些個計算任務(wù)的容器，并在 其他節(jié)點重建該計算任務(wù)的容器。彈性伸縮計算任務(wù)的容器可以橫向擴(kuò)容，新增的 計算任務(wù)容器可以分擔(dān)部分計算任務(wù)而 不是空轉(zhuǎn)。同時也需要接受計算任務(wù)的 容器的橫向縮容。03010204混部關(guān)鍵技術(shù)-資源隔離及限制2-XCpushareX-64CpusetX-4848-640-1Cpuset