大數(shù)據(jù)云原生運維平臺實踐

?數(shù)據(jù)云原?運維平臺實踐

?錄

contents背景與挑戰(zhàn)云原?演進路線?數(shù)據(jù)云原?運維平臺實踐123

PART1背景與挑戰(zhàn)業(yè)務背景：超?規(guī)模集群運維

8?數(shù)據(jù)產(chǎn)品-----MaxComputeFlinkHologresDatahubPAI---DataWorksEMRElasticsearch-

國內(nèi)-

海外-

專有域

10+數(shù)據(jù)中?1K+

集群----集群規(guī)模差異?集群技術差異?全托管半托管-

物理機-

虛擬機-

容器100K+

節(jié)點業(yè)務挑戰(zhàn)：有限的資源

vs

增?的需求VS穩(wěn)定性?

?量升級變更與穩(wěn)定性管控沖突?

單機故障在?規(guī)模集群中的必然性?

集群復雜性帶來的監(jiān)控難度與故障恢復難度成本效率?

?戶需求超過資源供給能??

資源需求的峰?變化導致的閑置浪費?

?量瑣碎?戶咨詢影響?作效率?

?法清晰定義運維團隊活動的價值

PART2云原?演進路線演進歷史:

云原?發(fā)展時間線從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號卸貨時間

7天

→

15?時

(下降90%)1921年美國紐約鐵路運輸總公司集裝箱物流體系2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位PodInfra

ContainerContainer

AContainer

BVolumeNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進程從集裝箱發(fā)展史看云原?容器化變遷1956年

理想六號1921年2013年Docker

容器鏡像(container)打包2014年Kubernetes發(fā)布，以Pod作為最?調(diào)度單位Container

AContainer

BVolumePodPodPodPod

Pod

Node集裝箱物流體系

Pod

Pod

Pod

Pod

Pod

NodeNodePodPodPodPodPodNodePodPodPodPodPod云原?體系進程美國紐約鐵路運輸總公司

卸貨時間

7天

→

15?時

(下降90%)

集裝箱物流體系促使了全球化貿(mào)易，

云原?體系會給我們來帶

Pod

么？

Infra

Container什什么是云原?應?？云原?應?

??要素

代碼庫(Code

base)?份基準代碼，多份部署

依賴關系(Dependencies)顯式聲明并隔離依賴關系

配置(Config)在環(huán)境中存儲配置

后端服務(Backing

services)把后端服務當做附加資源構(gòu)建、發(fā)布和運?(Build,

release,

run)

完全獨?的構(gòu)建和運?階段

進程(Processes)

基于?個或多個?狀態(tài)進程運?端?綁定(Port

binding)通過端?綁定提供服務

并發(fā)(Concurrency)通過進程模型擴展

易處理(Disposability)通過快速啟動和優(yōu)雅停?來最?程度地提?健壯性環(huán)境等價(Dev/prod

parity)保持開發(fā)和?產(chǎn)環(huán)境的

?致性

管理進程(Admin

processes)

后端管理任務當作?次

性進程運?

?志(Logs)將?志處理作為事件流云原?化的開發(fā)模式

開發(fā)-

在測試云原?環(huán)

境驗證容器鏡像

(Dockerfile)-

集成并驗證第三

?helm包

構(gòu)建-

容器化構(gòu)建作業(yè)(Job)-

構(gòu)建時從遠程倉庫拉

取源碼

部署-

OAM標準模型部署-

運維特性trait市場-

helm包更新部署

云原?架構(gòu)

云原?理念交付監(jiān)測管理控制運營服務云原??程能?沉淀

PART3?數(shù)據(jù)云原?運維平臺實踐云原?運維平臺

為了提效、解耦?整合在云原?控制平?上的中間組織，能夠為不同運維產(chǎn)品提供公共資源。們在上?的時候，建?、維護、釋放與?絡間的鏈路時，都是通過控制平?來完成的。運維平臺為了提效、解耦?整合的中間組織，能夠為不同運維產(chǎn)品提供公共資源。

控制平?釋義:

控制平?是相對于數(shù)據(jù)平???的。最初的控制平?概念

來?于通信領域。?如:“傳輸信令信息的叫做控制平?，控

制平?上承載的是?戶和?絡的交互控制信息。例如，我?數(shù)據(jù)運維平臺云原?運維平臺演進

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化實踐1:

企業(yè)應?交付

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化收集需求應?設計應?開發(fā)應?測試應?部署實踐1:

企業(yè)應?交付

-

利?云原?技術快速構(gòu)建應?技術棧-

?持企業(yè)按照?身需求對應?交付流程進

?深度定制改造-

引導企業(yè)在云原?模式下開發(fā)迭代演進---Trait

通常由應?運維?員定義和維護，?不需要應?開發(fā)?員參與，應?開發(fā)?員對

Trait

可能?感知，減輕了應?開發(fā)?員的負擔；Trait

將云原?應?程序的?些通?運維屬性從應?配置中剝離出來，??提?了運維邏輯的可復?性；應?

Trait

組合前進?運維特性檢查，可以有效防?配置沖突和?法預期的情況發(fā)?；實踐1:

企業(yè)應?交付

—

OAM模型標準化

ApplicationConfiguration

Component

Component

Trait

Trait實踐2:

健康管理體系

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化實踐2:

健康管理體系

故障異常

告警

?險事件

持續(xù)?定時間的?戶使?異常。

?戶側(cè)使?體感下降（包括不可?或性能下降）。

某些功能處于?預期狀態(tài)，需要?即處理。

某些數(shù)值?定程度偏離基線，提醒運維同學關注。某個時間點對于某個?為的客觀描述，沒有好壞之分。

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化實踐3:

變更管理實踐3:

變更管理變更檢測變更檢測變更檢測第?批:

觀察30分鐘第?批:

觀察10分鐘第三批:

觀察5分鐘

…----指定時間窗??動執(zhí)?按實體分批執(zhí)?批次間穩(wěn)定性觀察?預期變更?動停?/報警/回滾

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理變更管理存儲管理預算管理控制智能?愈彈性伸縮編排均衡運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化實踐4:

智能?愈閉環(huán)實踐4:

智能?愈閉環(huán)系統(tǒng)檢測告警分析

?例智能?愈閉環(huán)流程示意異常診斷-

巡檢任務-

異常檢測-

檢測出告警

-

關聯(lián)分析

-

報警壓縮

-

分析出異常

-

根因分析-

診斷出新異常異常診斷

決策執(zhí)?-

診斷樹-

診斷出根因

-

恢復作業(yè)

-

變更通知

PaaS平臺服務

SaaS運維應?交付團隊管理集群管理應?管理監(jiān)測事件中?告警分析?險巡檢異常診斷故障統(tǒng)計k8s

apiserverkubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點kubelet

節(jié)點管理數(shù)據(jù)運維智能運維作業(yè)管理控制智能?愈容量維持彈性伸縮運營質(zhì)量運營成本運營效率運營服務運維搜索?助答疑

IaaS基礎設施前端?程框架

appmanager

多集群部署

路由?關Helm包適配部署

發(fā)現(xiàn)服務kaniko鏡像構(gòu)建

鑒權服務OAM標準模型

應?腳?架trait運維特性市場運維應?多元化平臺服務標準化基礎設施歸?化實踐5:

運維低