云原生下的運(yùn)維實踐及平臺建設(shè)方案

云原生下的運(yùn)維實踐及平臺建設(shè)方案云原生在網(wǎng)易的應(yīng)用1234目錄contents云原生場景下的運(yùn)維挑戰(zhàn)云原生場景下的運(yùn)維平臺建設(shè)混合云相關(guān)的實踐云原生下的運(yùn)維挑戰(zhàn)PA

RT2云原生下的運(yùn)維變化團(tuán)隊工作內(nèi)容和職責(zé)的再平衡PaaSk8s?

研發(fā)和運(yùn)維的邊界更加模糊SRE/k8s研發(fā)/業(yè)務(wù)研發(fā)SRE/k8s研發(fā)?

賦予業(yè)務(wù)研發(fā)更多的能力?

平臺研發(fā)和業(yè)務(wù)研發(fā)有更緊密的連接?

業(yè)務(wù)研發(fā)比任何時候關(guān)注平臺的新特性主機(jī)SRE云原生下的運(yùn)維特點關(guān)注整體SLO更多的邏輯層更復(fù)雜的問題定位邏輯?

混亂中取得平衡?

關(guān)注服務(wù)質(zhì)量?

關(guān)注集群容量大于關(guān)注單個節(jié)點?

資源層（node，pod等）?

k8s管控層?

內(nèi)部容器管理服務(wù)層?

定制CRD/operator?

業(yè)務(wù)層?

資源更加分散?

資源部署方式多樣化?

更加復(fù)雜的技術(shù)堆棧，對運(yùn)維人員有更高的要求?

容忍異常，通過設(shè)計規(guī)避SLI損失云原生的運(yùn)維?

DevOps只解決了研發(fā)到發(fā)布，無法處理底層?

DevOps開發(fā)自助運(yùn)維?

資源管理自動化?

豐富的組件能解決研發(fā)過程中的需求?

資源管理需要人或者平臺治理?

主要用的是ingress/svc等特性，而且容易濫用理想

現(xiàn)實?

分布式、微服務(wù)很容易實現(xiàn)?

業(yè)務(wù)通過sidecar等?

分布式需要投入大量資源方式聚焦于業(yè)務(wù)邏輯而不用關(guān)注底層中間件?

Sidecar層實現(xiàn)各種中間件driver還有大量的路要走云原生下的運(yùn)維難點?

大量報警，數(shù)量不可控?

監(jiān)控處理時效監(jiān)控變更?

業(yè)務(wù)變更和平臺變更頻繁?

變更影響評估困難?

多k8s集群配置統(tǒng)一?

配置巡檢和治理配置基線研發(fā)有更多的權(quán)限云原生場景下的運(yùn)維平臺建設(shè)PA

RT3云原生基座PaaS中間件低代碼分布式事務(wù)容器管理平臺CICD基礎(chǔ)平臺/輕舟API網(wǎng)關(guān)APM微服務(wù)框架K8s集群資源層serverlessistio云原生相關(guān)的運(yùn)維建設(shè)?

基本信息管理相關(guān)?

計算資源管控?

K8s權(quán)限管控?

服務(wù)治理能力建設(shè)?

故障定位能力?

快速恢復(fù)能力?

新技術(shù)跟進(jìn)?

K8s安全基線工具等關(guān)于運(yùn)維平臺的底層建設(shè)思路?

運(yùn)維數(shù)據(jù)處理?

監(jiān)控數(shù)據(jù)、日志數(shù)據(jù)、trace數(shù)據(jù)的采集?

運(yùn)維數(shù)據(jù)存儲?

運(yùn)維數(shù)據(jù)展示?

運(yùn)維規(guī)則針對場景運(yùn)維數(shù)據(jù)運(yùn)維規(guī)則運(yùn)維平臺?

自愈規(guī)則建設(shè)?

診斷規(guī)則建設(shè)（根因定位等）運(yùn)維平臺建設(shè)消息總線eventchatops?

平臺海量數(shù)據(jù)?

監(jiān)控事件workflow執(zhí)行規(guī)則規(guī)則匹配?

異常日志自動化執(zhí)行接口規(guī)則觸發(fā)?

Tracing查詢觸發(fā)運(yùn)維流程?

治理規(guī)則建設(shè)邏輯?

運(yùn)維規(guī)則沉淀到平臺?

自動化操作需要風(fēng)險控制日志報警通知運(yùn)維事件event處理結(jié)果報警自動恢復(fù)關(guān)于可觀測性建設(shè)建設(shè)思路：?

全面擁抱prometheus?

智能化監(jiān)控處理監(jiān)控基礎(chǔ)組件基于開源，架構(gòu)層面針對企業(yè)級場景進(jìn)行優(yōu)化。對無法滿足內(nèi)部使用的開源模塊使用自研模塊替換緊跟社區(qū)標(biāo)準(zhǔn)，積極推動內(nèi)部組件開源。?

平臺支持日志存儲日志trace?

平臺集成APM功能監(jiān)控報警自愈建設(shè)傳統(tǒng)一般報警的處理流程集成自愈功能的報警處理流程處理平臺告警規(guī)則匹配告警抑制分發(fā)等邏輯告警規(guī)則觸發(fā)告警規(guī)則觸發(fā)平臺告警自動處理比例：80%告警網(wǎng)關(guān)告警網(wǎng)關(guān)告警到人二次檢測無法自愈告警到人自愈邏輯匹配并且執(zhí)行告警到自愈平臺運(yùn)維處理移動化情況應(yīng)用技術(shù)?

運(yùn)維機(jī)器人：知識庫+NLP?

運(yùn)維平臺小程序：工單平臺、監(jiān)控平臺等?

Chatops：運(yùn)維經(jīng)驗規(guī)則化執(zhí)行效果?

提升運(yùn)維信息透明度?

運(yùn)維能力賦能給業(yè)務(wù)團(tuán)隊移動化運(yùn)維混合云相關(guān)實踐PA

RT4網(wǎng)易對混合云的需求?

成本?

更好的降低備機(jī)成本?

更好的應(yīng)對突發(fā)計算資源需求物理機(jī)?

能效私有云?

統(tǒng)一交付平臺入口，提升交付速度?

統(tǒng)一接口，降低使用對接成本容器平臺技術(shù)設(shè)計?

統(tǒng)一接口?

使用CRD方式對接所有資源（物理服務(wù)器，云主機(jī)，vpc，安全組，磁盤等）?

模塊設(shè)計?

解耦合、抽象、復(fù)用?

復(fù)用開源組件或者開源設(shè)計，與開源工具互通?

數(shù)據(jù)?

數(shù)據(jù)和內(nèi)部運(yùn)維體系打通，獲取方式統(tǒng)一整體的分層設(shè)計上層應(yīng)用NKS工單cmdb監(jiān)控ClusterdeploymentcontrollerServercontrollerVPCcontrollerblockstoragecontrollersecuritygroup

controllerRoutetablecontroller資源管理CRDResourcecontroller內(nèi)網(wǎng)物理服務(wù)器AWS阿里云內(nèi)部是有云騰訊云資源層應(yīng)用場景-K8S資源1.

滿足自建K8S的快速部署2.

滿足資源算力彈性調(diào)度的需求NKSK8s底層資源管理資源管控CRD內(nèi)部平臺外部云平臺EKSEC2物理服