基于Kubernetes的DevOps實踐之路

1、基于Kubernetes的DevOps實踐之路技術(shù)創(chuàng)新，變革未來云原生 Cloud NativeCNCF的云原生定義：云原生技術(shù)有利于各組織在公有云、私有云和混合云等新型動態(tài)環(huán)境中，構(gòu)建和運(yùn)行可 彈性擴(kuò)展的應(yīng)用。云原生的代表技術(shù)包括容器、服務(wù)網(wǎng)格、微服務(wù)、不可變基礎(chǔ)設(shè)施和 聲明式API。這些技術(shù)能夠構(gòu)建容錯性好、易于管理和便于觀察的松耦合系統(tǒng)。結(jié)合可靠的自動化手段，云原生技術(shù)使工程師能夠輕松地對系統(tǒng)作出頻繁和可預(yù)測的重大變更。12要素應(yīng)用II.依賴：顯式聲明依賴關(guān)系III. 配置：在環(huán)境中存儲配置后端服務(wù)：把后端服務(wù)當(dāng)作附加資源構(gòu)建，發(fā)布，運(yùn)行：嚴(yán)格分離構(gòu)建和運(yùn)行VI. 進(jìn)程：以一個或多個無狀

2、態(tài)進(jìn)程運(yùn)行應(yīng)用The Twelve-Factor App （ https:/12/zh_cn/ ）I.基準(zhǔn)代碼：一份基準(zhǔn)代碼，多份部署VII. 端口綁定：通過端口綁定提供服務(wù)VIII.并發(fā)：通過進(jìn)程模型進(jìn)行擴(kuò)展IX.易處理：快速啟動和優(yōu)雅終止可最大化健壯性X.開發(fā)環(huán)境與線上環(huán)境等價：盡可能的保持開發(fā)，預(yù)發(fā)布，線上環(huán)境相同XI.日志：把日志當(dāng)作事件流XII.管理進(jìn)程：后臺管理任務(wù)當(dāng)作一次性進(jìn)程運(yùn)行JFrog內(nèi)部的Kubernetes實踐我們正在做的：JFrog的應(yīng)用和服務(wù)全面Kubernetes化內(nèi)部的研發(fā)和測試環(huán)境全面Kubernetes化要解決的問題o用戶安裝部署JFrog產(chǎn)品復(fù)雜o無法快速

3、搭建JFrog產(chǎn)品的全功能測試環(huán)境無法實現(xiàn)按需使用：開發(fā)、測試、技術(shù)支持、產(chǎn)品、解決方案。任意團(tuán)隊無法為每個分支提供獨立的CI/CD流水線支撐無法讓研發(fā)有獨立的沙箱環(huán)境進(jìn)行自測CI/CD流程混亂實踐的成果為客戶提供全產(chǎn)品線的Helm Charts交付方式Helm install stable/Artifactory-ha云端服務(wù)Kubernetes化GoCenter: http:/gocenter.ioo產(chǎn)品的CI/CD直接對接到Kubernetes環(huán)境每周部署100+不同產(chǎn)品線、任意版本組合的測試環(huán)境，每次部署超過50種微服務(wù)為每個研發(fā)、每個分支，按需提供完全獨立的測試環(huán)境Kubernete

4、s is hard!分享要點起步：熟悉Kubernetes規(guī)劃：面向Kubernetes的改造編排：Helm Charts部署：自動、監(jiān)測安全：DevSecOps起步：熟悉Kubernetes 從小處入手o第一個Kubernetes環(huán)境自己探索：Kubernetes The Hard Way，Kelsey Hightower（/kelseyhightower/kubernetes-the-hard-way）公有服務(wù)： GKE、 EKS、 AKS、阿里、騰訊、。私有部署：miniKube、Rancher、。第一個Kubernetes應(yīng)用從小的示例應(yīng)用開始，如Nginx每次只設(shè)定一個小的、具體的目

5、標(biāo)充分利用現(xiàn)有的教程和演示應(yīng)用改造容器化改造僅僅把應(yīng)用裝進(jìn)Docker是遠(yuǎn)遠(yuǎn)不夠的日志STDOUT/STDERR處理足夠多的日志文件持久化數(shù)據(jù)哪些數(shù)據(jù)需要持久化存儲？合理地處理SIGTERM信號Shutdown必須是受控的Recovery必須是容易的重啟如何處理上一次運(yùn)行的遺留數(shù)據(jù)？應(yīng)用改造高可用架構(gòu)高可用將是新的標(biāo)準(zhǔn)配置保證良好的持久性和可用性支持同時運(yùn)行多個應(yīng)用實例支持負(fù)載均衡Scale-up、Scale-down必須是順暢的不停機(jī)的滾動升級保證向后兼容K8s調(diào)整中的0宕機(jī)Cluster Scale-up、Scale-down計劃中的Node維護(hù)非計劃的Node宕機(jī)配置改造資源限制運(yùn)行環(huán)境

6、的資源使用必須是受限的Pod的資源限制！應(yīng)用本身也需要資源限制改造requests/limits跨Node的HAOut Of Resource Handling（https:/kubernetes.io/docs/tasks/administer-cluster/out-of-resource/）Pod Priority and Preemption（https:/kubernetes.io/docs/concepts/configuration/pod-priority-preemption/）resources: requests: memory: 1Gi cpu: 100m limits

7、:memory: 2Gicpu: 250m.配置改造探針應(yīng)用的運(yùn)行狀態(tài)必須有可信的健康數(shù)據(jù)o readinessProbeo livenessProbe探針類型Http - return Pre-Prod-ProdMicro-B-bundle-2.0分級Metadata Metadata: app-1.0.qa.test.result = OKMicro-Abundle-1.0Front-1.0.tarSIT - UAT - Pre-Prod-ProdBackend-2.0.jar分級MetadataMetadata: micro-a-1.0.qa.test.result = OKbacken

8、d-1.0.jarMetadata:qa.test.result = OK qa.code.result = OK project.revision = ASDASSACbinary.config.path=backend/dev/1.0 deploy.pre-prod.result=OKLocal - Dev流程：應(yīng)用監(jiān)測需要新的監(jiān)測手段ossh不管用了o直接用kubectl調(diào)試也是不合適的oDev/Ops應(yīng)該能方便地訪問可信的數(shù)據(jù)監(jiān)視日志o基于可控的OOB（Out-of-Band）工具o微服務(wù)監(jiān)測的基本原則（ https:/thenewstack.io/five-principles-mo

9、nitoring-microservices）流程：應(yīng)用監(jiān)測監(jiān)視oPrometheusoGraphana流程：應(yīng)用監(jiān)測日志oEFKFluentdElasticSearchKibana安全：DevSecOps安全：DevSecOps你的應(yīng)用你的代碼安全：DevSecOps安全：外部依賴的安全漏洞oDocker30%的DockerHub上的鏡像有安全漏洞oNPM14%的NPM包有安全漏洞oMaven59%的已知安全漏洞還沒有解決MTTR(平均修復(fù)時間)：290天CVSS10: 265天安全：DevSecOpsCommitBuild Image Helm ChartSecurityScanningUpload Artifact to ArtifactoryDeployMonitorTest（AutomatedManual）安全：DevSecOps掃描、定位、分析安全：DevSecO