NSX ALB容器集成方案-AKO技術(shù)架構(gòu)

1、NSX ALB容器集成方案-AKO技術(shù)架構(gòu)祼金屬服務(wù)器虛擬機(jī)容器私有數(shù)據(jù)中心公有云虛擬機(jī)容器新一代分布式易擴(kuò)展的多云架構(gòu)NSX 高級(jí)負(fù)載均衡控制器服務(wù)引擎 SERVICE ENGINE控制與轉(zhuǎn)發(fā)平面分離彈性智能分析自動(dòng)化多云架構(gòu)2AKO 簡(jiǎn)介3原生 kubernetes 如何對(duì)內(nèi)提供服務(wù)Service = 固定服務(wù) IP + “負(fù)載均衡”+ CoreDNSService Type：ClusterIPService 本身無(wú)存活狀態(tài)監(jiān)控需要依賴(lài) kubelet 進(jìn)行 pod 健康檢查。如果節(jié)點(diǎn)故障，service 中斷時(shí)間=節(jié)點(diǎn)故障檢 查超時(shí)時(shí)間（默認(rèn)2min）k8s W orkersW eb-p

2、od1W eb-pod2service-w ebapp-pod1app-pod2D ep loym ent-ap pS ervice-appD ep loym ent-w eb4原生 kubernetes 如何對(duì)外提供服務(wù)NodePort = 通過(guò) IPtables 將每個(gè) Node 收到的指定流量轉(zhuǎn)發(fā)給 ServiceService Type：NodePort原生 Service 下，流量路徑 不可預(yù)測(cè)，默認(rèn)配置下無(wú) session affinity。N ode-2N ode-1W eb-pod1W eb-pod2D ep loym ent-w ebS ervice-w ebS ervice

3、-w ebN odeP ort 8443N odeP ort 8443N ode-2N ode-1W eb-pod1W eb-pod2D ep loym ent-w ebS ervice-w ebS ervice-w ebN odeP ort 8443N odeP ort 84435原生 kubernetes 如何對(duì)外提供服務(wù)NodePort 本身無(wú)高可用機(jī)制，需要依賴(lài)于外部負(fù)載均衡提供N ode-2N ode-1W eb-pod1W eb-pod2D ep loym ent-w ebS ervice-w ebS ervice-w ebN odeP ort 8443N odeP ort 844

4、36原生 kubernetes 如何對(duì)外提供服務(wù)Pod 端口直接映射到 HostNetwork，轉(zhuǎn)發(fā)性能更高HostPortN ode-2N ode-1N ginx-pod1N ginx-pod2D aem onset-N ginxH ost-P ort 80443H ost-P ort 80443N ode-2N ode-1N ginx-pod1N ginx-pod2D aem onset-N ginxH ost-P ort 80443H ost-P ort 804437原生 kubernetes 如何對(duì)外提供服務(wù)基于域名訪(fǎng)問(wèn)的 IngressIngressN ode-3N ode-2N o

5、de-1IngressIngressH ost-P ort 80443H ost-P ort 80443N ginx-Ingress C ontrolerW eb-pod1W eb-pod2IngressH ost-P ort 80443N ode-4IngressH ost-P ort 80443kubernetes A P I S erver 8Service type loadbalancer原生 kubernetes 如何對(duì)外提供服務(wù)所有組件都在外部實(shí)現(xiàn)，通過(guò) Nodeport 訪(fǎng)問(wèn) Pod方案：非云原生方案的硬件 LB、Huawei CCE所有組件都在外部實(shí)現(xiàn)，通過(guò)三層路由直接訪(fǎng)問(wèn)P

6、od 方案：部分公有云 LBExternalLoadbalancersw eb-pod1w eb-pod2kubernetes A P I S erver ExternalC loud P rovid erExternalLoadbalancersExternalLoadbalancersw eb-pod1kubernetes A P I S erver ExternalC loud P rovid erExternalLoadbalancersN odeP ort 8443N ode-1N ode-2N ode-1N ode-29Service type loadbalancer原生 kub

7、ernetes 如何對(duì)外提供服務(wù)w eb-pod1kubernetes A P I S erver ExternalC loud P rovid erP od based LoadbalancersExternalLoadbalancersw eb-pod1w eb-pod2kubernetes A P I S erver ExternalC loud P rovid erExternalLoadbalancersC ustom K ubernetes operator控制平面及數(shù)據(jù)平面在外，通過(guò)云原生方式擴(kuò)展和監(jiān)控 API方案：Avi kubernetes OperatorN ode-1N

8、ode-2N ode-1N ode-210控制平面在外，數(shù)據(jù)平面在內(nèi) 方案：Avi kubernetes CloudIngress開(kāi)源方案中 Nginx Ingress Controller 占有半壁江山，基于 Hostport 暴露， 不支持自定義端口，默認(rèn)參數(shù)只能滿(mǎn)足 基本功能，配置高級(jí)功能參數(shù)需要 PhD，監(jiān)控功能薄弱僅支持 HTTP/HTTPS 應(yīng)用Nodeport/Hostport利用 iptables NAT 規(guī)則將請(qǐng)求發(fā)往對(duì) 應(yīng)主機(jī)/主機(jī)端口映射端口選擇要么動(dòng)態(tài)分配缺乏控制，要么 靜態(tài)分配 Excel 管理端口沖突問(wèn)題功能單一，排錯(cuò)復(fù)雜service type LoadBalan

9、cerK8s 僅提供 API 不提供解決方案開(kāi)源社區(qū)無(wú)可靠的產(chǎn)品和大量應(yīng)用案例依賴(lài)于 Cloud Provider 提供 Loadbalancer服務(wù)很多 Cloud Provider 也基于 Nodeport 實(shí)現(xiàn)11原生 kubernetes 如何對(duì)外提供服務(wù)流量管理和服務(wù)發(fā)現(xiàn)本地負(fù)載均衡及全局負(fù)載均衡路由策略健康監(jiān)控TLS 終結(jié)，證書(shū)管理和自動(dòng)化CI/CD, 灰度發(fā)布DNS安全網(wǎng)絡(luò)策略認(rèn)證黑/白名單流量限速DOS 檢測(cè)WAF可視化應(yīng)用和基礎(chǔ)架構(gòu)性能分析交易日志交易追蹤Kubernetes 應(yīng)用交付應(yīng)該具備哪些功能?安全管理員研發(fā)運(yùn)維12Avi Kubernetes Operator（AK

10、O）架構(gòu)及組件組件Avi Kubernetes Operator (AKO) Pod- 提供 Ingress-Controller 功能和 Avi 配置功能- 自動(dòng)監(jiān)控 k8s 對(duì)象，并將其轉(zhuǎn)換成 Avi Controller APIs- 作為 POD 運(yùn)行在 K8s/OC 集群中Avi Controller- 管 理 Service Engines- 集中的流量分析和展示External Avi Service Engine- 托管 Virtual-Services，提供 K8s/OC Ingresses/Routes 功能- 負(fù)責(zé) Virtual-Service 數(shù)據(jù)平面流量13多集群 A

11、KO Avi Multi-Cluster Kubernetes Operator (AMKO) BetaAvi Multi-Cluster Kubernetes Operator (AMKO)- 加快多集群應(yīng)用的部署- 每個(gè) k8s/OC 集群中運(yùn)行一個(gè) AKO 節(jié)點(diǎn)- 可以跨集群發(fā)布同一個(gè)應(yīng)用的 IngressMasterSite 1 GSLB LeaderSite 2Global Server Load BalancingMulti-AZ Load-BalancingMulti-Cluster Application DeploymentsAvi ControllerDNSMasterNo

12、de NAMKONode 1AKONode 1AKOSite NMasterNode 1AKO14AMKO 使用場(chǎng)景: 多集群應(yīng)用發(fā)布Tier 1Application 1Application 2Availability-Zone 1Availability-Zone 2GSLBSite- 1Site - 2多區(qū)域應(yīng)用交付跨地域多集群應(yīng)用跨可用區(qū)域進(jìn)行應(yīng)用部署，進(jìn)一步提高應(yīng)用高可用性跨地域多集群應(yīng)用，滿(mǎn)足容災(zāi)需求Application 1基于應(yīng)用健康情況進(jìn)行流量轉(zhuǎn)發(fā)基于Client 地域或其他屬性完成流量轉(zhuǎn)發(fā)DNSDNSLBDNSDNSTier 2AMKO15AMKODemo 演示16L4

13、Loadbalancer 創(chuàng)建17Ingress 的創(chuàng)建（HTTP）18Avi 端到端性能分析及日志查看19AKO 優(yōu)勢(shì)及價(jià)值20AKO 架構(gòu)優(yōu)勢(shì) 1：一體化應(yīng)用交付平臺(tái)搭積木 負(fù)載均衡、GSLB、WAF 等功能分別由不同的產(chǎn)品提供高延遲 一個(gè)完整的架構(gòu)需要 4 跳高花銷(xiāo) 各個(gè)產(chǎn)品均需要付費(fèi)維保Nginx + LB + WAF + GSLBAvi 一體化應(yīng)用交付平臺(tái)一體化方案 L4-L7 LB、 WAF、可視化、 GSLB 一應(yīng)俱全低延遲 只有兩跳統(tǒng)一管理 管理層和數(shù)據(jù)層分離，統(tǒng)一管理運(yùn)維簡(jiǎn)單 只需要維護(hù)一套產(chǎn)品安全 分布式 WAF，策略配置簡(jiǎn)單可視化 通過(guò)自帶可視化功能快速定位問(wèn)題WAFEn

14、terprise-grade L4 Load BalancerL7 Proxy4Hop sGSLBGSLB+ WAF+L4-L7 LB2Hop sWAF企業(yè)級(jí)4層負(fù)載均衡L7 代理GSLB21AKO 架構(gòu)優(yōu)勢(shì) 2：端到端性能監(jiān)控22AKO 架構(gòu)優(yōu)勢(shì) 3：按需擴(kuò)展ClusterAvi Service EnginesAvi ControllerFabric Performance 12M TPS 4 TbpsTraffic load didInecrreases fufurrttherr按需擴(kuò)縮23高性能支持超大規(guī)模高可用模式場(chǎng)景描述特點(diǎn)Active/Standby傳統(tǒng)負(fù)載均衡到Avi的遷移一個(gè)

15、SE group 僅有兩個(gè) SE，默認(rèn) 一個(gè)始終為活動(dòng)，另一個(gè)為熱備， 在多 VS 的情況下支持 Active/Active較為傳統(tǒng)的高可用模式，允許單 節(jié)點(diǎn)故障N+M適合于單個(gè) SE 能夠滿(mǎn)足單個(gè) VS 的性能需求，以及應(yīng)用對(duì)高可用要 求不高，可以接受短暫的服務(wù)中斷 的場(chǎng)景其中 N 代表運(yùn)行所有 VS 需要的最 小 SE 數(shù)量，M 代表允許的 SE 故 障數(shù)。兩者共同決定了最終會(huì)有多 少個(gè) SE 創(chuàng)建出來(lái)比較靈活，資源利用率較高，允 許多個(gè)節(jié)點(diǎn)故障Active/Active承載 mission-critical 任務(wù)，提供 最高級(jí)別的可用性，性能保障將一個(gè) VS 放在多個(gè) SE 上，實(shí)現(xiàn)無(wú)

16、感知故障切換性能有保障，故障切換無(wú)感知， 資源利用率較低24AKO 架構(gòu)優(yōu)勢(shì) 4：靈活的高可用策略AKO 架構(gòu)優(yōu)勢(shì) 5：服務(wù)發(fā)現(xiàn)自動(dòng)化Avi 自帶 IP-域名注冊(cè)功能25AKO 使用 k8s CRD（ Custom Resource Definitions ） 來(lái)進(jìn)行高級(jí)功能的配置，相比Annotation，使用 CRD 有下列優(yōu)勢(shì)：語(yǔ)法驗(yàn)證：在通過(guò) kubectl 創(chuàng)建 CRD 資源對(duì)象時(shí)便會(huì)進(jìn)行配置校驗(yàn)，避免誤配置。故障排除：CRD 創(chuàng)建完成后可以通過(guò) k8s 原生命令查看 CRD 狀態(tài)及報(bào)錯(cuò)原因，方便排錯(cuò)。控制隔離：CRD 支持 k8s 的 RBAC，可以進(jìn)行細(xì)化的訪(fǎng)問(wèn)控制。26AKO

17、架構(gòu)優(yōu)勢(shì) 6：充分利用 k8s APICRD 優(yōu)勢(shì)示例：配置狀態(tài)檢查及排錯(cuò)HostRule 示例：27K8s CRD 簡(jiǎn)介28CRD 全稱(chēng) Custom Resource Definitions，在 k8s 中用于擴(kuò)展 API，添加新類(lèi)型的資源對(duì)象。apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata:name: spec:group: versions:- name: v1 served: true storage: true schema:openAPIV3Schema: type: obje

18、ct properties:spec:type: object properties: cronSpec:type: string image: type: string replicas:type: integer scope: Namespaced names:plural: crontabs singular: crontab kind: CronTab shortNames:- ct 定義 CRD 創(chuàng)建 CRD 資源對(duì)象apiVersion: /v1 kind: CronTabmetadata:name: my-new-cron-object spec:cronSpec: * * *

19、* */5image: my-awesome-cron-image 自定義 Pod 監(jiān)聽(tīng) k8s API，處理 CRD 資源對(duì)象AKO 架構(gòu)優(yōu)勢(shì) 7：節(jié)省地址空間針對(duì) Ingress 服務(wù)使用共享 VIP通過(guò)共享 VIP 可以極大節(jié)省地址用量簡(jiǎn)化運(yùn)維 IP 地址數(shù)量減少，相應(yīng)的 IP 管理成本減少簡(jiǎn)化架構(gòu) 更少的網(wǎng)段，更少的虛擬網(wǎng)卡VIP 1Ingress 1Ingress 2Ingress 3Ingress 4Ingress 5Ingress 6Ingress 7Ingress 8Ingress 9Ingress 10Ingress 11Ingress NVIP 2Ingress 1VIP

20、1Ingress 2VIP 2Ingress 3VIP 3Ingress 4VIP 4Ingress 5VIP 5Ingress 6VIP 6Ingress 7VIP 7Ingress 8VIP 8Ingress 9VIP 9Ingress 10VIP 10Ingress 11VIP 11Ingress NVIP 12dedicated-VIP 模式共享 VIP 模式29AKO 架構(gòu)優(yōu)勢(shì) 7：節(jié)省地址空間共享 VIP 支持多種 Sharding 算法共享 VIP 支持不同的算法，例如：FQDN 哈希、 namespace 哈希、Per- namespace-VIP*注：當(dāng)前版本只支持FQDN和

21、namespace哈希VIP 1Ingress 1Ingress 2Ingress 3Ingress 4Ingress 5Ingress 6Ingress 7Ingress 8Ingress 9Ingress 10Ingress NIngress 11VIP 2VIP 3Namespace 1Namespace 2Namespace 3VIP 1Ingress 1Ingress 9Ingress 5Ingress 4Ingress 2Ingress 3Ingress 6Ingress 8Ingress 7Ingress 10Ingress 11Ingress NVIP 2VIP 3FQDN H

22、ASHFQDN HASH FQDN HASHappN.30Ako 設(shè)計(jì)31Design Considerations32Avi Controller：部署在 k8s 集群外，理論上只要網(wǎng)絡(luò)可達(dá)，部署在哪里都可以。Avi SE：SE 用于執(zhí)行數(shù)據(jù)層面的負(fù)載均衡、WAF、GSLB 等，在使用 AKO 時(shí) SE 部署在容器集群外部。AKO：提供 Ingress-Controller 功能和 Avi 配置功能， 通過(guò) HELM 部署Avi Cloud Type：Avi Controller 通過(guò) Avi cloud 來(lái)管理 SE，可以放在 vSphere （建議 Write mode）、Azure C

23、loud、Linux server Cloud 等注意：使用 AKO 時(shí)不使用Kubernetes cloud ，因?yàn)樗袑?duì)接通過(guò) AKO 完成，不通過(guò) AVI controller 完成Design Considerations33部署模型：支持單臂模式和雙臂模式IPAM 及 DNS：由 Avi Cloud 處理 IPAM 和 DNS 功能。具體配置取決于 Avi Cloud configuration （詳見(jiàn)后面 Slides）SE 數(shù)據(jù)網(wǎng)絡(luò)：詳見(jiàn)后面 SlidesAvi 部署設(shè)計(jì): DNS方案1：將 Avi DNS 作為主 DNS，未知解析指向外部 DNSAvi DNS 創(chuàng)建步驟及工作流

24、：使用 system-DNS 模板創(chuàng)建 virtual service為 vs 添加 DNS pool，此 DNS pool 成員為外部 DNS Server3.全局開(kāi)啟 DNS Service，實(shí)現(xiàn) DNS Profile 中子域名的自動(dòng) 解析4.同時(shí)將不能解析的請(qǐng)求發(fā)給外部 DNS ServerAvi 中定義的域名范圍D Avi 定義的域名F34FAvi DNSAvi DNS外部 DNS外部 DNSAvi 部署設(shè)計(jì): DNS方案2：將 Avi DNS 作為主 DNS 服務(wù)器的外部 NS 服務(wù)器Avi DNS 創(chuàng)建步驟及工作流：使用 system-DNS 模板創(chuàng)建 virtual servi

25、ce，不配置 Pool， 不檢查 Pool 健康狀態(tài)全局開(kāi)啟 DNS Service，實(shí)現(xiàn) DNS Profile 中子域名的自動(dòng) 解析3.所有請(qǐng)求先發(fā)給外部 DNS，然后再轉(zhuǎn)發(fā)給 Avi DNSAvi 中定義的域名范圍D Avi 定義的域名F外部 DNS外部 DNSAvi DNSAvi DNSD35Avi 部署設(shè)計(jì): SE 到 Pod 的網(wǎng)絡(luò)訪(fǎng)問(wèn)Node NNode 1AKOVIP4Pod IPNorth-South VIP NetworkPod Network XPod Network Y36Pod 網(wǎng)絡(luò)不可路由Canal、Calico、Antrea、Flannel 等網(wǎng)絡(luò)插件，pod 網(wǎng)

26、段在集群外不能直接訪(fǎng)問(wèn)（不可路由），這 些網(wǎng)絡(luò)插件會(huì)在每個(gè) Node 上分配一個(gè) Pod 網(wǎng)段，Pod 從此 CIDR 獲取地址如果 SE 和 Node 在同一個(gè)網(wǎng)段，可以在 AKO 上開(kāi)啟 static route programming ，AKO 自動(dòng)獲取 k8s node CIDR，通過(guò) avi Controller 配置靜態(tài)路由，下一跳指向 k8s node ip。如果 SE 和 Node 不在同一個(gè)網(wǎng)段，可以通過(guò) Nodeport 方式暴露 Pod 后再配置 SE 。如果有多個(gè) cluster 使用相同的 CIDR，需要在 avi Controller 和 ako 中配置 vrfPod 網(wǎng)絡(luò)可路由NSX-T CNI、AWS CNI（EKS）、Azure CNI（AKS）等網(wǎng)絡(luò)插件，pod 網(wǎng)段可路由，此時(shí)可以關(guān)閉 AKO 的 static route programming，手動(dòng)添加靜態(tài)路由使得 SE 可以和 POD 通信。AKO: Pod 網(wǎng)絡(luò)POD 網(wǎng)絡(luò)可路由在