2022IT云負(fù)載均衡技術(shù)白皮書(shū)

IIIIIT云負(fù)載均衡技術(shù)白皮書(shū)PAGE\*ROMANPAGE\*ROMANIV目錄前言 III一、背景 1（一）硬件負(fù)載均衡器在中國(guó)移動(dòng)IT云的應(yīng)用 1（二）硬件負(fù)載均衡器的局限性 2硬件負(fù)載均衡的租戶業(yè)務(wù)支撐能力受架構(gòu)、技術(shù)限制 2硬件負(fù)載均衡定制化開(kāi)發(fā)成本高 3應(yīng)用負(fù)載均衡器在中國(guó)移動(dòng)IT云的應(yīng)用 3二、應(yīng)用負(fù)載均衡器技術(shù)原理 4（一）應(yīng)用負(fù)載均衡器數(shù)據(jù)平面使用的技術(shù) 4OVS+DPDK技術(shù) 4SR-IOV技術(shù) 5OVS+DPDK與SR-IOV技術(shù)對(duì)比 6（二）應(yīng)用負(fù)載均衡器與云平臺(tái)對(duì)接技術(shù) 8聲明式API對(duì)接技術(shù) 9LBaaS對(duì)接技術(shù) 10LBaaS對(duì)接與API對(duì)接技術(shù)對(duì)比 11（三）應(yīng)用負(fù)載均衡器管理平面部署方案 11帶外管理方式 11帶內(nèi)管理方式 12帶外管理與帶內(nèi)管理方案對(duì)比 12三、中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器部署方案 13（一）中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器的組網(wǎng)方案 13（二）中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器部署方案 1410G網(wǎng)卡服務(wù)器vLB部署方案 1425G網(wǎng)卡服務(wù)器vLB部署方案 15網(wǎng)卡部署方案的選擇 16（三）vLB高可靠性方案 16四、技術(shù)展望 17（一）通過(guò)智能網(wǎng)卡卸載HTTPS流量 17（二）支持帶外管理 20五、縮略語(yǔ) 21PAGEPAGE10一、背景（一）硬件負(fù)載均衡器在中國(guó)移動(dòng)IT云的應(yīng)用當(dāng)前，國(guó)內(nèi)云計(jì)算處于高速發(fā)展期，隨著云計(jì)算在降本增效、資源配置優(yōu)化等方面的價(jià)值凸顯，越來(lái)越多的企業(yè)紛紛規(guī)劃和建設(shè)了各類云計(jì)算數(shù)據(jù)中心，利用云計(jì)算技術(shù)支撐和滿足IT系統(tǒng)建設(shè)。ITITIT業(yè)務(wù)網(wǎng)絡(luò)劃分為多個(gè)POD，PODOpenStackSDN（虛擬交換機(jī)、SDN）、SDN采用傳統(tǒng)組網(wǎng)方式。PODPOD圖1IT云區(qū)域中心資源池節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)鋱DITOpenStackLBaaSOpenStackLBaaSv2EPCECOpenStackAPI行交互；LBLBaaSECLBLBaaS圖2IT云硬件負(fù)載均衡器部署架構(gòu)圖（二）硬件負(fù)載均衡器的局限性硬件負(fù)載均衡的租戶業(yè)務(wù)支撐能力受架構(gòu)、技術(shù)限制ITOpenStackLBSDNITIT表1IT云區(qū)域中心硬件負(fù)載均衡功能局限性問(wèn)題分類案例分析負(fù)載策略部分個(gè)性化LB功能需求難以全部實(shí)現(xiàn)：OpenStackLB（七層內(nèi)容改寫、SNI、訪問(wèn)控制等）、特殊應(yīng)用協(xié)議（udp,ftp,dns,Radauth,Radacct等）。業(yè)務(wù)監(jiān)控租戶缺少對(duì)LB上運(yùn)行的業(yè)務(wù)健康狀態(tài)的感知和性能監(jiān)控：多省專業(yè)務(wù)上云后，提出租戶界面無(wú)法進(jìn)行租戶級(jí)業(yè)務(wù)監(jiān)控，原生Neutron不支持，影響故障定位和運(yùn)維效率，如業(yè)務(wù)狀態(tài)監(jiān)控（LB、成員狀態(tài)等）/業(yè)務(wù)性能監(jiān)控、可定義的健康探測(cè)方法（Http1.0/2.0健康檢查、基于網(wǎng)頁(yè)內(nèi)容的健康檢查、業(yè)務(wù)分發(fā)端口與健康檢查端口為不同端口等）。數(shù)據(jù)類型無(wú)法靈活支持特殊業(yè)務(wù)場(chǎng)景：多省業(yè)務(wù)需傳輸視頻類或者大文件類，目前架構(gòu)下多租戶共享無(wú)法滿足不同部署模式，Openstack硬件負(fù)載均衡定制化開(kāi)發(fā)成本高IT備原廠多方配合，云管平臺(tái)、遠(yuǎn)端模塊多技術(shù)棧、原廠多個(gè)集采廠家的研發(fā)能ITIT能的軟件產(chǎn)品，具備可動(dòng)態(tài)遷移，彈性擴(kuò)容等屬性，實(shí)現(xiàn)靈活的調(diào)度與管理，IT管平臺(tái)租戶界面，實(shí)現(xiàn)應(yīng)用負(fù)載均衡業(yè)務(wù)的開(kāi)通和配置。圖3IT云應(yīng)用負(fù)載均衡部署架構(gòu)OpenStackL4負(fù)載能力；L4OpenStack二、應(yīng)用負(fù)載均衡器技術(shù)原理（一）應(yīng)用負(fù)載均衡器數(shù)據(jù)平面使用的技術(shù)應(yīng)用負(fù)載均衡器采用虛擬交換機(jī)部署，虛擬設(shè)備的性能會(huì)隨著宿主機(jī)的性能變化，另外宿主機(jī)需要進(jìn)行數(shù)據(jù)處理，時(shí)延也會(huì)產(chǎn)生。針對(duì)上述問(wèn)題，提出DPDKSR-IOVIDCOVS+DPDKDPDK（DataPlaneDevelopmentKit）6Wind、Intel的數(shù)據(jù)平面開(kāi)發(fā)工具包。主要解決內(nèi)核收發(fā)包時(shí)的一些弊端：的中斷會(huì)產(chǎn)生較高的性能開(kāi)銷，并造成上下文的切換產(chǎn)生時(shí)延；DMALinux50%以上；CPUCPUCPU0CPU2，CPU失效。相比Linux內(nèi)核收發(fā)包，DPDK有下面一系列的優(yōu)勢(shì)：BypassUIO（UserspaceI/O）旁路數(shù)據(jù)包，實(shí)現(xiàn)用戶態(tài)數(shù)據(jù)包收發(fā)，減少上下文切換及內(nèi)存拷貝；CPUCPU進(jìn)行一比一綁定，減少彼此之間調(diào)度切換；（3）使用大頁(yè)內(nèi)存代替普通內(nèi)存；（4）采用無(wú)鎖技術(shù)。OVS（OpenvSwitch）是一款高質(zhì)量的開(kāi)源虛擬交換機(jī)，運(yùn)行在HypervisorOVSOVSLinux圖4OVS和OVS+DPDK技術(shù)架構(gòu)圖DPDKOVSvSwitch，OVSSR-IOVSR-IOV（SingleRootI/OVirtualization）技術(shù)是一種基于硬件的虛擬化解決方案，可提高性能和可伸縮性。SR-IOV（PeripheralComponentInterconnectExpress，快速外設(shè)組件互連）設(shè)備，并且在硬件設(shè)備中實(shí)現(xiàn)，可以獲得能夠與本機(jī)性能媲美的I/O性能。圖5SR-IOV技術(shù)架構(gòu)圖SR-IOV特點(diǎn)如下：性能——從虛擬機(jī)環(huán)境直接訪問(wèn)硬件；布線、減少交換機(jī)端口。OVS+DPDKSR-IOV數(shù)據(jù)中心存在東西向流量與南北向流量，在同一個(gè)服務(wù)器內(nèi)的東西向流量，DPDKSR-IOVSR-IOV，SR-IOV針對(duì)東西向流量，DPDK優(yōu)化效果更好，下圖為東西向流量場(chǎng)景下DPDK與SR-IOV的性能測(cè)試數(shù)據(jù)。圖6東西向流量場(chǎng)景下DPDK與SR-IOV測(cè)試數(shù)據(jù)針對(duì)南北向流量，SR-IOV優(yōu)化效果更好，下圖為南北向流量場(chǎng)景下DPDK與SR-IOV的性能測(cè)試數(shù)據(jù)。圖7南北向流量場(chǎng)景下DPDK與SR-IOV測(cè)試數(shù)據(jù)（二）應(yīng)用負(fù)載均衡器與云平臺(tái)對(duì)接技術(shù)應(yīng)用負(fù)載均衡器作為獨(dú)立網(wǎng)元，以虛機(jī)或軟件形式部署在通用服務(wù)器上，APIL2-L3L4-L7為了實(shí)現(xiàn)軟負(fù)載初始化配置，采用Cloud-initCloud-init一個(gè)支持多操作系統(tǒng)的軟件包，用于處理云主機(jī)早期的初始化操作。當(dāng)系統(tǒng)啟動(dòng)時(shí)，Cloud-initDataSourceMetadata（NovaMetadataConfigDrive（ConfigDriveOpenStackMetadataConfigDrive，InstanceInstance，Metadata）），完成包括但不限于以下定制化工作：DefaultSSHSSHKEYS.ssh/authorized_keys設(shè)置臨時(shí)掛載點(diǎn)；設(shè)置用戶密碼；配置網(wǎng)絡(luò)；安裝軟件包。圖8軟負(fù)載定制化實(shí)例配置軟負(fù)載啟動(dòng)后，需進(jìn)行許可的統(tǒng)一激活，業(yè)內(nèi)主流采用LicenseManagementServer（簡(jiǎn)稱LMS）來(lái)進(jìn)行軟負(fù)載的定制化許可下發(fā)及回收。LMS服務(wù)對(duì)外提供API接口給云平臺(tái)，云平臺(tái)完成軟負(fù)載初始化創(chuàng)建后，通過(guò)API接口下發(fā)許可簽發(fā)或回收操作。圖9云管平臺(tái)下發(fā)或回收License流程初始化并激活軟負(fù)載實(shí)例后，云平臺(tái)作為管理控制面，可通過(guò)兩種形式與應(yīng)用負(fù)載均衡器對(duì)接：LBaaSAPIAPI聲明式API由應(yīng)用負(fù)載均衡器提供，云平臺(tái)聲明目標(biāo)業(yè)務(wù)配置內(nèi)容，通過(guò)聲明式API一次性下發(fā)給應(yīng)用負(fù)載均衡器，整體架構(gòu)如下：圖10應(yīng)用負(fù)載均衡器聲明式API對(duì)接模式部署架構(gòu)該模式下云平臺(tái)與應(yīng)用負(fù)載均衡器直接連接，通過(guò)聲明式APIL7僅需擴(kuò)展聲明式接口模型。LBaaSLBaaSOpenStackNeutron的負(fù)載均衡器服務(wù)插件，云平臺(tái)將NeutronServerSDNLBaaSAgent，再下發(fā)到應(yīng)用負(fù)載均衡器，整體架構(gòu)如下：圖11應(yīng)用負(fù)載均衡器LBaaS對(duì)接模式部署架構(gòu)該對(duì)接模式與硬件負(fù)載均衡器類似，可復(fù)用大部分現(xiàn)有私有云平臺(tái)體系，L7活多變，LBaaSLBaaS型以滿足需求，然而這類改造對(duì)現(xiàn)有體系的影響較大，依賴各大SDN廠商的配合，同時(shí)頻繁的擴(kuò)展會(huì)造成原有穩(wěn)定的L4、L7業(yè)務(wù)的不穩(wěn)定性。LBaaSAPILBssS對(duì)接與聲明式API對(duì)接技術(shù)云管平臺(tái)對(duì)比如下：對(duì)比項(xiàng)LBaaS聲明式API兼容性可利用現(xiàn)有LBaaS框架需新開(kāi)發(fā)LBAPI與控制器擴(kuò)展性擴(kuò)展性較差，接口模型擴(kuò)展涉及多個(gè)層級(jí)組件，依賴SDN廠商與負(fù)載均衡等多方配合擴(kuò)展性較好，接口模型擴(kuò)展涉及層級(jí)組件少，僅需支持新的聲明配置模型易集成新SDN控制器及負(fù)載均衡廠商接入成本高新負(fù)載均衡廠商接入成本低配置性能鏈路較長(zhǎng)，端到端配置性能有影響鏈路短，端到端配置性能影響小可運(yùn)維鏈路較長(zhǎng)，問(wèn)題定位難度較大鏈路短，問(wèn)題定位難度較小廠商支持程度廠商支持程度有差異，從無(wú)到有支持的難度較大廠商支持程度有差異，從無(wú)到有支持的難度較小技術(shù)趨勢(shì)OpenStack版本迭代較慢，且版本間兼容性較差，各廠商支持情況不一致符合云原生及基礎(chǔ)設(shè)施即代碼的理念，已在Kubernetes中被大量實(shí)踐（三）應(yīng)用負(fù)載均衡器管理平面部署方案帶外管理方式vNIC接口上，使得管理平面與業(yè)務(wù)平面獨(dú)立和隔離，使用不同的物理接口。此部署vNICSR-IOV圖12軟負(fù)載帶外管理部署方式帶內(nèi)管理方式vNICvNIC同時(shí)為兼顧管理平面和業(yè)務(wù)平面的隔離性，可在SDNVRF，將應(yīng)用負(fù)載均衡器的管理和業(yè)務(wù)平面進(jìn)行一定的網(wǎng)絡(luò)隔離。圖13軟負(fù)載帶內(nèi)管理部署方式帶外管理與帶內(nèi)管理方案對(duì)比軟負(fù)載帶外管理與帶內(nèi)管理方案對(duì)比如下：對(duì)比項(xiàng)獨(dú)立帶外管理帶內(nèi)管理通用性業(yè)務(wù)接口可采用SR-IOV技術(shù)標(biāo)準(zhǔn)，相對(duì)OVS+DPDK技術(shù)更成熟，易用性更好業(yè)務(wù)接口采用OVS+DPDK，兩者演進(jìn)相互依賴和緊耦合；SDN控制器和網(wǎng)關(guān)針對(duì)OVS有一定的定制化，需進(jìn)行不同廠家和版本的適配安全性管理和業(yè)務(wù)接口完全物理獨(dú)立和隔離，安全性更好，可直接通過(guò)管理TOR交換機(jī)接入管理域vSwitch，管理平面和業(yè)務(wù)平面無(wú)法完全物理隔離，會(huì)彼此相互影響易集成通用性更好，與SDN廠家松耦合，更容易集成和標(biāo)準(zhǔn)、版本統(tǒng)一與SDN廠家提供的OVS+DPDK緊耦合，有一定集成工作量，且后續(xù)OVS+DPDK版本迭代后，可能需要重新適配性能業(yè)務(wù)接口采用SR-IOV網(wǎng)卡直通模型，性能更高，延遲更低業(yè)務(wù)接口通過(guò)vSwitch轉(zhuǎn)發(fā)，性能受限，vSwitch會(huì)成為轉(zhuǎn)發(fā)性能瓶頸，不適合高吞吐性能場(chǎng)景資源占用業(yè)務(wù)接口采用SR-IOV模型無(wú)額外系統(tǒng)資源占用，僅管理口啟用vSwitch，資源占用少vSwitch額外需占用至少8個(gè)CPU虛擬core，資源占用更大廠商支持程度有差異，云平臺(tái)和SDN廠家存在一定的開(kāi)發(fā)工作量，并需要在資源池中驗(yàn)證版本隨存在差異，但現(xiàn)網(wǎng)資源池已部署和使用，云平臺(tái)和SDN廠家開(kāi)發(fā)工作量小技術(shù)趨勢(shì)高性能需求場(chǎng)景下，普遍采用業(yè)務(wù)接口普遍采用SR-IOV模式無(wú)法支持高性能需求場(chǎng)景，過(guò)渡依賴OS層，未來(lái)提升空間有限三、中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器部署方案（一）中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器的組網(wǎng)方案IT，SDNVxLAN應(yīng)用負(fù)載均衡器作為獨(dú)立的網(wǎng)元，以虛機(jī)或軟件形式部署在業(yè)務(wù)網(wǎng)絡(luò)中通用服務(wù)器上，并有如下要求：1vSwitchvSwitchVxLAN網(wǎng)絡(luò)，VTEPvSwitch2、vLBSNATSDNvLBSDNvLB3、一個(gè)租戶可以申請(qǐng)多個(gè)vLB，每個(gè)vLB只給一個(gè)租戶提供服務(wù)；4、通過(guò)云平臺(tái)實(shí)現(xiàn)vLB的安裝部署和業(yè)務(wù)配置；5、vLB的VIP與浮動(dòng)IP1:1映射。圖14移動(dòng)IT云組網(wǎng)架構(gòu)圖（二）中國(guó)移動(dòng)IT云應(yīng)用負(fù)載均衡器部署方案ITC1CPU，40Core810G25GvLB4Core，CoreOVSCore以及端口冗余，每臺(tái)服務(wù)器建議部署7vLB10G825G41．10G網(wǎng)卡服務(wù)器vLB部署方案10GvLB10GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），無(wú)需DFSvNIC；vNICvNICOVS425GE網(wǎng)口，425GEBound，TOR；業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)通過(guò)不同的VRF進(jìn)行隔離。圖15應(yīng)用負(fù)載均衡在10G網(wǎng)卡服務(wù)器部署方案相應(yīng)技術(shù)要求如下：vLBOVS須支持綁定8個(gè)物理網(wǎng)口；LeafLACP82．25GvLB25GvLB25GEvLB1vNIC（vNIC1）、1vNIC（vNIC2），無(wú)需DFSvNIC；vNICvNICOVS425GE網(wǎng)口，425GEBound，TOR；業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)通過(guò)不同的VRF進(jìn)行隔離。圖16應(yīng)用負(fù)載均衡在25G網(wǎng)卡服務(wù)器部署方案相應(yīng)技術(shù)要求如下：vLBOVS須支持綁定4個(gè)物理網(wǎng)口；LeafLACP43．網(wǎng)卡部署方案的選擇10G25G25G（三）vLB高可靠性方案vLBHAvLBvLB障時(shí)主備vLB同時(shí)失效；vLBvLBvLB主備vLB之間支持會(huì)話同步以保證業(yè)務(wù)連續(xù)性。圖17應(yīng)用負(fù)載均衡高可靠方案四、技術(shù)展望（一）通過(guò)智能網(wǎng)卡卸載HTTPS流量在基于云的架構(gòu)中，軟件化的負(fù)載均衡被越來(lái)越多的使用和部署，對(duì)于應(yīng)用負(fù)載均衡而言，優(yōu)點(diǎn)在于靈活性和彈性擴(kuò)展，但缺點(diǎn)是無(wú)法媲美硬件的性能。硬件負(fù)載均衡設(shè)備絕大多數(shù)通過(guò)在設(shè)備主板或控制板卡中集成專用芯片來(lái)提升設(shè)備底層數(shù)據(jù)包處理能力和延遲，并通過(guò)FPGA可編程芯片提升抵御DDoS攻擊和四層TCP建立連接和吞吐能力。為了彌補(bǔ)應(yīng)用負(fù)載均衡器在性能方面的不足，業(yè)界普遍采用的方案是通過(guò)在宿主機(jī)安裝智能網(wǎng)卡，將CPU密集型功能卸載到宿主機(jī)的硬件智能網(wǎng)卡和SSL/TLSCPUDDoSSSL/TLSFPGALB智能網(wǎng)卡對(duì)應(yīng)用負(fù)載均衡器輔助增強(qiáng)的典型場(chǎng)景：（1）降低應(yīng)用負(fù)載均衡器的系統(tǒng)資源消耗；（2）四層負(fù)載均衡能力加速；NAT44/NAT64DDoS針對(duì)IT云的現(xiàn)網(wǎng)部署和需求情況，提出以下兩個(gè)典型應(yīng)用場(chǎng)景。場(chǎng)景一：集成IntelQAT優(yōu)化在云/VNF環(huán)境下的SSL/TLS卸載性能：SSL性能加速——提升四到五倍的并發(fā)請(qǐng)求數(shù)；GBSSLCPUCPU場(chǎng)景二：將網(wǎng)絡(luò)功能卸載到支持FPGA的智能網(wǎng)卡，顯著提高云/VNF環(huán)境中的性能：DDoSDDoSCPU70%左右，節(jié)省百分之四十左右的總費(fèi)用；DDoSDoS,DoS向量。以下是在應(yīng)用負(fù)載均衡器+宿主機(jī)智能網(wǎng)卡綁定/L4遲的測(cè)試對(duì)比，通過(guò)測(cè)試可以看到綁定智能網(wǎng)卡的情況下，極大的縮短了應(yīng)用負(fù)載均衡器響應(yīng)延遲。L4SmartNICOffloadDisabled L4SmartNICOffloadEnabledLatency497μs（50μs的交換機(jī)延遲）Latency54μs（50μs）圖18引入智能網(wǎng)卡前后應(yīng)用負(fù)載均衡響應(yīng)時(shí)間測(cè)試此外，通過(guò)智能網(wǎng)卡，能夠在提升應(yīng)用負(fù)載均衡器四層吞吐能力的同時(shí)，CPUCPU表2引入智能網(wǎng)卡前后CPU資源消耗測(cè)試L4ThroughputGPUUtilization應(yīng)用負(fù)載均衡器不使用