基于Radware鏈路負(fù)載均衡的高可靠性電力企業(yè)外網(wǎng)網(wǎng)絡(luò)設(shè)計(jì)

1、    基于radware鏈路負(fù)載均衡的高可靠性電力企業(yè)外網(wǎng)網(wǎng)絡(luò)設(shè)計(jì)    劉之濱 趙任方摘要：隨著電力企業(yè)越來(lái)越依賴外網(wǎng)網(wǎng)絡(luò)傳輸重要業(yè)務(wù)數(shù)據(jù)，傳統(tǒng)的基于單運(yùn)營(yíng)商專線的網(wǎng)絡(luò)架構(gòu)已不能滿足業(yè)務(wù)高可靠性傳輸需求。為解決該問(wèn)題，基于雙運(yùn)營(yíng)商專線和radware鏈路負(fù)載均衡，提出了相關(guān)拓?fù)湓O(shè)計(jì)、負(fù)載均衡設(shè)計(jì)以及路由交換設(shè)計(jì)內(nèi)容。通過(guò)本設(shè)計(jì)，使電力企業(yè)外網(wǎng)網(wǎng)絡(luò)具備了動(dòng)態(tài)冗余能力并均衡利用了昂貴的運(yùn)營(yíng)商專線，有效保障了業(yè)務(wù)的可靠性。關(guān)鍵詞：radware;鏈路負(fù)載均衡;運(yùn)營(yíng)商專線;拓?fù)湓O(shè)計(jì);路由交換設(shè)計(jì)中圖分類號(hào)：tp393.1    文獻(xiàn)標(biāo)識(shí)碼

2、：a    文章編號(hào)：1007-9416（2020）10-0000-000 引言電力企業(yè)外網(wǎng)網(wǎng)絡(luò)通過(guò)運(yùn)營(yíng)商專線與internet網(wǎng)絡(luò)互連，承載著外網(wǎng)辦公終端和各類對(duì)外業(yè)務(wù)服務(wù)器，是電力企業(yè)自有網(wǎng)絡(luò)的重要組成部分。近年來(lái)，隨著業(yè)務(wù)創(chuàng)新發(fā)展，部門之間、專業(yè)之間的數(shù)據(jù)壁壘不斷被打破，越來(lái)越多高實(shí)時(shí)性的生產(chǎn)業(yè)務(wù)數(shù)據(jù)需要通過(guò)外網(wǎng)承載，這些數(shù)據(jù)要求7×24小時(shí)不間斷通信，對(duì)電力企業(yè)外網(wǎng)網(wǎng)絡(luò)提出了高可靠性的需求。在這種背景下，以單運(yùn)營(yíng)商專線為基礎(chǔ)的網(wǎng)絡(luò)架構(gòu)已不能滿足業(yè)務(wù)需求，為了避免運(yùn)營(yíng)商側(cè)故障導(dǎo)致業(yè)務(wù)中斷，勢(shì)必要引入雙運(yùn)營(yíng)商專線。運(yùn)營(yíng)商專線價(jià)格昂貴，為了充分利用雙運(yùn)營(yíng)商專線帶

3、寬資源，應(yīng)使用專用鏈路負(fù)載均衡設(shè)備保障較好的負(fù)載均衡度。此外由于鏈路負(fù)載均衡設(shè)備特有的工作機(jī)制，路由交換設(shè)備也要做出針對(duì)性的設(shè)計(jì)。網(wǎng)絡(luò)系統(tǒng)具有分布式、耦合性、整體性的特點(diǎn)，因此設(shè)計(jì)工作需建立在對(duì)相關(guān)設(shè)備運(yùn)行機(jī)制、協(xié)議原理深入研究的基礎(chǔ)上進(jìn)行。本文首先從整體角度給出了拓?fù)湓O(shè)計(jì)，然后分別論述了radware鏈路負(fù)載均衡以及路由交換設(shè)計(jì)，最后給出了測(cè)試結(jié)果。1 拓?fù)湓O(shè)計(jì)1.1 基本原則（1）n-1可靠性原則。在組成網(wǎng)絡(luò)的全部n個(gè)元件中，任“1”元件故障均不應(yīng)影響網(wǎng)絡(luò)結(jié)構(gòu)連通性，“1”包括雙絞線、跳纖、光纜等物理鏈路層元件，主控板、線卡、子卡、交換板等板卡類元件，電源、風(fēng)扇等保障類元件以及整機(jī)設(shè)備。（

4、2）簡(jiǎn)易性原則。在保證結(jié)構(gòu)可靠性前提下，不宜采用全連接等過(guò)度冗余方式，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度提升將增加設(shè)備負(fù)載和排錯(cuò)難度。（3）經(jīng)濟(jì)性原則。在保證結(jié)構(gòu)可靠性前提下，應(yīng)從降低能耗、節(jié)約機(jī)柜空間、節(jié)省投資等角度，考慮組網(wǎng)經(jīng)濟(jì)性問(wèn)題，同時(shí)兼顧不斷增長(zhǎng)的業(yè)務(wù)需求，從設(shè)備選型、鏈路帶寬等角度，確保絡(luò)具備良好的擴(kuò)展能力。1.2 拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)（1）總體結(jié)構(gòu)?？傮w結(jié)構(gòu)以雙運(yùn)營(yíng)商專線和radware鏈路負(fù)載均衡為基礎(chǔ)進(jìn)行設(shè)計(jì)，為提高可靠性，所有設(shè)備均采用雙機(jī)配置方式。拓?fù)浣Y(jié)構(gòu)示意如圖1所示。radware鏈路負(fù)載均衡實(shí)現(xiàn)nat功能，將網(wǎng)絡(luò)從邏輯上劃分為為公網(wǎng)和私網(wǎng)兩部分。在公網(wǎng)部分，每臺(tái)鏈路負(fù)載均衡分別通過(guò)兩臺(tái)公網(wǎng)出口

5、交換機(jī)與運(yùn)營(yíng)商路由器互聯(lián)。在私網(wǎng)部分，鏈路負(fù)載均衡和私網(wǎng)路由器通過(guò)私網(wǎng)交換機(jī)構(gòu)建可靠的二層環(huán)境，用于雙機(jī)協(xié)議可靠通信，此外私網(wǎng)路由器承擔(dān)著內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)交互路由的功能。（2）設(shè)備選型。公網(wǎng)出口交換機(jī)作為連接運(yùn)營(yíng)商路由器的關(guān)鍵設(shè)備，宜使用可靠性較高的框式設(shè)備，采用分布式體系，對(duì)設(shè)備中的關(guān)鍵部件（如主控板、線卡、業(yè)務(wù)子卡、風(fēng)扇、電源）進(jìn)行冗余配置。鏈路負(fù)載均衡、私網(wǎng)路由器和私網(wǎng)交換機(jī)單點(diǎn)故障不會(huì)導(dǎo)致與運(yùn)營(yíng)商路由器終端，從經(jīng)濟(jì)性考慮，宜使用小型設(shè)備，電源和風(fēng)扇冗余配置，路由器可多板卡冗余配置。設(shè)備互聯(lián)宜選用萬(wàn)兆接口，以增強(qiáng)擴(kuò)展性。上述網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)在各種n-1方式下，均有較高的可靠性，同時(shí)了兼顧簡(jiǎn)

6、易性、經(jīng)濟(jì)型和擴(kuò)展性。2 鏈路負(fù)載均衡設(shè)計(jì)2.1 switch ha機(jī)制switch ha是保障鏈路負(fù)載均衡雙機(jī)可靠運(yùn)行的私有機(jī)制。在正常運(yùn)行方式下，雙設(shè)備處于主備運(yùn)行模式，同屬一個(gè)vlan的接口地址對(duì)外表現(xiàn)為統(tǒng)一的虛擬ip，所有業(yè)務(wù)流量經(jīng)過(guò)主設(shè)備，備設(shè)備處于監(jiān)聽狀態(tài)，兩臺(tái)設(shè)備間實(shí)時(shí)比較直連接口的存活數(shù)量，當(dāng)發(fā)生設(shè)備或鏈路故障導(dǎo)致主設(shè)備存活接口數(shù)小于備設(shè)備時(shí)，則進(jìn)行主備設(shè)備切換。2.2 出入站策略設(shè)計(jì)（1）出站策略。該類策略控制由私網(wǎng)向公網(wǎng)發(fā)起訪問(wèn)的數(shù)據(jù)流量路徑選擇，比如外網(wǎng)辦公終端訪問(wèn)internet的數(shù)據(jù)。由于internet服務(wù)器一般架設(shè)在運(yùn)營(yíng)商骨干網(wǎng)或城域網(wǎng)核心匯聚層，網(wǎng)絡(luò)資源豐富、帶

7、寬充裕，因此對(duì)于不同運(yùn)營(yíng)商服務(wù)器的訪問(wèn)流量經(jīng)由該服務(wù)器所屬的運(yùn)營(yíng)商出口鏈路是較好的選擇1。對(duì)于境外服務(wù)器等不屬于購(gòu)買運(yùn)營(yíng)商網(wǎng)絡(luò)范圍內(nèi)的訪問(wèn)對(duì)象，宜采用就近性算法，通過(guò)鏈路帶寬、鏈路成本、端到端延時(shí)、路由條數(shù)等參數(shù)加權(quán)計(jì)算出最優(yōu)運(yùn)營(yíng)商出口鏈路。綜上，出站策略宜按如下原則設(shè)計(jì)，并按順序匹配：第一，訪問(wèn)目的地址在運(yùn)營(yíng)商1地址池內(nèi)的數(shù)據(jù)包主走isp1鏈路;第二，訪問(wèn)目的地址在運(yùn)營(yíng)商2地址池內(nèi)的數(shù)據(jù)包主走isp2鏈路;第三，不在上述地址池內(nèi)的數(shù)據(jù)包根據(jù)就近性算法在isp1和isp2鏈路中選擇最優(yōu)路徑。（2）入站策略。該類策略控制由公網(wǎng)向私網(wǎng)發(fā)起訪問(wèn)的數(shù)據(jù)流量路徑選擇，按照internet用戶訪問(wèn)私網(wǎng)對(duì)外

8、服務(wù)器的方式不同分為b/s和c/s兩類。在b/s架構(gòu)訪問(wèn)方式下，將鏈路負(fù)載均衡設(shè)備設(shè)置為授權(quán)域名服務(wù)器，記錄域名與內(nèi)網(wǎng)服務(wù)器ip地址的映射關(guān)系，形成a記錄，一個(gè)域名分別映射isp1和ips2的公網(wǎng)ip地址。當(dāng)internet用戶通過(guò)域名方式訪問(wèn)網(wǎng)站服務(wù)器時(shí)，用戶的本地dns服務(wù)器通過(guò)迭代查詢從鏈路負(fù)載均衡請(qǐng)求地址解析，負(fù)載均衡根據(jù)就近性算法返回最優(yōu)isp解析ip地址，達(dá)到均衡的目的。在c/s架構(gòu)訪問(wèn)方式下，為節(jié)省寶貴的運(yùn)營(yíng)商公網(wǎng)地址，不同的私網(wǎng)服務(wù)器宜采用不同的tcp端口號(hào)，使鏈路負(fù)載均衡進(jìn)行目的nat轉(zhuǎn)換時(shí)可以復(fù)用公網(wǎng)ip。鏈路負(fù)載均衡為每個(gè)私網(wǎng)服務(wù)器配置兩個(gè)isp的地址，通過(guò)用戶客戶端程序

9、進(jìn)行均衡訪問(wèn)。2.3 dns代理設(shè)計(jì)私網(wǎng)辦公終端向公網(wǎng)發(fā)起訪問(wèn)的出站數(shù)據(jù)流量占總流量比例較大，為提高出口流量均衡程度，除了做好前述出站策略設(shè)計(jì)，還需要做好dns代理設(shè)計(jì)。整體設(shè)計(jì)實(shí)現(xiàn)流程是：首先在鏈路負(fù)載均衡上設(shè)置dns代理私網(wǎng)ip，本地dhcp服務(wù)器將該ip作為終端自動(dòng)獲取的dns服務(wù)器地址;然后，不同終端申請(qǐng)域名解析時(shí)訪問(wèn)dns代理ip，鏈路負(fù)載均衡宜采用輪詢算法，均勻訪問(wèn)不同運(yùn)營(yíng)商dns服務(wù)器;最后，如果目的業(yè)務(wù)服務(wù)器規(guī)模較大，且isp1和isp2屬于三大電信運(yùn)營(yíng)商，那么dns服務(wù)器將為相應(yīng)終端返回屬于本isp的解析ip，結(jié)合出站策略，從而實(shí)現(xiàn)出站數(shù)據(jù)均衡訪問(wèn)。dns代理流程示意如圖2所

10、示。3 路由交換設(shè)計(jì)3.1 二層設(shè)計(jì)（1）vlan設(shè)計(jì)。基于switch ha機(jī)制，為實(shí)現(xiàn)二層廣播域有效隔離，將網(wǎng)絡(luò)劃分為3個(gè)獨(dú)立vlan，分別是：r-isp1、sw1_pub1、llb1和llb2互聯(lián)接口組成的運(yùn)營(yíng)商1出口vlan;r-isp2、sw2_pub2、llb1和llb2互聯(lián)接口組成的運(yùn)營(yíng)商2出口vlan;llb1、llb2、sw1_pri1、sw2_pri2、r1和r2互聯(lián)接口組成的私網(wǎng)vlan。路由器接口為三層路由口，llb接口為三層交換口，llb和交換機(jī)使用access類型接口納入相應(yīng)vlan。（2）生成樹設(shè)計(jì)。如圖1所示，網(wǎng)絡(luò)中存在物理環(huán)路，mstp生成樹協(xié)議默認(rèn)開啟，將會(huì)

11、阻塞相關(guān)接口，生成無(wú)環(huán)拓?fù)洹?shí)際上，因?yàn)闆](méi)有一個(gè)物理環(huán)路對(duì)應(yīng)在同一個(gè)vlan中，即使存在物理環(huán)路也不會(huì)形成廣播風(fēng)暴危害網(wǎng)絡(luò)運(yùn)行，所以宜關(guān)閉鏈路負(fù)載均衡和交換機(jī)相關(guān)接口的生成樹協(xié)議，避免正常運(yùn)行接口被阻塞，提高網(wǎng)絡(luò)健壯性和收斂速度。3.2 靜態(tài)路由設(shè)計(jì)鑒于radware鏈路負(fù)載均衡自身機(jī)制，其與運(yùn)營(yíng)商路由器和私網(wǎng)路由器間通過(guò)靜態(tài)路由實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)互通，在每一個(gè)廣播域中規(guī)劃同網(wǎng)段的ip地址，靜態(tài)路由相關(guān)設(shè)計(jì)如表1。3.3 高可靠性設(shè)計(jì)（1）vrrp設(shè)計(jì)。為使鏈路負(fù)載均衡靜態(tài)路由下一跳ip地址保持穩(wěn)定，不因設(shè)備單點(diǎn)故障而失效，宜使用vrrp（虛擬路由器冗余協(xié)議）進(jìn)行保障。vrrp能將多個(gè)三層網(wǎng)絡(luò)設(shè)備在

12、網(wǎng)關(guān)層面整合起來(lái)形成一個(gè)虛擬三層設(shè)備，在這些設(shè)備間通過(guò)選舉機(jī)制選出一個(gè)master設(shè)備來(lái)?yè)?dān)任實(shí)際三層網(wǎng)關(guān)，而其余設(shè)備監(jiān)聽主設(shè)備工作狀態(tài)，主設(shè)備一旦故障，將重新選舉產(chǎn)生新的主設(shè)備確保網(wǎng)關(guān)不間斷服務(wù)2。r1和r2通過(guò)上聯(lián)接口構(gòu)成vrrp路由器，其虛擬ip作為鏈路負(fù)載均衡靜態(tài)路由下一跳地址，同時(shí)為減少流量繞行，matster設(shè)備與鏈路負(fù)載均衡switch ha主設(shè)備保持同側(cè)設(shè)置。（2）nqa設(shè)計(jì)。靜態(tài)路由無(wú)法感知網(wǎng)絡(luò)拓?fù)渥兓⒆鞒鰟?dòng)態(tài)調(diào)整，使得在特定運(yùn)行方式下數(shù)據(jù)轉(zhuǎn)發(fā)出現(xiàn)問(wèn)題，比如在llb1作為switch ha主設(shè)備運(yùn)行時(shí)，如果兩臺(tái)私網(wǎng)交換機(jī)間鏈路發(fā)生中斷，r2路由器靜態(tài)路由下一跳將不可達(dá)，同時(shí)由

13、于r2上聯(lián)口并未中斷，所以該靜態(tài)路由不會(huì)失效，這將導(dǎo)致按此路由轉(zhuǎn)發(fā)的數(shù)據(jù)丟失。為解決該問(wèn)題，引入nqa機(jī)制，通過(guò)icmp-echo報(bào)文探測(cè)下一跳地址可達(dá)性，并將可達(dá)性與靜態(tài)路由存活性關(guān)聯(lián)，當(dāng)探測(cè)不可達(dá)時(shí)自動(dòng)撤銷靜態(tài)路由避免數(shù)據(jù)轉(zhuǎn)發(fā)錯(cuò)誤，提高網(wǎng)絡(luò)在特定故障運(yùn)行方式下的可靠性。3.4 動(dòng)態(tài)路由設(shè)計(jì)電力企業(yè)外網(wǎng)一般至少為中型規(guī)模，宜采用ospf動(dòng)態(tài)路由協(xié)議進(jìn)行組網(wǎng)，以有效解決網(wǎng)段多、拓?fù)鋸?fù)雜、拓?fù)渥兏鼊?dòng)態(tài)響應(yīng)等問(wèn)題3。在進(jìn)行ospf組網(wǎng)設(shè)計(jì)時(shí)要點(diǎn)如下：（1）私網(wǎng)路由器與內(nèi)部網(wǎng)絡(luò)運(yùn)行ospf協(xié)議，內(nèi)部網(wǎng)絡(luò)根據(jù)規(guī)模、安全性等因素采用二層架構(gòu)或三層架構(gòu)，私網(wǎng)路由器至少與內(nèi)部網(wǎng)絡(luò)核心層運(yùn)行于ospf骨干區(qū)，

14、是否劃分非骨干區(qū)由內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)決定，有關(guān)內(nèi)部網(wǎng)絡(luò)設(shè)計(jì)不是本文研究重點(diǎn);（2）將網(wǎng)絡(luò)未來(lái)擴(kuò)展的最大帶寬作為ospf cost參考帶寬值，所有參與ospf計(jì)算的接口自動(dòng)按實(shí)際帶寬等比例計(jì)算出ospf cost值，使所有數(shù)據(jù)包按最短路徑進(jìn)行轉(zhuǎn)發(fā);（3）在局域網(wǎng)中互聯(lián)接口均為以太網(wǎng)口，接口缺省ospf 網(wǎng)絡(luò)類型為broadcast，由于網(wǎng)絡(luò)從邏輯角度看均為以太網(wǎng)點(diǎn)到點(diǎn)互聯(lián)，完全沒(méi)有必要進(jìn)行dr和bdr選舉，所以將ospf接口網(wǎng)絡(luò)類型改為p2p，以達(dá)到加速ospf鄰居建立，優(yōu)化網(wǎng)絡(luò)性能的目的4;（4）在私網(wǎng)路由器上將默認(rèn)靜態(tài)路由引入到ospf路由中，確保內(nèi)部網(wǎng)絡(luò)順利學(xué)習(xí)到去往公網(wǎng)方向的路由。4 測(cè)試結(jié)果

15、4.1 n-1故障測(cè)試網(wǎng)絡(luò)在n-1故障運(yùn)行方式下，即任一鏈路、板卡、設(shè)備、運(yùn)營(yíng)商故障時(shí)，鏈路負(fù)載均衡和路由器冗余切換機(jī)制正常工作，路由跟隨拓?fù)渥兓瘎?dòng)態(tài)更新，網(wǎng)絡(luò)可在秒級(jí)收斂，所有業(yè)務(wù)均可正常運(yùn)行，驗(yàn)證了整體網(wǎng)絡(luò)設(shè)計(jì)具有較高的可靠性。4.2 負(fù)載均衡度測(cè)試以兩個(gè)運(yùn)營(yíng)商最大瞬時(shí)流量差值占總出口帶寬百分比來(lái)衡量均衡程度，同時(shí)區(qū)分不同時(shí)段和進(jìn)出方向，測(cè)試情況如表2所示?？傮w均衡度較好，同時(shí)隨著流量增大，均衡度也相應(yīng)提高。5 結(jié)語(yǔ)電力企業(yè)外網(wǎng)與internet網(wǎng)絡(luò)互連，承載著外網(wǎng)辦公終端和各類業(yè)務(wù)服務(wù)器，是電力企業(yè)自有網(wǎng)絡(luò)的重要組成部分。本文詳細(xì)論述了一種基于radware鏈路負(fù)載均衡的電力企業(yè)外網(wǎng)網(wǎng)絡(luò)設(shè)計(jì)方法，經(jīng)過(guò)實(shí)踐檢驗(yàn)，可有效滿足重要業(yè)務(wù)數(shù)據(jù)高可靠傳輸需求，同時(shí)高效利用昂貴的運(yùn)營(yíng)商專線，節(jié)約了企業(yè)成本。參考