CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案-運(yùn)營(yíng)維護(hù)設(shè)計(jì)指南（專業(yè)完整版）

1、目錄CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案 設(shè)計(jì)指南（運(yùn)營(yíng)維護(hù)） TOC o 1-5 h z 1數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維概述1 HYPERLINK l bookmark0 o Current Document h 1.1數(shù)據(jù)中心網(wǎng)絡(luò)智能運(yùn)維背景與挑戰(zhàn)1 HYPERLINK l bookmark6 o Current Document h 1.2數(shù)據(jù)中心SDN網(wǎng)絡(luò)運(yùn)維需求與目標(biāo)3 HYPERLINK l bookmark8 o Current Document h SDN數(shù)據(jù)中心Underlay網(wǎng)絡(luò)可靠性4 HYPERLINK l bookmark10 o Current Document h 1.

2、2.2服務(wù)器批量上線效率5 HYPERLINK l bookmark12 o Current Document h 1.2.3業(yè)務(wù)變更網(wǎng)絡(luò)布放效果預(yù)測(cè)5 HYPERLINK l bookmark14 o Current Document h 1.2.4既有業(yè)務(wù)網(wǎng)絡(luò)可達(dá)性校驗(yàn)5 HYPERLINK l bookmark16 o Current Document h 1.2.5故障快速發(fā)現(xiàn)定位及恢復(fù)5 HYPERLINK l bookmark18 o Current Document h 1.3數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維設(shè)計(jì)原則6DAY-0規(guī)格化設(shè)計(jì)-SDN數(shù)據(jù)中心Underlay網(wǎng)絡(luò)設(shè)計(jì)7 HYPERLI

3、NK l bookmark24 o Current Document h 2.1整體拓?fù)湓O(shè)計(jì)7 HYPERLINK l bookmark30 o Current Document h 2.2路由協(xié)議設(shè)計(jì)10 HYPERLINK l bookmark38 o Current Document h 2.3擴(kuò)展性設(shè)計(jì)14 HYPERLINK l bookmark44 o Current Document h 2.4可靠性設(shè)計(jì)15 HYPERLINK l bookmark46 o Current Document h 2.4.1可靠性設(shè)計(jì)一般原則15Border Leaf 節(jié)點(diǎn)可靠性16Spine 節(jié)

4、點(diǎn)可靠性16Leaf節(jié)點(diǎn)可靠性18NGFW 節(jié)點(diǎn)可靠性24vSwitch 節(jié)點(diǎn)可靠性（受限商用）28 HYPERLINK l bookmark74 o Current Document h DAY-0網(wǎng)絡(luò)初始化-ZTP開(kāi)局31 HYPERLINK l bookmark76 o Current Document h DAY-0意圖驗(yàn)證-Underlay網(wǎng)絡(luò)校驗(yàn)32 HYPERLINK l bookmark88 o Current Document h DAY-1業(yè)務(wù)方案&變更-SDN網(wǎng)絡(luò)業(yè)務(wù)發(fā)放前校驗(yàn)方案36 HYPERLINK l bookmark92 o Current Document h

5、 5.1網(wǎng)絡(luò)業(yè)務(wù)編排（設(shè)計(jì)態(tài)）37 HYPERLINK l bookmark94 o Current Document h 5.2網(wǎng)絡(luò)資源仿真校驗(yàn)38 HYPERLINK l bookmark96 o Current Document h 5.3網(wǎng)絡(luò)連通性校驗(yàn)385.4設(shè)備配置變更內(nèi)容預(yù)覽39DAY-2.例行維護(hù)40 HYPERLINK l bookmark98 o Current Document h 6.1單路徑探測(cè)40 HYPERLINK l bookmark136 o Current Document h 6.2多路徑探測(cè)51 HYPERLINK l bookmark170 o Cur

6、rent Document h DAY-2 CloudFabric 智能運(yùn)維59 HYPERLINK l bookmark172 o Current Document h CloudFabric 智能運(yùn)維方案總體架構(gòu)59 HYPERLINK l bookmark174 o Current Document h iMaster NCE-Fabric 控制器架構(gòu)60 HYPERLINK l bookmark220 o Current Document h iMaster NCE-Fabriclnsight 架構(gòu)63 HYPERLINK l bookmark178 o Current Documen

7、t h SDN數(shù)據(jù)中心網(wǎng)絡(luò)故障智能運(yùn)維方案及功能介紹65 HYPERLINK l bookmark180 o Current Document h 7.2.1網(wǎng)絡(luò)故障智能運(yùn)維能力全景65 HYPERLINK l bookmark182 o Current Document h 7.2.2網(wǎng)關(guān)故障智能運(yùn)維處理流程介紹74 HYPERLINK l bookmark192 o Current Document h 7.2.3網(wǎng)絡(luò)故障智能運(yùn)維之網(wǎng)絡(luò)監(jiān)控能力80 HYPERLINK l bookmark194 o Current Document h 7.2.4網(wǎng)絡(luò)故障智能運(yùn)維之故障發(fā)現(xiàn)82 HYPER

8、LINK l bookmark196 o Current Document h 7.2.5網(wǎng)絡(luò)故障智能運(yùn)維之問(wèn)題定位定界83 HYPERLINK l bookmark202 o Current Document h 7.2.6網(wǎng)絡(luò)故障智能運(yùn)維之故障恢復(fù)/隔離86 HYPERLINK l bookmark208 o Current Document h 7.2.7數(shù)據(jù)中心典型故障智能運(yùn)維case示例87 HYPERLINK l bookmark210 o Current Document h Casel：交換機(jī)FIB表項(xiàng)跳變導(dǎo)致會(huì)話異常87 HYPERLINK l bookmark212 o C

9、urrent Document h Case2：光模塊故障導(dǎo)致鏈路頻繁閃斷88 HYPERLINK l bookmark214 o Current Document h Case3： ARP 攻擊89 HYPERLINK l bookmark216 o Current Document h 使用 Fabriclnsight進(jìn)行網(wǎng)絡(luò)例行巡檢89 HYPERLINK l bookmark218 o Current Document h 7.4數(shù)據(jù)中心iMaster NCE-Fabriclnsight智能運(yùn)維網(wǎng)絡(luò)部署90iMaster NCE-Fabriclnsight 和控制器的資源要求90 HY

10、PERLINK l bookmark222 o Current Document h 7.6方案約束（本節(jié)對(duì)外發(fā)布時(shí)不展示）91 HYPERLINK l bookmark224 o Current Document h 7.6.1設(shè)備的能力約束92DAY-2配置回滾93&全網(wǎng)回滾93 HYPERLINK l bookmark232 o Current Document h 8.2租戶回滾95 HYPERLINK l bookmark238 o Current Document h DAY-N網(wǎng)絡(luò)擴(kuò)容-SDN數(shù)據(jù)中心服務(wù)器自動(dòng)化批量上線98 HYPERLINK l bookmark252 o C

11、urrent Document h DAY-N網(wǎng)絡(luò)擴(kuò)容-交換機(jī)擴(kuò)容102 HYPERLINK l bookmark254 o Current Document h DAY-N設(shè)備更換-替換交換機(jī)105 HYPERLINK l bookmark256 o Current Document h 11.1替換設(shè)備（非ZTP設(shè)備）105 HYPERLINK l bookmark288 o Current Document h 11.2替換設(shè)備（ZTP設(shè)備）116 HYPERLINK l bookmark310 o Current Document h DAY-N設(shè)備更換-替換端口124 HYPERLI

12、NK l bookmark318 o Current Document h A參考圖片1271數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維概述1數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維概述數(shù)據(jù)中心作為信息與信息系統(tǒng)的物理載體，主要用于與IT相關(guān)的主機(jī)、網(wǎng)絡(luò)、存儲(chǔ)等 設(shè)備和資源的存放、運(yùn)營(yíng)及管理，只有運(yùn)維好一個(gè)數(shù)據(jù)中心，才能發(fā)揮數(shù)據(jù)中心的作 用，使之能更好的為業(yè)務(wù)部門提供強(qiáng)大的支撐能力。本文檔主要針對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)運(yùn)維進(jìn)行了闡述，其出發(fā)點(diǎn)在于使用戶能對(duì)SDN時(shí)代 的數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)精確管控維護(hù)，使SDN網(wǎng)絡(luò)的管理水平和服務(wù)質(zhì)量得到持續(xù)提 升，此外對(duì)傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)有具有參考價(jià)值。1.1數(shù)據(jù)中心網(wǎng)絡(luò)智能運(yùn)維背景與挑戰(zhàn)1.2數(shù)據(jù)中心SDN網(wǎng)絡(luò)運(yùn)

13、維需求與目標(biāo)1.3數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維設(shè)計(jì)原則1.1數(shù)據(jù)中心網(wǎng)絡(luò)智能運(yùn)維背景與挑戰(zhàn)本節(jié)主要介紹數(shù)據(jù)中心業(yè)務(wù)連續(xù)性及容災(zāi)標(biāo)準(zhǔn)。近來(lái)年，無(wú)論是金融、電信、互聯(lián)網(wǎng)等行業(yè)的大型企業(yè)，還是全國(guó)各個(gè)科技園區(qū)、各 級(jí)政府都在如火如荼地進(jìn)行數(shù)據(jù)中心建立，數(shù)據(jù)中心的穩(wěn)定運(yùn)行關(guān)系著國(guó)家信息安全 和社會(huì)穩(wěn)定，為了防范災(zāi)難和風(fēng)險(xiǎn)，保障業(yè)務(wù)連續(xù)性，國(guó)內(nèi)外監(jiān)管部門頒布了一系列 業(yè)務(wù)連續(xù)性及容災(zāi)的標(biāo)準(zhǔn)。國(guó)內(nèi)外數(shù)據(jù)中心規(guī)范對(duì)業(yè)務(wù)連續(xù)性要求ANSI/TIA-942-B 2017數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)主要是根據(jù)數(shù)據(jù)中心基礎(chǔ)設(shè)施 的“可用性(Availability ) ”、穩(wěn)定性(Stability )” 和安全性(Securit

14、y )”分 為四個(gè)等級(jí)：Tier I, Tier II, Tier III, Tier IV。該標(biāo)準(zhǔn)所說(shuō)的數(shù)據(jù)中心可以是政府或企 業(yè)自有產(chǎn)權(quán)的自有數(shù)據(jù)中心，也可以是運(yùn)營(yíng)商用于租賃服務(wù)的公用數(shù)據(jù)中心。該標(biāo)準(zhǔn) 描述了各類數(shù)據(jù)中心或計(jì)算機(jī)房中，對(duì)通信基礎(chǔ)設(shè)施的起碼的、最低的要求。ANSI/TIA -942-B 標(biāo) 準(zhǔn)定義可信要求可用性指標(biāo)/每年允許宕機(jī)時(shí) 間TierlBasic基本系統(tǒng)沒(méi)有冗余的基本的數(shù)據(jù)中心可用性99.671%、年平均故 障時(shí)間28.8小時(shí)Tier IIRedundant Component 冗余系統(tǒng)組件級(jí)冗余基礎(chǔ)設(shè)施可用性99.741%、年平均故 障時(shí)間22.7小時(shí)Tier II

15、IConcurrentlyMaintainable并行維護(hù)可并行維護(hù)級(jí)機(jī)房基礎(chǔ)設(shè)施，電 源等主用1+備用1,多上行可用性99.982%、年平均故 障時(shí)間1.6小時(shí)Tier IVFault Tolerant 容錯(cuò) 系統(tǒng)容錯(cuò)級(jí)機(jī)房基礎(chǔ)設(shè)施，所有設(shè)施 支持容錯(cuò)（上行鏈路、存儲(chǔ)、制 冷、電源等1+1主用）可用性99.995%、年平均故 障時(shí)間0.4小時(shí)ANSI/TIA-942-B突出對(duì)數(shù)據(jù)中心可用性/故障中斷時(shí)間提出了要求：其中，Tier III可 用性99.982%、年平均故障時(shí)間1.6小時(shí);Tier IV可用性99.995%、年平均故障時(shí)間 0.4小時(shí)。國(guó)內(nèi)標(biāo)準(zhǔn)數(shù)據(jù)中心設(shè)計(jì)規(guī)范（GB50174）在

16、滿足中國(guó)數(shù)據(jù)中心行業(yè)發(fā)展的前提 下，吸取國(guó)外數(shù)據(jù)中心設(shè)計(jì)的優(yōu)點(diǎn)，結(jié)合中國(guó)數(shù)據(jù)中心行業(yè)的具體情況，增加補(bǔ)充具 有數(shù)據(jù)中心行業(yè)特點(diǎn)的相關(guān)條文規(guī)定。主要圍繞數(shù)據(jù)中心的可靠性、可用性、安全、 節(jié)能環(huán)保等方面提出進(jìn)一步明確要求。數(shù)據(jù)中心設(shè)計(jì)規(guī)范根據(jù)數(shù)據(jù)中心的使用性 質(zhì)、數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷在經(jīng)濟(jì)或社會(huì)上造成的損失或影響程度確定所屬級(jí)別，將數(shù) 據(jù)中心劃分為分為A （容錯(cuò)型）、B （冗余型）、C （基本型）三個(gè)級(jí)別。GB50174級(jí)別可信要求可用 性行業(yè)遵從與 TIA-942-B 級(jí) 別對(duì)應(yīng)關(guān)系A(chǔ)級(jí)容錯(cuò) 系統(tǒng)應(yīng)在一次意外事故后或單系統(tǒng)設(shè)備維 護(hù)或檢修時(shí)仍能保證電子信息系統(tǒng)正 常運(yùn)行當(dāng)兩個(gè)或兩個(gè)以上地處不同區(qū)域

17、、同 城或者異地同時(shí)數(shù)據(jù)中心建設(shè)，要求 互為備份，主要適用于云計(jì)算數(shù)據(jù)中 心、互聯(lián)網(wǎng)數(shù)據(jù)中心等最高 等級(jí)金融行業(yè)、軍 事部門、交 通、電信、國(guó) 家信息中心Tier IVTier IIIB級(jí)冗余 系統(tǒng)基礎(chǔ)設(shè)施在冗余能力范圍內(nèi)，不應(yīng)因設(shè) 備故障而導(dǎo)致電子信息系統(tǒng)運(yùn)行中斷居中科研院所、高 校、政府辦公 樓Tier IIC級(jí)基本 系統(tǒng)在基礎(chǔ)設(shè)施正常運(yùn)行情況下，應(yīng)保證電 子信息系統(tǒng)運(yùn)行最低-Tierl行業(yè)數(shù)據(jù)中心規(guī)范對(duì)業(yè)務(wù)連續(xù)性要求 金融行業(yè)金融數(shù)據(jù)中心一般都有本地的數(shù)據(jù)冗余保護(hù)或容災(zāi)建設(shè)，最主流的災(zāi)備技術(shù)是兩 地三中心建設(shè)，確保業(yè)務(wù)可靠可用性高，遵從數(shù)據(jù)中心設(shè)計(jì)規(guī)范A級(jí)標(biāo)準(zhǔn)。中國(guó)銀監(jiān)會(huì)發(fā)布商業(yè)銀行業(yè)務(wù)

18、連續(xù)性監(jiān)管指引【2011】（104號(hào)），標(biāo)志著國(guó)家 和行業(yè)監(jiān)管部門對(duì)業(yè)務(wù)連續(xù)性的重視程度已經(jīng)提升到了一個(gè)新的高度。表1-1商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引對(duì)運(yùn)營(yíng)中斷事件等級(jí)定義事故等級(jí)定級(jí)定級(jí)標(biāo)準(zhǔn)監(jiān)管處置I級(jí)事故特別重大運(yùn)營(yíng)中斷 事件單機(jī)構(gòu)單省中斷6小時(shí)單機(jī)構(gòu)多省中斷3小時(shí)多機(jī)構(gòu)多省中斷3小時(shí)上報(bào)國(guó)務(wù)院II級(jí)事故重大運(yùn)營(yíng)中斷事件單機(jī)構(gòu)單省中斷3小時(shí)單機(jī)構(gòu)多省中斷半小時(shí)多機(jī)構(gòu)多省中斷半小時(shí)上報(bào)銀監(jiān)會(huì)III級(jí)事 故較大運(yùn)營(yíng)中斷事件單機(jī)構(gòu)單省中斷半小時(shí)上報(bào)銀監(jiān)會(huì)電信行業(yè)運(yùn)營(yíng)商遵從數(shù)據(jù)中心設(shè)計(jì)規(guī)范A級(jí)標(biāo)準(zhǔn)，業(yè)務(wù)可用性99.995% （年平均故障 時(shí)間0.4小時(shí)），處于國(guó)際標(biāo)準(zhǔn)Tier4范圍?；ヂ?lián)網(wǎng)行業(yè)YD/

19、T 2441-2013互聯(lián)網(wǎng)數(shù)據(jù)中心技術(shù)及分級(jí)分類標(biāo)準(zhǔn)規(guī)定了互聯(lián)網(wǎng)數(shù)據(jù)中心 IDC在可靠性、綠色節(jié)能和安全性等三個(gè)方面的分級(jí)分類的技術(shù)要求，明確定義 T IDC可靠性方面的等級(jí)為R1R3,其中R1為最低等級(jí)，R3為最高等級(jí)：R3 業(yè)務(wù)可用性299.95%, R2業(yè)務(wù)可用性299.9%, R1業(yè)務(wù)可用性299.5%。OTT可用性要求：OTT業(yè)務(wù)可用性基本要求99.95%（年平均故障時(shí)間4.38小 時(shí)），可靠性為R3級(jí)別，介于國(guó)際標(biāo)準(zhǔn)Tier II和Tierlll之間。BAT可用性要求：百度業(yè)務(wù)可用性要求99.99% （年平均故障時(shí)間0.88小時(shí)）， 阿里99.99% （年平均故障時(shí)間0.88小時(shí)

20、），可靠性為R3級(jí)別，介于國(guó)際標(biāo)準(zhǔn) Tier3和Tier4之間；騰訊99.9% （年平均故障時(shí)間8.76小時(shí)），可靠性為R2級(jí) 別，介于國(guó)際標(biāo)準(zhǔn)Tier2和Tier3之間。1.2數(shù)據(jù)中心SDN網(wǎng)絡(luò)運(yùn)維需求與目標(biāo)在數(shù)據(jù)中心云化背景下，為了提示數(shù)據(jù)中心業(yè)務(wù)上線效率，數(shù)據(jù)中心網(wǎng)絡(luò)業(yè)務(wù)發(fā)放也 趨于采用SDN解決方案，隨之而來(lái)的對(duì)網(wǎng)絡(luò)運(yùn)維效率也要求向智能化、自動(dòng)化方向轉(zhuǎn) 變，以適應(yīng)數(shù)據(jù)中心業(yè)務(wù)高效、復(fù)雜多變的業(yè)務(wù)需求。在此背景及目標(biāo)的驅(qū)動(dòng)下，華為CloudFabric為數(shù)據(jù)中心SDN網(wǎng)絡(luò)提供了智能化的運(yùn) 維解決方案。華為CloudFabric運(yùn)維解決方案的愿景：建設(shè)自動(dòng)化、可視化、智能化的數(shù)據(jù)中心，并

21、最終實(shí)現(xiàn)無(wú)人值守。圖1-1 CloudFabric運(yùn)維解決方案的愿景AS-IS：傳統(tǒng)運(yùn)維TO-BE:趙值守網(wǎng)絡(luò)健康監(jiān)控系統(tǒng)(U ndertay&Overtay)網(wǎng)絡(luò)KPI信息主動(dòng)上報(bào) 業(yè)務(wù)質(zhì)*分析Q Q統(tǒng)一南向采集接口修復(fù)隔離策略基于AI的故障走位引擎基于AI的故障修復(fù)引擎根據(jù)國(guó)內(nèi)外數(shù)據(jù)中心設(shè)計(jì)標(biāo)準(zhǔn)業(yè)務(wù)可用性要求，結(jié)合客戶對(duì)業(yè)務(wù)SLA等級(jí)越來(lái)越高的 要求，華為CloudFabric運(yùn)維解決方案制定了 SDN場(chǎng)景下的運(yùn)維目標(biāo)：1分鐘故障發(fā) 現(xiàn)，3分鐘故障定位，5分鐘故障恢復(fù)。版本如下：V100R019C10：支持75+故障場(chǎng)景，實(shí)現(xiàn)1分鐘自動(dòng)發(fā)現(xiàn)、3分鐘故障定位、5分 鐘故障修復(fù)。V100R02

22、0C00：管控析融合統(tǒng)一 3個(gè)入口：業(yè)務(wù)發(fā)放入口、統(tǒng)一監(jiān)控入口、故障 處理入口。業(yè)務(wù)發(fā)放入口：包括Underlay/Overlay業(yè)務(wù)自動(dòng)化部署、意圖驗(yàn)證引擎實(shí)現(xiàn)配 置變更無(wú)人值守。統(tǒng)一監(jiān)控入口：包括物理網(wǎng)絡(luò)、邏輯網(wǎng)絡(luò)、應(yīng)用網(wǎng)絡(luò)資源分布情況、健康度 狀態(tài)。故障處理入口：以故障快速恢復(fù)為主線，對(duì)故障處理生命周期全過(guò)程實(shí)現(xiàn)連 貫性處理。1.2.1 SDN數(shù)據(jù)中心Underlay網(wǎng)絡(luò)可靠性隨著數(shù)據(jù)中心業(yè)務(wù)云化的開(kāi)展，用戶對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)的可靠性等有了更高的要求，業(yè) 務(wù)云化也帶來(lái)了資源池化的需求，相應(yīng)的要求網(wǎng)絡(luò)能夠滿足在更大范圍上的資源池化 部署，同時(shí)，在互聯(lián)網(wǎng)+的大形勢(shì)下用戶要求能夠?qū)崿F(xiàn)業(yè)務(wù)的快速部署

23、，從傳統(tǒng)的周、 月部署周期，提升到天、小時(shí)級(jí)的部署周期，甚至讓業(yè)務(wù)實(shí)現(xiàn)分鐘級(jí)上線，但這些高 效提升的前提是要求數(shù)據(jù)中心Underlay網(wǎng)絡(luò)能夠適應(yīng)SDN業(yè)務(wù)的發(fā)放特點(diǎn)，提供穩(wěn)定 可靠的網(wǎng)絡(luò)保障性，因此在進(jìn)行SDN網(wǎng)絡(luò)設(shè)計(jì)時(shí)，針對(duì)Underlay網(wǎng)絡(luò)的可靠性需要從 網(wǎng)絡(luò)的接入側(cè)、網(wǎng)絡(luò)側(cè)、轉(zhuǎn)發(fā)設(shè)備、VAS設(shè)備、網(wǎng)絡(luò)出口等多個(gè)層面來(lái)綜合考慮、全 面設(shè)計(jì)，打造端到端的數(shù)據(jù)中心可靠網(wǎng)絡(luò)。1.2.2服務(wù)器批量上線效率在數(shù)據(jù)中心的日常維護(hù)中，服務(wù)器擴(kuò)容是一個(gè)經(jīng)常性且關(guān)鍵的工作，通常情況下管理 員需要事先規(guī)劃好服務(wù)器網(wǎng)卡與交換機(jī)的連接關(guān)系，包括管理網(wǎng)、存儲(chǔ)網(wǎng)、業(yè)務(wù)網(wǎng)等 多個(gè)網(wǎng)絡(luò)平面。傳統(tǒng)的運(yùn)維模式下通過(guò)人工按

24、規(guī)劃設(shè)計(jì)對(duì)交換機(jī)進(jìn)行配置，完成服務(wù) 器的接入上線。但在云化數(shù)據(jù)中心場(chǎng)景下，對(duì)業(yè)務(wù)的上線效率要求越來(lái)越高，采用人 工配置完成大批量服務(wù)器上線的速度越來(lái)越跟不上業(yè)務(wù)節(jié)奏的要求。尤其是在SDN組 網(wǎng)場(chǎng)景下，也需要考慮采用自動(dòng)化、智能化的方案實(shí)現(xiàn)服務(wù)器的批量快速上線。1.2.3業(yè)務(wù)變更網(wǎng)絡(luò)布放效果預(yù)測(cè)在SDN組網(wǎng)場(chǎng)景下，業(yè)務(wù)的邏輯網(wǎng)絡(luò)是由管理員在0層編排完成的，但下發(fā)到網(wǎng)絡(luò)設(shè) 備上的具體配置是由SDN控制器自動(dòng)轉(zhuǎn)換后下發(fā)的，相對(duì)于傳統(tǒng)的網(wǎng)絡(luò)配置方法，采 用SDN后管理員對(duì)于SDN控制器下發(fā)的何種具體配置將無(wú)從知曉。但在某些場(chǎng)景 下，女口：管理員正在經(jīng)歷傳統(tǒng)手工配置向SDN自動(dòng)發(fā)放過(guò)度，或者某些重要業(yè)務(wù)

25、管理 員希望能在業(yè)務(wù)網(wǎng)絡(luò)布放前校驗(yàn)SDN下發(fā)的配置是否正確，這就要求SDN方案能具 備業(yè)務(wù)網(wǎng)絡(luò)布放前提供預(yù)先校驗(yàn)的能力，包括配置校驗(yàn)、資源校驗(yàn)、業(yè)務(wù)可達(dá)性校驗(yàn) 等多個(gè)方面效果預(yù)測(cè)。1.2.4既有業(yè)務(wù)網(wǎng)絡(luò)可達(dá)性校驗(yàn)Underlay網(wǎng)絡(luò)初始化部署完成后，為了能驗(yàn)證網(wǎng)絡(luò)設(shè)備上線后的連通性及路由轉(zhuǎn)發(fā)實(shí) 現(xiàn)是否符合預(yù)期，用戶一般會(huì)用ping, trace等常規(guī)測(cè)試方法進(jìn)行驗(yàn)證，但這種驗(yàn)證手 段效率較低，且驗(yàn)證效果并不全面，所以就需要一種更高效的方案來(lái)替代傳統(tǒng)方式， SDN組網(wǎng)場(chǎng)景下用戶也希望能采用一種自動(dòng)化方式來(lái)達(dá)到此種目的。1.2.5故障快速發(fā)現(xiàn)定位及恢復(fù)在數(shù)據(jù)中心網(wǎng)絡(luò)的日常維護(hù)中，非常重要的一項(xiàng)工作

26、就是網(wǎng)絡(luò)中故障的快速發(fā)現(xiàn)定位 并能及時(shí)排除，按照傳統(tǒng)維護(hù)經(jīng)驗(yàn)，網(wǎng)絡(luò)中的故障發(fā)現(xiàn)主要通過(guò)兩種途徑：網(wǎng)管系統(tǒng)收集的告警、日志及設(shè)備上報(bào)的統(tǒng)計(jì)數(shù)據(jù)等通過(guò)網(wǎng)管系統(tǒng)告警進(jìn)行故障發(fā)現(xiàn)有幾個(gè)顯而易見(jiàn)的問(wèn)題：1是時(shí)效性比較差，網(wǎng)管收集設(shè)備數(shù)據(jù)本身有一定的時(shí)延，管理員在網(wǎng)管系統(tǒng)上發(fā) 現(xiàn)告警等故障數(shù)據(jù)又會(huì)有一定的周期，甚至有些故障初期顯現(xiàn)的苗頭數(shù)據(jù)不一定 會(huì)得到管理員的關(guān)注和處理；2是復(fù)雜故障的發(fā)現(xiàn)需要依靠管理員的經(jīng)驗(yàn)，通過(guò)對(duì)多種網(wǎng)管數(shù)據(jù)、指標(biāo)的綜合分 析才能最終斷定。3是由于設(shè)備算法或底層芯片故障導(dǎo)致的流轉(zhuǎn)發(fā)類異常的，管理員目前并有效的發(fā) 現(xiàn)和定位手段，往往需要廠商技術(shù)支持人員現(xiàn)場(chǎng)排查才能準(zhǔn)確判斷；業(yè)務(wù)報(bào)障有很

27、多網(wǎng)絡(luò)中產(chǎn)生的故障，通過(guò)網(wǎng)管系統(tǒng)收集的日志或統(tǒng)計(jì)數(shù)據(jù)是無(wú)法及時(shí)發(fā)現(xiàn) 的，比如設(shè)備上的配置錯(cuò)誤、轉(zhuǎn)發(fā)表項(xiàng)異常抑或是業(yè)務(wù)遭受了攻擊導(dǎo)致的異常等 等，在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維模式下，這些網(wǎng)絡(luò)問(wèn)題往往業(yè)務(wù)上報(bào)故障時(shí)間會(huì)早 于網(wǎng)絡(luò)管理員主動(dòng)發(fā)現(xiàn)問(wèn)題的時(shí)間。而且這類問(wèn)題的排除定位通常也會(huì)費(fèi)時(shí)費(fèi) 力。在SDN組網(wǎng)場(chǎng)景下，為了能跟上業(yè)務(wù)發(fā)放、變更的高效節(jié)奏，網(wǎng)絡(luò)故障也需要具備快 速發(fā)現(xiàn)、定位以及恢復(fù)的能力。這就需要網(wǎng)管運(yùn)維系統(tǒng)除了收集傳統(tǒng)的日志告警類信 息外，還需要收集更多的指標(biāo)類、資源類、表項(xiàng)類甚至是會(huì)話交互數(shù)據(jù)，同時(shí)還要具 備海量數(shù)據(jù)的分析處理能力，并能從中找出故障間的關(guān)聯(lián)線索實(shí)現(xiàn)快速準(zhǔn)確的故障定 位，對(duì)于

28、其中可以通過(guò)配置實(shí)現(xiàn)故障恢復(fù)或隔離的，還要具備恢復(fù)預(yù)案的自動(dòng)生成能 力，必要時(shí)這些預(yù)案可實(shí)現(xiàn)一鍵式下發(fā)從而實(shí)現(xiàn)對(duì)故障的快速恢復(fù)或隔離。1.3數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維設(shè)計(jì)原則華為CloudFabric V1R19C10提供了數(shù)據(jù)中心SDN網(wǎng)絡(luò)DAYO-DAYn全生命周期的設(shè)計(jì) 指導(dǎo)原則及方案實(shí)現(xiàn)指南，本篇文章針對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)在生命周期每個(gè)階段的重點(diǎn)運(yùn) 維設(shè)計(jì)工作將進(jìn)行展開(kāi)介紹。DAY-0規(guī)格化設(shè)計(jì)-SDN數(shù)據(jù)中心Underlay網(wǎng)絡(luò)設(shè)計(jì)在華為CloudFabric解決方案中,Underlay網(wǎng)絡(luò)從Fabric骨干組網(wǎng)結(jié)構(gòu)、Server Leaf接 入、Border Leaf接入、網(wǎng)絡(luò)出口以及Underl

29、ay網(wǎng)絡(luò)路由等多個(gè)方面進(jìn)行了全新的考量 和設(shè)計(jì)，力求滿足數(shù)據(jù)中心云化場(chǎng)景要求，提升SDN Overlay場(chǎng)景下的網(wǎng)絡(luò)可靠性， 靈活性及可彈性擴(kuò)縮等方面的能力。2.1整體拓?fù)湓O(shè)計(jì)2.2路由協(xié)議設(shè)計(jì)2.3擴(kuò)展性設(shè)計(jì)2.4可靠性設(shè)計(jì)2.1整體拓?fù)湓O(shè)計(jì)物理網(wǎng)絡(luò)架構(gòu)概覽根據(jù)華為CloudFabric解決方案對(duì)數(shù)據(jù)中心組網(wǎng)的先進(jìn)設(shè)計(jì)理念，一個(gè)典型的數(shù)據(jù)中心 內(nèi)部的物理組網(wǎng)架構(gòu)，應(yīng)遵循Spine-Leaf架構(gòu)。華為推薦的物理組網(wǎng)如下圖所示。圖2-1推薦的物理組網(wǎng)方式其中對(duì)上圖CloudFabric解決方案的物理組網(wǎng)中各類角色的定義參見(jiàn)下表。表2-1物理組網(wǎng)中各類角色的功能說(shuō)明物理組網(wǎng)角色含義和功能說(shuō)明Fab

30、ric一個(gè)SDN控制器管理的網(wǎng)絡(luò)故障域，可以包含一個(gè)或多個(gè)Spine- Leaf網(wǎng)絡(luò)結(jié)構(gòu)。Spine骨干節(jié)點(diǎn)，VXLAN Fabric網(wǎng)絡(luò)核心節(jié)點(diǎn)，提供高速IP轉(zhuǎn)發(fā)功能， 通過(guò)高速接口連接各個(gè)功能Leaf節(jié)點(diǎn)。Leaf葉子節(jié)點(diǎn)，VXLANFabric網(wǎng)絡(luò)功能接入節(jié)點(diǎn)，提供各種網(wǎng)絡(luò)設(shè)備 接入VXLAN網(wǎng)絡(luò)功能。Service LeafLeaf功能節(jié)點(diǎn),提供Firewall和LoadBalance等L4L7增值服務(wù)接 入VXLAN Fabric網(wǎng)絡(luò)的功能。Server LeafLeaf功能節(jié)點(diǎn)，提供虛擬化服務(wù)器、非虛擬化服務(wù)器等計(jì)算資源接 入VXLAN Fabric網(wǎng)絡(luò)的功能。Border Lea

31、fLeaf功能節(jié)點(diǎn)，提供數(shù)據(jù)中心外部流量接入數(shù)據(jù)中心VXLAN Fabric網(wǎng)絡(luò)的功能，用于連接外部路由器或者傳輸設(shè)備。DCI Leaf (FabricLeaf功能節(jié)點(diǎn)，提供跨Fabric三段式轉(zhuǎn)發(fā)時(shí)，VXLAN Mapping的 網(wǎng)絡(luò)功能，具體使用情況見(jiàn)MultiFabric設(shè)計(jì)指南。物理組網(wǎng)角色含義和功能說(shuō)明Gateway)華為CloudFabric解決方案，要求一個(gè)典型的數(shù)據(jù)中心組網(wǎng)中Fabric網(wǎng)絡(luò)結(jié)構(gòu)具有以下 幾個(gè)特點(diǎn)：包含了一個(gè)或多個(gè)Spine-Leaf結(jié)構(gòu)；具有高帶寬、大容量能力；接入節(jié)點(diǎn)間無(wú)差異性；采用扁平結(jié)構(gòu)，由于當(dāng)前數(shù)據(jù)中心內(nèi)部東西流量較大，因此采用扁平化設(shè)計(jì)可使 流量路徑

32、盡可能短，轉(zhuǎn)發(fā)效率高；靈活組網(wǎng)、彈性擴(kuò)縮：當(dāng)服務(wù)器數(shù)量增加時(shí)，可相應(yīng)增加Leaf數(shù)量；當(dāng)Spine轉(zhuǎn) 發(fā)帶寬不足時(shí)，可相應(yīng)增加Spine節(jié)點(diǎn)個(gè)數(shù)，擴(kuò)容靈活。對(duì)于Spine-Leaf架構(gòu)的組網(wǎng)，推薦以下組網(wǎng)形態(tài)：推薦采用由CE大容量物理交換機(jī)組網(wǎng)；推薦米用L3網(wǎng)絡(luò)、部署IGP路由協(xié)議：Leaf和Spine之間米用三層互聯(lián)；推薦采用ECMP實(shí)現(xiàn)等價(jià)多路徑負(fù)載均衡和鏈路備份：從Leaf通過(guò)多條等價(jià)路徑 轉(zhuǎn)發(fā)數(shù)據(jù)流量到Spine,在保證可靠性的同時(shí)也能提升網(wǎng)絡(luò)的帶寬。Fabric提供的服務(wù)原則上要求網(wǎng)絡(luò)接入節(jié)點(diǎn)間可提供無(wú)差異互訪能力。物理網(wǎng)絡(luò)設(shè)計(jì)基本原則一個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部推薦采用由CE系列交換機(jī)組成

33、的Spine-Leaf結(jié)構(gòu)，并根據(jù)網(wǎng)絡(luò) 規(guī)模來(lái)靈活配置Spine和Leaf的節(jié)點(diǎn)數(shù)量。圖2-2 Fabric中ECMP示意圖 L3 interfaceSpine設(shè)計(jì)在Spine-Leaf網(wǎng)絡(luò)架構(gòu)中，Spine的數(shù)量由Leaf到Spine的收斂比（Leaf的下行總 帶寬和Leaf的上行總帶寬的比值，不同的行業(yè)及不同的客戶有各自的要求）來(lái)決 定。Spine節(jié)點(diǎn)與Leaf節(jié)點(diǎn)之間使用以太網(wǎng)口互聯(lián)，并且配置成三層路由接口模式， 從而構(gòu)建全I(xiàn)P Fabric網(wǎng)絡(luò)。Leaf設(shè)計(jì)Leaf可使用多種靈活組網(wǎng)方式，如M-LAG （推薦）和堆疊。每一個(gè)Leaf節(jié)點(diǎn)與所有Spine節(jié)點(diǎn)相連，構(gòu)建全連接拓?fù)湫螒B(tài)。Le

34、af節(jié)點(diǎn)的TOR設(shè)備數(shù)量較多，建議通過(guò)ZTP的方式來(lái)部署TOR設(shè)備，降 低部署復(fù)雜度。匚口說(shuō)明ZTP - Zero Touch Provisioning是指新出廠或空配置設(shè)備上電啟動(dòng)時(shí)采用的一種自動(dòng)加載版本文 件，包括系統(tǒng)軟件、配置文件、補(bǔ)丁文件的功能。轉(zhuǎn)發(fā)設(shè)計(jì)Underlay路由建議選擇OSPF動(dòng)態(tài)路由協(xié)議，Spine-Leaf間可以形成IPECMP 等價(jià)路徑。Leaf設(shè)備到Spine設(shè)備的流量形成ECMP負(fù)載分擔(dān)，無(wú)阻塞轉(zhuǎn)發(fā)，故障快速 收斂。ECMP鏈路須選擇基于L4 Port的負(fù)載分擔(dān)算法，由于VXLAN使用的是UDP 封裝，因此VXLAN報(bào)文的目的端口號(hào)是4789不變，而VXLAN報(bào)文

35、頭部的 源端口號(hào)可變，基于此來(lái)進(jìn)行負(fù)載分擔(dān)。2.2路由協(xié)議設(shè)計(jì)Underlay層面的路由協(xié)議，建議選用OSPF （推薦）或EBGP。Underlay路由選用OSPF當(dāng)TOR規(guī)模小于100臺(tái)時(shí)，推薦Underlay路由選用OSPF,此時(shí)路由規(guī)劃如下：?jiǎn)蜦abric內(nèi)部，Spine和Leaf節(jié)點(diǎn)的物理交換機(jī)上全部部署OSPF,并都在AreaO 中，使用三層路由口地址建立OSPF鄰居，打通Underlay路由，network類型建議 為P2P,如圖2-3所示。多Fabric之間互聯(lián)設(shè)備部署在OSPF AreaO,打通Underlay路由，如圖2-4所示。 單Fabric內(nèi)部OSPF路由規(guī)劃推薦圖2-

36、3單Fabric部署OSPF路由規(guī)劃推薦圖2-3單Fabric部署OSPF路由規(guī)劃推薦P2PP2PP2PP2PP2POSPF1 Area 0C)疊）c)Sc)Spine2Leafl Leaf2Leaf3 Leaf4Leaf5Leaf6圖2-4多Fabric部署OSPF路由規(guī)劃推薦當(dāng)Underlay的路由選用OSPF時(shí)的優(yōu)缺點(diǎn)對(duì)比參見(jiàn)下表。表2-2 Umierby路由為OSPF時(shí)的優(yōu)缺點(diǎn)對(duì)比說(shuō)明項(xiàng)目說(shuō)明優(yōu)點(diǎn)OSPF路由協(xié)議部署簡(jiǎn)單OSPF路由收斂速度快Underlay中的OSPF路由協(xié)議報(bào)文與Overlay中的BGP協(xié)議報(bào)文不同隊(duì) 列，VRF和路由表項(xiàng)都相互隔離，從而實(shí)現(xiàn)underlay和ove

37、rlay路由協(xié)議 故障上互相隔離項(xiàng)目說(shuō)明缺點(diǎn) OSPF路由域規(guī)模受限故障域較大Underlay路由選用EBGP當(dāng)TOR規(guī)模大于200臺(tái)時(shí)，推薦Underlay路由選用EBGP,該場(chǎng)景路由規(guī)劃如下：?jiǎn)蜦abric內(nèi)部，Spine節(jié)點(diǎn)劃分一個(gè)AS,每個(gè)Leaf節(jié)點(diǎn)分別劃分一個(gè)AS, Leaf 節(jié)點(diǎn)和所有Spine節(jié)點(diǎn)之間部署EBGP鄰居（IPv4地址族），如圖2-5所示。多Fabric之間通過(guò)互聯(lián)設(shè)備部署EBGP鄰居，打通Underlay路由，如圖2-6所zj O圖2-5單Fabric內(nèi)部EBGP路由規(guī)劃推薦AS 63500Spine2AS 65501(&)Leafl Leaf2Leaf3 Lea

38、f4Leaf5 Leaf6圖2-6多Fabric之間EBGP路由規(guī)劃推薦圖2-6多Fabric之間EBGP路由規(guī)劃推薦POD2SpineSpineLEAF倉(cāng)）（） AS 65501、AS 65522 ；1 AS 655021_5_521Super SpinePOD1LEAFAS 61500當(dāng)Underlay的路由選用EBGP時(shí)的優(yōu)缺點(diǎn)對(duì)比參見(jiàn)下表。表2-3 UiKterlay路由為EBGP時(shí)的優(yōu)缺點(diǎn)對(duì)比說(shuō)明項(xiàng)目說(shuō)明優(yōu)點(diǎn)每個(gè)分區(qū)路由域獨(dú)立，故障域可控路由控制靈活，可靈活擴(kuò)展規(guī)模適合大規(guī)模組網(wǎng)缺點(diǎn)配置復(fù)雜Underlay路由協(xié)議選擇對(duì)比不同的Underlay路由協(xié)議之間的對(duì)比參見(jiàn)下表。表2-4不同

39、的Underlay路由協(xié)議之間的對(duì)比說(shuō)明項(xiàng) 目?jī)?yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景OSPFOSPF路由協(xié)議部署簡(jiǎn)單OSPF路由收斂快速Underlay中的OSPF路由協(xié)議報(bào)文與 Overlay中的BGP協(xié)議報(bào)文不同隊(duì) OSPF路由域規(guī)模受限故障域較大中小型網(wǎng)絡(luò)單Area,大型網(wǎng)絡(luò) 三層架構(gòu)多Area；建議鄰居數(shù)200項(xiàng) 目?jī)?yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景列，VRF和路由表項(xiàng)都相互隔離， 實(shí)現(xiàn)故障的隔離建議多POD規(guī)劃，避免單 POD鄰居數(shù)100,避免路由域 過(guò)大影響網(wǎng)絡(luò)性能EBGP每個(gè)分區(qū)路由域獨(dú)立，故障域可控路由控制靈活，可靈活擴(kuò)展規(guī)模適合大規(guī)模組網(wǎng)配置復(fù)雜中大型網(wǎng)絡(luò)建議鄰居數(shù)500建議多POD規(guī)劃，避免單POD鄰居數(shù)100,

40、避免路由域 過(guò)大影響網(wǎng)絡(luò)性能2.3擴(kuò)展性設(shè)計(jì)數(shù)據(jù)中心內(nèi)Fabric網(wǎng)絡(luò)的擴(kuò)展模型主要有兩種類型：小POD模式和大POD模式。小POD模式擴(kuò)展在原先Fabric基礎(chǔ)上進(jìn)行擴(kuò)展，小POD模式是指擴(kuò)展成的新Fabric實(shí)際上是將原 Fabric復(fù)制成多份后組成，它們之間使用高速的傳統(tǒng)網(wǎng)絡(luò)互連起來(lái)，如下圖所示。圖2-7小POD模式擴(kuò)展示意圖Fabric 1小POD模式擴(kuò)展的特點(diǎn)是：按需擴(kuò)容，模塊化擴(kuò)展適用于大規(guī)模數(shù)據(jù)中心POD接入規(guī)模超過(guò)2000臺(tái)服務(wù)器時(shí)推薦此方式典型場(chǎng)景：金融行業(yè)數(shù)據(jù)中心大POD模式擴(kuò)展當(dāng)原網(wǎng)絡(luò)中業(yè)務(wù)需要擴(kuò)容時(shí)，增加Fabric網(wǎng)絡(luò)中Leaf的數(shù)量來(lái)達(dá)到擴(kuò)容目的。在增加 Serve

41、r Leaf的同時(shí)也可以增加Border Leaf,如下圖所示。圖2-8大POD模式擴(kuò)展示意圖Fabric 1Fabric 1大POD模式擴(kuò)展的特點(diǎn)是：按需擴(kuò)容，擴(kuò)展Leaf節(jié)點(diǎn)適用于中小規(guī)模數(shù)據(jù)中心POD接入規(guī)模不超過(guò)2000臺(tái)服務(wù)器推薦典型場(chǎng)景：企業(yè)數(shù)據(jù)中心2.4可靠性設(shè)計(jì)2.4.1可靠性設(shè)計(jì)一般原則以三層架構(gòu)組網(wǎng)為例，通過(guò)設(shè)備冗余備份來(lái)提升網(wǎng)絡(luò)的可靠性。服務(wù)器鏈路故障：服務(wù)器雙歸接入，網(wǎng)卡負(fù)載分擔(dān)/主備，當(dāng)服務(wù)器一條鏈路故障 時(shí)，業(yè)務(wù)倒換到冗余/備份鏈路。Server Leaf/Border Leaf 設(shè)備故障：Server Leaf/Border Leaf 配置 M-LAG 工作組，

42、當(dāng)一臺(tái) Server Leaf/Border Leaf 故障時(shí),業(yè)務(wù)倒換到另外一臺(tái) Server Leaf/Border Leaf上繼續(xù)轉(zhuǎn)發(fā)。Leaf上行鏈路故障：Leaf和Spine間通過(guò)多條鏈路實(shí)現(xiàn)ECMP,當(dāng)一條上行鏈路 故障后，業(yè)務(wù)哈希到其他鏈路繼續(xù)轉(zhuǎn)發(fā)。Spine設(shè)備故障：一臺(tái)Spine故障后，流量從另外一臺(tái)Spine設(shè)備轉(zhuǎn)發(fā)。FW故障：FW配置主備鏡像，配置和會(huì)話表實(shí)時(shí)同步，當(dāng)主FW故障后，流量切 換到備份FW設(shè)備。Peer-link故障：當(dāng)M-LAG組中互聯(lián)的Peer-link故障時(shí),通過(guò)雙主檢測(cè)，觸發(fā)狀 態(tài)為備的設(shè)備上除管理網(wǎng)口、Peer-link接口以外的接口處于Error-

43、Down狀態(tài)，避 免網(wǎng)絡(luò)出現(xiàn)雙主，提高可靠性。PE與Border Leaf之間鏈路故障：當(dāng)某一臺(tái)Border Leaf設(shè)備與外部網(wǎng)絡(luò)連接故障 時(shí)，通過(guò)路由收斂后，自動(dòng)啟用到外部網(wǎng)絡(luò)的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面 不感知故障。當(dāng)使用框式設(shè)備組網(wǎng)時(shí)，框式設(shè)備的上下行鏈路以及堆疊、Peer-link鏈路建議跨 板連接，實(shí)現(xiàn)單板級(jí)可靠性。Border Leaf節(jié)點(diǎn)可靠性兩個(gè)Border Leaf組成雙活網(wǎng)關(guān)（部分部署組播的場(chǎng)景需要開(kāi)啟M-Lag特性）。這兩臺(tái) Border Leaf需配置唯一的虛擬VTEP IP和Server Leaf建立VxLAN隧道。Border Leaf和PE之間交叉或口字型

44、組網(wǎng)。Border Leaf和PE通過(guò)E-trunk對(duì)接。FW可旁掛或直掛組網(wǎng)，一般是旁掛。兩臺(tái)FW主備備份。單臺(tái)FW通過(guò)trunk接口雙 歸到兩個(gè) Border Leaf。Border Leaf 通過(guò) E-trunk 口和 FW 連接。Border Leaf與外部PE 口字型組網(wǎng)可靠性正常情況下，兩臺(tái)Border Leaf設(shè)備分別將指向外部網(wǎng)絡(luò)的靜態(tài)或動(dòng)態(tài)私網(wǎng)路 由引入三層逃生鏈路并發(fā)布，以便Border Leaf建立到外部網(wǎng)絡(luò)的備份路徑。當(dāng)某一臺(tái)Border Leaf設(shè)備與外部網(wǎng)絡(luò)連接故障時(shí)，通過(guò)路由收斂后，自動(dòng)啟 用到外部網(wǎng)絡(luò)的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面不感知故障，支持鏈路失 效告

45、警。網(wǎng)絡(luò)側(cè)內(nèi)部鏈路故障時(shí)，路由收斂依賴于IGP動(dòng)態(tài)路由的能力，SDN控制平 面不感知故障，支持鏈路失效告警。當(dāng)某一臺(tái)Border Leaf設(shè)備故障時(shí)，網(wǎng)絡(luò)通過(guò)路由收斂完成轉(zhuǎn)發(fā)路徑切換， SDN控制平面不感知故障，支持設(shè)備失效告警。Border Leaf與外部PE交叉型組網(wǎng)可靠性正常情況下，兩臺(tái)Border leaf使用4個(gè)L3接口與PE對(duì)接，物理組網(wǎng)交叉連 線，分別建立私網(wǎng)eBGP會(huì)話或者靜態(tài)路由傳遞路由信息。兩臺(tái)Border leaf在交叉組網(wǎng)下可以不需要部署L3逃生路徑。只有當(dāng)Border Leaf與PE間的物理鏈路都故障時(shí)才會(huì)走到逃生路徑。當(dāng)某一臺(tái)Border Leaf設(shè)備與外部網(wǎng)絡(luò)連接

46、故障時(shí)，通過(guò)路由收斂后，自動(dòng)啟 用到外部網(wǎng)絡(luò)的備份路徑繼續(xù)轉(zhuǎn)發(fā)，SDN控制平面不感知故障，支持鏈路失 效告警。網(wǎng)絡(luò)側(cè)內(nèi)部鏈路故障時(shí)，路由收斂依賴于IGP動(dòng)態(tài)路由的能力，SDN控制平 面不感知故障，支持鏈路失效告警。當(dāng)某一臺(tái)Border Leaf設(shè)備故障時(shí)，網(wǎng)絡(luò)通過(guò)路由收斂完成轉(zhuǎn)發(fā)路徑切換， SDN控制平面不感知故障，支持設(shè)備失效告警。243 Spine節(jié)點(diǎn)可靠性數(shù)據(jù)中心網(wǎng)絡(luò)Spine-Leaf架構(gòu)下，單純的Spine設(shè)備角色本身彼此無(wú)需物理連線連接， 各設(shè)備獨(dú)立運(yùn)行在Underlay路由網(wǎng)絡(luò)。Spine上連Border Leaf設(shè)備，下連ServerLeaf 設(shè)備，均使用三層路由口互聯(lián)。某臺(tái)S

47、pine設(shè)備的鏈路或者整機(jī)故障時(shí)，上下層設(shè)備通過(guò)動(dòng)態(tài)路由協(xié)議，例如OSPF或者EBGP,收斂Underlay路由，將流量引導(dǎo)到正常的 Spine鏈路或者設(shè)備承載。由于Spine間可靠性耦合較小，因此Spine設(shè)備自身的可靠性是主要的考慮因素，在 CloudFabric基線中，建議使用框式設(shè)念作為Spine節(jié)點(diǎn)：CE12800系列、CE12800S系列或者12800E系列（海外不體現(xiàn)）框式交換機(jī)CE16800系列框式交換機(jī)CE16800系列框式交換機(jī)CE16800系列框式設(shè)備采用多種冗余技術(shù)提高設(shè)備的可靠性，如圖2-9所示，包括主 控單元的冗余備份，監(jiān)控單元冗余備份，交換單元的冗余備份，電源模塊

48、的冗余備 份，風(fēng)扇冗余備份等。并且當(dāng)上述冗余的模塊發(fā)生故障時(shí)，可以通過(guò)熱插拔方式替 換，保證整機(jī)持續(xù)處于高可靠狀態(tài)。另外，接口板也可以通過(guò)配置多塊單板，多鏈路跨板接入方式保證鏈路側(cè)可靠性，接 口板同樣支持熱插拔替換。圖2-9 CE16800系列框式交換機(jī)可靠性示意圖電源N+M熱備份監(jiān)控1+1熱備份系統(tǒng)級(jí) 熱備份PEM輸入N+N備份交換網(wǎng)N+M熱備份 風(fēng)扇框/風(fēng)扇熱備份主控1十1熱備份CE12800系列框式交換機(jī)CE12800系列框式設(shè)備采用多種冗余技術(shù)提高設(shè)備的可靠性，如圖2-10所示，包括主 控單元的冗余備份，監(jiān)控單元冗余備份，交換單元的冗余備份，電源模塊的冗余備 份，風(fēng)扇冗余備份等。并且當(dāng)

49、上述冗余的模塊發(fā)生故障時(shí)，可以通過(guò)熱插拔方式替 換，保證整機(jī)持續(xù)處于高可靠狀態(tài)。另外，接口板也可以通過(guò)配置多塊單板，多鏈路跨板接入方式保證鏈路側(cè)可靠性，接 口板同樣支持熱插拔替換。圖2-11服務(wù)器接入VXLAN的兩種方案圖2-10 CE12800系列框式交換機(jī)可靠性示意圖監(jiān)控W熱備份一*主控1十1熱備份-電源N十M熱備份熱備份交換網(wǎng)N+M熱備份風(fēng)扇框內(nèi)雙風(fēng)扇 W熱備份-1+1風(fēng)扇框級(jí)熱備份系統(tǒng)內(nèi)熱備份電源era e31主用備用1雌雌Sx 網(wǎng)板外設(shè).3s im ri阿i両i網(wǎng)板n雙CAN監(jiān)控總線雙GE管理總線多LINK高速數(shù)據(jù)總線CE12800系列的可靠性還包括設(shè)備本身對(duì)故障的檢測(cè)、分析和預(yù)警處

50、理能力。這些技 術(shù)包括設(shè)備CPU防攻擊能力、完善故障監(jiān)控和全面的告警功能。CE12800系列交換機(jī) 采用控制平面和管理平面分離的同時(shí)，還增加監(jiān)控平面。這三個(gè)平面完全獨(dú)立，保證 整個(gè)系統(tǒng)的可靠性以及業(yè)務(wù)連續(xù)性。匚口說(shuō)明監(jiān)控單元是一個(gè)完全獨(dú)立的帶外管理單元，遵循數(shù)據(jù)中心DCMI1.0管理規(guī)范和IPMI2.0管理規(guī) 范。監(jiān)控單元可以實(shí)現(xiàn)遠(yuǎn)程單板的上電、固件升級(jí)、資產(chǎn)管理、故障診斷和溫度、電壓、功率的 監(jiān)控等功能，從而實(shí)現(xiàn)設(shè)備的遠(yuǎn)程管理和遠(yuǎn)程維護(hù)。2.4.4 Leaf節(jié)點(diǎn)可靠性服務(wù)器接入方式簡(jiǎn)介服務(wù)器接入Server Leaf的方式推薦為M-LAG,如圖2-11所示。（推薦）服務(wù)器Eth-Tnmk接入

51、Leaf M-LAG I作組，如下圖中“1”所示。服務(wù)器主備接入Leaf單機(jī)，如下圖中“2”所示。上述幾種部署方式的比較參見(jiàn)下表。表2-5兩種服務(wù)器接入方式的對(duì)比部署方式特點(diǎn)管理復(fù) 雜度可靠性接入成本（推薦）服務(wù) 器 Eth-Trunk 接入LeafM- LAG工作組兩臺(tái)Leaf設(shè)備通過(guò)peer-link互聯(lián)并建立DFS Group,對(duì)外表現(xiàn)為一臺(tái)邏輯設(shè)備，但又各自有獨(dú) 立的控制面，服務(wù)器以負(fù)載分擔(dān)方式接入兩臺(tái) Leaf設(shè)備升級(jí)維護(hù)簡(jiǎn)單，運(yùn)行可靠性高。下行口 配置M-LAG特性雙歸接入服務(wù)器，服務(wù)器雙網(wǎng)卡 運(yùn)行在主備/負(fù)載分擔(dān)模式。因設(shè)備有獨(dú)立控制 面，故部署配置相對(duì)復(fù)雜。高高中服務(wù)器主備接

52、入Leaf單機(jī)Leaf獨(dú)立部署，服務(wù)器雙網(wǎng)卡綁定以主備模式接 入兩臺(tái)Leaf設(shè)備，同一時(shí)間只有一個(gè)網(wǎng)卡收發(fā)報(bào) 文，帶寬利用率低。主備網(wǎng)卡切換時(shí)接收流量的 VTEP IP變化，依賴于發(fā)生切換的服務(wù)器發(fā)送免 費(fèi)ARP報(bào)文重新引流。中高中綜上所述，推薦M-LAG來(lái)組建Leaf工作組。當(dāng)兩臺(tái)設(shè)備之間配置了 DFS Group和Peerl-link后，兩臺(tái)設(shè)備通過(guò)Peer-link鏈路進(jìn)行 DFS Group配對(duì)，并協(xié)商設(shè)備的主、備狀態(tài)和M-LAG成員口的主備。正常工作后，兩 臺(tái)設(shè)備之間會(huì)通過(guò)Peer-link鏈路發(fā)送M-LAG同步報(bào)文實(shí)時(shí)同步對(duì)端的信息，M-LAG 同步報(bào)文中包括MAC表項(xiàng)、ARP表項(xiàng)

53、以及STP、VRRP協(xié)議報(bào)文信息等，并發(fā)送M- LAG成員端口的狀態(tài)，這樣任意一臺(tái)設(shè)備故障都不會(huì)影響流量的轉(zhuǎn)發(fā)，保證正常的業(yè) 務(wù)不會(huì)中斷。M-LAG上行鏈路故障時(shí)的可靠性保證如下圖所示，M-LAG I作組的雙主檢測(cè)鏈路通過(guò)連接到Spine的業(yè)務(wù)網(wǎng)絡(luò)互通。配置 Monitor-Link,將一臺(tái)設(shè)備的所有上行鏈路加入U(xiǎn)plink,對(duì)應(yīng)服務(wù)器的下行鏈路加入 Downlinko當(dāng)這臺(tái)設(shè)備的所有上行鏈路故障時(shí)，聯(lián)動(dòng)下行鏈路down,觸發(fā)服務(wù)器側(cè)流 量只通過(guò)另一條上行鏈路轉(zhuǎn)發(fā)。此時(shí)場(chǎng)景變?yōu)閱螝w接入。M-LAG下行鏈路故障時(shí)的可靠性保證如下圖所示，當(dāng)下行M-LAG成員口故障時(shí)，DFS Group主備狀態(tài)不會(huì)

54、變化，但如果故 障M-LAG成員口狀態(tài)為主，則備M-LAG成員口狀態(tài)由備升主，流量切換到該鏈路上 進(jìn)行轉(zhuǎn)發(fā)。發(fā)生故障的M-LAG成員口所在的鏈路狀態(tài)變?yōu)镈own,雙歸場(chǎng)景變?yōu)閱螝w 場(chǎng)景。故障M-LAG成員口的MAC地址指向peer-link接口。在故障M-LAG成員口恢 復(fù)后，M-LAG成員口狀態(tài)不再回切，由備升主的M-LAG成員口狀態(tài)仍為主，原主M- LAG成員口在故障恢復(fù)后狀態(tài)為備?？梢詧?zhí)行display dfs-group dfs-group-id node node-idm-lag命令來(lái)查看成員接口當(dāng)前狀態(tài)。圖2-13下行鏈路故障時(shí)可靠性示意圖圖2-14 M-LAG主設(shè)備故障時(shí)可靠性示

55、意圖圖2-14 M-LAG主設(shè)備故障時(shí)可靠性示意圖NetworkNetworkDAD linkBackupDAD linkPeer-linkPeer-link:kup下行鏈路故障對(duì)于組播源在網(wǎng)絡(luò)側(cè)，組播成員在接入側(cè)的組播流量，當(dāng)M-LAG主設(shè)備的M-LAG成 員口故障時(shí)，通過(guò)M-LAG同步報(bào)文通知對(duì)端設(shè)備進(jìn)行組播表項(xiàng)刷新，M-LAG主備設(shè) 備不再按照組播地址奇偶進(jìn)行負(fù)載分擔(dān)，而是所有組播流量都由端口狀態(tài)Up的M- LAG備設(shè)備進(jìn)行轉(zhuǎn)發(fā)，反之亦然。M-LAG主設(shè)備故障時(shí)的可靠性保證如下圖所示，當(dāng)M-LAG主設(shè)備故障，則M-LAG備設(shè)備將升級(jí)為主，其設(shè)備側(cè)Eth- Trunk鏈路狀態(tài)仍為Up,流量

56、轉(zhuǎn)發(fā)狀態(tài)不變，繼續(xù)轉(zhuǎn)發(fā)流量。M-LAG主設(shè)備側(cè)Eth- Trunk鏈路狀態(tài)變?yōu)镈own,雙歸場(chǎng)景變?yōu)閱螝w場(chǎng)景。如果是M-LAG備設(shè)備發(fā)生故障，M-LAG的主備狀態(tài)不會(huì)發(fā)生變化，M-LAG備設(shè)備 側(cè)Eth-Trunk鏈路狀態(tài)變?yōu)镈own。M-LAG主設(shè)備側(cè)Eth-Trunk鏈路狀態(tài)仍為Up,流 量轉(zhuǎn)發(fā)狀態(tài)不變，繼續(xù)轉(zhuǎn)發(fā)流量，雙歸場(chǎng)景變?yōu)閱螝w場(chǎng)景。M-LAG主設(shè)備 故障DAD link BackupNetworlDAD linkasterPeer4inkifi*BAckupM-LAG的Peer-Link鏈路故障時(shí)的可靠性保證如下圖所示，當(dāng)M-LAG應(yīng)用于普通以太網(wǎng)絡(luò)、VXLAN網(wǎng)絡(luò)或IP網(wǎng)絡(luò)的雙歸

57、接入 時(shí)，peer-link故障但雙主檢測(cè)心跳狀態(tài)正常會(huì)觸發(fā)備設(shè)備上除管理網(wǎng)口、peer-link接口 和堆疊口以外的接口處于Error-Down狀態(tài)。一旦peer-link故障恢復(fù)，處于ERROR DOWN狀態(tài)的M-LAG接口默認(rèn)將在2分鐘后自動(dòng)恢復(fù)為Up狀態(tài)，處于ERROR DOWN狀態(tài)的其它接口將立即自動(dòng)恢復(fù)為Up狀態(tài)。圖2-15 M-LAG的Peer-Link鏈路故障時(shí)可靠性示意圖圖2-15 M-LAG的Peer-Link鏈路故障時(shí)可靠性示意圖Peer-UnkJJf 障BickupPeer-link /ckupDAD linkMasti fX y Peer-link1x故障鏈路Erro

58、r-Down 接口但在實(shí)際組網(wǎng)應(yīng)用中，當(dāng)某些上行端口運(yùn)行路由協(xié)議或者是雙主檢測(cè)心跳口時(shí)是不希 望被Error-Down的。此時(shí)，可以根據(jù)實(shí)際情況選擇配置下列功能。在peer-link故障但 雙主檢測(cè)正常時(shí)，配置下列功能，設(shè)備接口 Error-Down情況參見(jiàn)下表。表2-6設(shè)備在peer-link故障但雙主檢測(cè)正常時(shí)接口 Error-Down情況設(shè)備配置情況M-LAG接入普通以太網(wǎng)絡(luò)、VXLAN網(wǎng)絡(luò)或IP網(wǎng)絡(luò)設(shè)備缺省情況除管理網(wǎng)口、peer-link接口和堆疊口以外的接口處于 ERROR DOWN 狀態(tài)。設(shè)備僅配置suspend功能僅M-LAG成員口以及配置該功能的接口處于ERROR DOWN狀

59、態(tài)。設(shè)備僅配置reserved功能除配置該功能的接口、管理網(wǎng)口、peer-link接口和堆疊 口以外的接口處于ERROR DOWN狀態(tài)。設(shè)備同時(shí)配置suspend功 能和reserved功能僅M-LAG成員口以及配置suspend功能的接口處于 ERROR DOWN 狀態(tài)。部署注意事項(xiàng) 關(guān)于VTEP IP的規(guī)劃計(jì)算節(jié)點(diǎn)通常雙歸接入到M-LAG工作組中的兩臺(tái)不同的TOR設(shè)備，且這兩臺(tái) TOR需配置相同的、全網(wǎng)唯一的VTEPIP地址和相同的NVE1的MAC地址。使 用M-LAG技術(shù)可以在兩臺(tái)物理TOR上配置相同的VTEPIP,但兩臺(tái)設(shè)備依然彼 此獨(dú)立，可獨(dú)立升級(jí)部署，進(jìn)一步提高接入可靠性。 關(guān)于P

60、eer-Link鏈路帶寬的選擇如下圖所示：網(wǎng)絡(luò)正常時(shí)，流量不經(jīng)過(guò)Peer-link鏈路橫穿，無(wú)論上行流量經(jīng)過(guò)哪個(gè)DFS成 員設(shè)備，下行流量Hash到其他成員時(shí)，其他成員具備本地優(yōu)先轉(zhuǎn)發(fā)能力。當(dāng)DFS1的全部上行鏈路中斷時(shí)，服務(wù)器發(fā)出的流量要通過(guò)Peer-link鏈路橫 穿到其他DFS成員設(shè)備進(jìn)行轉(zhuǎn)發(fā)，如下圖中綠色虛線所示。因此Peer-link鏈 路帶寬應(yīng)不小于DFS單設(shè)備上行帶寬。當(dāng)DFS1的全部下行鏈路中斷時(shí)，網(wǎng)絡(luò)側(cè)下行的流量要通過(guò)Peer-link鏈路橫 穿到其他DFS成員設(shè)備進(jìn)行轉(zhuǎn)發(fā)，如下圖中紅色虛線所示。因此Peer-link鏈 路帶寬應(yīng)不小于DFS單設(shè)備上行帶寬。圖2-16成員設(shè)備