數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案

數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案文檔可自由編輯1/2文檔可自由編輯文檔可自由編輯數(shù)據(jù)中心高可用網(wǎng)絡(luò)系統(tǒng)設(shè)計數(shù)據(jù)中心作為承載企業(yè)業(yè)務(wù)的重要IT基礎(chǔ)設(shè)施，承擔(dān)著穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。伴隨著數(shù)據(jù)的集中，企業(yè)數(shù)據(jù)中心的建設(shè)及運(yùn)維給信息部門帶來了巨大的壓力，“數(shù)據(jù)集中就意味著風(fēng)險集中、響應(yīng)集中、復(fù)雜度集中……”，數(shù)據(jù)中心出現(xiàn)故障的情況幾乎不可避免。因此，數(shù)據(jù)中心解決方案需要著重關(guān)注如何盡量減小數(shù)據(jù)中心出現(xiàn)故障后對企業(yè)關(guān)鍵業(yè)務(wù)造成的影響。為了實現(xiàn)這一目標(biāo)，首先應(yīng)該要了解企業(yè)數(shù)據(jù)中心出現(xiàn)故障的類型以及該類型故障產(chǎn)生的影響。影響數(shù)據(jù)中心的故障主要分為如下幾類：硬件故障軟件故障鏈路故障電源/環(huán)境故障資源利用問題網(wǎng)絡(luò)設(shè)計問題本文針對網(wǎng)絡(luò)的高可用設(shè)計做詳細(xì)的闡述。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第1頁。高可用數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計思路數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第1頁。數(shù)據(jù)中心的故障類型眾多，但故障所導(dǎo)致的結(jié)果卻大同小異。即數(shù)據(jù)中心中的設(shè)備、鏈路或server發(fā)生故障，無法對外提供正常服務(wù)。緩解這些問題最簡單的方式就是冗余設(shè)計，可以通過對設(shè)備、鏈路、Server提供備份，從而將故障對用戶業(yè)務(wù)的影響降低到最小。但是，一味的增加冗余設(shè)計是否就可以達(dá)到緩解故障影響的目的？有人可能會將網(wǎng)絡(luò)可用性與冗余性等同起來。事實上，冗余性只是整個可用性架構(gòu)中的一個方面。一味的強(qiáng)調(diào)冗余性有可能會降低可用性，減小冗余所帶來的優(yōu)點(diǎn)，因為冗余性在帶來好處的同時也會帶來一些如下缺點(diǎn)：網(wǎng)絡(luò)復(fù)雜度增加網(wǎng)絡(luò)支撐負(fù)擔(dān)加重配置和管理難度增加數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第2頁。因此，數(shù)據(jù)中心的高可用設(shè)計是一個綜合的概念。在選用高可靠設(shè)備組件、提高網(wǎng)絡(luò)的冗余性的同時，還需要加強(qiáng)網(wǎng)絡(luò)構(gòu)架及協(xié)議部署的優(yōu)化，從而實現(xiàn)真正的高可用。設(shè)計一個高可用的數(shù)據(jù)中心網(wǎng)絡(luò)，可參考類似OSI七層模型，在各個層面保證高可用，最終實現(xiàn)數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)的高可用，如圖1數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第2頁。圖1數(shù)據(jù)中心高可用系統(tǒng)設(shè)計層次模型數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)高可用設(shè)計企業(yè)在進(jìn)行數(shù)據(jù)中心架構(gòu)規(guī)劃設(shè)計時，一般需要按照模塊化、層次化原則進(jìn)行，避免在后續(xù)規(guī)模越來越大的情況再進(jìn)行大規(guī)模的整改，造成時間與投資浪費(fèi)。模塊化設(shè)計模塊化設(shè)計是指在對一定范圍內(nèi)的不同功能或相同功能不同性能、不同規(guī)格的應(yīng)用進(jìn)行功能分析的基礎(chǔ)上，劃分并設(shè)計出一系列功能模塊，模塊之間松耦合，力求在滿足業(yè)務(wù)應(yīng)用要求的基礎(chǔ)上使網(wǎng)絡(luò)穩(wěn)定可靠、易于擴(kuò)展、結(jié)構(gòu)簡單、易于維護(hù)。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第3頁。不同企業(yè)的應(yīng)用系統(tǒng)可能有一定的差異。在網(wǎng)絡(luò)層面，根據(jù)應(yīng)用系統(tǒng)的重要性、流量特征和用戶特征的不同，可大致分為以下幾個區(qū)域，如圖2數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第3頁。圖2企業(yè)數(shù)據(jù)中心典型模塊劃分需注意幾下幾點(diǎn)：1)企業(yè)園區(qū)網(wǎng)核心與數(shù)據(jù)中心核心分離，各司其職園區(qū)網(wǎng)核心主要承接縱向流量和用戶的接入控制（DHCP、認(rèn)證等）；數(shù)據(jù)中心核心主要承接服務(wù)器間的流量(橫向流量居多)。數(shù)據(jù)中心核心交換機(jī)上盡可能少的部署策略和配置，保證其互連互通的高可靠、高性能，同時在擴(kuò)展新的模塊時力求達(dá)到核心設(shè)備配置的零更改，各模塊之間互通的松耦合，避免某功能模塊的故障影響其它功能模塊，實現(xiàn)風(fēng)險分散、靈活擴(kuò)展；數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第4頁。2)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第4頁。與傳統(tǒng)的防火墻集中在核心旁掛的方式不一樣，在模塊化數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中，安全設(shè)備應(yīng)下移到各功能模塊的出口（匯聚層）位置，如圖2的紅色網(wǎng)格線所示。而不是旁掛部署在核心交換區(qū)，這樣做的目的也是分散風(fēng)險，實現(xiàn)各模塊間的松耦合。數(shù)據(jù)中心核心交換區(qū)就像是連接各城市的高速公路，建設(shè)時應(yīng)充分保證其高可靠和高性能，而不部署紅綠燈調(diào)度；3)內(nèi)部服務(wù)器區(qū)細(xì)分子區(qū)4)Intranet服務(wù)器區(qū)是企業(yè)應(yīng)用系統(tǒng)的關(guān)鍵分區(qū)，此分區(qū)可根據(jù)應(yīng)用業(yè)務(wù)的關(guān)鍵性、實時性等特征的不同，可考慮再進(jìn)行子分區(qū)的劃分，一般而言可分為“關(guān)鍵業(yè)務(wù)區(qū)”、“通用業(yè)務(wù)區(qū)”、“財務(wù)應(yīng)用區(qū)”幾類，子分區(qū)可以是物理的，也可以是邏輯的。如果是邏輯的，可為每個子分區(qū)分配一個虛擬防火墻來部署安全策略。在業(yè)務(wù)系統(tǒng)復(fù)雜，服務(wù)器數(shù)據(jù)較多的情況下（＞=200臺），建議采用物理子分區(qū)，每個子分區(qū)采用獨(dú)立的匯聚交換機(jī)和安全設(shè)備。層次化設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第5頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第5頁。傳統(tǒng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)各層的職責(zé)大致定義如下：核心層：主要負(fù)責(zé)的是數(shù)據(jù)的交換與路由，不負(fù)責(zé)處理；匯聚層：主要負(fù)責(zé)的是數(shù)據(jù)的處理，選擇和過濾等操作；接入層：主要負(fù)責(zé)的是數(shù)據(jù)的接受與發(fā)送，負(fù)責(zé)端到端的鏈路建立和釋放。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第6頁。從可靠性的角度來看，三層架構(gòu)和二層架構(gòu)均可以實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)的高可用。近年來隨著云計算的逐漸興起，二層扁平化網(wǎng)絡(luò)架構(gòu)更適合云計算網(wǎng)絡(luò)模型，可以滿足大規(guī)模服務(wù)器虛擬化集群、虛擬機(jī)靈活遷移的部署。如表1所示為二層和三層架構(gòu)對比，可見，兩者之間沒有絕對的優(yōu)劣之分，企業(yè)用戶可根據(jù)自身的業(yè)務(wù)特點(diǎn)進(jìn)行選擇，也可以先二層，后續(xù)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第6頁。三層架構(gòu)二層架構(gòu)可靠性增加了一層網(wǎng)絡(luò)設(shè)備，意味著故障點(diǎn)增加網(wǎng)絡(luò)故障點(diǎn)相對較少，但同時故障點(diǎn)也相對集中安全性網(wǎng)關(guān)和安全策略皆部署在匯聚層，方便部署安全策略部署在接入層，相對比較分散，部署工作量大服務(wù)器接入數(shù)量較多較少擴(kuò)展性同一功能分區(qū)內(nèi)服務(wù)器數(shù)量擴(kuò)展多，可靈活實現(xiàn)物理分區(qū)內(nèi)的子邏輯分區(qū)同一功能分區(qū)內(nèi)服務(wù)器數(shù)量擴(kuò)展受限運(yùn)維管理設(shè)備和管理點(diǎn)較多設(shè)備少，管理點(diǎn)較少成本匯聚和接入設(shè)備可靈活選擇配合，達(dá)到最佳的成本控制接入設(shè)備要求較高，選型受限適合場景服務(wù)器數(shù)量多，安全策略控制嚴(yán)格的場合服務(wù)器集群、虛擬機(jī)遷移應(yīng)用較多，服務(wù)器搬遷移動頻繁場合表1三層組網(wǎng)與二層組網(wǎng)對比模塊化、層次化的架構(gòu)設(shè)計將數(shù)據(jù)中心網(wǎng)絡(luò)風(fēng)險進(jìn)行了分散，將出現(xiàn)問題后的影響降低到最小，同時模塊之間的松耦合可增強(qiáng)數(shù)據(jù)中心的擴(kuò)展，簡化網(wǎng)絡(luò)運(yùn)維，降低在擴(kuò)展的過程中管理員的人為故障，保證數(shù)據(jù)中心的可用性。設(shè)備層高可用設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第7頁。設(shè)備可靠是系統(tǒng)可靠的最基本保證，數(shù)據(jù)中心核心交換區(qū)設(shè)備的可靠穩(wěn)定尤為重要。盡管可以通過架構(gòu)、策略、配置等的調(diào)整和優(yōu)化等多種手段降低核心設(shè)備的數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第7頁。關(guān)于數(shù)據(jù)中心級設(shè)備，業(yè)界還沒有標(biāo)準(zhǔn)的定義，但從目前主流網(wǎng)絡(luò)設(shè)備供應(yīng)商提供的數(shù)據(jù)中心解決方案產(chǎn)品可以看出，數(shù)據(jù)中心級交換機(jī)應(yīng)具備以下特征：1)控制平面與轉(zhuǎn)發(fā)平面物理分離傳統(tǒng)的園區(qū)網(wǎng)交換機(jī)一般采用“Crossbar+共享緩存”的交換架構(gòu)，引擎板繼承擔(dān)控制平面的工作，同時也承擔(dān)數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，跨槽位的流量轉(zhuǎn)發(fā)報文需要經(jīng)背板到引擎板的Crossbar芯片進(jìn)行轉(zhuǎn)發(fā)。這種架構(gòu)限制了設(shè)備的可靠性和性能：可靠性限制：引擎需要承接數(shù)據(jù)轉(zhuǎn)發(fā)平面的工作，因此在引擎出現(xiàn)主備倒換時必然會出現(xiàn)丟包。此外引擎1＋1冗余，也使得Crossbar交換網(wǎng)只能是1＋1的冗余，冗余能力無法做的更高。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第8頁。性能限制：受制于業(yè)界當(dāng)前Crossbar芯片的工藝以及引擎PCB板卡布線等制造工藝，將Crossbar交換網(wǎng)與CPU主控單元集中在一塊引擎板上的結(jié)構(gòu)，一般單塊引擎的交換容量不可能做的太高（一般約1TB數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第8頁。數(shù)據(jù)中心級交換機(jī)產(chǎn)品將控制平面與轉(zhuǎn)發(fā)平面物理分離，一般有獨(dú)立的引擎板和交換網(wǎng)板，同時采用CLOS多級交換架構(gòu)，大大提高設(shè)備的可靠性及性能。如表2所示為CLOS架構(gòu)與傳統(tǒng)的Crossbar+共享緩存交換架構(gòu)對比。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第9頁。圖3Crossbar架構(gòu)也CLOS數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第9頁。Crossbar+共享緩存CLOS多級交換結(jié)構(gòu)1，單平面交換；2，交換矩陣和控制統(tǒng)一，即引擎承擔(dān)了交換和控制雙重功能；1，多塊交換網(wǎng)板共同完成流量交換2，控制和交換硬件分離轉(zhuǎn)發(fā)能力受限于交換網(wǎng)片的交換能力和PCB單板制造工藝，單引擎達(dá)到1TB以上就很難提升。多塊交換網(wǎng)板同時分擔(dān)業(yè)務(wù)流量，相當(dāng)于N倍于單級交換的能力，可實現(xiàn)5～10TB交換容量可靠性引擎倒換會丟包控制平面與轉(zhuǎn)發(fā)平面硬件物理分離，引擎切換時不影響轉(zhuǎn)發(fā)，可實現(xiàn)零丟包冗余能力引擎1＋1冗余，雙引擎負(fù)載分擔(dān)式無冗余引擎1＋1冗余，交換網(wǎng)板N+1冗余表2Crossbar與CLOS交換架構(gòu)對比2)關(guān)鍵部件更強(qiáng)的冗余能力除了引擎和交換網(wǎng)板的冗余外，此類設(shè)備的電源一般均可以配置多塊，實現(xiàn)N+M的冗余，保證電源的可靠性更高；另外風(fēng)扇的冗余也由原來的風(fēng)扇級冗余，提高到了風(fēng)扇框冗余，每個獨(dú)立的風(fēng)扇框內(nèi)多個風(fēng)扇冗余。3)虛擬化能力數(shù)據(jù)中心的復(fù)雜度越來越高，需要管理的設(shè)備也越來越多，設(shè)備的虛擬化可將同一層面（核心、匯聚、接入）的多臺設(shè)備虛擬化為一臺，進(jìn)行設(shè)備的橫向整合，簡化設(shè)備的配置和管理。4)突發(fā)大流量的緩沖能力數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第10頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第10頁?；贑LOS架構(gòu)的數(shù)據(jù)中心級設(shè)備對端口的緩存容量進(jìn)行擴(kuò)容，并采用了新一代的分布式緩存機(jī)制，將原有的出方向緩存移至入方向，在同樣的端口緩存容量條件下，這種分布式的緩存機(jī)制可以更好的緩存多對一的擁塞模型，能夠更好的吸收數(shù)據(jù)中心的突發(fā)大流量。如圖4所示。圖4分布式入端口報文緩存設(shè)計5)綠色節(jié)能數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第11頁。數(shù)據(jù)中心是企業(yè)能耗的主要部門，同時高的能耗將會帶來高的發(fā)熱量，影響設(shè)備的電子器件的穩(wěn)定性，將到據(jù)中心設(shè)備的穩(wěn)定運(yùn)行。選用低能耗設(shè)備降低發(fā)熱量是提高可靠性的一個方面，另一方面設(shè)備本身的散熱風(fēng)道設(shè)計的合理與否？能否更好的配合機(jī)房的空調(diào)循環(huán)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第11頁。為更好的配合機(jī)房冷熱風(fēng)道的布局，機(jī)柜中發(fā)熱量較大的設(shè)備最后是前后散熱的風(fēng)道設(shè)計。但普通的橫插槽設(shè)備一般是左右散熱的方式，因此應(yīng)優(yōu)先考慮采用豎插槽的設(shè)備，實現(xiàn)前后散熱。鏈路層(L2)高可用設(shè)計在數(shù)據(jù)中心網(wǎng)絡(luò)部署中，在實現(xiàn)設(shè)備和鏈路冗余提高可靠性的同時，也會帶來環(huán)路和復(fù)雜度的增加。一旦鏈路成環(huán)路很容易導(dǎo)致廣播風(fēng)暴，耗盡網(wǎng)絡(luò)鏈路及設(shè)備資源。1)常見組網(wǎng)方式數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第12頁。對于傳統(tǒng)的數(shù)據(jù)中心服務(wù)器區(qū)接入～匯聚交換網(wǎng)絡(luò)，針對無環(huán)設(shè)計和有環(huán)設(shè)計有多種選擇方案。如圖5所示?？梢钥闯?，三角形組網(wǎng)提供數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第12頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第13頁。圖5數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第13頁。拓?fù)鋬?yōu)點(diǎn)缺點(diǎn)1倒U型不啟用STP，好管理VLAN可以跨匯聚層交換機(jī)，服務(wù)器部署靈活必須通過鏈路聚合保證高可用性匯聚交換機(jī)故障時，服務(wù)器無法感知，無法實現(xiàn)高可用接入2正U型不啟用STP，好管理雙active鏈路，接入交換機(jī)密度高不能使VLAN跨匯聚層，服務(wù)器部署不靈活接入交換機(jī)間鏈路故障，VRRP心跳報文無法傳遞，整機(jī)做VRRP主備切換，故障收斂時間長。3三角形鏈路冗余，路徑冗余，故障收斂時間最短VLAN可以跨匯聚層交換機(jī)，服務(wù)器部署靈活存在環(huán)路，需要啟動STP協(xié)議4矩形雙active鏈路，接入交換機(jī)密度高VLAN可以跨匯聚層交換機(jī)有一半的接入層流量要通過匯聚交換機(jī)之間的鏈路。當(dāng)接入交換機(jī)上行鏈路故障時，所有流量將從一側(cè)的交換機(jī)上行。收斂比變小，網(wǎng)絡(luò)易擁塞，降低網(wǎng)絡(luò)高可用性。存在環(huán)路，需要啟動STP協(xié)議表3組網(wǎng)方式優(yōu)缺點(diǎn)對比數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第14頁。需要指出，接入交換機(jī)直接雙上行與匯聚層設(shè)備相連，冗余連接并不是越多越好，最小的三角形環(huán)能夠提供最快的收斂速度和最高的可用性。例如圖6數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第14頁。圖6過度冗余與推薦組網(wǎng)2)通過虛擬化技術(shù)簡化網(wǎng)絡(luò)雖然三角形組網(wǎng)已經(jīng)成為數(shù)據(jù)中心接入設(shè)計的最佳實踐，但從網(wǎng)絡(luò)的拓?fù)湓O(shè)計、環(huán)路規(guī)避、冗余備份等角度考慮，設(shè)計過程是極其復(fù)雜的。如VLAN的規(guī)劃、生成樹實例的拓?fù)渥枞⒕W(wǎng)關(guān)冗余選擇，包括相應(yīng)技術(shù)的參數(shù)選擇、配置，故障切換的預(yù)期判斷等，需要一套十分詳細(xì)的流程，而在后期網(wǎng)絡(luò)運(yùn)行維護(hù)過程中面臨的壓力和復(fù)雜度是顯而易見的。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第15頁。因此，引入虛擬化設(shè)計方式簡化網(wǎng)絡(luò)則顯得尤為重要。通過以H3CIRF2為代表的虛擬化技術(shù)，在不改變傳統(tǒng)設(shè)計的網(wǎng)絡(luò)物理拓?fù)?、保證現(xiàn)有布線方式的前提下，實現(xiàn)網(wǎng)絡(luò)各層的橫向整合，即將交換網(wǎng)絡(luò)每一層的兩臺、多臺物理設(shè)備形成一個統(tǒng)一的交換架構(gòu)，減少了邏輯的設(shè)備數(shù)量，同時實現(xiàn)跨設(shè)備的鏈路捆綁，消除環(huán)路的同時保證鏈路的高可用。關(guān)于IRF2技術(shù)與應(yīng)用的詳細(xì)介紹，請參考本刊“數(shù)據(jù)中心IRF2虛擬化網(wǎng)絡(luò)架構(gòu)與應(yīng)用”一文。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第15頁。協(xié)議層(L3)高可用設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)的協(xié)議層高可用設(shè)計可以從以下三個方面考慮：1)路由協(xié)議部署數(shù)據(jù)中心匯聚層到核心層間可采用OSPF等動態(tài)路由協(xié)議進(jìn)行路由層面高可用保障。常見連接方式有兩種，如圖7所示。拓?fù)?采用了三角形連接方式，從匯聚層到核心層具有全冗余鏈路和轉(zhuǎn)發(fā)路徑；拓?fù)?采用了四邊形連接方式，從匯聚層到核心層沒有冗余鏈路，當(dāng)主鏈路發(fā)生故障時，需要通過路由協(xié)議計算獲得從匯聚到核心的冗余路徑。所以，三角形拓?fù)涞墓收鲜諗繒r間較短，但要占用更多的設(shè)備端口。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第16頁。圖7數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第16頁。在采用模塊化、層次化設(shè)計之后，數(shù)據(jù)中心內(nèi)部各分區(qū)與核心交換區(qū)的路由將會大大簡化，針對拓?fù)?的組網(wǎng)方式，可進(jìn)行IRF2橫向整合，對匯聚層、核心層的雙機(jī)設(shè)備進(jìn)行虛擬化，實現(xiàn)跨設(shè)備鏈路捆綁實現(xiàn)匯聚層上行到核心層的多鏈路負(fù)載分擔(dān)與備份，在此基礎(chǔ)之上，核心層與匯聚層僅需要一個VLAN三層接口互聯(lián)，直接在此VLAN三層接口上部署靜態(tài)路由，簡化數(shù)據(jù)中心內(nèi)部的協(xié)議部署。此方式將簡化后續(xù)運(yùn)維的復(fù)雜度，但對于數(shù)據(jù)中心外聯(lián)模塊，由于外部路由相對較復(fù)雜，可部署OSPF動態(tài)路由，提高路由選擇的靈活性。數(shù)據(jù)中心總體路由結(jié)構(gòu)如圖8所示。圖8數(shù)據(jù)中心總體路由結(jié)構(gòu)圖2)快速檢測與切換數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第17頁。為了減小設(shè)備故障對數(shù)據(jù)中心業(yè)務(wù)的影響、提高網(wǎng)絡(luò)的可用性，設(shè)備需要能夠盡快檢測到與相鄰設(shè)備間的通信故障，以便能夠及時采取措施，從而保證業(yè)務(wù)繼續(xù)進(jìn)行。通常情況下，路由協(xié)議中的Hello報文機(jī)制檢測到故障所需的時間為秒級，在這時間內(nèi)會導(dǎo)致數(shù)據(jù)中心內(nèi)部Gbps數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第17頁。BFD（BidirectionalForwardingDetection，雙向轉(zhuǎn)發(fā)檢測）在此背景之下產(chǎn)生。它是一套全網(wǎng)統(tǒng)一的檢測機(jī)制，用于快速檢測、監(jiān)控網(wǎng)絡(luò)中鏈路或者IP路由的轉(zhuǎn)發(fā)連通狀況，保證鄰居之間能夠快速檢測到通信故障，50ms內(nèi)建立起備用通道恢復(fù)通信。BFD檢測可部署在廣域/域城出口模塊，如圖9所示。數(shù)據(jù)中心核心層與外聯(lián)模塊（廣域區(qū)、城域區(qū)）之前運(yùn)行OSPF動態(tài)路由協(xié)議，并在核心層交換機(jī)上配置BFD與OSPF路由聯(lián)動。廣域、城域路由設(shè)備或鏈路出現(xiàn)故障時，核心交換機(jī)快速感知，并通告OSPF進(jìn)行快速收斂，縮短數(shù)據(jù)中心外聯(lián)數(shù)據(jù)故障恢復(fù)時間。圖9數(shù)據(jù)中心BFD部署數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第18頁。OSPF使用BFD進(jìn)行快速故障檢測時，OSPF可以通過Hello報文動態(tài)發(fā)現(xiàn)鄰居，OSPF將鄰居地址通知BFD就開始建立會話。BFD會話建立前處于down狀態(tài)，此時BFD控制報文以不小于1數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第18頁。BFD還可以部署在IRF2虛擬組內(nèi)，快速檢測出IRF分裂，提高IRF虛擬化部署的可用性。3)不間斷轉(zhuǎn)發(fā)在部署了動態(tài)路由協(xié)議的數(shù)據(jù)中心網(wǎng)絡(luò)中，若設(shè)備進(jìn)行主備切換時，將會導(dǎo)致它與鄰居關(guān)系出現(xiàn)震蕩。這種鄰居關(guān)系的震蕩將最終導(dǎo)致路由協(xié)議的震蕩與重新計算收斂，使得主備切換路由器在一段時間內(nèi)出現(xiàn)路由黑洞或者導(dǎo)致鄰居將數(shù)據(jù)業(yè)務(wù)進(jìn)行旁路，進(jìn)而會導(dǎo)致業(yè)務(wù)出現(xiàn)暫時中斷。為了實現(xiàn)不間斷轉(zhuǎn)發(fā)，設(shè)備本身需要支持?jǐn)?shù)據(jù)轉(zhuǎn)發(fā)與控制分離，支持雙主控設(shè)計；同時需要部分保存協(xié)議的狀態(tài)（控制平面），并借助鄰居設(shè)備的幫助，實現(xiàn)發(fā)生主備切換時控制平面的會話連接不重置、轉(zhuǎn)發(fā)不中斷的目的。其相應(yīng)的技術(shù)為路由協(xié)議的GracefulRestart（平滑重啟）擴(kuò)展，簡稱GR。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第19頁。GR機(jī)制的核心在于：當(dāng)某設(shè)備的路由協(xié)議重啟時，能夠通知周邊設(shè)備在一定時間內(nèi)將到該設(shè)備的鄰居關(guān)系和路由保持穩(wěn)定。該設(shè)備路由協(xié)議重啟完畢后，周邊設(shè)備協(xié)助其進(jìn)行路由信息同步，使其各種路由信息在盡量短的時間內(nèi)恢復(fù)到重啟前的狀態(tài)。在整個協(xié)議重啟過程中，網(wǎng)絡(luò)路由和轉(zhuǎn)發(fā)保持高度穩(wěn)定，報文轉(zhuǎn)發(fā)路徑也沒有任何改變，整個系統(tǒng)可以不間斷地轉(zhuǎn)發(fā)IP數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第19頁。在數(shù)據(jù)中心OSPF動態(tài)路由部署的區(qū)域（廣域、外聯(lián)、園區(qū)、互聯(lián)網(wǎng)等）中，一般按照如圖10所示的組網(wǎng)結(jié)構(gòu)部署GR。圖10數(shù)據(jù)中心GR部署使用GR保證網(wǎng)絡(luò)中的核心層節(jié)點(diǎn)和廣域出口節(jié)點(diǎn)在出現(xiàn)協(xié)議重啟時的轉(zhuǎn)發(fā)業(yè)務(wù)不中斷，避免出現(xiàn)不必要的路由振蕩。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第20頁。核心層節(jié)點(diǎn)和廣域出口節(jié)點(diǎn)作為GRRestarter（同時缺省也作為GRHelper），分支節(jié)點(diǎn)作為GRHelper。這樣當(dāng)廣域出口節(jié)點(diǎn)發(fā)生主備切換或重啟OSPF進(jìn)程時，核心節(jié)點(diǎn)可以作為GRHelper協(xié)助其進(jìn)行LSDB重同步，并且保持轉(zhuǎn)發(fā)不中斷；當(dāng)核心層節(jié)點(diǎn)發(fā)生主備切換或重啟OSPF進(jìn)程時，廣域出口節(jié)點(diǎn)和分支節(jié)點(diǎn)都可以作為GRHelper協(xié)助其進(jìn)行LSDB數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第20頁。應(yīng)用層(L4～L7)高可用設(shè)計在數(shù)據(jù)中心網(wǎng)絡(luò)層面實現(xiàn)L4～L7層的高可用，可采用負(fù)載均衡的方案。L4～L7層負(fù)載均衡一方面可以提高服務(wù)器的響應(yīng)能力和鏈路的帶寬利用率，另一方面可以保證單臺服務(wù)器或單條鏈路出現(xiàn)故障后，業(yè)務(wù)數(shù)據(jù)無縫分?jǐn)偟狡渌?wù)器和鏈路，從而實現(xiàn)數(shù)據(jù)中心的高可用。1)鏈路負(fù)載均衡（LLB）鏈路負(fù)載均衡常部署在數(shù)據(jù)中心的廣域接入?yún)^(qū)和互聯(lián)網(wǎng)接入?yún)^(qū)，通過靜態(tài)表項匹配及動態(tài)鏈路檢測，對多條鏈路狀態(tài)進(jìn)行實時的探測和監(jiān)控,確保流量以最合理及快速的方式分發(fā)到不同鏈路上，實現(xiàn)業(yè)務(wù)的高效傳輸。對于數(shù)據(jù)中心廣域接入?yún)^(qū)，由于廣域網(wǎng)出口流量仍然是企業(yè)內(nèi)網(wǎng)數(shù)據(jù)流，在L4層一般可通過IP報文的五元組特征區(qū)分出不同的業(yè)務(wù)流，因此可直接在路由器上通過分層CAR、跨端口的流量轉(zhuǎn)發(fā)實現(xiàn)負(fù)載分擔(dān)、關(guān)鍵業(yè)務(wù)帶寬保證、廣域鏈路捆綁。無需專門的LB設(shè)備。如圖11所示。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第21頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第21頁?；緲I(yè)務(wù)分流：生產(chǎn)業(yè)務(wù)走主鏈路，辦公和視頻業(yè)務(wù)走備用鏈路。超負(fù)荷流量調(diào)度：無論主備鏈路，超負(fù)荷流量走對方鏈路；備用鏈路視頻業(yè)務(wù)不要進(jìn)行超負(fù)荷流量分擔(dān)；縱向出口進(jìn)行多業(yè)務(wù)QoS調(diào)度。設(shè)計實現(xiàn)基本業(yè)務(wù)分流：通過OSPFCOST設(shè)計，生產(chǎn)業(yè)務(wù)默認(rèn)走主鏈路轉(zhuǎn)發(fā)，對辦公和視頻業(yè)務(wù)采用策略路由走備鏈路。超負(fù)荷流量調(diào)度：以備鏈路為例，需要在數(shù)據(jù)中心廣域網(wǎng)的入口進(jìn)行流量監(jiān)管CAR，超過10M的流量結(jié)合策略路由調(diào)度到左側(cè)路由器。為保證視頻流量不會被調(diào)度到左側(cè)路由器，必須采用分層CAR實現(xiàn)。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第22頁。圖11路由器分層數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第22頁。對于Internet出口鏈路負(fù)載均衡，由于內(nèi)網(wǎng)用戶訪問的數(shù)據(jù)流不固定，特征復(fù)雜，很難在L4層區(qū)分出不同的業(yè)務(wù)流，因此需要部署專門的負(fù)載均衡設(shè)備實現(xiàn)多運(yùn)營商出口的鏈路負(fù)載均衡。并啟用Inbound和Outbound兩個方向的負(fù)載均衡，一方面滿足企業(yè)內(nèi)網(wǎng)用戶或服務(wù)器訪問外部Internet站點(diǎn)的流量分擔(dān)；另一方面滿足外網(wǎng)用戶通過Internet訪問企業(yè)公共服務(wù)（如網(wǎng)站、FTP等）的流量分擔(dān)。如圖12所示圖12Outbound鏈路負(fù)載均衡用戶將訪問外網(wǎng)的報文發(fā)送到LB負(fù)載均衡設(shè)備后，負(fù)載均衡設(shè)備根據(jù)就近性算法和調(diào)度策略，將內(nèi)網(wǎng)訪問外網(wǎng)的業(yè)務(wù)流量分別分發(fā)給相應(yīng)的鏈路。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第23頁。數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計方案全文共26頁，當(dāng)前為第23頁。圖13Inbound鏈路負(fù)載均衡負(fù)載均衡設(shè)備作為權(quán)威名稱服務(wù)器記錄域名與內(nèi)網(wǎng)服務(wù)器IP地址的映射關(guān)系。一個域名可以映射為多個IP地址，其中每個IP地址對應(yīng)一條物理鏈路。外網(wǎng)用戶通過域名方式訪問內(nèi)網(wǎng)服務(wù)器時，本地DNS服務(wù)器將域名解析請求轉(zhuǎn)發(fā)給權(quán)威DNS服務(wù)器——LLB負(fù)載均衡設(shè)備，負(fù)載均衡設(shè)備依次根據(jù)持續(xù)性功能、ACL策略、就近性算法選擇最佳的物理鏈路，并將通過該鏈路與外網(wǎng)連接的接口IP地址作為DNS域名解析結(jié)果反饋給外網(wǎng)用戶，外網(wǎng)用戶通過該鏈路訪問內(nèi)網(wǎng)服務(wù)器。2)服務(wù)器負(fù)載均衡（SLB）目前大多數(shù)應(yīng)用系統(tǒng)都