06_華為E9000刀片服務(wù)器網(wǎng)絡(luò)應(yīng)用介紹V1.1.pptx

1、本頁不打印,修訂記錄,E9000刀片服務(wù)器網(wǎng)絡(luò)應(yīng)用介紹,Author/ Email: Authors name/Authors email Version: V1.0(20YYMMDD),目錄,以太網(wǎng)絡(luò)應(yīng)用場景 思科交換機對接 FCOE存儲網(wǎng)絡(luò) FC存儲網(wǎng)絡(luò),以太網(wǎng)絡(luò)應(yīng)用（堆疊）1,2X和3X兩個交換模塊配置為堆疊，堆疊鏈路為板間的40G鏈路或者面板的鏈路，上行多條連接配置Eth-Trunk（手工模式或者LACP模式），Switch為一臺物理交換機或者配置為堆疊的虛擬交換機； OS以NIC為單位，2n個NIC進行綁定（上圖的紅色橢圓），實現(xiàn)鏈路主備或者負荷分擔，交換模塊相應(yīng)根據(jù)NIC 綁定的模

2、式進行配置；,交換模塊 （2X）,交換模塊 （3X）,port1,port2,NIC,NIC,port1,port2,NIC,NIC,port3,port4,NIC,NIC,stacking,Exernal Switch,port1,port2,NIC,NIC,port1,port2,NIC,NIC,1,2,3,4,port1,NIC,NIC,port2,NIC,NIC,5,6,MEZZ1,MEZZ1,MEZZ1,MEZZ3,MEZZ1,MEZZ3,Eth-Trunk,port2,port1,以太組網(wǎng)應(yīng)用-網(wǎng)卡綁定,網(wǎng)卡綁定方式（NIC） 同一個MEZZ卡，不同端口的NIC進行綁定，如圖所示紅

3、色橢圓1； 同一個MEZZ卡部分端口的NIC進行綁定，每個NIC綁定承載不同的業(yè)務(wù)類型，如圖所示紅色橢圓2和3，同一個綁定的兩個NIC一定要連接不同的交換模塊； 多個MEZZ卡所有端口進行綁定，主要是為提高可靠性和增加帶寬，如圖所示紅色橢圓4； 不同MEZZ卡不同端口的PF對應(yīng)的NIC進行綁定，如圖所示紅色橢圓5和6；,以太網(wǎng)絡(luò)應(yīng)用（堆疊）2,交換模塊 （2X）,交換模塊 （3X）,port1,port2,NIC,NIC,port1,port2,NIC,NIC,port3,port4,NIC,NIC,stacking,External Switch1,port1,port2,NIC,NIC,p

4、ort1,port2,NIC,NIC,1,2,3,4,port1,NIC,NIC,port2,NIC,NIC,5,6,MEZZ1,MEZZ1,MEZZ1,MEZZ3,MEZZ1,MEZZ3,port2,port1,External Switch2,Eth-Trunk,Smart Link,Eth-Trunk,2X和3X交換模塊任何一個故障，上行帶寬減少一半，Switch1或者Switch2交換機故障，主備倒換； Eth-Trunk的最小活動鏈路數(shù)不能等于Eth-Trunk成員端口數(shù)，否則Switch故障后， 所有鏈路都故障；,以太網(wǎng)絡(luò)應(yīng)用（堆疊）3,交換模塊 （2X）,交換模塊 （3X）,po

5、rt1,port2,NIC,NIC,port1,port2,NIC,NIC,port3,port4,NIC,NIC,stacking,External Switch1,port1,port2,NIC,NIC,port1,port2,NIC,NIC,1,2,3,4,port1,NIC,NIC,port2,NIC,NIC,5,6,MEZZ1,MEZZ1,MEZZ1,MEZZ3,MEZZ1,MEZZ3,port2,port1,External Switch2,Eth-Trunk,Smart Link,Eth-Trunk,Switch或者交換模塊故障都可能導(dǎo)致SmartLink組主備倒換，Eth-Tr

6、unk根據(jù)帶寬需要配置最小鏈路數(shù)；,以太組網(wǎng)應(yīng)用（非堆疊）,RSTP/MSTP模式： 打開2X和3X之間40GE鏈路（默認關(guān)閉）或者配置為堆疊，同時打開RSTP/MSTP協(xié)議關(guān)閉交換模塊和TOR之間形成的環(huán)路； 鏈路監(jiān)控模式（建議）： 關(guān)閉2X和3X之間的40GE鏈路，創(chuàng)建Monitor組，包含上行連接TOR的uplink以及下行連接刀片的downlink鏈路； NIC綁定不支持LACP選路，或者Vmware中基于IP地址選路；,交換模塊 （2X）,交換模塊 （3X）,port1,port2,NIC,NIC,port1,port2,NIC,NIC,port3,port4,NIC,NIC,Ext

7、ernal Switch1,1,2,3,port1,NIC,NIC,port2,NIC,NIC,5,6,MEZZ1,MEZZ1,MEZZ1,MEZZ3,port2,port1,External Switch2,目錄,以太網(wǎng)絡(luò)應(yīng)用場景 思科交換機對接 FCOE存儲網(wǎng)絡(luò) FC存儲網(wǎng)絡(luò),思科交換機支持的生成樹協(xié)議,Cisco網(wǎng)絡(luò)設(shè)備支持的生成樹協(xié)議：PVST（Per VLAN Spanning Tree）、 PVST+（Per VLAN Spanning Tree Plus）、 Rapid-PVST+（Rapid Per VLAN Spanning Tree Plus）、 MISTP（Multi I

8、nstance Spanning Tree Protocol）和MST； MST即IEEE802.1S標準MSTP協(xié)議，可與標準的其它交換機廠家的MSTP協(xié)議對接；,PVST系列協(xié)議和標準協(xié)議的差異,CX交換模塊對CISCO PVST系列協(xié)議的BPDU報文（目的MAC 01-00-0C-CC-CC-CD）， 默認當做未知組播，做廣播轉(zhuǎn)發(fā)處理； 也可以通過命令mac-address bpdu把01-00-0C-CC-CC-CD設(shè)置為BPDU報文，這樣CX交換模塊就會丟棄PVST+系列協(xié)議的BPDU報文；,PVST+與標準協(xié)議互通,PVST協(xié)議是在每個VLAN上發(fā)送PVST BPDU報文，無法與標

9、準的STP協(xié)議互通；,PVST+和C X交換模塊互通 Smart Link1,CX310(2X),CX310(3X),Blade1,Blade2,Blade3,LAN,Cisco1,Cisco2,2X和3X槽位的CX交換模塊配置為堆疊（板間40GE通道）； 在CX交換模塊堆疊系統(tǒng)上創(chuàng)建Smart Link組，連接思科設(shè)備的兩條鏈路加入該組，作為Master和Slave鏈路； 關(guān)閉CX交換模塊上的STP協(xié)議，思科設(shè)備也關(guān)閉STP協(xié)議或者連接CX模塊的端口啟動PortFast功能（可加快該端口進入轉(zhuǎn)發(fā)狀態(tài)，減少切換時間）； 使用Smart Link本質(zhì)上不存在協(xié)議互通，而且對思科的設(shè)備沒有配置需求

10、； 可以通過配置MSTP實例，實現(xiàn)負荷分擔；,Smart Link,stack,Master Link,Slave Link,PVST+和C X交換模塊互通 Access,CX310(2X),CX310(3X),Blade1,Blade2,Blade3,LAN,Cisco1,Cisco2,Access,Access,2X和3X槽位的CX交換模塊可配置為堆疊或者級聯(lián)（板間40GE通道）； CX交換模塊和思科交換機的互聯(lián)端口都配置為Access端口； 思科交換機啟動PVST+系列協(xié)議，CX交換模塊啟動RSTP協(xié)議； RSTP協(xié)議的根橋配置在思科的交換機上，阻斷思科和CX交換模塊之間的任一一條鏈路（

11、建議），就可以破換環(huán)路；,PVST+和C X交換模塊互通Trunk,CX310(2X),CX310(3X),Blade1,Blade2,Blade3,LAN,Cisco1,Cisco2,Trunk,Trunk,生成樹的根橋配置在思科的設(shè)備上（保證CX交換模塊CST的優(yōu)先級低于思科VLAN1的優(yōu)先級）； VLAN1的阻塞點在CX310(3X)交換模塊的端口上，同時該端口也阻塞VLANn的PVST+報文，導(dǎo)致VLANn的阻塞點也在這個端口上； 如果用戶希望刪除VLAN1，則最好在CX交換模塊上刪除（保證VLAN1可以被阻塞）； 如果思科的設(shè)備也刪除VLAN1，則只能通過VLANn阻止環(huán)路（思科設(shè)備

12、不發(fā)送標準RSTP報文，CX交換模塊轉(zhuǎn)發(fā)PVST+ BPDU報文，不建議這樣使用）；,ROOT,Blocked port,Root port,Designated port,VLAN1,VLANn,PVST+互通方案對比,無特殊需求的情況下，建議使用Smart Link和思科的交換機對接，即能滿足可靠性需求，同時也不會對思科設(shè)備有特殊的配置需求；,VPC,vpc,VPC(Virtual Port Channel)是多個設(shè)備虛擬化為一個設(shè)備的技術(shù)，在思科Nexus系列交換機上支持； VPC=堆疊+本地優(yōu)先轉(zhuǎn)發(fā)，但又有區(qū)別，VPC是兩個獨立的控制平面，而堆疊只有一個控制平面； 接入VPC域的服務(wù)器

13、、交換機等設(shè)備只要能支持鏈路聚合（LACP或者手工綁定）即可；,CX交換模塊接入VPC域,CX310(2X),CX310(3X),Blade1,Blade2,Blade3,LAN,stack,VPC,CX310(2X),CX310(3X),Blade1,Blade2,Blade3,LAN,VPC Domain,VPC1,VPC2,CX交換模塊創(chuàng)建Eth-Trunk后可獨立或者配置為堆疊后，接入VPC Domain；,VPC Domain,目錄,以太網(wǎng)絡(luò)應(yīng)用場景 思科交換機對接 FCOE存儲網(wǎng)絡(luò) FC存儲網(wǎng)絡(luò),stack,FCoE組網(wǎng)-內(nèi)置FCF,CX311(2X),CX311(3X),Blad

14、e1,Blade2,Blade3,LAN,LAN,LAN,FC SAN,CX311(2X),CX311(3X),Blade1,Blade2,Blade3,LAN,LAN,LAN,FC SAN,場景1,場景2,場景1：兩塊CX311獨立工作，默認配置文件已經(jīng)包含了FCoE需要的所有配置，只需要根據(jù)外接FC存儲還是FC交換機進行配置MX510模塊即可； 場景2：兩塊CX311配置為堆疊系統(tǒng)，堆疊主包含了FCoE需要的所有配置，堆疊備需要重新進行配置，同時還需要根據(jù)外接FC存儲還是FC交換機分別配置MX510模塊；,MX510模塊介紹,MX510：ODM Qlogic； 上行端口：8個8G FC；

15、下行端口：8個10GE連接以太交換模塊； 支持TR（NPV）和full switch(Switch)模式連接FC交換機和存儲；,MX510連接博科的FC交換機時，需要修改FC交換機端口的fillword模式為3 （ -aa-then-ia ）；,MX510接口編號,CLI命令行Port編號,MX510連接磁陣,FC組網(wǎng)一般使用雙交換平面，HBA/CNA配置多路徑，以實現(xiàn)冗余 以CX911配合MZ910為例，圖（1）中兩塊CX911的FC交換模塊MX510工作在full fabric模式，它們分別連接FC磁陣的A控和B控，HBA（MZ910）兩個端口分別連接兩個MX510，則它與FC磁陣建立兩個

16、連接（兩個路徑） 圖（2）中每個MX510分別連接FC磁陣的A控和B控，則MZ910與FC磁陣建立四個連接（四個路徑）（優(yōu)點：CX911交換模塊故障后，雙控仍正常工作，保證存儲性能）； CX311的連接拓撲相似；,多路徑拓撲（1）,多路徑拓撲（2）,MX510連接FC交換機,CX311的FC交換模塊連接外部FC交換機時，每個MX510只連接一個FC交換機，不建議連接兩個FC交換機（MX510隨機選路算法只能選擇一條工作兩路，有可能兩個Switch Blade都選在同一個外部FC交換機上）； 鏈路負載分擔模式（NPV）： 通過隨機分配FC端口給HBA/CNA進行注冊，實現(xiàn)流量負荷分擔，一旦鏈路故

17、障，HBA/CNA重新注冊，MX510重新分配端口給HBA/CNA。,建議使用拓撲,不建議使用拓撲,修改MX510的工作模式,# 修改MZ510的工作模式為Transparent（默認為full switch模式）,#保存、激活配置（MZ510模塊會自動重啟） FCoE_GW (admin): adminconfig save FCoE_GW (admin): adminconfig activate,FCoE默認配置（1）,FCoE默認配置（2）,堆疊后的增加的FCoE配置,例如，2X和3X槽位的CX311配置為堆疊，2X槽位為堆疊主，那么修改增加對3X槽位的端口配置；,FCoE組網(wǎng)外置FC

18、F組網(wǎng),Blade2,LAN,LAN,LAN,SAN,CX310(2X),Blade1,CX310(3X),Blade3,(Red)Eth-Trunk FCoE VLAN 1002,(Red)Eth-Trunk FCoE VLAN 1003,CNA,CNA,CNA,Cisco Nexus 5000/Brocade VDX6700,Cisco Nexus 5000/Brocade VDX6700,FCoE,Ethernet,Converged,10GE 2/17/1,10GE 2/17/2,10GE 3/17/1,10GE 3/17/2,外置FCF組網(wǎng)CX310主要配置,目錄,以太網(wǎng)絡(luò)應(yīng)用場景

19、思科交換機對接 FCoE存儲網(wǎng)絡(luò) FC存儲網(wǎng)絡(luò),FC獨立平面組網(wǎng),Blade1,Blade2,Blade3,LAN,LAN,LAN,FC SAN,Ethernet,FC,Ethernet,FC,MZ910,MZ910,MZ910,CX912,CX911,8G FC+10GE以太多平面交換模塊為CX911和CX912，8G FC+GE以太多平面交換模塊為CX915； 多平面使用的MEZZ扣卡為MZ910（2*8G FC+2*10GE），CX911和CX915的FC交換平面為 Qlogic的FC交換模塊（MX510），CX912的FC交換平面為Brocade的FC交換模塊（MX210）； 多平面交

20、換模塊的FC交換平面支持連接FC交換機或者FC存儲，但不能同時連接；,CX915,MZ910端口類型(CX911/CX915),MZ910 in MEZZ1,port1,port4,NIC,port2,port3,NIC,10GE,FC,FC,10GE,CX911/CX915 (2X),CX911/CX915 (3X),10GE,FCoE,HBA,NIC,NIC,10GE,FCoE,HBA,Slot1Slot12,MZ910 in MEZZ1,port1,port4,NIC,port2,port3,10GE,FC,FC,10GE,CX911/CX915 (2X),CX911/CX915 (3X

21、),10GE,FC,HBA,NIC,10GE,FC,HBA,Slot13Slot16,端口類型,網(wǎng)卡類型,CX911和CX915的FC交換模塊包含12個FCoE端口和12個8G FC端口，8個8G FC端口從面板出，另4個端口連接1316槽位，12個FCoE端口連接112槽位刀片的MEZZ卡，對應(yīng)得，MZ910在112槽位的端口類型為FcoE，在1316槽位的端口類型為FC； MZ910端口類型為FCoE時，網(wǎng)卡個數(shù)：4*NIC+2*HBA，l為FC時，網(wǎng)卡個數(shù)為：2*NIC+2*HBA；,MZ910端口類型(CX912),MZ910 in MEZZ1,port1,port4,NIC,port

22、2,port3,10GE,FC,FC,10GE,CX912 (2X),CX912 (3X),10GE,FC,HBA,NIC,10GE,FC,HBA,Slot1Slot16,端口類型,網(wǎng)卡類型,CX912包含24個個8G FC端口，8個8G FC端口從面板出，另16個端口連接116槽位，MZ910在116槽位的端口類型為FC； MZ910端口類型為FC時，網(wǎng)卡個數(shù)：2*NIC+2*HBA；,MX510和MX210的工作模式,MX210支持AG（NPV）和Native（Switch）兩種模式，可分別連接FC存儲和FC交換機； MX210如果要使用E-Port或者ISL Trunking和Broca

23、de的FC交換機對接，都需要單獨申請License；,MX210連接磁陣,FC組網(wǎng)一般使用雙交換平面，HBA配置多路徑，以實現(xiàn)冗余 以CX912配合MZ910為例，圖（1）中兩塊CX912的FC交換模塊MX210工作在 Native（Switch）模式，它們分別連接FC磁陣的A控和B控，HBA（MZ910）兩個端口分別連接兩個MX210，則它與FC磁陣建立兩個連接（兩個路徑） 圖（2）中每個MX210分別連接FC磁陣的A控和B控，則MZ910與FC磁陣建立四個連接（四個路徑）（優(yōu)點：CX912交換模塊故障后，雙控仍正常工作，保證存儲性能,多路徑拓撲（1）,多路徑拓撲（2）,MX210連接FC交換機,建