NSX-T技術(shù)架構(gòu)設(shè)計最佳實踐

1、NSX-T技術(shù)架構(gòu)設(shè)計最佳實踐NSX on VDS2vSphere 7.0之前，NSX在專用的虛擬交換機 N-VDS 上運行。VDS和N-VDS虛擬交換機無法共享VMware中的上行鏈路。 我們在NSX部署模型上看到兩種：34 個（或更多）物理網(wǎng)卡2 個物理網(wǎng)卡 VDS + N-VDS（通常不是強制性的） 僅N-VDS后一種情況很普遍，意味著將需要vmkernel接口遷移到N-VDSNSX-T 和 N-VDS挑戰(zhàn)：遷移vmknics（專門用于mgmt）vmknic分配，例如：隔離管理和存儲流量利用多個vMotion vmknics基礎(chǔ)結(jié)構(gòu)流量的優(yōu)先級和帶寬預(yù)留典型帶有2個上行網(wǎng)卡的ESXi 傳

2、輸節(jié)點需要將所有流量遷移到N-VDSN-VDSU1P2U0P1VM3VM2vmk0vmk2VM1ESXi Transport Nodevmk1Infrastructure+VM traffic4現(xiàn)在，可以將 NSX-T 直接運行在 VDS 上首先，需要VDS 7.0 版升級到VDS 7.0將MTU設(shè)置為1600或更高ESXi Host01VDS 7.0 MTU1600VM-Avmk0DVPGVDS 升級熟悉的操作方式安全遷移向?qū)ж撠?zé)vmk0 遷移+自動回滾初始狀態(tài)ESXi Host01VSS or VDS=1600VM-Avmk0DVPGNSX on VDSESXi Transport Nod

3、e01VDS 7.0 + NSXVM-Avmk0DVPGOverlay/VLAN-TZ6NSX 安裝 在 VDS 上之后，該 VDS 被 NSX 管理vCenter UI曾經(jīng)是7新的 NSX DVPG （分布式虛擬端口組） 配置在 C1-VDS 上vCenter UI8將虛擬機遷移到新的 NSX DVPGvCenter UI9在vCenter中管理以下 4 個VDS參數(shù)，并被 NSX 使用VDS 1: SEND LLDPESXi TN1NSX+VDSVDS 2: SEND AND RECEIVE LLDPESXi TN2NSX+VDSESXi TN3NSX+VDSESXi TN4NSX+VDS

4、Overlay/VLAN Transport Zones10上行鏈路, 包括鏈路聚合組LAGs交換機MTULLDP參數(shù)NIOC配置表只有這些參數(shù)的值都相同的主機，才能位于同一個VDS上新的VDS可被稱為CVDS（Converged VDS），以便與原來的VDS區(qū)別基于VDS的簡單安裝遷移中斷較小將控制權(quán)留給vCenter管理員更簡單的VLAN微分段使用方式變化需要vCenter和VDS現(xiàn)在，某些網(wǎng)絡(luò)對象屬于vCenter管理員（假定NSX管理員包括vCenter角色。）非vSphere環(huán)境中，NSX仍使用N-VDS11NSX on VDS 總結(jié)NSX-T性能優(yōu)化12GENEVE Overlay

5、 Tunnel回顧：傳輸節(jié)點（主機）之間的Overlay隧道Transport Node 1Transport Node 2VM1VM2LS10LS2013Maximum Packet Size AllowedESXi 1MTU最大傳輸單元ToR SwitchvNIC MTU: 1500/8800pNIC MTU: 1700/9000ESXi 2vNIC MTU: 1500/880014pNIC MTU: 1700/9000為達到最大吞吐性能，MTU應(yīng)在主機 和虛擬機上被增加，以下是推薦數(shù)值：9000 on ESXi8800 on VMMTU: 1700/9000501015202515008

6、800Throughput (Gbps)VM (vNIC) MTUMaximum Transmission Unit (MTU)Throughput30MTU對吞吐率的影響Maximum Packet Size AllowedESXi 1ToR SwitchvNIC MTU: 1500/8800pNIC MTU: 1700/9000ESXi 2vNIC MTU: 1500/880015pNIC MTU: 1700/9000MTU: 1700/9000多隊列接收Thread 1Thread 2Thread 3Thread nCore 1100%UsageCore 20%UsageCore 30%

7、UsageCore n0%UsageESXi Kernel SpaceNetwork Adapter QueuesQueue 1沒有多個接收隊列所有流量都由一個核心處理 即使可用，也不會使用多核16多隊列接收對吞吐率的提升效果Receive Side Scaling (RSS)5010152025Geneve - VLANVLAN - GeneveRoutingThroughput (Gbps)RSS for VM EdgeThroughputWithout RSSWith RSSThread 1Thread 2Thread 3Thread nCore 120%UsageCore 220%Us

8、ageCore 320%UsageCore n20%UsageQueue 1Queue 2Queue 3Queue nNetwork Adapter Queues17ESXi Kernel Space計算節(jié)點（標準）計算節(jié)點(增強數(shù)據(jù)通道)ESXi 節(jié)點與虛擬機形態(tài)的Edges節(jié)點配合基于裸金屬的Edge節(jié)點重要的功能1.Geneve-Offload：節(jié)省CPU周期增強的數(shù)據(jù)路徑：用于類RSS：利用多個核心DPDK：Poll Mode驅(qū)動程2.Geneve-RxFilters：通過使用更似DPDK的功能序，具有與內(nèi)存相關(guān)的增強多核心和使用基于軟件的LRO來功能，有助于最大程度地提提高吞吐量高數(shù)

9、據(jù)包處理速度3.RSS（如果不支持Geneve-RxFilters）：通過使用更多核心來提高吞吐量好處1.高吞吐量，典型的基于TCP的DC工 作負載1.NFV型工作負載的最 大PPS借助Edge VM調(diào)整+具有RSS支持的NIC，可最 大化基于典型TCP的DC工作負載的吞吐量在Edge VM的vmx文件中添加/編輯以下兩個參 數(shù)，然后重新啟動Edge VM 將“ X”替換為用 于TEP和上行鏈路的接口號ethernetX.ctxPerDev =“ 3”ethernetX.pnicFeatures =“ 4”最大PPS最大吞吐量最大規(guī)模 快速故障切換兼容性矩陣檢查網(wǎng)卡的兼容性 NSX-T安裝指南

10、中的https:/resources/compatibility/search.php?deviceCategory=io“檢查要求”部分：/en/VMware-NSX-T/index.html18物理網(wǎng)卡兼容性在不同情況下哪些功能很重要NSX對網(wǎng)卡兼容性的要求很寬松，大部分服務(wù)器上的網(wǎng)卡均滿足部署NSX的條件如果對于吞吐率性能（特別是Edge節(jié)點上的南北向流量）有很高的要求，可采用支持DPDK、RSS、TSO、LRO、Enhanced DataPath等功能的網(wǎng)卡主機和Edge傳輸節(jié)點的 上行鏈路配置19ESXi Compute RackCompute-ESXi1P1P2ToR-RightT

11、oR-LeftCompute-ESXi2P1P2CVDSUplink2Uplink1端口組-Storage/vMotionWeb1App1Web1App1CVDSUplink2Uplink1端口組-Mgt/OverlayMgt VMKStorage VMKvMotion VMKMgt VMStorage VMKvMotion VMKTEP-IPTEP-IPTEP-IPTEP-IPESXi計算傳輸節(jié)點基于流量類型的雙網(wǎng)卡策略NSX-T Uplink ProfileGuest VM流量 源端口負載均衡基礎(chǔ)架構(gòu)流量 VLAN固定20ESXi-with-EdgeNodeVM_plus_Tenants_

12、VMsP1P2ToR-RightToR-LeftVDSRouter1Router2ESXi TEP-IPUplink2CVDSUplink1WEBAPPP3P4vMotion PGvMotion VMKStorage PGVSAN VMKMgt PGMgmt VMKESXi計算傳輸節(jié)點四網(wǎng)卡時的流量分配CVDS上行配置文件Guest VM流量源端口VDS上行配置文件根據(jù)流量類型21Edge 節(jié)點虛擬機設(shè)計群集放置注意事項組合計算和Edge群集 2個上行鏈路和1個VDS 靜態(tài)和動態(tài)路由vmk2ESXi Hosteth0Mgmt IPTEP-IP-1 VLAN 200Edge-01vmk1vmk0

13、ToR-A ToR-BVLAN 100 & 200 TEPVLAN 101 ExternalCVDSVDS-01fp-eth2MGMT-PGStorage-PGvMotion-PGvSphere-PGApp-LSWebSegmentTEP-IP-2 VLAN 200TEP-IP-2VLAN 100TEP-IP-1VLAN 100請注意，Edge和主機TEP的傳輸網(wǎng)絡(luò)VLAN ID必須不同！VLAN 100 & 200 TEPVLAN 102 ExternalUplink 1Uplink 2Trunk-ASegmentTrunk-BSegmentfp-eth1fp-eth022Edge 節(jié)點虛擬

14、機設(shè)計群集放置注意事項組合計算和Edge群集 4個上行鏈路，2個VDS 靜態(tài)和動態(tài)路由vmk2ESXi Hosteth0Mgmt IPTEP-IP-1VLAN 200Edge-01vmk1fp-eth1fp-eth0ToR-A ToR-BVLAN 100 & 200 TEPVLAN 101 ExternalCVDSUplink 2Uplink 1VDS-01VDS-02fp-eth2TEP-IP-1 VLAN 100TEP-IP-2VLAN 200Trunk-ASegmentvSphere-PGStorage-PGvMotion-PGMgmt-PGWeb-LSSegmentUplink 4Up

15、link 3TEP-IP-2 VLAN 100VLAN 100 & 200 TEPVLAN 102 ExternalTrunk-BSegmentvmk0請注意，Edge和主機TEP的傳輸網(wǎng)絡(luò)VLAN ID必須不同！23Edge節(jié)點配置具有高可用特點的EBGP ECMP路由設(shè)計N-VDS-01Mgmt IPUplink-1Uplink-2Mgmt IPEdge-02Trunk-A-SegmentA/S Failover OrderTrunk-B-SegmentA/S Failover OrderToR-AToR-BVLAN 100 & 200 TEPVLAN 101 ExternalVLAN 1

16、00 & 200 TEPVLAN 101 ExternalManagement-PGVDSUplink 1Uplink 2VLAN101TEP-IP-1TEP-IP-2Edge-01 ESXi HostN-VDS-01Uplink-1Uplink-2TEP-IP-1TEP-IP-2Tier-0 (A)Tier-0 (S)eth0fp-eth2eth0fp-eth2fp-eth0fp-eth1fp-eth1fp-eth0EN 1EN 2VLAN 101VLAN 101Tier-0Tier-1Tier-1ToR-AToR-BVLAN1014x BGP鄰居 ECMP=4242 物理網(wǎng)卡 = 單個 VDS4 物理網(wǎng)卡 = 12個VDS提供對IP存儲流量的隔離 提供對架構(gòu)管理流量的隔離2x10或2x25或4x10或4x25？使用兩層路由：在T1（A / S）上使用集中式服 務(wù)，以在T0（A / A）上保留 ECMP一次性配置T0，在T1級別委派 給初級管理員/租戶根據(jù)故障域確定T1放置單層或兩層路