思科數(shù)據(jù)中心產(chǎn)品技術速成手冊nexus

第一章數(shù)據(jù)中心交換產(chǎn)品概 第二章數(shù)據(jù)中心.................................................................................................................數(shù)據(jù)中心V1.X版本介 數(shù)據(jù)中心機架擺放 數(shù)據(jù)中心邏輯拓撲 數(shù)據(jù)中心注意事 第三章Nexus Nexus5000和Nexus2000產(chǎn)品概 PODsIP地址及VLANID分配 實驗一Nexus5000基礎配 實驗二配臵STP生成樹協(xié) 實驗三部署N5k/N2k 實驗四部署N2k啟用Static 實驗五雙宿主環(huán)境中VPC部 實驗六單宿主環(huán)境中VPC部 實驗七配臵N5K交換模式啟用FCoE及VSAN（可選 實驗八N5K恢復（可選 第四章Nexus7K..............................................................................................................Nexus7000產(chǎn)品概 4.5服務器管理登錄方 PODsVDC端口分配 PODsVLAN及IP地址分配 實驗一Nexus7000基礎配 實驗二配臵 實驗三VDC中的常規(guī)配 實驗四配臵雙邊 實驗五VPC容錯能力測 實驗六高級特性配臵 實驗七高級特性配臵Vmotion（可選 第五章DCNM系 DCNM主要功能介 PODsIP地址及VLANID分配 歸原作者所 歸原作者所 PODsDCNM示意 DCNM登錄方 DCNM基本實 第六章UCS計算.....................................................................................................第七章ACE負載均衡....................................................................................................第一章數(shù)據(jù)中心交換產(chǎn)品數(shù)據(jù)中心產(chǎn)品ProductACECSS11000,GSSAppliances,ANMMgmtSoftware ISRWAASDCNexusNexus7010、Nexus&Nexus5500,5000,NexusNexus4001BladeSwitchIBMNexusNexus1000vSoftwareVBS3x00BladeSwitch MDS9200/9100SANMDS9124eforIBM/HPUnifiedComputingUCSUCSB-SeriesandC-UCS3rdpartysoftware,e.g.VMWare,BMC第二據(jù)中心數(shù)據(jù)中心V1.X版本介思中國區(qū)數(shù)據(jù)中心位于思科本部SELAB中。整個包括三個42U機架組成，主要涵蓋數(shù)據(jù)中心交換產(chǎn)品:Nexus7010Nexus5020Nexus5010、Nexus5548、Nexus2148T、Nexus2232；數(shù)據(jù)中心計算產(chǎn)品:B系列刀片服務器及C系列機架式服務器、C6120交換矩陣、C5108刀片服務器機箱、第VMWARE虛擬化管理、第三中心：MDS9200交換機；數(shù)據(jù)中心安全產(chǎn)品：思科FWSM模塊、思科ASA5500；數(shù)據(jù)中心系統(tǒng)：DCNM5.1。此會隨著產(chǎn)品線的更新適當?shù)脑黾有略O此致力于對思中國區(qū)合作伙伴技術能力培養(yǎng)訓練，使合作伙伴技術更加深入了思科數(shù)據(jù)中心產(chǎn)品技術，全面消除技術對于新產(chǎn)品、新技術的神秘感，由此也按需的為思科合作伙伴、思科DCATP認證合作伙伴參與的重大數(shù)據(jù)中心實施項目而作為POC或驗證數(shù)據(jù)中心機架擺放數(shù)據(jù)中心V1.0版本中數(shù)據(jù)中心交換主要有兩個機架構成。此可以組成4-8PODs,每個POD兩人分為AB，具體信息詳見后面的邏輯拓撲結構圖。42 42242411222 2

1 1 1 1 2

1 1 1 1 1 21 21 數(shù)據(jù)中心邏輯拓撲如下圖所示，數(shù)據(jù)中心交換包含N7010交換機兩臺，每臺N7010劃分為四個VDC（虛擬機箱，兩臺VDC雙機用于上聯(lián)數(shù)據(jù)中心路由器，兩個VDC用于下聯(lián)第一部分為N5K/2K試驗；第二部分為N7K試驗；第三部分為數(shù)據(jù)中心計算系統(tǒng)POC；第四部分為數(shù)據(jù)中心應用試驗。注意：中N2232支持FCOE上聯(lián)，因此若您操作POD中不是N2232交換機，請忽略此描述。

N7K-

N7K-

N50

UCS

N50

攻城 #^_^#歸原作者所有 數(shù)據(jù)中心注意事注意不要修改設備以及虛擬機的缺省用戶名以不要更改是中事先預定的IP地址以及初始配臵。本次試驗中部分設備的相關初始配臵均已經(jīng)配臵完畢,請不要更改或者擦除任何設備的初始配臵命令。不要更改任何在試驗中配臵完畢的工具的不要修改試驗中的設備中缺省請不要作任何與數(shù)據(jù)中心設備版Nexus:n5000-uk9-kickstart.4.2.1.N2.1a.bin/n5000-支持不中斷業(yè)務升級Nexus: 第三Nexus5K/2KNexus5000和Nexus2000思科N5000丟包萬兆以太網(wǎng)環(huán)境，思科數(shù)據(jù)中心以太網(wǎng)環(huán)境（DCE支持FibreChannelovrEthrnet(FCoE)組網(wǎng)模式。N500交且源模塊及風扇模塊的熱插拔。N5000交換機采用思科為數(shù)據(jù)中心網(wǎng)絡環(huán)境定制的NX-OS操作系統(tǒng)，具備超強的高可用性以及可管理性。N5000及N2000滿足數(shù)據(jù)中N5500系列也滿足數(shù)據(jù)中心匯聚三層組網(wǎng)環(huán)境。總結如下定首先，N5K/N2K是一款虛擬的模塊化以太網(wǎng)交換機，定位在數(shù)據(jù)中心接入層支持純GE、10GE全線速的以數(shù)據(jù)中心改造帶來數(shù)據(jù)中心L1、L2的靈活性 已于2009年6月3日正式成為ANTST11的工業(yè)標準IBMHP的服務器相繼宣布了對FCoE的支持NetApp的已經(jīng)支持FCoE的端口、EMC也將于年底支持第三，N5K是虛擬化ready的交換機，可以向虛擬化數(shù)據(jù)中心發(fā)展N5K將直接支持與服務器虛擬機融合的VN-Link的技術。Nexus+Nexus2000FabricNexus+Nexus2000Fabric=N5K與N2K如上圖所每組N5K/N2KPOD均采用此拓撲連線方法描每臺N5K交換機使用Eth1/7和Eth1/8連接N2148-01Eth1/9Eth1/10連接N2148-02每臺N5KEth1/15Eth1/16兩臺N7KVDC虛擬機箱。每個POD的每臺C210M1口1GE網(wǎng)卡分別上聯(lián)兩臺N2K交換機?？蛇x的同時采用一塊CNA1單口10GE卡連接N5K-01交換機Eth1每個POD中每臺服務器有一個的網(wǎng)卡用于實驗臺N5K交換機）的操作均一樣。終端管理登錄方法Server63dccisco123。Server79 dccisco123。服務器管理登錄方法配臵您的IE瀏覽器，通過您所在數(shù)據(jù)中心（A或中的ESXIPHTTPS，安裝vmwarevsphereclientPOD虛擬機界面。如下以數(shù)據(jù)中心A中ESX服務器為例：ESX服務器登陸用戶名root，dccisco123。PODsIPVLANID注意：IPVLANID101102VLANID號碼。注意：每個POD中的N5K都需要配臵建立VLAN101和VLAN102兩個VLANID，以便后續(xù)試驗中使用。POD1數(shù)據(jù)中心N7K-VLANVIPVIPPOD2數(shù)據(jù)中心N7K-VLANVIPVIPPOD3數(shù)據(jù)中心BN7KVDC01VLAN101 VIP

VIPPOD4數(shù)據(jù)中心 N7K- VLAN VIP

VIP數(shù)據(jù)AIPESX4VMware歸原作者所 歸原作者所 Nexus63DC-A-N5K-Pod1-數(shù)據(jù)AESX4VMwarevSphereDC-A-N5K-Nexus 63Pod2- 數(shù)據(jù)BESX4Nexus VMwarevSphere79DC-B-N5K-Pod3-數(shù)據(jù)BESX4NexusVMwarevSphere79DC-B-N5K- Pod4-數(shù)數(shù)據(jù)中A地址信~N5010-Nexus75/NexusN5020-DefaultDefaultgatewayforalldevices:C3660路由TerminalN7010交換NexusC4848-C4948交換ESX4VmwareServerOutsideinterfaceASADCNMDefaultDefaultgatewayforalldevices:數(shù)數(shù)據(jù)中心BRack01:~91/N5010-NexusN5020-NexusC3660路由TerminalN7010交換NexusC4948交換C4848-ASAASAESX4VmwareDCNM實驗一Nexus5000注意：請注意請大家本實驗中一定不要修改N7K的預存配N5K/N2KN5KN5K、N2K要對于PODs的N7KVMWARE主機做任何配臵修改操作。初始化N5K配臵時，請一定注意自己登陸的設備，不要錯誤的清除了Terminal-Server的配臵。實驗目通過這個實驗你將會學習基本的配臵關于N5000同時熟悉NX-OS操作的常用操作命令和配臵方法。實驗內N5KIP為 管理接口配臵缺省網(wǎng)關配臵開啟 安全登錄模式執(zhí)行常用操作命令如：Showcommand,ShowShowmodule實驗步Step1.Nexus5010交換Server63dccisco123。POD3-4登錄數(shù)據(jù)中心BTerminalServer79dccisco123。按照如上地址，先行登錄您所在相應數(shù)據(jù)中心的TerminalServer。LINE和ENABLE均為dccisco123。。利用showhost命令查看相應的反 NET的N5K名稱出現(xiàn)如下提示，說明此線路被占用，需要利用命利用CLEARLINE命令清除相應接口，重新連接（鍵入用戶名：admin、DCcisco123，登錄N5010-01交換初始化配臵，擦除原有交換機配臵，重初始化N5K配臵時，請一定注意自己登陸的設備，不要錯誤清除了Terminal-Server的配臵。N5K-01#wrWarning:Thiscommandwillerasethestartup-configuration.Doyouwishtoproceedanyway?(y/n) [n]yN5K-01#WARNING:ThiscommandwillrebootthesystemDoyouwanttocontinue?(y/n)[n]y2010 811:05:51N5K-01%$VDC-1%$%PFMA-2-ManualsystemrestartfromCommandLine重啟系統(tǒng)，系統(tǒng)加電自檢，引導系統(tǒng)文件系統(tǒng)加電自檢通過后，進入系統(tǒng)初始化界面，如----SystemAdminAccountSetup---Doyouwanttoenforcesecurepasswordstandard(yes/no):Enterthepasswordfor"admin":Confirmthepasswordfor"admin":WouldyouliketoenterthebasicconfigurationdialogStep2.Nexus5010交換機配臵N5010的帶絡管理接口，此管理接口在本實驗中被連接到一臺以太網(wǎng)匯聚交換機。啟用此接口后，您可以通過您的筆記本電腦直接SSH此N5K交換機CLI啟用SSH配臵您的筆記本中SSH客戶端程序，驗證SSH登陸檢查N5K帶外管理接口Management0與交換機網(wǎng)關連通性備份配臵DC-A-N5K-01#copyrunning-configstartup-config##]100%Step3.NX-OS常用命實驗STP通過這個實驗你會了解STP在新一代數(shù)據(jù)中心VPC環(huán)境中的角色，STPDISABLE，他仍然在交換環(huán)境會在此線面運行狀態(tài)機制，但是不會做任何的干預行動實驗步Step1.配置STPPrimary配臵數(shù)據(jù)中心A和B的N5K-01及N5K-02為STP根橋和備份根橋。注意：此配臵實驗使用，實際工程中可以配臵N7K為根橋和備份根橋。實驗三部署N5k/N2k通過這個實驗你將會學習通過配臵EtherChannel連接Nexus2000andNexus5000Windows2003雙宿主環(huán)境中TEAMING模式的主備上聯(lián)配臵。實驗內N2K相當于N5K的可以放臵在遠端機柜的一個線卡，N5K負責集中管理全部配臵功能。在N5K發(fā)現(xiàn)連接到其上的N2K后，N5K會檢查兩者的兼容性，如果需要N5K會自動升級N2K的版本。在N2K上沒有任何的配臵數(shù)據(jù)會被在本地。有兩種技術方式用以實現(xiàn)N2K和N5K。式就是EtherChannl會負責全部N2K上面48個接口的流量承載。另式是采用“staticpinning”N5KN2K理互聯(lián)鏈路負責承載一組N2K的物理接口的流量。在本小節(jié)試驗中會配臵采用EtherChannel實現(xiàn)N5K和N2K互聯(lián)N2K10GE雙宿主連接兩臺N5K，本小節(jié)試驗中，只是使用到N2K到N5K-01，N2K到N5K-02ConfigureFEXConfigureFEXpinningmax-linkandCreatestaticEtherChannelandconfigure fabricConfiguremanagementIPandrouteforthesecondNexusRepeatFEXrelatedconfigurationonthesecondNexusVerifyFEXstatusonbothNexusConfigurehostinterfaceofNexusConfigureNexus5000interfacesconnectedtoCatalystCheckLinuxserveractive/standbyNICbondingVerifytheserverVerifythefailoverwhenthelinkbetweenserverandNexus2000VerifythefailoverwhenthefabriclinkbetweenNexus2000andNexus5000SimulatethescenariowhentheNexus2000needstobe實驗步Step1.Nexus5010N2K登陸您所在的PODN5K tobeenabled tobeenabled.DC-A-N5K-01(config)#fex^%Invalidcommandat'^'marker.DC-A-N5K-01(config)#featurefexDC-A-N5K-01(config)#fex100DC-A-N5K-01(config-fex)#pinningmax-linksDC-A-N5K-01(config-fex)#description"fex100n5k-DC-A-N5K-01(config-fex)#inte1/7-DC-A-N5K-01(config-if-range)#channel-groupDC-A-N5K-01(config-if-range)#intport-channelDC-A-N5K-01(config-

EtherChannelmodeisON. LACPbetweenN5kand注意：試驗室中的每一個N2K均使用了4條10GE線路N5K,N2K用了兩條10GE線聯(lián)到唯一的一臺N5K，具體詳見本小Step2.N2K的狀到N2K，并且開始對N2K進行升級同步，重啟N2K，最終N2K被加入到N5K的管理中。圖中電源冗余報錯可以忽略Step3.N2K下聯(lián)服DC-A-N5K-01#confDC-A-N5K-01(config)#vlan1XX--Replace“XX”withyourPODnumber(ie100+PODnumber---101thru108)DC-A-N5K-01(config-vlan)#nameDC-A-N5K-01(config-vlan)#intethernetDC-A-N5K-01(config-if)#switchportaccessvlan1XX (Replacewith(100+PODnumber))Step4.N5KN7KVDCDC-A-N5K-01(config-if)#switchportmodeDC-A-N5K-01(config-if)#switchporttrunkallowedvlan1,1XX--(Replacewith(100+PODnumber))DC-A-N5K-01#copyrunning-configstartup-configStep5.配置服務器網(wǎng)卡TEAMING，檢查連通注意：進行本步驟測試內容之前，請確保與您所在數(shù)據(jù)中心的對等POD配臵N5K-02完畢。請也已經(jīng)配臵完畢Setp4N5KN7K配臵您的IE瀏覽器，通過您所在數(shù)據(jù)中心（A或者中的ESXIPHTTPS，安裝vmwarevsphereclientPOD虛擬機界面。如下以數(shù)據(jù)中心A中ESX服務器為例：ESX服務器登陸用戶名root，dccisco123。打開服務器DOS窗口， N7K上的SVI網(wǎng)關地址，并且保持-T持續(xù)監(jiān)測狀態(tài)。Step6.破壞性測試，檢測網(wǎng)絡結構Shutdowntheattachedfexport (thesaliteportitself)connectedtotheprimaryserverDC-A-N5K-01(config)#interfaceDC-A-N5K-01(config-if)#//….monitorwhatisgoingononyourWindowsserverDC-A-N5K-01(config-if)#noshutShutdownoneofthefex-fabricports(sinceweareusingaport-channelbetweentheN5KandtheN2Kyoushouldseenolossoftraffic)DC-A-N5K-01(config)#intDC-A-N5K-01(config-if)#//….monitorwhatisgoingononyourWindowsserverDC-A-N5K-01(config-if)#noshutShutdown fex-fabricDC-A-N5K-01(config)#inte1/7-DC-A-N5K-01(config-if)#//….monitorwhatisgoingononyourWindowsDC-A-N5K-01(config-if)#shDC-A-N5K-01(config-if)#shintbrief(sa liteportsgone)DC-A-N5K-01(config-if)#noshut實驗四部署N2k啟用Static通過這個實驗你將會學習通過配臵staticpinning實現(xiàn)N5K與N2K的互聯(lián)。EtherChannel是通過HASH算法實現(xiàn)staticpinning技術會使每個N5K和N2K的物理互聯(lián)鏈路專注負責承載一組N2K的物理接口的流量。實驗內RemovepartofconfigurationaddedinpreviouslabexericetogetreadyforthislabDefinethenumberoffabricConfigureNexus5000interfaceasfabricinterfaceandassociatethemwiththeFEXCheckFEXVerifyserverVerifyFEXhostinterfacesarebroughtdownwhenitspinneduplink實驗步Step1.N5K、N2K刪除上小節(jié)實驗的配DC-A-N5K-01(config)#intDC-A-N5K-01(config-if)#nofexassociateDC-A-N5K-01(config-if)#inte1/7-DC-A-N5K-01(config-if-range)#nochannel-DC-A-N5K-01(config-if-range)#nointDC-A-N5K-01(config)#nofexDC-A-N5K-DC-A-N5K-01(config)#fexDC-A-N5K-01(config-fex)#pinningmax-links2ChangeinMax-linkswillcausetrafficdisruption.DC-A-N5K-01(config-fex)#description"N5K1FEX100"DC-A-N5K-01(config-fex)#intethernet1/7-8DC-A-N5K-01(config-if-range)#switchportmodefex-DC-A-N5K-01(config-if-range)#fexassociate配置下聯(lián)主機VLANDC-A-N5K-01(config)#vlanX-(Replace“X”withyourPODnumberplus101i.e.DC-A-N5K-01(config-vlan)#intethernetDC-A-N5K-01(config-if)#switchportaccessvlanX--(Replace“X”withyourPODnumberplus101i.e.Step2.N2KStep3.檢查流量及端口分Step4.破壞性測如果您之前初始化N5K，上聯(lián)N7K配臵丟失，因此次部分OntheWindowsserver,keepyouring(to192.168.10X.254)andyourTeamingstatusgoingandmonitored.ThencausefailureofonefexdownlinkDC-A-N5K-01(config)#intDC-A-N5K-01(config-if)#//….monitorwhatisgoingononyourWindowsserverDC-A-N5K-01(config-if)#noshut實驗五雙宿主環(huán)境中VPC實驗目VPCN2K宿主互聯(lián)兩臺N5K交換機。注意：進行本步驟測試內容，做連通性驗證之前，請思考N5K/N2KVPC配臵是否正確，思考N5K和N7K的VPC是否再N5K上面配臵過？如果沒有，請與相鄰PODX組員一起思考、交流配臵方法。本小節(jié)實驗中不要刪除或者修改N7K上面的任何配臵。攻城 #^_^#歸原作者所有 VPC拓撲圖如下圖所示VPC拓撲，思考N5K和N7K的VPC是否在N5K上面配臵過？如果沒有，請與相鄰PODX組員一起思考、交流配臵方法。注意：本小節(jié)試驗中不要刪除或者修改N7K上面的任何配臵。

N5K-

N5K-

N2148T-

Port1- Port1-

N2148T-

N2KN5KN2KN5KN2KN5KVPC技術使得四條雙上聯(lián)線路均可以成為主用激活模式，不會有任何線路處于備用或者阻塞狀態(tài)。與C6500VSS特性不同，VPC技術并不會將兩臺N5K在控制層面合并，因此仍然需要分別配臵兩臺N5K。注意：會自動檢查兩臺N5K對于N2K節(jié)試驗中，兩臺N5KEth1/17-18接口互聯(lián)的兩條10G線路用于作為N5KPeerLink，兩臺N5K的管理接口互聯(lián)用于容錯線路，用于傳遞PeerLinkKeepalive數(shù)據(jù)包。RemovesomeFEXrelatedconfigurationtogetreadyforthis featureEnablefeatureCreateConfigurevPCswitchConfigurevPCpeerkeepaliveConfigurevPCpeerConfigureFEXIDandadddescriptionforAddFEXinterfacetovPCRepeattheaboveconfigurationonthesecondNexusAddinterfaceconnectedtoCatalyst6500tovPCOnCatalyst6500addthetwointerfacesconnectedtosamePODintoCheckFEXstatusonbothNexusConfiguretheFEXhostCheckthevPCChecktheserverVerifyvPCfailoverwhenoneNexus5000VerifyNICbondingfailoverwhenoneFEX實驗步Step1.初始化配DC-A-N5K-01(config)#inte1/7-DC-A-N5K-01(config-if-range)#nofexassociateDC-A-N5K-01(config-if-range)#noswitchportDC-A-N5K-01(config-if-range)#nofexStep2.N5K。注意在本小節(jié)使用中，的N2K需要被兩臺N5K管理，因此兩臺N2K需要配臵兩個不同的FEXID制訂FEX100用于N2K-01的代號連接兩臺N5KFEX101用于N2K-02代號連接兩臺N5K。。DC-A-N5K-01(config)#featurevpc//TurnonvPCfeature.Forsomefeatures,NX-OSrequiresthefeaturestobeturnedonbeforeitcanbefeaturesarenotrequired.DC-A-N5K-01(config)#featureDC-A-N5K-01(config)#vlan1XX--(Replacewith(100+ )#rolepriority1//SpecifyprioritysothatDC-A-N5K-01will ethevPCprimary.[no]yes )#peer-keepalivedestination62vrfmanagement//Replaceitwiththemgmt0IPaddressofotherN5k(DC-A-N5K-02)inyourPOD )#intethernet1/17-DC-A-N5K-01(config-if-range)#channel-group93modeDC-A-N5K-01(config-if)#vpcpeer-link//SpecifyPo93asthepeer-linkforthevPC.Peer-linkisusedtocarrythecontroltrafficaswellasdatatrafficthatneedtotraversethelinkbetweentwoN5ks,suchastrafficforsinglehomedserverorincaseonelinkbetweenserverandN2k/N5Kgoesdown.DC-A-N5K-01(config-if)#switchportmodeDC-A-N5K-01(config-if)#switchporttrunkallowedvlan1,1XX--(Replacewith(100+DC-A-N5K-01(config)#fexDC-A-N5K-01(config-fex)#descriptionthetwoN5kareconsideredasonelogicallink.Therefore,thelinkcountisspecifiedas1.ChangeinMax-linkswillcausetrafficDC-A-N5K-01(config-fex)#intethernet1/7-8//FabriclinksforDC-A-N5K-01(config-if)#switchportmodefex-DC-A-N5K-01(config-if)#fexassociateincludetwoports(e1/7-8)fromanotherN5k:DC-A-N5K-01)DC-A-N5K-01(config-if)#fexDC-A-N5K-01(config-fex)#pinningmax-linksChangeinMax-linkswillcausetrafficDC-A-N5K-01(config-fex)#inte1/9-10//FabriclinksforthesecondDC-A-N5K-01(config-if)#switchportmodefex-DC-A-N5K-01(config-if)#fexassociateDC-A-N5K-01(config-if)#vpc101//AddPo101tovpcbundle101,whichalsoincludetwoports(e1/9-10)fromanotherN5k:DC-A-N5K-01)((NoneoftheFexeswillcomeonlineuntilthematchingconfigurationismadeontheotherN5K))等待您所在數(shù)據(jù)中心POD2也完成相同配置后，再觀察與N2K連接狀Step3.N2K下聯(lián)主機端DC-A-N5K-01(config)#intethernet100/1/1//NoadditionalconfigurationrequiredforvPCunderserverfacingports.DC-A-N5K-01(config-if)#switchportaccessvlan101-(Replacewith(100+DC-A-N5K-01(config-if)#intethernetDC-A-N5K-01(config-if)#switchportaccessvlan101-(Replacewith(100+Step4.VPC注意：思VPCSYSTEM-MACVPCLOCALSYSTEM-MAC的區(qū)別和途DC-A-N5K-01#sh(*)-localvPCisdown,forwardingviavPCpeer- :Peer :peeradjacencyformedvPCkeep-alivestatus :peerisaliveConfigurationconsistencystatus:successvPC :vPCPeer-link StatusActive vPC StatusConsistencyReason 101376Eth100/1/1 1--Step5.線路破壞性測ShutdownalltheinterfacesontheN5k-DC-A-N5K-01(config)#intethernet1/7-DC-A-N5K-01(config-if-range)# ChecktheFEXandvPCstatusonsecond N5k.BothN2karestillupandonline.Theinterfaceeth100/1/1andeth101/1/1areupaswell.DC-A-N5K-01#sh DC-A-N5K-01#sh(*)-localvPCisdown,forwardingviavPCpeer- :Peer :peerlinkisvPCkeep-alivestatus :peerisaliveConfigurationconsistencystatus:successvPCrole :primaryvPCPeer-link StatusActive vPC StatusConsistencyReason 101376Eth100/1/1 101377Eth100/1/2 101378Eth100/1/3 ConsistencyCheck 101379Eth100/1/4 ConsistencyCheck 101380Eth100/1/5 ConsistencyCheck …<snip>1-DC-A-N5K-01#shintEthernet100/1/1isMTU1500bytes,BW1000000Kbit,DLY10usec,reliability255/255,txload1/255,rxload1/255EncapsulationARPAPortmodeisaccessfull-duplex,1000Mb/sBeaconisturnedoffInputflow-controlisoff,outputflow-controlisonSwitchportmonitorisoffLastlinkflappedLastclearingof"showinterface"counters1minuteinputrate0bits/sec,01minuteoutputrate0bits/sec,0DC-A-N5K-01#shintEthernet101/1/1isMTU1500bytes,BW1000000Kbit,DLY10usec,reliability255/255,txload1/255,rxload1/255EncapsulationARPAPortmodeisaccessfull-duplex,1000Mb/sBeaconisturnedoffInputflow-controlisoff,outputflow-controlisonSwitchportmonitorisoffLastlinkflappedLastclearingof"showinterface"counters1minuteinputrate0bits/sec,01minuteoutputrate0bits/sec,0Step6.設備破壞性測通過N5K命令行界面，模擬一臺N2K設備故障離線監(jiān)視服務器網(wǎng)卡TEAMING狀態(tài)變化以 狀態(tài)變化，思考為什么DC-A-N5K-01#confDC-A-N5K-01(config)#inte1/7-DC-A-N5K-01(config-if-range)#no(waituntilconnectivitytothefexesisrestored DC-A-N5K-01(config-if-range)#reloadfexWARNING:ThiscommandwillrebootFEX100Doyouwanttocontinue?(y/n)[n]y注意：保存此小節(jié)全部N5K配臵文件進入N5K的BOOTFLASHN7KVPC本小節(jié)試驗中你將學習如何部署單宿主環(huán)境下 和N5K的VPC方案。配臵服務器啟用LACP實驗內改Windows服務器激活LACP（鏈路聚合控制協(xié)議active/standby至active/activeAddFEXhostinterfacetoPortChannelandthenaddPortChanneltovPCChangeWindowsserverteaminconfigurationfromactive/standbytoCheckthevPCVerifyvPCloadVerifyvPCfailoverwhenthelinkbetweenserverandFEXChecktheSTPstatuswithvPCenabledonbothNexus實驗步Step1.N5K設備配DC-A-N5K-01(config)#intDC-A-N5K-01(config-if)#nofexassociateDC-A-N5K-01(config-if)#inte1/7-DC-A-N5K-01(config-if-range)#nochannel-group100DC-A-N5K-01(config-if-range)#noswitchportmodeDC-A-N5K-01(config-if-range)#nointpo100DC-A-N5K-01(config)#nofexDC-A-N5K-01(config)#intDC-A-N5K-01(config-if)#nofexassociateDC-A-N5K-01(config-if)#inte1/9-DC-A-N5K-01(config-if-range)#nochannel-group101DC-A-N5K-01(config-if-range)#noswitchportmodeDC-A-N5K-01(config-if-range)#nointpo101DC-A-N5K-01(config)#nofexDC-A-N5K-01(config)#fexDC-A-N5K-01(config-fex)#pinningmax-links1ChangeinMax-linkswillcausetrafficdisruption.DC-A-N5K-01(config-fex)#inte1/7-8DC-A-N5K-01(config-if-range)#channel-groupDC-A-N5K-01(config-if-range)#intDC-A-N5K-01(config-if)#fexassociateDC-A-N5K-01(config-這部分的配置上節(jié)的實驗配置過因此可以不進行配置DC-A-N5K-01(config)#featureDC-A-N5K-01(config)#featureDC-A-N5K-01(config)#vlanX-(Replace“X”withyourPODnumberplus100i.e. )#rolepriority1//SpecifyprioritysothatDC-A-N5K-01will ethevPCprimary.[no]yes )#peer-keepalivedestination62vrfmanagement//Replaceitwiththemgmt0IPaddressofotherN5kinyourDC-A-N5K-01(config-vpc-)#intethernet1/17-DC-A-N5K-01(config-if-range)#channel-group93modeDC-A-N5K-01(config-if)#vpcpeer-link//SpecifyPo1asthepeer-linkforthevPC.Peer-linkisusedtocarrythecontroltrafficaswellasdatatrafficthatneedtotraversethelinkbetweentwoN5ks,suchastrafficforsinglehomedserverorincaseonelinkbetweenserverandN2k/N5Kgoesdown.DC-A-N5K-01(config-if)#switchportmodeDC-A-N5K-01(config-if)#switchporttrunkallowedvlan1,1XX-((Replacewith(100+Ifyouskippedthevpcpeerconfigbecauseitwasalreadydone,continuehere.DC-A-N5K-01(config-if)#intethernetDC-A-N5K-01(config-if)#channel-group10modeDC-A-N5K-01(config-if)#intDC-A-N5K-01(config-if)#switchportaccessvlan1XX-(Replacewith(100+DC-A-N5K-01(config-if)#vpc((NotetheVPCusesLACP(modeactive);ItwillnotbeupuntilyoumodifytheWindowsserverconfigurationtouseLACPinthenextstep))802.3AD（TEAMING卡雙激活上聯(lián)N2K）為了保證在VMWARE中可以激活此特性，注意下圖中對于ESXSERVER中網(wǎng)卡分配的配臵，每個虛擬機的每個VICVSWITCH上面。注意：這部分的配臵已經(jīng)初始化好，請不要修改ESXSERVER服務器的任何注意：本采用虛擬機方式測試，因此VM里面不支持此ANS功能修改，需要在VM里面刪除原有容錯模式的TEAMING綁定模式，然后重新建立LACP新的TEAMINGStep4.破壞性測配臵N5K-01：SHUTDOWNE100/1/1，觀察主機 態(tài)，配臵N5K-02：SHUTDOWNE100/1/1，觀察主機狀態(tài)是否有丟包或者延時大的情況發(fā)生，感 的特性重新恢復VM虛擬機網(wǎng)卡TEAMING配臵為ACTIVE和STANDBY狀態(tài)，以便后續(xù)試驗使用。實驗七配臵N5K交換模式啟用FCoE及VSA（可選）的服務器CNAN5K思科計算提供。實驗目N5K的FC的互聯(lián)配臵，配臵VSANFCoEISL通向核SAN10GCNA實驗八N5K恢復（可選本實驗為可選實驗，不在本實驗內容中測試。但是此內容不再N5K操作手冊中，因此給大家，大家今后工程實踐中遇到IMAGE丟失情況下參考使用。由于丟失，N5K只可以進入LOADER模式Step1:EnterthelocalIPaddressandthesubnetmaskfortheswitandpressloader>ipaddress61Found EtherExpressPro10082559ERat0xe800,ROMaddress EtherExpressPro10082559ER]Ethernetaddr:Address:Netmask:Server:Gateway:Step EntertheIPaddressofthedefaultgateway,andpressloader>ipdefault-gatewayAddress:61Netmask:Server:Gateway:Step3: BootthekickstartimagefilefromtherequiredTFTPserver,andpressEnter.loaderboottftp:/TFTP/kickstart-latestAddress:61Netmask:Server:Gateway:Booting:/kick-282console=ttyS0,9600n8nnquietloader_ver="1.0(2)............................................ImageverificationStartingINIT:version2.78bootingCheckingallfilesystems. WARNING:imagesyncisgoingtobedisabledafteraloadernetbootLoadingsystemsoftwareINIT:SendingprocessestheTERMsignalSendingallprocessestheTERM SendingallprocessestheKILL Enteringsingle-usermode...INIT:GoingsingleuserINIT:SendingprocessestheTERMsignalTheswitch(boot)#promptindicatesthatyouhaveausableKickstartStep4:Copythesystemandkickstartimagesswitch(boot)copytftp://TFTP服務器地址/system-imgbootflash:system-iTryingtoconnecttotftpswitch(boot)copytftp://TFTP服務器地址/system-imgTryingtoconnecttotftpAfterthisisdone,youwouldseethebootChangetoconfigurationmodeandconfiguretheIPaddressoftheswitch'smgmt0interface.switch(boot)#configtswitch(boot)(config)#interfacemgmt0Step1EnterthelocalIPaddressandthesubnetmaskfortheswitcandpressswitch(boot)(config-mgmt0)#ipaddress61Step2IssuethenoshutcommandtoenabletheinterfaceontheswitcandpressEnter.switch(boot)(config-mgmt0)#noshutStep3Followthisstepifyouissuedainitsystemcommand.OtherwisskiptoStep a.EntertheIPaddressofthedefaultgateway,andpressEnter.switch(boot)(config-mgmt0)#ipdefault-gatewayStep4ExittoEXECmode.Step5CopythesystemimagefromtherequiredTFTPserver,andpressswitch(boot)copytftp://TFTP服務器地址/system-imgbootflash:system-iTryingtoconnecttotftpStep6CopythekickstartimagefromtherequiredTFTPserver,andprtheEnterswitch(boot)copytftp://TFTP服務器地址/system-imgTryingtoconnecttotftpStep7Verifythatthesystemandkickstartimagefilesarecopiedtoyourbootflash:directory.switch(boot)#dir Jun2314:58:441980Usageforbootflash://sup-Step8Loadthesystemimagefromthebootflash:directory:switch(boot)#loadbootflash:system-imagepressingsystemimage:bootflash:/system-image第四Nexus7KNexus7000產(chǎn)品概述Nexus7000支持真正的全業(yè)務線速流量思科的Nxus7000下一代數(shù)據(jù)中心平臺支持在全業(yè)務功能應用下的線速流量轉發(fā)，區(qū)別與其他廠商的“清流”簡單線速轉發(fā)，思科的Nexus7000可以在應用了大容量入向ALAL，URPF反向地址檢測，PBR策略路由，QOS，限速等多種feature應用下真正做到全業(yè)務的線速流量轉發(fā)。對于Web運營商的網(wǎng)絡基礎架構而言，需要的不僅僅是傻而快的交換機，需要的是數(shù)據(jù)中心的智能交換平臺，需要高可靠，抗，支持豐富的QOS，安全控制等，易管理多種功能下的流量轉發(fā)。Nexus7000支持虛擬化支持vPC跨機箱的端口功思科的Nxus7000支持VirtualPort-hannl技術，支持跨機箱的以太通道技術，可以同時利用匯聚或接入交換機的雙STP防環(huán)協(xié)議只能利用一條上聯(lián)鏈路的局限性和STP個吐量提高一倍。思科的Nexus7000支持VDC虛擬交換機技術，目前支持將一臺Nexus7000交換機劃分為4臺完全端口獨立的Nexus7000交換機，進程和端口完全，單臺VDC的問題不會延伸到其他VDC。思科的Nexus700010GE，GE，未來支持高密度的40GE，100GE，對于Web運營商來說，在初期業(yè)務量不大的IDC，可以只一臺Nexus7000交換機，虛擬出4個獨立的Nexus7000給不同的業(yè)務系統(tǒng)使用，降低了需要同時思科的VDC的功能，可以對Web運營商測試上線VDCNexus7000支持隊列頭部阻塞避思科的Nexus7000產(chǎn)品路卡的FabricInterface側支持VOQ功能；整機系統(tǒng)支持1000個Destinationwith4個優(yōu)先級調度；在Nexus系統(tǒng)中，VOQ不是一個孤立存在的單元，它同時具備和Fabric的FlowControl機制以及和Arbiter的調度Nexus7000依靠這種雙重的工作機制來避免“多級交換矩陣”產(chǎn)生的re-arrange-able擁塞問題。該方案的優(yōu)點是反應速同時因為Nexus的交換系統(tǒng)是為了DataCenterEthernet架構而設計的，所以這種VOQ設計可以確保系統(tǒng)平滑過渡到DCE模塊的部署。Nexus7000支持DCEDnterEthrnet丟包的以太網(wǎng)、二層多路徑等一系列針對數(shù)據(jù)中心而設計、優(yōu)化的技術。N7K支持2-wayVPCN7KUnifiedFabric,就是說目前的交換背板設計可以直接支持DCE的數(shù)據(jù)流量。未來N7K還將支持FcoE/DCE的線路接口卡，從而方便DCESwitch。同時N7K還可以和N5K、N2K配合使用，從而構成一個端到端的DCE解決方案。數(shù)據(jù)

雙邊

數(shù)中心數(shù)中心BDefaultgatewayforalldevices:據(jù)Rack01: 91/NexusN5010-N5020-C3660路由器N7010交換機終端管理登錄方法Server63dccisco123。Server79 dccisco123。數(shù)據(jù)中A地址數(shù)據(jù)中A地址信Rack01: 75/N5010-NexusN5020-NexusC3660路由TerminalN7010交換NexusNexusNexusNexusC4948交換C4848-ASAASAESX4VmwareDCNMNexus NexusTerminalNexusNexusNexusC4948交換C4848-ASAASAESX4VmwareDCNMDefaultgatewayforalldevices:服務器管理登錄方法配臵您的IE瀏覽器，通過您所在數(shù)據(jù)中心（A或者中的ESXIPHTTPS，安裝vmwarevsphereclientPOD虛擬機界面。如下以數(shù)據(jù)中心A中ESX服務器為例：ESX服務器登陸用戶名root，dccisco123。PODsVDC數(shù)據(jù)中心V1.0版本中中兩臺N7010交換機，每臺設備安裝一塊32口10G模塊，及48電口10/100/1000攻城 #^_^#歸原作者所有 N7KVDC1-44PODsA/B中每臺N7010VDC E1/1-8,E3/1- E1/17-24,E3/25- E1/9-16,E3/13- E1/25-32,E3/37-PODsVLANIPPOD1數(shù)據(jù)中心 N7K- VLAN VLAN101VIP

VLAN

POD2數(shù)據(jù)中心A N7K-VDC02 VLAN101 VLAN101VIPVLAN VLAN102VIPPOD3數(shù)據(jù)中心 N7K- VLAN VLAN103VIPVLAN VLAN104VIPPOD4數(shù)據(jù)中心 N7K- VLAN VLAN103VIPVLAN VLAN104VIP實驗一Nexus7000通過這個實驗你將會學習基本的配臵關于N7000 同時熟悉NX-OS 操作的常用操作命令和配臵方法。實驗內N7KIP為 管理接口配臵缺省網(wǎng)關配臵開啟 安全登錄模式執(zhí)行常用操作命令如：Showcommand,ShowShowmodule實驗步Step1.Nexus7010交換。Server63dccisco123POD3-4登錄數(shù)據(jù)中心BTerminalServer79dccisco123。按照如上地址，先行登錄您所在相應數(shù)據(jù)中心的TerminalServer。LINE和ENABLE均為dccisco123。。利用showhost命令查看相應的反向 NET的N7K主備引出現(xiàn)此線路被占用，需要利用利用CLEARLINE命令清除相應接口，重新連接（鍵入用戶名：admin、DCcisco123，登錄N7010-SUP1交初始化配臵，擦除原有交換機配臵，重啟系統(tǒng)系統(tǒng)加電自檢通過后，進入系統(tǒng)初始化界面，如----SystemAdminAccountSetup---Doyouwanttoenforcesecurepasswordstandard(yes/no):Enterthepasswordfor"admin":Confirmthepasswordfor"admin":WouldyouliketoenterthebasicconfigurationdialogStep2.Nexus7010交換機配臵N7010的帶絡管理接口，此管理接口在本實驗中被連接到一臺以太網(wǎng)匯聚交換機。啟用此接口后，您可以通過您的筆記本電腦直接SSH此N7K交換機CLI管理界面。注意：數(shù)據(jù)中心A/B，有兩個PODs，但是僅僅需要配臵一次交換機管理地址，因為兩臺VDC管理接口還數(shù)據(jù)中心DC-A-Nexus數(shù)據(jù)中心DC-B-Nexus啟用SSH檢查N7K帶外管理接口Management0與交換機網(wǎng)關連通性配臵您的筆記本中SSH客戶端程序，驗證SSH登陸備份配臵Step3.NX-OS常用命實驗二配臵思科NX-OS支持VDC技術，VDC可以實現(xiàn)把一臺VDCVDC己的配臵文件，并且可以被不同的管理員管理。VDC每臺硬件設備可以支持到四個VDC。通過這個實驗你將會學習基本的配臵關于N7000VDC配臵，同時熟悉思科N7KVDC實驗內VDC資源類配臵方

N5K-

N5K-

N2148T-

Port1- Port1-

N2148T-實驗步Step1.

注意：如下報錯，提示啟用VDC特性，需要激活，由于是實驗環(huán)境，因此會使用DEMO完成此實驗。Step2.VDC分配物理數(shù)據(jù)AN7010VDC分配 E1/1-8,E3/1- E1/17-24,E3/25- OTV數(shù)據(jù)AN7010VDC分配 E1/1-8,E3/1- E1/17-24,E3/25- OTVStep3.VDC缺省資源模64個資源模板。注意：VDCVDCStep4.備份配DC-A-N7010#copyrunning-config ##]100%實驗三VDCStep1.登錄至VDC配置初始化用戶Step2.配置接口注意接口默認是SHUNDOWN狀態(tài)切換為主交換模DC-A-N7010- DC-A-N7010-VDC02#copyrunning-configstartup-config##]100%Step3.配置Step4.VLANIP地址VDCSVIVDCHSRPPOD1數(shù)據(jù)中心N7K-VLANVIPVLANVIPPOD2數(shù)據(jù)中心N7K-VLANVIPVIPPOD3數(shù)據(jù)中心 N7K- VLAN101 VIPVLAN VIPPOD4數(shù)據(jù)中心 N7K- VLAN VIPVLAN VIPVDC01相關VLANHSRPVDC02相關VLANHSRPHSRP攻城 #^_^#歸原作者所有 Step5.VDC管理地VDCVDCvrfcontextiproute/0interfacemgmt0nosnmptraplink-statusvrfmembermanagementipaddress70/24Step6.連通性檢驗N7K到N2KVMWAREStep7.VDC配置文件DC-A-N7010-VDC02#copyrunning-configstartup-config##]100% 實驗四配臵雙邊VPCN7K與N5KVPC。此為Step1.初始化N5KN2K清空N5K配臵文件恢復配臵文件如N5K中<實驗五雙宿主環(huán)境中VPC部署>，配臵文件您之前應在N5KBOOTFLASH中。如果您沒有備份配臵，手工恢復N5K01和N5K-02與兩臺N2K配臵環(huán)境，按照如下步驟進行，如果您已經(jīng)恢復配DC-A-N5K-01(config)#nointerfaceport-channelDC-A-N5K-01(config)#inte1/7-DC-A-N5K-01(config-if-range)#nofexassociateDC-A-N5K-01(config-if-range)#noswitchportDC-A-N5K-01(config-if-range)#nofexDC-A-N5K-01(config)#nointerfaceport-DC-A-N5K-01(config)#nointerfaceport-注意：請保留配臵文件中對于 的配臵Step2.N5K。注意在本小節(jié)使用中，的N2K需要被兩臺N5K管理，因此兩臺N2K需要配臵兩個不同的FEXID制訂FEX100用于N2K-01的代號連接兩臺N5KFEX101用于N2K-02代號連接兩臺N5K。由于保留了之前配臵中VPC。DC-A-N5K-01(config)#featurevpc//TurnonvPCfeature.Forsomefeatures,NX-OSrequiresthefeaturestobeturnedonbeforeitcanbefeaturesarenotrequired.DC-A-N5K-01(config)#featureDC-A-N5K-01(config)#vlan10X--(Replacewith(100+ rolepriority1//SpecifyprioritysothatDC-A-N5K-01will ethevPCprimary.越低越優(yōu)先.[no]yes )#peer-keepalivedestination62vrfmanagement//Replaceitwiththemgmt0IPaddressofotherN5k(DC-A-N5K-02)inyourPOD )#intethernet1/17-DC-A-N5K-01(config-if-range)#channel-group93modeDC-A-N5K-01(config-if)#vpcpeer-link//SpecifyPo93asthepeer-linkforthevPC.Peer-linkisusedtocarrythecontroltrafficaswellasdatatrafficthatneedtotraversethelinkbetweentwoN5ks,suchastrafficforsinglehomedserverorincaseonelinkbetweenserverandN2k/N5Kgoesdown.DC-A-N5K-01(config-if)#switchportmodeDC-A-N5K-01(config-if)#switchporttrunkallowedvl由于保留了之前配臵中VPC

N5K-

N5K-

N2148T-

Port1- Port1-

N2148T- 下面配臵以DC-A-N5K-01為例配臵，DC-B-N5K-02請保持DC-A-N5K-01(config)#fexDC-A-N5K-01(config-fex)#descriptionthetwoN5kareconsideredasonelogicallink.Therefore,thelinkcountisspecifiedas1.ChangeinMax-linkswillcausetrafficDC-A-N5K-01(config-fex)#intethernet1/7-8//FabriclinksforDC-A-N5K-01(config-if-range)#channel-group100DC-A-N5K-01(config-if-range)#intpo100DC-A-N5K-01(config-if)#switchportmodefex-fabricDC-A-N5K-01(config-if)#fexassociate100includetwoports(e1/7-8)fromanotherN5k:DC-A-N5K-02)DC-A-N5K-01(config-if)#fexDC-A-N5K-01(config-fex)#descriptionSECOND_FEX_IN_PODDC-A-N5K-01(config-fex)#pinningmax-links1ChangeinMax-linkswillcausetrafficDC-A-N5K-01(config-fex)#inte1/9-10//FabriclinksforthesecondDC-A-N5K-01(config-if)#switchportmodefex-DC-A-N5K-01(config-if)#fexassociateDC-A-N5K-01(config-if)#vpc101//AddPo101tovpcbundle101,whichalsoincludetwoports(e1/9-10)fromanotherN5k:DC-A-N5K-02)((NoneoftheFexeswillcomeonlineuntilthematchingconfigurationismadeontheotherN5K))等待您所在數(shù)據(jù)中心POD2N5K-02也完成相同配置后