博科光纖交換機維護手冊

1、中國建設銀行信息技術管理部 SFB 項目組博科光纖交換機維護手冊博科光纖交換機維護手冊（v1.0）作者門斌審核分類交換機子類光纖交換機更新時間2010-10-05關鍵字博科，brocade 光纖交換機摘要博科光纖交換機維護手冊博科光纖交換機維護手冊主要適用環(huán)境版本說明版本說明中國建設銀行信息技術管理部 SFB 項目組版本號擬制/修改責任人擬制/修改日期修改內(nèi)容/理由V1.0門斌2010-12-1新建中國建設銀行信息技術管理部 SFB 項目組目錄第 1 章應用系統(tǒng)概況 .31.1 應用系統(tǒng)簡介 .31.2 應用系統(tǒng)物理拓撲圖.3第 2 章交換機介紹 .4第 3 章SAN 系統(tǒng)實施準備.73.1

2、涉及交換機設備.73.2 環(huán)境要求 .73.3 光纖布置 .73.4 交換機管理 IP 的分配.83.5 管理控制臺需求.9第 4 章安裝實施過程 .104.1 實施過程 .104.2 微碼升級 .114.3 配置分區(qū) .12第 5 章和刀片交換機級聯(lián).15第 6 章產(chǎn)品維護服務 .176.1 日常維護 .176.2 技術服務 .195:技術文檔模板第 5 頁 共 4 頁應用系統(tǒng)概況應用系統(tǒng)概況應用系統(tǒng)簡介應用系統(tǒng)簡介中國建設銀行在 2007 年 7 月啟動了分行 IT 基礎設施資源整合項目，旨在將各分行的 IT 架構(gòu)都納入到一個統(tǒng)一的 SAN 架構(gòu)中，這樣做的好處是：可以實現(xiàn)存儲的集中，可以

3、實現(xiàn)統(tǒng)一的集中的 LAN-Free 備份系統(tǒng)，可以很容易實現(xiàn)服務器的容災系統(tǒng)，另外，通過數(shù)據(jù)的整合，可以以較低的成本實現(xiàn)數(shù)據(jù)容災系統(tǒng)。應用系統(tǒng)物理拓撲圖應用系統(tǒng)物理拓撲圖在 SAN 架構(gòu)設計時，有一個統(tǒng)一的原則，就是雙冗余的設計，在這個設計中，所有的部件都實現(xiàn)了冗余，沒有任何單點故障。所以整個系統(tǒng)的設計如下圖所示：生產(chǎn)中心LANSAN磁帶庫磁盤陣列服務器這是一個典型的 SAN 架構(gòu)設計圖，上面的兩臺服務器做一個應用的 HA，都分別連接到兩個冗余的Fabric 網(wǎng)絡中，磁盤陣列和磁帶庫也冗余連接到兩個 Fabric 網(wǎng)絡中，所有的部件都冗余連接，沒有單點故障。這個系統(tǒng)架構(gòu)的優(yōu)點是：雙網(wǎng)絡設計，兩

4、個網(wǎng)絡之間實現(xiàn)完全冗余，并互相獨立；目前一個 Fabric 網(wǎng)絡有一臺 Brocade 48000，如果需要擴充，可以通過級聯(lián)的方式連接新的交換機，級聯(lián)交換機之間可以采用即插即用的 Trunk 相連。6:技術文檔模板第 6 頁 共 4 頁交換機介紹交換機介紹此次交換機都采用 Brocade 48000，端口板都是 48 端口板，冗余電源和風扇配置。不同的分行采購的端口數(shù)不一樣，如果是 144 口，就是 3 塊端口板；如果是 192 口，就是 4 塊端口板；如果是 256 口，就是 6塊端口板；具體端口數(shù)以實際合同為準。下面是交換機的相關參數(shù)：SILKWORMSILKWORM 480004800

5、0 導向器參數(shù)：導向器參數(shù)：系統(tǒng)構(gòu)架系統(tǒng)構(gòu)架光纖通道端口最多 384 端口, 通用 (E、F 和 FL); 最多 8 個 16 或 32 或 48 端口光纖通道模塊控制處理器冗余 (主/備) 控制處理器模塊擴展性 最多 239 交換機全 Fabric 構(gòu)架認證最大 Fabric56 臺交換機,19 次跳躍;可根據(jù)需求認證更大的 Fabric;詳細配置,請參照博科通訊或者 OEM廠商的 SAN 設計文擋?；ゲ僮餍?任何 SilkWorm 2000 系列交換機, SilkWorm 3000 系列交換機, SilkWorm 4000 系列交換機, SilkWorm 200E, SilkWorm 12

6、000, 和 SilkWorm 24000性能1.063 Gbit/sec 線速, 全雙工; 2.125 Gbit/sec 線速, 全雙工; 4.25 Gbit/sec 線速, 全雙工; 1、2、 4 Gbit/sec 端口速率自適應; 可選擇固定端口速度編程; 1、2、 4 Gbit/sec 端口間速度匹配ISL 干線合并每個 ISL 干線最多 8 個 4.25 Gbit/sec 端口; 每個 ISL 干線最高 32 Gbit/sec. FC4-16 最多支持 2 個 8 端口干線組, FC4-32 最多支持 4 個 8 端口干線組。要與 SilkWorm 3000 系列交換機、SilkWo

7、rm 12000 和 24000 導向器兼容, ISL 干線合并速度為 2 Gbit/sec集合帶寬 2.176 Tbit/sec交換機延遲速度為 2 Gbit/sec,最短路由時,任何兩個端口之間延遲2.1 微秒速度為 4 Gbit/sec,最短路由時,任何兩個端口之間延遲 ipaddrset -sw 0 設置交換機的SWITCH IP地址Ethernet IP Address 48:7Ethernet Subnetmask :Fibre Channel IP Address none:Fibr

8、e Channel Subnetmask none:Committing configuration.Done.switch:admin ipaddrset -cp 0 設置交換機的CP0 管理IP地址Ethernet IP Address 48:5Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.switch:admin ip

9、addrset -cp 1 設置交換機的CP1 管理IP地址Ethernet IP Address 48:4Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.11:技術文檔模板第 11 頁 共 4 頁管理控制臺需求管理控制臺需求用戶提供一臺 PC 作為管理控制臺，安裝 Windows XP 或 2003 操作系統(tǒng)，設置 IP 地

10、址為和交換機在同一網(wǎng)段，比如 ，作為日常檢查、升級微碼和保持日常交換機配置的終端。這個終端上需要安裝免費的 Java 軟件，版本 JRE 1.5.x。在需要升級交換機微碼時，在管理控制臺服務器上開放 FTP 服務。12:技術文檔模板第 12 頁 共 4 頁安裝實施過程安裝實施過程由于用戶的實際情況差別較大，安裝過程也不盡相同，我們用一個模版來具體說明。實施過程實施過程1.物理安裝：將 2 臺 Brocade 48000 上架，固定；2.安裝所有 SFP 模塊，將光纖連接到相應的端口，注意光纖的順序和清潔；3.連接電源線，接通電源啟動，待啟動自檢完成，此過程需要 10 分鐘；

11、4.檢查硬件指示燈的狀況，查看硬件運行是否正常；telnet 登陸到交換機(用戶名/admin;密碼/password)，運行 switchshow 命令：switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zonin

12、g: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Router: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id

13、N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online F-Port 10:00:00:00:c9:25:3d:43 如果可以看到所有的端口，說明端口都工作正常，No_Light 表示該端口沒有收到信號。5.檢查微碼是否是我們計劃的版本，如果不是，升級微碼到相應的版本；13:技術文檔模板第 13 頁 共 4 頁 運行命令 firmwareshow，查看現(xiàn)在的版本。switch:admin firmwaresh

14、owfirmwareshowSlot Name Primary/Secondary Versions Status-5 CP0 v5.1.0 Active *v5.1.06 CP1 v5.1.0 Standbyv5.1.0如果現(xiàn)在的版本不少 v5.3.0，需要升級到 v5.3.0（注：最終的版本可能會改變） 。具體的升級過程見下面章節(jié)。6.設置用戶提供的 IP 地址，詢問用戶有沒有其它要求，設置修改系統(tǒng)參數(shù)；修改 IP 地址在前面已經(jīng)描述過。7.根據(jù)實際應用情況，配置分區(qū)，配置分區(qū)的過程見下面的章節(jié)；微碼升級微碼升級在安裝過程中，我們會確定一個允許的最終版本，初步確定是 v5.3.0。具體的升

15、級方法是：1、將微碼拷貝到指定的管理控制臺服務器上。打開 ftp 服務（IP 地址：7，用戶名root，口令是 root；將 ftp 的根目錄設定為/v5.3.0）2、登陸到交換機的 Standby CP；鍵入 firmwaredownload 命令。switch:admin firmwareDownloadfirmwareDownload 7,root,/release.plist,root7,root,/release.plist,rootThis command will upgrade both CPs in the swit

16、ch. If youwant to upgrade a single CP only, please use -s option.You can run firmwareDownloadStatus to get the status of this command.This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted.Do you want to continue Y:FirmwareDow

17、nload has started in Standby CP. It may take up to 10 minutes.And you will the following on Standby CP:Start to install packages.dir #terminfo #termcap #glibc #.sin #Write kernel image into flash.Verification SUCCEEDEDFirmwaredownload completes successfully.14:技術文檔模板第 14 頁 共 4 頁3、使用 firmwareshow 命令查

18、看升級是否完成，如果沒有完成，耐心等待。4、使用 hashow 命令查看交換機的 CP 工作是否正常。 switch:admin hashowhashowLocal CP (Slot 6, CP1): ActiveRemote CP (Slot 5, CP0): Standby, HealthyHA Enabled, Heartbeat Up, HA State Synchronized如果不是這個 Synchronized 的狀態(tài)，需要查找原因解決。配置分區(qū)配置分區(qū)由于每個分行的業(yè)務系統(tǒng)不盡相同，它們的分區(qū)配置也不會一樣，以重客系統(tǒng)為例。 創(chuàng)建分區(qū)的步驟如下：分區(qū)配置是交換機安裝的一個很重要

19、的環(huán)節(jié)。但由于每個分行的業(yè)務系統(tǒng)不盡相同，它們的分區(qū)配置也不會一樣，下面舉一個應用為例來說明。 北京分行有一個重客業(yè)務系統(tǒng)，使用 DMX 磁盤陣列，磁帶庫有 6 個磁帶機，每個 Fabric（Switch）上連接 3 臺。系統(tǒng)的連接布局和 Zoning 配置是：Switch 0(Fabric A)Zoning 表NumZoneAreaH-PortH-NameRole1BJAP0511DMX1H0100,32100,40BJAP0511存儲2BJAP0521DMX1H0100,32100,41BJAP0521存儲3BJAP0511TL00H2100,174;100,175;100,190100,

20、288BJAP0511備份我們做分區(qū)的原則是每一個 HBA 做一個分區(qū)。這樣做分區(qū)的步驟如下：switch:admin zonecreatezonecreate BJAP0511DMX1H0,BJAP0511DMX1H0, 100,40;100,32100,40;100,32switch:admin zonecreatezonecreate BJAP0521DMX1H0,BJAP0521DMX1H0, 100,41;100,32100,41;100,32switch:admin zonecreatezonecreate BJAP0511TL00H2,BJAP0511TL00H2, 100,28

21、8;,100,174;100,175;100,190100,288;,100,174;100,175;100,190switch:admin cfgcreatecfgcreate BJ_Prod_FA,BJ_Prod_FA, BJAP0511DMX1H0;BJAP0511DMX1H0; BJAP0521DMX1H0;BJAP0521DMX1H0; BJAP0511TL00HBJAP0511TL00H 2215:技術文檔模板第 15 頁 共 4 頁switch:admin cfgenablecfgenable BJ_Prod_FABJ_Prod_FA You are about to enabl

22、e a new zoning configuration.This action will replace the old zoning configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .加入將來需要增加新的ZONE配置的話，執(zhí)行如下命令：switch:admi

23、n zonecreatezonecreate BJAP0511DMX1H0_NEW,BJAP0511DMX1H0_NEW, 100,45;100,33100,45;100,33switch:admincfgadd BJ_Prod_FA,BJ_Prod_FA, “BJAP0511DMX1H0_NEW”“BJAP0511DMX1H0_NEW”switch:admincfgenable BJ_Prod_FABJ_Prod_FAYou are about to enable a new zoning configuration.This action will replace the old zoni

24、ng configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .16:技術文檔模板第 16 頁 共 4 頁如果還有新的應用，可以填入上面的表格，允許相同的命令，生成zone和config，并激活。17:技術文檔模板第 17 頁 共 4 頁和刀片交換機級聯(lián)和刀片交換機級聯(lián)

25、由于分行刀片服務器存儲交換機是博科產(chǎn)品，如核心交換機是博科產(chǎn)品，則互聯(lián)非常方便，具體步驟是：1 檢查刀片交換機的 Domain ID，如果和核心交換機沖突，則根據(jù)SFB 實施工藝-存儲部署詳細設計方案中有關 Domain ID 使用規(guī)范予以分配.。具體命令為：（假設 Domain ID 為 102）switch:admin configureConfigure.Fabric parameters (yes, y, no, n): no yesDomain: (1.239) 1 102BB credit: (1.27) 162 連接完成后，查看相應的端口模式，如是 E-Port，則表明連接成功。

26、具體命令為switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zoning: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Ro

27、uter: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated18:技術文檔模板第 18 頁 共 4 頁80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600

28、 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream)19:技術文檔模板第 19 頁 共 4 頁產(chǎn)品維護服務產(chǎn)品維護服務日常維護日常維護服務方公司將定期了解買方對系統(tǒng)的使用情況，及時聽取買方對產(chǎn)品及系統(tǒng)工作狀況的意見，幫助其合理地使用產(chǎn)品系統(tǒng)，并建立日常維護、保養(yǎng)機制。維護內(nèi)容：包括交換機的電源，firmware 版本、光纖接口卡、以太網(wǎng)卡接口、日志信息、Zoning 的軟硬件功能、運行性能、容量等。(1)檢查交換機系統(tǒng)板指示燈

29、工作是否正常CP 板指示燈：綠燈表示正常，黃燈表示有問題。CP0：正常不正常CP1：正常不正常(2)檢查交換機電源指示燈工作是否正常： 電源指示燈：綠燈表示正常，黃燈表示有問題。PS1：正常不正常PS2：正常不正常（3）檢查交換機風扇指示燈是否正常：風扇指示燈：綠燈表示正常，黃燈表示有問題FAN1：正常不正常FAN2：正常不正常FAN3：正常不正常SWITCH-NAMESWITCH-NAME以太網(wǎng)端口測試 通過局域網(wǎng)和終端計算機遠程登錄（telnet）到交換機：1. 在 dos 窗口鍵入：C:telnet switch1_IP2輸入用戶名及口令，登錄到交換機，鍵入：# fabricshow屏幕顯示，登錄提示符及網(wǎng)絡配置信息：1. swichname login:2. “Switch ID Worldwide Name Enet IP Addr FC 20:技術文檔模板第 20 頁 共 4 頁IP Addr”檢查交換機的狀況遠程登錄（telnet）到交換機，執(zhí)行如下命令： switchstatusshow可顯示交換機的總體運行狀態(tài)。屏幕打印狀態(tài)“Healthy/OKHealthy/OK”為正常。如果打印“Marginal/Warning” ，視具體情況判定正?；蛘叻钦ｋ娫礌顟B(tài)