Brocade博科SAN網(wǎng)絡(luò)設(shè)計(jì)實(shí)施方案

Brocade博科SAN網(wǎng)絡(luò)設(shè)計(jì)實(shí)施方案————————————————————————————————作者：————————————————————————————————日期： Brocade網(wǎng)絡(luò)項(xiàng)目設(shè)計(jì)方案

Contents一. 文檔目標(biāo) 3二. SAN網(wǎng)絡(luò)設(shè)計(jì)原則 3三. SAN網(wǎng)絡(luò)架構(gòu)拓?fù)浣ㄗh 4四. SAN總體架構(gòu)介紹 5五. 設(shè)備選型 6六. 交換機(jī)高端功能簡(jiǎn)介 7七. 數(shù)據(jù)中心SAN的組成及擴(kuò)展 8八. SAN網(wǎng)絡(luò)配置規(guī)范 10九. Firmware建議 12文檔目標(biāo)為了配合數(shù)據(jù)擴(kuò)展特制定本技術(shù)指引。本指引將會(huì)包括以下內(nèi)容：更好地規(guī)劃、合理地使用SAN架構(gòu)及相關(guān)資源針對(duì)未來(lái)業(yè)務(wù)發(fā)展帶來(lái)的SAN架構(gòu)擴(kuò)展提出原則對(duì)現(xiàn)有的設(shè)備端口資源以及未來(lái)可能投入的新資源進(jìn)行合理的配置規(guī)劃對(duì)SAN設(shè)備相關(guān)的安全策略和監(jiān)控管理提出相應(yīng)規(guī)范SAN網(wǎng)絡(luò)設(shè)計(jì)原則對(duì)于金融服務(wù)環(huán)境等要求最高可靠性、性能和彈性的任何基礎(chǔ)架構(gòu)來(lái)說(shuō)，存儲(chǔ)網(wǎng)絡(luò)架構(gòu)都是基本的組成要素。事實(shí)多次證明，如果在這些方面投機(jī)取巧走捷徑，那么將來(lái)發(fā)生本可避免的故障時(shí)，企業(yè)將付出更大的代價(jià)。一旦產(chǎn)生故障除了極高的宕機(jī)成本以外，還會(huì)導(dǎo)致生產(chǎn)率下降、法律和監(jiān)管合規(guī)性影響、信心和信任度的下降、市場(chǎng)聲譽(yù)受損等后果。所以博科對(duì)于SAN網(wǎng)絡(luò)架構(gòu)非常重視，根據(jù)博科20多年的存儲(chǔ)網(wǎng)絡(luò)經(jīng)驗(yàn)，建議按以下原則設(shè)計(jì)存儲(chǔ)網(wǎng)絡(luò)。最小化所管理Fabric架構(gòu)的數(shù)量-Fabric架構(gòu)越少就越容易管理。最小化每個(gè)Fabric架構(gòu)中交換機(jī)數(shù)-使用如大型導(dǎo)向器可簡(jiǎn)化管理，將可能的Fabric架構(gòu)中斷情況降至最低。限制Fabric架構(gòu)規(guī)模-Fabric架構(gòu)規(guī)模應(yīng)加以限制使用高可用性高的交換機(jī)-即使SAN擁有冗余架構(gòu)可用于故障切換，也沒(méi)有人希望其中一條數(shù)據(jù)路徑出現(xiàn)問(wèn)題。避免大負(fù)載比，防止造成擁塞或性能降低-任何負(fù)載比都應(yīng)適當(dāng)?shù)丶右栽O(shè)計(jì)。大型環(huán)境采用核心-邊緣模式-核心-邊緣設(shè)計(jì)模式可支持更大型多Fabric架構(gòu)的創(chuàng)建，有助于簡(jiǎn)化日常管理任務(wù)，便于解決問(wèn)題。針對(duì)存儲(chǔ)流量進(jìn)行設(shè)計(jì)-在SAN環(huán)境中響應(yīng)時(shí)間是以毫秒甚至納秒及進(jìn)行衡量的，牢靠的SAN設(shè)計(jì)必須提供可靠且一致的I/O響應(yīng)。資源就近訪問(wèn)原則-主機(jī)訪問(wèn)存儲(chǔ)或存儲(chǔ)間訪問(wèn)因采用就近原則，即使用盡可能少的跳數(shù)完成訪問(wèn)。SAN網(wǎng)絡(luò)架構(gòu)拓?fù)浣ㄗhSAN網(wǎng)絡(luò)架構(gòu)拓?fù)浒ňW(wǎng)絡(luò)邊緣的設(shè)備、網(wǎng)絡(luò)核心的交換機(jī)以及將它們連接起來(lái)的線纜。拓?fù)浣Y(jié)構(gòu)一般根據(jù)交換機(jī)互連方式進(jìn)行描述，如環(huán)狀、核心-邊緣、邊緣-核心-邊緣或全網(wǎng)狀。邊緣-核心拓?fù)溥吘?核心拓?fù)鋵nitiator（服務(wù)器）部署在邊緣層，將存儲(chǔ)（目標(biāo)）部署在核心層。服務(wù)器和存儲(chǔ)設(shè)備位于不同的交換機(jī)上，這種拓?fù)淇商峁┕芾砗?jiǎn)便性和出色的性能，從邊緣到核心的流量只通過(guò)一跳。邊緣-核心-邊緣拓?fù)溥吘?核心-邊緣拓?fù)鋵nitiator部署在一個(gè)邊緣層，將存儲(chǔ)設(shè)備部署在另一個(gè)邊緣層，將核心用于交換機(jī)互連或連接全網(wǎng)絡(luò)范圍的設(shè)備，這種架構(gòu)允許獨(dú)立擴(kuò)展計(jì)算和存儲(chǔ)資源，流量只需要經(jīng)過(guò)兩跳就可以從邊緣通過(guò)核心傳輸?shù)搅硪粋€(gè)邊緣設(shè)備。全網(wǎng)狀拓?fù)淙W(wǎng)狀拓?fù)淇梢詫⒎?wù)器和存儲(chǔ)設(shè)備部署在任何地方，因?yàn)槿我庠春湍康牡刂g的通信只需要一跳。Brocade推薦使用核心-邊緣拓?fù)?。這種拓?fù)涮峁┝艘源鎯?chǔ)為中心的可擴(kuò)展基礎(chǔ)設(shè)施，F(xiàn)abric的核心端通常是由一個(gè)或更多導(dǎo)向器級(jí)交換機(jī)組成，提供了集中化的存儲(chǔ)連接。邊緣端是由Fabric架構(gòu)交換機(jī)或?qū)蚱鹘M成，通過(guò)ISL連接到核心端。見(jiàn)下圖：如圖所示，存儲(chǔ)端口是由核心導(dǎo)向器提供支持，同時(shí)邊緣交換機(jī)提供多臺(tái)服務(wù)器到核心資源的扇入。這種設(shè)計(jì)允許路徑上不同級(jí)別服務(wù)器進(jìn)行連接，滿足了不同應(yīng)用的帶寬需求。架構(gòu)特點(diǎn)：主機(jī)訪問(wèn)存儲(chǔ)跳數(shù)為1跳，延時(shí)較低可實(shí)現(xiàn)按需橫向擴(kuò)展（Core或邊緣）存儲(chǔ)可接入在不同的核心上，實(shí)現(xiàn)最大的負(fù)載均衡流量分布在不同的核心及邊緣降低的級(jí)聯(lián)線的需求，有效的提升了ISL的使用效率網(wǎng)絡(luò)中無(wú)單點(diǎn)交換機(jī)故障SAN總體架構(gòu)介紹為了適應(yīng)新一代業(yè)務(wù)的增長(zhǎng)，在新一代SAN架構(gòu)設(shè)計(jì)時(shí)，以保證未來(lái)五年內(nèi)的業(yè)務(wù)增長(zhǎng)為前提，為公司定下了核心-邊緣的SAN架構(gòu)，同時(shí)兼顧未來(lái)的同城災(zāi)備中心，為將來(lái)的擴(kuò)展奠定基礎(chǔ)。當(dāng)前架構(gòu)為雙機(jī)房架構(gòu)，其中A機(jī)房和B機(jī)房又分布在同一樓層，存儲(chǔ)會(huì)分布在2個(gè)機(jī)房?jī)?nèi)。數(shù)據(jù)中心SAN網(wǎng)絡(luò)架構(gòu)生產(chǎn)SAN網(wǎng)絡(luò)架構(gòu)為的核心架構(gòu)，當(dāng)前使用的設(shè)備為博科的6510交換機(jī)且為單機(jī)應(yīng)用，無(wú)論從性能還是功能上均無(wú)法滿足用戶的業(yè)務(wù)增長(zhǎng)需求。依據(jù)最佳實(shí)踐，Brocade提出以核心-邊緣建設(shè)生產(chǎn)數(shù)據(jù)中心的SAN網(wǎng)絡(luò)，以滿足的業(yè)務(wù)擴(kuò)展，見(jiàn)以下拓?fù)鋱D（單邊）：從整個(gè)拓?fù)鋪?lái)看，核心-邊緣架構(gòu)在提供了極佳的應(yīng)用冗余性外，SAN網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)了集中存儲(chǔ)到應(yīng)用體系的轉(zhuǎn)換，使主機(jī)和存儲(chǔ)各自的設(shè)計(jì)和擴(kuò)展變的相對(duì)獨(dú)立。設(shè)備選型鑒于機(jī)房的設(shè)備布局及業(yè)務(wù)需求，決定使用6520來(lái)作為整個(gè)SAN網(wǎng)絡(luò)的核心交換機(jī)。6520硬件Brocade6520交換機(jī)可交付市場(chǎng)領(lǐng)先的16Gbps光纖通道技術(shù)和支持高度虛擬化環(huán)境的先進(jìn)功能，進(jìn)而滿足超大規(guī)模私有云存儲(chǔ)環(huán)境的需求。Brocade6510設(shè)計(jì)用于實(shí)現(xiàn)最高的靈活性和最有效的投資保護(hù)，支持48，62，96端口配置，而且可在高效的2U高度下支持2、4、8、10或16Gbps的速度。交換機(jī)高端功能簡(jiǎn)介生產(chǎn)設(shè)備將會(huì)分布在A機(jī)房與B機(jī)房，因此數(shù)據(jù)傳遞可靠性尤為重要，Brocade傳輸功能保證數(shù)據(jù)快速準(zhǔn)確的在數(shù)據(jù)中心中傳遞，業(yè)界首屈一指的FabricVision功能提供了多種工具保證雙數(shù)據(jù)中心的SAN網(wǎng)絡(luò)監(jiān)控及管理更簡(jiǎn)單，更智能，更有效，確保數(shù)據(jù)安全無(wú)憂。FabricVisionSAN管理的目標(biāo)是希望構(gòu)建靈活的存儲(chǔ)區(qū)域網(wǎng)絡(luò)，靈活滿足高密度虛擬化、閃存和云基礎(chǔ)架構(gòu)動(dòng)態(tài)多變的可擴(kuò)展性和性能要求。為實(shí)現(xiàn)這些目標(biāo)，需要全新的工具來(lái)幫助確保不停機(jī)運(yùn)行，快速識(shí)別潛在擁塞點(diǎn)，最大限度地提高應(yīng)用性能并簡(jiǎn)化管理。BrocadeFabricVision技術(shù)是對(duì)第五代光纖通道技術(shù)的擴(kuò)展，可提供無(wú)與倫比的存儲(chǔ)網(wǎng)絡(luò)洞察力和可視性，利用強(qiáng)大的內(nèi)置監(jiān)控、管理和診斷工具幫助企業(yè)。提供強(qiáng)大的內(nèi)置監(jiān)控、管理和診斷工具，簡(jiǎn)化管理、延長(zhǎng)正常運(yùn)行時(shí)間并降低成本通過(guò)OneTouch方式利用15年的SAN最佳實(shí)踐經(jīng)驗(yàn)，借助預(yù)先定義的基于閥值的規(guī)則、操作和策略簡(jiǎn)化監(jiān)控解決方案部署利用主動(dòng)監(jiān)控和高級(jí)診斷工具避免50%的常見(jiàn)網(wǎng)絡(luò)故障。通過(guò)自動(dòng)化測(cè)試和診斷工具消除近50%的維護(hù)成本。通過(guò)內(nèi)置監(jiān)控和診斷功能消除對(duì)昂貴的第三方工具的需求，幫助節(jié)約大量的資本支出。數(shù)據(jù)中心SAN的組成及擴(kuò)展SAN網(wǎng)絡(luò)的組成SAN架構(gòu)由核心（Core）交換機(jī)、邊緣（Edge）交換機(jī)及相關(guān)線路組成。根據(jù)最佳實(shí)踐，我們先定義每個(gè)SAN網(wǎng)絡(luò)遵循的規(guī)模限制：交換機(jī)個(gè)數(shù)<=10端口數(shù)<=2000SAN網(wǎng)絡(luò)的規(guī)模限制是為了保證網(wǎng)絡(luò)的穩(wěn)定性以及更好的進(jìn)行運(yùn)維管理服務(wù)。SAN網(wǎng)絡(luò)的擴(kuò)展性下圖是目前設(shè)計(jì)的單邊SAN網(wǎng)絡(luò)內(nèi)最大規(guī)模交換機(jī)數(shù)連接示意圖，可以看到：網(wǎng)絡(luò)內(nèi)交換機(jī)采用冗余鏈路設(shè)計(jì)，每個(gè)SAN網(wǎng)絡(luò)最大有2臺(tái)核心Core交換機(jī)（按需擴(kuò)展）和8臺(tái)邊緣Edge交換機(jī)（按需擴(kuò)展）。SAN網(wǎng)絡(luò)的擴(kuò)展原則SAN的設(shè)計(jì)是按5-7年設(shè)計(jì)，但是SAN的建設(shè)是按需擴(kuò)展的，隨著未來(lái)業(yè)務(wù)的發(fā)展可能會(huì)帶來(lái)SAN網(wǎng)絡(luò)的擴(kuò)展需求，對(duì)此Brocade有著如下定義：在既定SAN網(wǎng)絡(luò)內(nèi)某體系需要擴(kuò)展時(shí)，如果某SAN網(wǎng)絡(luò)仍有相應(yīng)擴(kuò)展空間則進(jìn)行縱向擴(kuò)展；如某SAN網(wǎng)絡(luò)已達(dá)規(guī)模上限時(shí)則采取橫向擴(kuò)展。以下為擴(kuò)展基本原則即流程圖：總結(jié)根據(jù)以上內(nèi)容，以下是對(duì)SAN網(wǎng)絡(luò)擴(kuò)展的總結(jié)：當(dāng)端口需要擴(kuò)展時(shí)，依據(jù)接入設(shè)備（存儲(chǔ)/主機(jī)）選擇接入核心還是邊緣交換機(jī)。當(dāng)核心/邊緣交換機(jī)端口不足時(shí)首先選擇擴(kuò)展板卡方式進(jìn)行擴(kuò)展當(dāng)核心/邊緣交換機(jī)無(wú)縱向擴(kuò)展選擇時(shí)，通過(guò)橫向擴(kuò)展方式進(jìn)行擴(kuò)展，即新增交換機(jī)。所有核心/邊緣交換機(jī)接入需采用雙路冗余接入方式。SAN網(wǎng)絡(luò)配置規(guī)范管理網(wǎng)絡(luò)的界定為了統(tǒng)一起見(jiàn)，我們對(duì)管理網(wǎng)絡(luò)進(jìn)行如下界定：管理網(wǎng)絡(luò)是指專門開(kāi)辟一個(gè)用于管理的網(wǎng)絡(luò)，主要用于SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、SAN存儲(chǔ)設(shè)備的管理和調(diào)試等,包括BNASAN網(wǎng)絡(luò)管理系統(tǒng)均使用管理網(wǎng)絡(luò)，地址段為X.X.X.X的某個(gè)網(wǎng)段。管理網(wǎng)絡(luò)區(qū)可以設(shè)置有多個(gè)網(wǎng)段。SAN網(wǎng)絡(luò)設(shè)備的管理和調(diào)試、SAN存儲(chǔ)設(shè)備的管理和調(diào)試、BNASAN網(wǎng)絡(luò)管理系統(tǒng)可以分別使用不同的網(wǎng)段。如果網(wǎng)段之間設(shè)備需要相互通信，則需要相關(guān)的網(wǎng)段能互連互通。SAN網(wǎng)絡(luò)設(shè)備管理IP地址規(guī)劃推薦如下管理IP地址規(guī)劃：在同一個(gè)SAN網(wǎng)中光纖交換機(jī)的管理端口設(shè)在同一個(gè)網(wǎng)段內(nèi)。使用SAN網(wǎng)當(dāng)?shù)氐乃接泄芾砭W(wǎng)絡(luò)的IP地址，地址段為X.X.X.X的某個(gè)網(wǎng)段。對(duì)于普通的SAN交換機(jī)，一臺(tái)交換機(jī)分配1個(gè)管理IP地址；對(duì)于導(dǎo)向器設(shè)備，每臺(tái)導(dǎo)向器需要3個(gè)管理IP地址，2個(gè)分配給CP板，1個(gè)分配給chassis。在導(dǎo)向器實(shí)際管理中，我們使用分配給chassis的IP地址作為管理地址。

SAN交換機(jī)級(jí)聯(lián)端口利用規(guī)劃SAN交換機(jī)端口連接規(guī)劃需要充分考慮過(guò)載比和實(shí)際使用環(huán)境。所謂的過(guò)載比，是指邊緣交換機(jī)所連接的服務(wù)器的數(shù)量與邊緣交換機(jī)到核心交換機(jī)的ISL數(shù)量比值，簡(jiǎn)稱ISL過(guò)載比，或邊緣交換機(jī)所連接的服務(wù)器的帶寬綜合與邊緣交換機(jī)到核心交換機(jī)的ISL帶寬總和的比值，簡(jiǎn)稱為帶寬過(guò)載比，還有一種過(guò)載比是服務(wù)器與存儲(chǔ)端口數(shù)量的比值。下面我們以ISL過(guò)載比進(jìn)行SAN交換機(jī)端口連接規(guī)劃。一般情況下，邊緣交換機(jī)到核心交換機(jī)之間按7:1過(guò)載比進(jìn)行規(guī)劃。對(duì)一般數(shù)據(jù)庫(kù)和應(yīng)用服務(wù)器以及文件服務(wù)器等，其過(guò)載比一般建議7:1。帶寬要求不高的按15:1過(guò)載比進(jìn)行規(guī)劃，一般服務(wù)器以及使用FC的客戶端，15：1一般都能勝任。個(gè)別帶寬要求較高的按3:1過(guò)載比進(jìn)行規(guī)劃，例如核心數(shù)據(jù)庫(kù)和存儲(chǔ)端口的過(guò)載比一般建議3:1。別名的規(guī)劃為了日常管理的清晰和方便推薦使用別名賦予別名名稱一定的含義，如服務(wù)器SVR,存儲(chǔ)SG，物理磁帶庫(kù)LIB等別名名稱的規(guī)定和ZONE的名稱的規(guī)定相同ZONE的規(guī)劃以下是依據(jù)ZONE劃分的最佳實(shí)踐提出如下ZONE的設(shè)置規(guī)范：對(duì)于每臺(tái)主機(jī)的（initiator）1個(gè)端口，對(duì)應(yīng)1個(gè)或數(shù)個(gè)存儲(chǔ)端口（target）一起構(gòu)成1個(gè)ZONE。采用硬件分區(qū)技術(shù)，ZONE的成員要么都是PWWN，要么都是FC端口(DomainID,PortIndex)。推薦在核心交換機(jī)上配置ZONE。推薦FOS（FabricOS）版本最高的交換機(jī)上配置ZONE。不同的FabricZONE的配置信息可以相同，相互獨(dú)立。推薦將交換機(jī)的DefaultZONE設(shè)置成NoAccess。博科交換機(jī)的ZONE的命名為英文字母、阿拉伯?dāng)?shù)字和下劃線，必須以英文字母開(kāi)頭，總長(zhǎng)度不能超過(guò)64位，要區(qū)分英文字母大小寫。ZONE命名原則如下：Zone名稱由前端設(shè)備名稱別名、后端設(shè)備名稱2部分構(gòu)成。名稱依次連接，不留空格，其表示形