存儲(chǔ)器那點(diǎn)事(六)企業(yè)級(jí)大存儲(chǔ)器綜述

1、.存儲(chǔ)器那點(diǎn)事(六)企業(yè)級(jí)大存儲(chǔ)器綜述-1 我們把上述體系架構(gòu)成為Hi-Star架構(gòu)，多年來(lái)，H系一直堅(jiān)持了這種體系架構(gòu)不變，從9900系列（包括9960、9910），9900V系列（包括9970V、9980V），USP系列（包括USP、NSC55）和USP V系列（包括USP VM和USP V）從體系架構(gòu)上來(lái)講皆變化不大。每一代的升級(jí)從本質(zhì)上來(lái)講是進(jìn)一步提升了控制緩存和數(shù)據(jù)緩存交換機(jī)的帶寬，提升前端主機(jī)通道接口的速度和數(shù)量，提升后端磁盤(pán)通道接口的數(shù)量和速度，以及提高數(shù)據(jù)緩存和控制緩存的容量。 第一代基于Histar交換架構(gòu)H系存儲(chǔ)器9900系列存儲(chǔ)器，包括9960和9910兩個(gè)型號(hào)。其中99

2、60最大支持512塊磁盤(pán)，HP管叫XP512；而9910最大支持48塊磁盤(pán)，HP那邊叫XP48； 第一代基于Histar交換架構(gòu)H系存儲(chǔ)器9900系列存儲(chǔ)器 第三代基于Histar交換架構(gòu)H系企業(yè)級(jí)存儲(chǔ)器上圖是第二代基于Histar交換架構(gòu)H系存儲(chǔ)器9900V系列存儲(chǔ)器，可以看到緩存交換機(jī)系統(tǒng)帶寬從6.4GB/sec升級(jí)到了15.9GB/sec，包括9970V和9980V兩個(gè)型號(hào)。其中9970最大支持128塊磁盤(pán)，HP管叫XP128；而9980V最大支持1024塊磁盤(pán)，HP那邊叫XP1024； 而下圖介紹了第三代基于Histar交換架構(gòu)H系企業(yè)級(jí)存儲(chǔ)器，這次不叫閃電系列了，

3、改名叫USP（Universal Storage Platform）系列了?？梢钥吹酱鎯?chǔ)器緩存交換機(jī)系統(tǒng)帶寬從15.9GB/sec升級(jí)到了81GB/sec，包括USP和NSC55兩個(gè)型號(hào)。其中NSC55最大支持240塊磁盤(pán)，HP管叫XP10000；而USP最大支持1152塊磁盤(pán)，HP那邊叫XP12000?？赡苡锌垂贂?huì)問(wèn)，怎么一下子從512、1024跳到12000去了，難不成這個(gè)東東能夠支持12000塊磁盤(pán)？ 這其實(shí)是一共HP公司一個(gè)相當(dāng)高明的比喻手法，因?yàn)閺倪@一代開(kāi)始這個(gè)存儲(chǔ)器可以支持通過(guò)虛擬化存儲(chǔ)的技術(shù)外接第三方存儲(chǔ)器，所以總體支持的磁盤(pán)數(shù)量跨越了單臺(tái)存儲(chǔ)機(jī)箱的限制而大大增加了（就像飛流直下

4、三千尺難不成李白同學(xué)還親自量過(guò)那個(gè)瀑布有三千尺的落差？）  第四代基于Hi-star交換架構(gòu)的企業(yè)級(jí)存儲(chǔ)器到了2007年，H系又再次更新到第四代基于Hi-star交換架構(gòu)的企業(yè)級(jí)存儲(chǔ)器，這次仍然是兩款存儲(chǔ)器產(chǎn)品USP V和USP VM系列（這一代的主要特點(diǎn)是增加了對(duì)于精細(xì)化預(yù)分配的支持，因此名字里面加了一個(gè)V）?？梢钥吹酱鎯?chǔ)器緩存交換機(jī)系統(tǒng)帶寬從81GB/sec升級(jí)到了106GB/sec，HP這邊管它們叫XP24000和XP20000。 下圖是H系公司企業(yè)級(jí)存儲(chǔ)更新發(fā)布的總覽。  H系公司企業(yè)級(jí)存儲(chǔ)更新發(fā)布的總覽補(bǔ)充說(shuō)明：前陣子筆者主持一個(gè)云存儲(chǔ)用戶大會(huì)，據(jù)中國(guó)惠普一個(gè)存儲(chǔ)

5、高層領(lǐng)導(dǎo)透露，HP公司將要將存儲(chǔ)器整合重新命名。比如所有存儲(chǔ)陣列都叫HP Storageworks P系列，那么原來(lái)的HP XP系列將屬于P9000系列，HP EVA好像是屬于P6000系列，HP MSA2000將屬于P2000系列，而前幾年收購(gòu)的Lefthand公司的產(chǎn)品是屬于P4000系列，不知道有沒(méi)有給新收購(gòu)的H3C的IX3000和IX1000系列留下位置？莫非就叫P1000和P3000系列？而所有的磁帶庫(kù)都叫A系列，所有的NAS叫X系列，因此大家在采購(gòu)各家存儲(chǔ)廠商的產(chǎn)品的時(shí)候請(qǐng)注意一下其最新的命名規(guī)則。 基于DMX直連矩陣的EMC DMX存儲(chǔ)器體系架構(gòu)可以說(shuō)企業(yè)級(jí)存儲(chǔ)市場(chǎng)，2

6、000年以前EMC公司是處于絕對(duì)壟斷地位，后面幾年慢慢地被兩家后起之秀（IBM公司和日立公司）搶了不少份額，可以說(shuō)當(dāng)時(shí)EMC在存儲(chǔ)器體系架構(gòu)方面拘泥于MOSAIC 2000架構(gòu)一直無(wú)法實(shí)現(xiàn)突破。厚積薄發(fā)，在2003年2月EMC終于推出了一種劃時(shí)代的創(chuàng)新產(chǎn)品Symmetrix DMX系列，開(kāi)始了在企業(yè)級(jí)存儲(chǔ)市場(chǎng)的有力反擊。 下圖是EMC Symmetrix DMX的體系架構(gòu)圖：  EMC Symmetrix DMX的體系架構(gòu)我們來(lái)分析一下EMC DMX的設(shè)計(jì)思路，企業(yè)級(jí)存儲(chǔ)器的設(shè)計(jì)說(shuō)到底還是要解決多個(gè)部件高速互連的問(wèn)題，總線設(shè)計(jì)已經(jīng)證明行不通了，交叉開(kāi)關(guān)crossbar的思路被H系搶了

7、先，有沒(méi)有更加先進(jìn)的思路呢，俗話說(shuō)：如果你不能擁有它（實(shí)話說(shuō)這crossbar技術(shù)蠻有技術(shù)壁壘的），那么最好的方法這就拋棄它換個(gè)思路突破，這就是EMC DMX系列推出來(lái)后的突出亮點(diǎn)。 DMX存儲(chǔ)器的核心交換部分干脆就拋棄了原來(lái)的緩存高速交換機(jī)和緩存總線的設(shè)計(jì)思想，干脆采用了一種各部件直連的體系結(jié)構(gòu)，把主機(jī)前端接口和后端磁盤(pán)接口直接接到緩存上以避免了總線和交換機(jī)的延遲（當(dāng)然其實(shí)在緩存上還是有其他轉(zhuǎn)接部件存在以連接前端存儲(chǔ)卡和后端存儲(chǔ)卡的，但不管怎么樣直連DMX聽(tīng)起來(lái)也不輸給所謂crossbar無(wú)阻塞交換架構(gòu)，總算打平了）。 根據(jù)EMC公司官法資料介紹，Symmetrix DMX系列存儲(chǔ)器的直連矩

8、陣架構(gòu)采用了其專利、有革命性意義的全新Direct Matrix Architecture（直連矩陣架構(gòu)），為可擴(kuò)展性、靈活性、可用性設(shè)置了新軌道。從體系架構(gòu)設(shè)計(jì)思路來(lái)講還是有一定道理的。 從2003年第一代Symmetrix DMX存儲(chǔ)器推出后，EMC的高端存儲(chǔ)器一直堅(jiān)持此種體系架構(gòu)，包括DMX/DMX2系列（包括DMX 800、DMX1000、DMX1000P、DMX2000、DMX2000P和DMX3000），DMX3系列（包括DMX-3 950和DMX3），和DMX4系列（包括DMX-4 950和DMX4），直到2009年EMC又與時(shí)俱進(jìn)地推出了基于Scale out設(shè)計(jì)思想的Symm

9、etix V-MAX系列存儲(chǔ)器。 下圖是DMX/DMX-2發(fā)布的產(chǎn)品分類  DMX/DMX-2發(fā)布的產(chǎn)品分類緊接著在上一代的基礎(chǔ)上EMC發(fā)布了DMX3系列，分為DMX3-950和DMX 3兩個(gè)型號(hào)，仍然采用緩存部分DMX直連通道架構(gòu)  EMC發(fā)布DMX3系列而EMC也馬不停蹄在2007年發(fā)布了Symmetirx DMX4系列，分為DMX4 950和DMX4兩個(gè)型號(hào)，磁盤(pán)后端接口采用了4Gb/sec的后端光纖通道，其中DMX4最大可以支持到512GB緩存，其緩存直連帶寬高達(dá)128GB。另外DMX4有一個(gè)很大的亮點(diǎn)是2008年初EMC宣布成為業(yè)界第一個(gè)將在高級(jí)儲(chǔ)存產(chǎn)品上提供固態(tài)

10、硬盤(pán)（solid-state drives, SSD）的存儲(chǔ)器廠商，客戶可選擇以73GB和146GB二種容量的固態(tài)硬盤(pán)（當(dāng)然現(xiàn)在有了更多SDD磁盤(pán)類型的選擇），取代部分磁盤(pán)陣列中的傳統(tǒng)硬盤(pán)，以加快反應(yīng)速度，EMC把基于SDD的磁盤(pán)稱作tier 0，SDD改變了傳統(tǒng)存儲(chǔ)器的很多游戲規(guī)則（當(dāng)然緊接著其他公司也立馬推出了SDD產(chǎn)品），SDD在隨機(jī)cache不命中的IO環(huán)境中（多用于OLTP數(shù)據(jù)庫(kù)交易系統(tǒng)）的表現(xiàn)是非常突出的。  Symmetirx DMX4系列當(dāng)然在2009年EMC又突破性地推出了Symmetrix v-max企業(yè)級(jí)存儲(chǔ)器，它將突破現(xiàn)有的scale-up架構(gòu)，而轉(zhuǎn)向了sca

11、le out架構(gòu)，此方面會(huì)在其他章節(jié)中描述，在本節(jié)中就不多敘述了。 逐鹿中原，百花齊放到底是H系公司的crossbar架構(gòu)好，還是EMC公司的直連式架構(gòu)好，有人說(shuō)交換機(jī)靈活擴(kuò)展，也有人說(shuō)直連式架構(gòu)高效快速，還有人說(shuō)其實(shí)IBM基于Seascape架構(gòu)的企業(yè)級(jí)存儲(chǔ)器擁有Power芯片的核動(dòng)力才是真正的最高性能存儲(chǔ)器其實(shí)這是在企業(yè)級(jí)存儲(chǔ)市場(chǎng)在產(chǎn)品選型時(shí)經(jīng)常被提到的問(wèn)題，也需要廣大系統(tǒng)管理員和用戶自己好好考慮。但有一點(diǎn)是肯定的，高速低延遲的背板或直連技術(shù)是做企業(yè)級(jí)大存儲(chǔ)器的關(guān)鍵之一。 我一直強(qiáng)調(diào)，其實(shí)存儲(chǔ)器本質(zhì)上也是一種計(jì)算機(jī)，所以其他高級(jí)服務(wù)器器也會(huì)碰到同樣的問(wèn)題，比如HP新一代的Supe

12、rdome刀片開(kāi)始用上了Infiniband交換機(jī)連接多個(gè)刀片處理器，而最近很火的一個(gè)機(jī)器就是Oracle新發(fā)布的Exadata Ver 2.0，據(jù)說(shuō)是速度驚人，說(shuō)白了其關(guān)鍵核心是獨(dú)家采用了最先進(jìn)的Infiniband交換設(shè)備40 Gb/sec fault-tolerant unified server and storage network，整個(gè)數(shù)據(jù)庫(kù)機(jī)內(nèi)部配置了3個(gè)36-port QDR Sun Datacenter InfiniBand Switches，也就是通過(guò)他把很多個(gè)小服務(wù)器串接起來(lái)高效工作。具體配置見(jiàn)下圖。  Oracle Exadata Ver 2.0具體配置統(tǒng)一大

13、緩存存儲(chǔ)器的其他產(chǎn)品除了EMC/HDS以外（HP屬于OEM日立的存儲(chǔ)設(shè)備），還有一家就是富士通的高端存儲(chǔ)器了。  富士通Eternus 6000的體系架構(gòu)圖富士通的存儲(chǔ)器也分為兩個(gè)檔次，基于模塊化集群架構(gòu)的Eternus 4000系列（上一代是Eternus3000系列），還有就是企業(yè)級(jí)的Eternus 8000系列（上一代是Etnernus 6000系列）。上圖是富士通Eternus 6000的體系架構(gòu)圖，其基本思想是以高速RT（Router）做為核心交換部件，把控制器CM（即control module，控制器。所有的前端端口均配置在各個(gè)CM上，CM本身可以擴(kuò)展）、前端主機(jī)接口卡

14、（CA）和后端磁盤(pán)接口卡（DA）連接起來(lái)。其整體設(shè)計(jì)思想與H系公司和EMC公司存儲(chǔ)器基本上類似，無(wú)非是用高速Router代替了crossbar交換機(jī)和DMX直連矩陣。 值得一提的是富士通在控制器上率先使用了高速I(mǎi)ntel通用處理器用來(lái)提高處理速度，這一點(diǎn)走在H系和EMC公司前面（H系公司的存儲(chǔ)器一直采用MIPS芯片，而EMC直到2009年最新的V-MAX發(fā)布前一直是采用的powerpc芯片）。 一個(gè)完整的富士通6000、8000的連接示意圖如下所示：  富士通6000、8000的連接示意圖還有一家NEC公司生產(chǎn)的高端存儲(chǔ)器也是采用類似體系架構(gòu)設(shè)計(jì)，但在國(guó)內(nèi)成功案例較少，筆者在本文中也就不多做介紹了。 大家也許會(huì)奇怪，為什么沒(méi)有提到IBM，其實(shí)在我看來(lái)在行業(yè)里赫赫有名的IBM Shark系列（現(xiàn)在又叫DS8000系列）雖然也