MSPE-技術類-3-存儲硬件架構設計v1.3

1、MSPE培訓教材存儲硬件架構技術名詞解釋nCISCCISC：Complex Instruction Set Computer，復雜指令集計算機，現在市面常見的是Intel、AMD的產品，比如Intel XeonnRISCRISC：reduced instruction set computer，精簡指令集計算機，現在市面常見的是IBM、FreeScale的產品，比如IBM Power6nASICASIC：Application Specific Integrated Circuit，專用集成電路，廠家為了某種特定需求而設計的專用電路nIAIA架構：架構：Intel Architecture，英

2、特爾體系架構，主要是CISC陣營的產品（至強、酷睿、賽揚等），部分產品屬于RISC架構（IOP），少數產品（安騰系列）屬于CISC和RISC的結合CISC架構存儲陣營nCISCCISC：復雜指令集計算機，主要是Intel、AMD的X86處理器，基于Intel架構的又稱IA架構n應用：應用：存儲中端存儲產品的首選，逐步應用于高端產品。n陣營：陣營：EMC VNX系列/VMAX系列、IBM V7000系列、 Netapp FAS系列、華賽 S5000T系列等。性能迅速增強，成本下降明顯已發(fā)布針對存儲應用的專用芯片標準化程度高，被廣泛接收，應用范圍廣廠家的實力強，發(fā)展迅速非針對存儲應用，性能不強，成

3、本較高只被少數存儲廠家采用CISC架構控制器設計Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead Cache Storage ProcessorCPUCPUCPU CPUCPUCPUCPU CPU64 bit ArchitectureMirrored Write CacheOverheadRead Cache Fanx8 CMI FanFanFanPower SupplyPower SupplyI/O ComplexI/O ComplexFC Module

4、iSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI ModuleFC ModuleiSCSI ModuleFC ModuleFC ModuleFC ModuleiSCSI Module2顆Xeon四核處理器(2.33GHz)16GB緩存EMC CX4-960EMC CX4-960控制器架構控制器架構n基于基于CISCCISC架構架構(Intel X86)(Intel X86)的控制器設計的控制器設計包括RAID處理在內的所有功能都由X86處理器提供(軟RAID)，對處理器性能、緩存算法的要求都較高需要更高主頻或更多數量的處理器、更大的內存、更強調緩存調度算

5、法PCI-E 1.0技術RISC架構存儲陣營nRISCRISC：精簡指令集計算機，主要是FreeScale、ARM、IBM的產品，比如IBM PowerPCn應用：應用：常見于低端存儲產品，較多采用RISC+ASIC混合架構。由于歷史原因，部分高端產品還在采用RISC架構。n陣營：陣營：IBM DS3000、臺灣盤陣廠家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、銳捷等)性能不高，成本較低主要應用于低端存儲領域標準化程度低，接受范圍有限廠家的實力和投入有限等原因，發(fā)展比較緩慢早期產品速度快、設計簡單廣泛應用于低端/高端存儲領域，中端存儲領域應用較少RISC架構控制器設

6、計采用Power PC 440 ROC 800-MHz 處理器(aka Meteor) 超標量核芯，帶有一個1.9x MIPS 倍增器，轉換成1.5-GHZ x-scale 執(zhí)行 XOR 和P+QIBM DS3500(LSI Engino 2600)IBM DS3500(LSI Engino 2600)控制器架構控制器架構項目項目DS3500架構RISC處理器Power PC 440最大緩存4GB最大磁盤數96滿配主機接口8*FC+6*SAS滿配后端接口2*SAS處理器能力弱，整體規(guī)格低處理器能力弱，整體規(guī)格低ASIC架構存儲陣營nASICASIC：專用集成電路，廠商為了某種特定需求（通常是R

7、AID加速）而設計的專用電路n應用：應用：少數上一代中端產品還在采用，部分中低、低端盤陣還在采用，一般采用ASIC+CISC或者ASIC+RISC架構。n陣營：陣營：HDS HUS系列、IBM DS5000（LSI Engino 7900）、Infortrend性能不高，成本不低，無競爭優(yōu)勢，只有少數上一代產品還在采用實現復雜，架構封閉，可移植性差存儲廠家的芯片實力遠落后于Intel等廠家，發(fā)展緩慢專為存儲的RAID處理而設計，能夠顯著提高RAID處理效率需要與CISC處理器協(xié)同工作ASIC+CISC混合控制器設計ASIC芯片， RAID處理Xeon芯片，管理功能內存訪問帶寬低nASIC+CS

8、ICASIC+CSIC混合架構混合架構ASIC：主要承擔RAID處理、緩存鏡像兩部分功能CSIC：承擔系統(tǒng)管理、數據管理、數據保護等功能n應用狀況和前景應用狀況和前景技術更新緩慢技術更新緩慢 (1)處理能力有限; (2)支持的內存容量?。豢梢浦残圆羁梢浦残圆?1)技術設計和實現復雜(2)通用性差，非常封閉HDS HUSHDS HUS控制器架構控制器架構8-16GB緩存控制器架構設計總結CISC(X86)CISC(X86)ASICASIC應用應用產品產品特點特點復雜指令集計算機，主要是Intel、AMD的X86處理器基于Intel架構的又稱IA架構早期無存儲專用芯片，性能不強，成本較高標準化程度

9、高，廠家的實力強，發(fā)展迅速性能迅速增強，成本下降明顯中端存儲產品的首選，逐步應用于高端產品EMC CX4系列(Intel)、Netapp FAS系列(AMD)專用集成電路，廠家為了某種特定需求（通常是RAID加速）而設計的專用電路專為存儲的RAID處理而設計，與主處理器一起工作，早期能夠顯著提高RAID處理效率實現復雜，架構封閉，可移植性差，發(fā)展緩慢常用于中端存儲產品，采用CISC+ASIC混合架構HDS AMS2000、LSI Engino 7900(IBM DS5000)RISCRISC精簡指令集計算機，主要是FreeScale、ARM、IBM的產品早期產品速度快、設計簡單由于標準化程度差

10、，廠家的實力和投入有限等原因，發(fā)展比較緩慢性能不高，成本較低常見于低端存儲產品，如Infortrend等低端盤陣由于歷史原因，高端產品大多還在采用RISC架構Intel新一代處理器：Jasper Forest處理器集成內存控制器，無需通過北橋連接，訪問速度更快，訪問帶寬更高(256Gb/s)9根內存插槽，最大144GB支持DDR3，頻率800/1066/1333DDR3 1333(9*Slot)XOR引擎引擎16 PCI ExpressGen 2QPIJasper Forest多核處理器多核處理器DMI南橋南橋IO模塊模塊處理器內部集成RAID硬件加速，無需ASIC支持16個PCI-E 2.0

11、通道，最大帶寬：單向80Gb，雙向160Gb可將8通道用于后端磁盤連接，8通道用于緩存鏡像連接QPI:QuickPath Interconnect，通常用于處理器之間的互連單向帶寬5.87 GT/s(117.4Gb)可用于連接處理器和前端IO模塊三級處理器內部CacheL1：每核32K數據+32K指令L2：每核256K，數據、指令共用LLC：共享8MB，指令、數據共用PCI-E 2.0總線技術PCI-X：競爭共享總線：競爭共享總線PCI Express：點對點傳輸：點對點傳輸PCI Express2.0通道通道未編碼數據速率（有未編碼數據速率（有效的數據速率）效的數據速率）編碼數據速率編碼數據

12、速率單向單向雙向雙向單向單向雙向雙向14Gbps8Gbps5Gbps10Gbps416Gbps32Gbps20Gbps40Gbps832Gbps64Gbps40Gbps80Gbps1664Gbps128bps80Gbps160Gbpsn 串行總線結構串行總線結構 支持點對點傳輸，每個傳輸通道獨享帶寬n 信道聚集信道聚集 有效組合為x1，x2，x4，x8，x16和x32 支持雙向傳輸模式，單信道帶寬5Gbps，16信道帶寬達到160Gbpsn 用于控制器的前后端接口、緩存鏡像通道用于控制器的前后端接口、緩存鏡像通道的連接的連接SAS傳輸技術SASSAS技術技術3 3創(chuàng)新的寬端口技術創(chuàng)新的寬端口技

13、術2 2交換架構交換架構Phy1 1繼承繼承SCSISCSI技術的穩(wěn)定和高可靠性技術的穩(wěn)定和高可靠性SCSISCSI技術技術4 4高擴展性高擴展性PhyPhyPhyPhyPhyPhyPhy四路四路SASSAS寬端口寬端口四路四路SASSAS寬端口寬端口6Gb*4 SASSASSAS技術技術并行并行串行串行SASSAS域域最多可最多可接接1612816128個設備個設備(128(128* *126)126).Fanout ExpanderEdge ExpanderSAS磁盤磁盤SAS適配器適配器Edge ExpanderSAS磁盤技術n 先進的磁盤先進的磁盤接口接口 繼承SCSI的穩(wěn)定可靠性 全

14、雙工、點對點數據傳輸 3.0/6.0Gbps接口傳輸速率 雙端口冗余備份n 多種速率類型多種速率類型 支持15,000/10,000/7,200rpm三種速率n 良好的兼容性良好的兼容性 SATA磁盤兼容 SSD磁盤的主要接口方式 服務器、存儲陣列均可使用SAS線纜接口線纜接口SAS磁盤磁盤磁盤接口磁盤接口磁盤廠家的路標FCFC硬盤硬盤(3.5(3.5寸寸) )已經不再有新的已經不再有新的產品型號產品型號10/15K10/15K轉硬盤轉硬盤全部都是全部都是SASSAS接接口口7200K7200K轉的轉的2.52.5寸硬盤是寸硬盤是SAS/ SAS/ SATASATA接口接口7200K7200K

15、轉的轉的3.53.5寸硬盤是寸硬盤是SAS/ SAS/ SATASATA接口接口SSDSSD硬盤以硬盤以2.52.5寸寸SASSAS為主，保為主，保留留3.53.5寸寸FCFCXSAS在業(yè)界的應用EMCEMC： VNX系列（新產品，SAS2.0）IBMIBM：V7000（新產品，SAS2.0）HPHP： P4000、P6000（新產品，SAS2.0 ）HDSHDS：HUA系列（新產品，SAS2.0）Netapp: Netapp: FAS3000/6000（混合架構）SASSAS架構架構FCFC架構架構低端低端中端中端高端高端包括EMC、IBM、HP、HDS在內的幾乎所有廠家的產品（SAS1.0

16、）HDSHDS：VSP系列（新產品，SAS2.0）IBMIBM：DS8800（新產品，SAS 2.0）EMCEMC：DMX系列HDSHDS：USP系列（老產品）IBMIBM：DS8700（老產品）極少數廠家極少數廠家EMCEMC： CX4系列（老產品）IBMIBM：DS5000HPHP： EVA系列（老產品）Netapp: Netapp: FAS3000/6000（混合架構）SSD技術SSD功耗降低近80%，隨機訪問速度提升數十倍SSD不需要電池保護，保證提供持續(xù)的高性能讀寫服務功耗比較功耗比較9W 2W 訪問時間比較訪問時間比較2-8ms0.09ms通過采用寫合并、損耗均衡算法、增強型錯誤校

17、驗碼(ECC)等技術，MLC的可靠性已經接近于SLCMLC、SLC將同時應用于企業(yè)級存儲領域VSVSSLC每個單元承受擦寫次數是MLC單元的10倍MLC的芯片顆粒讀寫速度僅為SLC的1/2-1/3相同顆粒數量，MLC的容量是SLC的2倍成本上，MLC遠低于SLCVSVS新一代存儲硬件技術 PCI-E 2.0最高速的總線帶寬技術，單通道帶寬5Gb，16通道帶寬80GbSAS2.0單端口帶寬達到6Gb四路寬端口帶寬達到24GbIntel Jasper首次在CPU內置RAID加速引擎支持288GB的大容量緩存SSDPhyPhyPhyPhyPhyPhyPhyPhy四路SAS寬端口四路SAS寬端口6Gb

18、*4 SASX25-E Extreme (SLC), 32GB, SATA, Zeus IOPS, 1TB, SATA, 3.5”(MLC), 256GB, SATAII, 2.5”SSDSSD盤盤隨機訪問性能提升100倍價格大幅降低，容量接近機械硬盤PCI-E2.0通道通道編碼數據速率編碼數據速率單向單向雙向雙向15Gbps10Gbps420Gbps40Gbps840Gbps80Gbps1680Gbps160GbpsDDR3 1333(9*Slot)XOR引擎引擎16 PCI-EGen 2QPIJasper Forest多核處理器多核處理器DMI南橋南橋IO模塊模塊新一代存儲新一代存儲IBM

19、 V7000架構設計(基于Intel Jasper)nCPUCPU的的PCIe x16PCIe x16總線成為性能瓶頸總線成為性能瓶頸控制器的核心連接設備是PCIe Switch，其連接了FC主機接口(PCIe x8) 、后端SAS接口(PCIe x8) 、緩存鏡像通道(PCIe x8)以及一個擴展槽位(PCIe x8) ，這四部分的總共需要32通道的PCIe的帶寬。但是其連接CPU的PCIe總線只有16通道，無法滿足要求，這成為了系統(tǒng)的性能瓶頸。n內存容量太小內存容量太小控制器只有2個內存插槽，最大只能配置8GB內存(單根4GB)，相比接口和總線速率，明顯偏小。Intel平臺在存儲廠家的應用

20、項目項目VNX7500DMX4-950架構X86RISC處理器至強 560032*1.3GHz(共41.6GHz)最大緩存96GB128GB最大磁盤數1000360滿配主機接口32*FC+16*IP16*FC+10*IP滿配后端接口8*12Gb SAS32*4Gb FCnIBMIBM：新產品采用：新產品采用Intel JasperIntel JasperV7000：2010年Q4發(fā)布的新一代產品，采用Intel Jasper平臺，定位于現有中端產品，與DS5000持平V7000將Intel Jasper的優(yōu)勢限制使用（如果將Intel Jasper平臺的優(yōu)勢完全發(fā)揮，將完全超越現有DS5000

21、產品）項目項目V7000DS5000架構X86ASIC+CSIC處理器JasperASIC+Xeon最大緩存16GB32GB最大磁盤數240480滿配主機接口8*FC+4*IP16*FC滿配后端接口4*SAS16*FCnEMCEMC：IntelIntel的全球頂級合作伙伴的全球頂級合作伙伴VNX7500：2011年1月發(fā)布，是采用Intel Xeon Westmere平臺，其已經接近甚至超越其高端入門級產品DMX4-950（VNX7500只有緩存配置偏?。￢NX7500如果采用更強的Intel Jasper平臺并將其優(yōu)勢完全發(fā)揮，將會嚴重沖擊其高端DMX產品Intel平臺在存儲廠家的應用（續(xù)）

22、n華賽華賽S5000TS5000TS5000T：2011年Q1發(fā)布的新一代產品，采用Intel Nehalem平臺(Jasper前一代)，定位于現有中高端產品華賽 S5000T的其它規(guī)格與EMC VNX7500相當，但內存規(guī)格高出數倍。項目項目VNX7500S6800T架構X86X86處理器至強 5600至強5540（4 x 2.53 GHz）最大緩存96GB48/96/192/GB最大磁盤數10001440主機接口槽位數1012個IO模塊滿配后端接口8*12Gb SASn不足之處不足之處不足1：S5000T采用的至強5540處理器，屬于Nehalem平臺，是Jasper的前一代，無內置RAI

23、D加速引擎。不足2：S5000T的QPI連接用于2顆CPU之間互聯，導致整體帶寬不夠，無法發(fā)揮所有端口的性能。宏杉MS5000架構設計nIntel JasperIntel Jasper多核處理器多核處理器RAID加速：內置異或引擎，提高RAID效率QPI連接：CPU通過QPI連接IO模塊，帶寬超過100Gbn超大容量高速緩存超大容量高速緩存超大緩存容量：9根內存插槽，最大288GB內存訪問加速：CPU直連內存，提升內存訪問效率，帶寬達256GbnPCI-E 2.0PCI-E 2.0總線總線單通道帶寬5.0Gb，前/后端接口及緩存鏡像采用PCIe x8，帶寬達到40GbnSAS2.0SAS2.0技術技術單通道帶寬6.0Gb，每控制器兩個四通道SAS寬端口，帶寬達到48Gb支