存儲基礎(chǔ)知識2-SCSI和網(wǎng)絡(luò)存儲

存儲基礎(chǔ)知識(二）SOUL產(chǎn)品部2010.05目錄存儲介質(zhì)1陣列技術(shù)2SCSI技術(shù)3網(wǎng)絡(luò)存儲4存儲應(yīng)用5OS與存儲6SCSI技術(shù)SCSI技術(shù)SCSI基礎(chǔ)SCSI是:標(biāo)準(zhǔn)？總線？協(xié)議？SCSI基礎(chǔ)SCSI的定義主機適配器SCSIID7SCSI總線SCSI陣列ID0SCSI陣列ID5LUN0LUN1LUN2LUN0LUN1數(shù)據(jù)/地址總線控制信號SCSI（SmallComputerSystemInterface，小型計算機系統(tǒng)接口）是一種為小型機研制的接口技術(shù)，用于主機與外部設(shè)備之間的連接。SCSI歷史SCSI-3是所有存儲協(xié)議的基礎(chǔ)，其它存儲協(xié)議都用到SCSI的指令集SCSI-11986年ANSI標(biāo)準(zhǔn)，采納了SASI接口（1979）；定義了硬盤、磁帶和其它存儲設(shè)備的物理接口、傳輸協(xié)議和標(biāo)準(zhǔn)指令集；SCSI-21994年ANSI標(biāo)準(zhǔn)，SCSI-1的后續(xù)接口；提高了速度和總線帶寬，支持多線程指令，增加了更多存儲設(shè)備類型指令集；SCSI-3更高的速度類型：Ultra-2/Ultra-160/Ultra-320；物理接口、傳輸協(xié)議和SCSI指令集分層。SCSI術(shù)語Initiator: ASCSIdevicethatrequestsanoperationtobeperformedbyanotherSCSIdevice.發(fā)起操作請求的SCSI設(shè)備HostAdapter: AControllerBoardthattranslateshostI/OrequestsintoSCSIrequests.將操作系統(tǒng)I/O請求轉(zhuǎn)為SCSI命令Target:ASCSIdevicethatperformsanoperationasrequestedbyaninitiator.響應(yīng)執(zhí)行操作請求的SCSI設(shè)備LogicalUnit: APhysicalorVirtualdeviceaddressablethroughatarget.SCSI邏輯單元LUN: LogicalUnitNumber.Anencodedthree-bitidentifierforthelogicalunit.邏輯單元號。SCSI總線上可掛接的設(shè)備數(shù)量是有限的，一般為6個或者15個TargetID或SCSIID來描述這些設(shè)備。而實際上我們需要用來描述的對象，是遠(yuǎn)遠(yuǎn)超過該數(shù)字的，于是引入LUN的概念，也就是說LUNID的作用就是擴充了TargetID，每個Target下都可以有多個LUNdevice，通常簡稱LUNdevice為LUN。SCSIConfigurationInitiatorSCSIBusTarget1TargetnTarget0InitiatorTInitiatorSCSIBusTarget1TargetnTarget0SCSIBusTerminatorInitiatorSCSIBusLUN0TargetLUN1LUN2MultipleInitiators,MultipleTargetsSingleInitiator,MultipleTargetsSingleInitiator,SingleTargetTTT網(wǎng)絡(luò)存儲SAN存儲區(qū)域網(wǎng)iSCSINAS網(wǎng)絡(luò)存儲網(wǎng)絡(luò)存儲基于網(wǎng)絡(luò)的SCSISCSI允許連接設(shè)備數(shù)量較少SCSI連接設(shè)備距離非常有限

？基于網(wǎng)絡(luò)的SCSIFCSANIPSANFCPiSCSI如何解決WhatisaSAN?StorageDevicesBlockAggregationFile/RecordSubsystemDeviceInterconnectStorageInterconnectDiskArrayVirtualArrayTapeDiskArrayTapeLibrarySANHP/UXLinuxAIX/MontereyWindowsNT/2000SolarisSANServicesSource:SNIA常見存儲架構(gòu)DAS直連存儲NAS附加網(wǎng)絡(luò)存儲SAN存儲區(qū)域網(wǎng)FCSANIPSANDAS的局限–存儲需要網(wǎng)絡(luò)化LAN直接附加內(nèi)置存儲磁帶庫JBODJBODSCSIFCSCSIFCRAIDRAIDDAS的缺點：每臺服務(wù)器都有其自己的存儲部件($$)管理困難，降低了生產(chǎn)效率備份很昂貴浪費的存儲空間難于共享數(shù)據(jù)NAS基于文件的網(wǎng)絡(luò)存儲提供網(wǎng)絡(luò)文件共享功能支持的協(xié)議包括CIFS，NFS異構(gòu)平臺文件數(shù)據(jù)的共享安裝和使用較簡單LAN網(wǎng)絡(luò)服務(wù)(TCP/IP)卷管理文件系統(tǒng)CIFS/NFSRAID控制器disks管理NASSAN存儲區(qū)域網(wǎng)計算（主機）、傳輸（交換機）、存儲（RAID/Tape）分離主機可以訪問任何存儲設(shè)備，存儲設(shè)備之間可以互訪主機、存儲設(shè)備可以獨立擴展SAN磁帶庫存儲陣列存儲陣列LANNAS&SANSAN偏指計算平臺和存儲平臺間采用數(shù)據(jù)塊進(jìn)行傳遞的網(wǎng)絡(luò)模型，而NAS狹義地定義計算平臺和存儲平臺間采用文件的方式進(jìn)行數(shù)據(jù)傳遞的網(wǎng)絡(luò)模型。iSCSI的誕生更加說明了網(wǎng)絡(luò)模型的實現(xiàn)究竟使用光通道協(xié)議還是以太網(wǎng)協(xié)議是相對次要的環(huán)節(jié)。這只是承載數(shù)據(jù)塊的工具而已。因此，SAN和NAS的區(qū)別在于傳遞的內(nèi)容是數(shù)據(jù)塊還是文件，更根本上來說是文件系統(tǒng)所處的位置。DAS、NAS、SAN剖析

主機DASFCSAN應(yīng)用文件/操作系統(tǒng)I/O重定向器TCP/IP協(xié)議棧NFS/CIFS網(wǎng)絡(luò)接口卡

主機文件處理I/ONASIPNetwork網(wǎng)絡(luò)接口卡TCP/IP協(xié)議棧NFS/CIFS文件系統(tǒng)+邏輯卷管理器數(shù)據(jù)管理系統(tǒng)RAID塊處理I/O設(shè)備驅(qū)動應(yīng)用邏輯卷管理器裸卷SCSI設(shè)備驅(qū)動塊處理I/OIPSAN應(yīng)用邏輯卷管理器裸卷iSCSILayerTCP/IPStack網(wǎng)絡(luò)接口卡

主機塊處理I/O塊處理I/OIPNetworkFCNetwork網(wǎng)絡(luò)接口卡TCP/IP協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理I/OFC總線卡FC協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理I/O應(yīng)用邏輯卷管理器裸卷SCSI設(shè)備驅(qū)動FC協(xié)議棧FC總線卡設(shè)備驅(qū)動設(shè)備驅(qū)動SCSI設(shè)備驅(qū)動

主機文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫RAIDSCSI/FC總線卡FCSAN并行與串行接口之間的比較光纖通道基于核心SCSI協(xié)議設(shè)計，光纖通道通過將并行接口轉(zhuǎn)換為串行接口極大的提高了SCSI的性能Data1Control1Data2Control2Data3Control3SCSI的并行接口多條連接線光纖通道的串行接口Data3Control3Data2Control2Data1Control1單連接線并行總線難以保證在遠(yuǎn)距離上數(shù)據(jù)的傳輸順序(電磁干擾)光纖通道的優(yōu)點為上層協(xié)議(SCSI，IP等)提供一個通用硬件傳輸平臺。高速:現(xiàn)在可以提供4Gbit(400MB)/秒的數(shù)據(jù)傳輸速率，全雙工專有連接，未來可升級至10Gbit/秒無阻塞數(shù)據(jù)傳輸最大10公里連接距離(通過擴展器可連接上千公里，非常適于災(zāi)難恢復(fù)應(yīng)用)先進(jìn)的流控制系統(tǒng)保證數(shù)據(jù)按順序傳輸.不存在無線電信號散射(RFI)，從而消除了電磁信號串行數(shù)據(jù)傳輸，每傳輸一位需要0.94納秒(極小的時間延遲)使用8b/10b編碼方式將8位轉(zhuǎn)換為10b格式進(jìn)行串行傳輸

(內(nèi)置時鐘信號)最多可以連接1千6百萬個節(jié)點(交換Fabric模式)強大的錯誤更正能力(位錯誤率=1x10-12)，比原有銅連接網(wǎng)絡(luò)強大1000倍光纖通道網(wǎng)絡(luò)–SAN魔術(shù)般的擴展能力SAN及數(shù)據(jù)管理SAN應(yīng)用SAN網(wǎng)絡(luò)級聯(lián)SAN信息基礎(chǔ)結(jié)構(gòu)WAN配置靈活的拓?fù)浣Y(jié)構(gòu)點對點只能連接2個設(shè)備(直接連接)交換式Fabric最多支持1千6百萬個設(shè)備(光纖通道交換機)ArbitratedLoop

(仲裁環(huán))最多支持126個設(shè)備(光纖集線器)光纖通道主機接口卡(HBA)為服務(wù)器或客戶機內(nèi)部總線(PCI和SBUS等)提供與光纖通道網(wǎng)絡(luò)的接口HBA軟件驅(qū)動為操作系統(tǒng)提供所須存儲信息對I/O進(jìn)行操作I/O同時對正常請求進(jìn)行控制銅/光介質(zhì)支持(可能是雙接口卡)光纖線多模光纖

纖芯直徑為50~62.5μm

包層外直徑125μm

傳輸距離幾公里單模光纖

芯徑一般為9或10μm

包層外直徑125μm

傳輸距離50Km-100Km光纖常見接頭FC圓型帶螺紋(配線架上用的最多)ST卡接式圓型(配線架上用的最多)SC卡接式方型(路由器交換機上用的最多)LC卡接式方型（路由器常用）

MT-RJ方型,一頭雙纖收發(fā)一體(華為8850上有用)

光纖通道交換機連接多個端口(8，16，32，64，128口)支持交換Fabric和傳統(tǒng)loop設(shè)備2Gbit/秒和4Gbit/秒傳輸速率(自適應(yīng))全雙工性能，使用cut-through路由算法交換機間提供8Gbit/秒邏輯干線合并拓?fù)浣Y(jié)構(gòu)自動協(xié)調(diào)，自動配置(自恢復(fù))端到端性能監(jiān)控光纖網(wǎng)絡(luò)通道端口類型Fabric節(jié)點N_PortF_PortF_PortE_PortE_PortFL_Port節(jié)點N_Port交換機2交換機1節(jié)點NL_Port節(jié)點NL_PortU_Port設(shè)備(節(jié)點)端口N_Port=Fabric直接連接設(shè)備NL_Port=Loop連接設(shè)備

交換機端口E_Port=擴展端口(交換機到交換機)F_Port=Fabric端口FL_Port=FabricLoop端口G_Port=普通(Generic)端口—可以轉(zhuǎn)化為E或F”U_Port=通用(Universal)端口(用于描述自動端口檢測的術(shù)語)光纖通道的幀格式幀SOF4數(shù)據(jù)載荷最大2112EOF4CRC4幀頭242148字節(jié)一個幀是在光纖通道連接中數(shù)據(jù)包的最小單位(上層協(xié)議不可見).FibreChannelFrameSCSIRequestIPRequestSAN網(wǎng)絡(luò)的邏輯管理單元Zone節(jié)點N_PortFabric節(jié)點N_PortF_PortF_PortE_PortE_PortU_Port節(jié)點N_Port交換機2交換機1F_PortZone1Zone2分區(qū)單獨的邏輯管理單元可以使用WWN和端口作為成員可以跨多個域/區(qū)/端口可以包含F(xiàn)abric內(nèi)任意數(shù)量的交換機支持相互交叉與E_Port無關(guān)Zone的好處NTSolarisDisksHP-UXNTDisksHP-UXDisksSolaris分區(qū)滿足SANFabric任意連接的要求真正支持異構(gòu)平臺的SANIPSAN什么是IPSAN？FC-SANIP-SANServerInitiatorHBAFCSwitchTargetDevicesTargetHBAServerInitiatorHBATargetDevicesTargetHBAGigSwitchiSCSIFiberChannelFibreChannelEthernetIPSAN是采用iSCSI協(xié)議構(gòu)建的SAN存儲區(qū)域網(wǎng)：優(yōu)點：低成本

iSCSI協(xié)議本身沒有距離限制 靈活的拓?fù)浣Y(jié)構(gòu) 易于使用和擴展

10Gb時代很快到來（iSCSI通道速率將超過FC）iSCSISCSI應(yīng)用（文件系統(tǒng)、數(shù)據(jù)庫）SCSI塊指令SCSI流指令其他SCSI指令SCSI指令、數(shù)據(jù)和狀態(tài)iSCSITCPIP以太網(wǎng)等iSCSI協(xié)議棧iSCSI（InternetSCSI）把SCSI命令和塊狀數(shù)據(jù)封裝在TCP中在IP網(wǎng)絡(luò)中傳輸iSCSI作為SCSI的傳輸層協(xié)議，基本出發(fā)點是利用成熟的IP網(wǎng)絡(luò)技術(shù)來實現(xiàn)和延伸SANiSCSIInitiator&TargetUserlayerKernellayeriSCSITargetiSCSIInitiatorFileSystemSCSIDriveriSCSIInitiatorDriverDiskTransportNetworkNetworkStackNetworkStackSCSIDriveriSCSITargetDriverSCSIHBADriver/RAIDControllerUserApplication發(fā)起端InitiatorSCSI層負(fù)責(zé)生成CDB（命令描述符塊），將CDB傳給iSCSIiSCSI層負(fù)責(zé)生成iSCSIPDU（協(xié)議數(shù)據(jù)單元），并通過IP網(wǎng)絡(luò)將PDU發(fā)給target目標(biāo)器TargetiSCSI層收到PDU，將CDB傳給SCSI層SCSI層負(fù)責(zé)解釋CDB的意義。必要時發(fā)送響應(yīng)iSCSI優(yōu)點高可靠高擴展良好的標(biāo)準(zhǔn)化易管理，IP技術(shù)成熟，具備IP知識的專業(yè)技術(shù)人員多很低的安裝成本和維護(hù)費用：建立在TCP/IP上減少了異構(gòu)網(wǎng)絡(luò)和電纜：不需要特殊的FC交換機無距離限制，遠(yuǎn)程存儲：異地數(shù)據(jù)交換、備份及容災(zāi)靈活的安全性和QoS保證FCSAN的遠(yuǎn)程擴展FCSAN孤島如何連接，并跨越WAN？通過IP網(wǎng)絡(luò)隧道方案FCP路由方案FCIPiFCPFCIP（FCoverIP）應(yīng)用場合兩個FCSAN孤島通過IP連接成一個大的FCSAN特點基于IP的FC隧道協(xié)議，將FC幀封裝在TCP/IP上FCIP連接對IP網(wǎng)絡(luò)是透明的，整個傳輸中只有FCIP網(wǎng)關(guān)需要知道FCIP的封裝FCIP報文IP頭TCP頭TCP數(shù)據(jù)FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFFCIP頭封裝iFCP(InternetFC)應(yīng)用場合光纖通道設(shè)備（無FC交換機）將該設(shè)備直接連接到IP網(wǎng)絡(luò)上特點FC消息和路由服務(wù)在iFCP網(wǎng)關(guān)處終結(jié)。網(wǎng)關(guān)將每個FC地址映射到一個IP地址具有故障隔離功能部署時需要iSNS服務(wù)器（通常集成在iFCP網(wǎng)關(guān)上）iFCP報文IP頭TCP頭FCSSOFFC幀頭SCSI數(shù)據(jù)CRCEOFiFCP頭映射FC地址映射到IP地址幾種塊存儲協(xié)議報文結(jié)構(gòu)比較Ethernet頭IP頭TCPFCIP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSFCIPSOFFC幀頭Payload:SCSICommandinIUCRCEOFSCSI-FCPEthernet頭IP頭TCPiFCP頭SOFFC幀頭Payload:SCSICommandinIUCRCEOFFCSiFCPEthernet頭IP頭TCPiSCSI頭FC幀頭Payload:SCSICommandinIUFCSiSCSINAS介紹以太網(wǎng)文件系統(tǒng)存儲區(qū)域網(wǎng)NASNAS（NetworkAttachedStorage）網(wǎng)絡(luò)存儲，簡單的說，NAS是通過TCP/IP以太網(wǎng)絡(luò)連接的存儲設(shè)備。NAS存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（Ethernet）連接到一群計算機或者服務(wù)器上，而不象FCSAN那樣需要昂貴復(fù)雜的光纖交換機，NAS使用普通的以太網(wǎng)絡(luò)交換機，即插即用。NAS所使用的是存儲設(shè)備自己的文件系統(tǒng)，數(shù)據(jù)傳輸協(xié)議是TCP/IPoverGbE，交換機是Eth