存儲入門必讀-存儲基礎知識

存儲入門必讀一一存儲基礎知識

目錄

第1章網(wǎng)絡存儲主要技術4

1.1NAS簡介4

1.2SAN簡介5

1.3NAS、SAN和DAS的區(qū)另U6

1.4SCSI訪問控制原理介紹錯誤!未定義書簽。

1.5NAS實現(xiàn)類型對比：統(tǒng)一式、網(wǎng)關式和橫向擴展式(Scale-out)10

1.6智能存儲系統(tǒng)概念解析12

1.7“大數(shù)據(jù)〃概念解析13

第2章主要協(xié)議和相關技術14

2.1SCSI訪問控制原理介紹14

2.2FC協(xié)議詳解16

2.3iSCSI協(xié)議20

2.4FCIP協(xié)議21

2.5iSCSI,FC和FCoE的比較23

2.6虛擬網(wǎng)絡學習筆記之一：VXLAN24

2.7SMI-S協(xié)議簡介25

第3章文件系統(tǒng)相關知識26

3.1什么是文件系統(tǒng)26

3.2CIFS27

3.3NFS27

3.4NFSv4新特性介紹28

3.5CIFS和NFS區(qū)別29

3.6存儲系統(tǒng)與文件系統(tǒng)的關系30

3.7分布式文件系統(tǒng)發(fā)展史30

3.8Wireshark入門：第一次親密接觸34

3.9數(shù)據(jù)類型概念和應用場景39

第4章RAID技術詳解39

4.1RAID類型介紹39

4.2磁盤尋址45

4.3如何計算磁盤性能47

4.4淺談RAID寫懲罰(WritePenalty)與IOPS計算48

4.5企業(yè)級閃存盤的結構和特征50

第5章數(shù)據(jù)復制與容災51

5.1恢復時間目標(RT。)和恢復點目標(RP。)51

第6章備份技術52

6.1淺談重復數(shù)據(jù)刪除技術的風險和預防之策52

6.2NAS環(huán)境中的備份53

6.3制定備份策略需要考慮哪些因素？56

6.4關于數(shù)據(jù)消重技術(de-duplication)57

6.5備份系統(tǒng)的設計和備份技術的選擇57

6.6LTO線性磁帶開放技術簡介62

6.7淺談重復數(shù)據(jù)刪除的實現(xiàn)64

6.8物理磁帶庫簡介67

6.9備份和歸檔的區(qū)別68

6.10備份架構--三種基本備份拓撲70

6.11虛擬磁帶庫（VTL）簡介72

第7章windows相關73

7.1磁盤分區(qū)對齊詳解與配置-Windows篇73

7.2WindowsPerfmon與LinuxlOstat存儲性能工具75

7.3Windows磁盤MBR結構詳解-BasicDisk篇77

7.4Windows存儲管理之磁盤結構詳解78

7.5WindowsGPT磁盤GUID結構詳解81

7.6存儲SCSI鎖解讀：WindowsCluster篇84

7.7Windows擴展邏輯卷的操作方法85

第8章Linux相關86

8.1Linux存儲管理基礎：如何理解I/O?86

8.2AIX主機邏輯卷管理器（LVM）概念詳解87

8.3磁盤分區(qū)對齊詳解與配置-Linux篇90

8.4LinuxFC/iSCSI存儲設備管理系列（一）：Linux系統(tǒng)設備驅動入門93

8.5細數(shù)Linux發(fā)行版98

8.6邏輯卷管理器（LVM）概念解析102

第9章存儲網(wǎng)絡技術103

9.1SFP模塊光信號強度知識介紹103

9.2SAN管理入門系列（三）Zone概念105

9.3SAN管理入門系列（四）VSAN和virtualfabric106

9.4SAN管理入門系列（八）NPIV技術107

9.5LinkAggregation（鏈路聚合）108

9.6SAN網(wǎng)絡設計原則109

9.7存儲區(qū)域網(wǎng)絡（SAN）中各種緩存（Cache）技術的應用和比較111

9.87解FCoE的8個技術細節(jié)115

9.9FCoE與FCIP間的小同大異117

第10章存儲I/O專欄118

10.1正確描述I/O類型118

10.2關于不同應用程序存儲10類型的描述119

10.3數(shù)據(jù)庫存儲I/O類型分析與配置-SQLServer篇120

10.4淺析I/O處理過程與存儲性能的關系122

第11章其它存儲技術125

11.1云計算定義-NIST125

11.2PowerPath功能概覽126

11.3SAS和SA1A的區(qū)別129

11.4軟件定義的數(shù)據(jù)中心131

11.5論存儲IOPS和Throughput吞吐量之間的關系132

11.6淺析閃存盤（FlashDrive）內部架構與應用考慮134

11.7云計算的三種模型：公有云、私有云和混合云135

第1章網(wǎng)絡存儲主要技術

1.1NAS簡介

在20世紀80年代初，英國紐卡斯爾大學布賴恩.蘭第爾教授(BrianRandell)和同事

通過“紐卡斯爾連接”成功示范和開發(fā)了在整套UNIX機器上的遠程文件訪問。繼“紐卡斯

爾連接”之后，1984年Sun公司發(fā)布了NFS協(xié)議，允許網(wǎng)絡服務器與網(wǎng)絡客戶分享他們的

存儲空間。90年代初Auspex工程師創(chuàng)建了集成的NetApp文件管理器，它支持windowsCIFS

和UNIXNFS協(xié)議，并有卓越的可擴展性和易于部署，從此市場有了專用NAS設備。在短短

幾年中，NAS憑借簡便高效應用的中心思想，逐漸成為網(wǎng)絡數(shù)據(jù)存儲方案的主打設備之一。

目前EMC公司Celerra產(chǎn)品擁有優(yōu)異的性能及多功能性，在全球NAS市場處于領導地位。

NAS概念

NAS(Network-AttachedStorage,網(wǎng)絡附加存儲)是指連接到計算機網(wǎng)絡的文件級別

計算機數(shù)據(jù)存儲，可以為不同客戶端提供數(shù)據(jù)存取。

NAS被定義為一種特殊的專用數(shù)據(jù)存儲服務器，包括存儲器件(一個或多個硬盤驅動器

的網(wǎng)絡設備，這些硬盤驅動器通常安排為邏輯的、冗余的存儲容器或者RAID陣列)和內嵌

系統(tǒng)軟件，可提供跨平臺文件共享功能。NAS通常在一個LAN上占有自己的節(jié)點，無需應用

服務器的干預，允許用戶在網(wǎng)絡上存取數(shù)據(jù)，在這種配置中，NAS集中管理和處理網(wǎng)絡上的

所有數(shù)據(jù)，將負載從應用或企業(yè)服務器上卸載下來，有效降低總擁有成本，保護用戶投資。

PubicData

PubbcData

PubbcDatoNFSOimt

NAS本身能夠支持多種協(xié)議(如NFS、CIFS、FTP、HTTP等)，而且能夠支持各種操作

系統(tǒng)。NAS是真正即插即用的產(chǎn)品，并且物理位置靈活，可放置在工作組內，也可放在混合

環(huán)境中，如混合了Unix/Windows局域網(wǎng)的環(huán)境中，而無需對網(wǎng)絡環(huán)境進行任何的修改。NAS

產(chǎn)品直接通過網(wǎng)絡接口連接到網(wǎng)絡上，只需簡單地配置一下IP地址，就可以被網(wǎng)絡上的用

戶所共享。

NAS特點

與采用存儲區(qū)域網(wǎng)絡(SAN-StorageAreaNetwork)的方案比較，采用網(wǎng)絡附加存儲

(NAS-Network-AttachedStorage)結構的方案具有以下特點：

1.以網(wǎng)絡為中心，開放的標準協(xié)議支持

區(qū)別于存儲區(qū)域網(wǎng)絡(SAN)的設計方案，網(wǎng)絡接入存儲(NAS)的模式以網(wǎng)絡為中心。該方

案利用現(xiàn)有的以太網(wǎng)網(wǎng)絡資源來接入專用的網(wǎng)絡存儲設備，而不是另外再部署昂貴的光纖交

換機網(wǎng)絡來連接傳統(tǒng)的存儲設備，這樣保護了用戶對以太網(wǎng)的投資。

近年來，千兆以太網(wǎng)的傳輸帶寬(1000Mbps,為125MB/S)已經(jīng)得到普及，并且有望朝萬

兆以太網(wǎng)發(fā)展。屆時，以太網(wǎng)的傳輸帶寬將會是10倍于SAN賴以生存的各種SCSI和Fiber

Channel協(xié)議的傳輸帶寬。EMC公司Celerra產(chǎn)品支持目前最流行的TCP/IP網(wǎng)絡協(xié)議，而使

用的NFS和CIFS文件服務協(xié)議也是業(yè)界標準協(xié)議，充分做到設備的兼容性。

2.獨立的操作系統(tǒng)

Celerra的DART操作系統(tǒng)具備自主知識產(chǎn)權，專注于文件系統(tǒng)的傳輸。該操作系統(tǒng)功

能強大，性能優(yōu)越，保證了文件系統(tǒng)高速可靠的傳輸。Celerra后端通過SAN網(wǎng)絡連接后端

存儲設備，擁有多條鏈路冗余，避免單點故障，保障了數(shù)據(jù)安全性。月戶的數(shù)據(jù)只要保存一

個拷貝，即可被前端的各種類型的主機所使用，因此，具備主機無關性。Celerra的DART

操作系統(tǒng)對于不同操作系統(tǒng)Unix和Windows同樣保證了數(shù)據(jù)共享，并且各自的訪問權限亦

可得到相應的保證。

3.安裝及管理簡便

NAS無需服務器直接上網(wǎng)，而是采用面向用戶設計的、專門用于數(shù)據(jù)存儲的簡化操作系

統(tǒng)，內置了與網(wǎng)絡連接所需的協(xié)議，整個系統(tǒng)的管理和設置較為簡單,Celerra只要現(xiàn)有的

網(wǎng)絡具有空閑的網(wǎng)口，在無需關機的情況下，即可提供給前端不同類型主機進行訪問，無需

在主機上安裝任何的軟硬件。

4.NAS底層協(xié)議

NAS采用了NFS(Sun)溝通Unix陣營和CIFS溝通NT陣營，這也反映了NAS是基于操

作系統(tǒng)的“文件級”讀寫操作，訪問請求是根據(jù)“文件句柄+偏移量”得出。

由于NAS以上諸多優(yōu)點及良好的兼容性，筆者相信NAS未來將會得到更加廣泛的應用。

1.2SAN簡介

SAN(StorageAreaNetwork的簡稱)直譯過來就是存儲區(qū)域網(wǎng)絡，它采用光纖通道

(FibreChannel)技術，通過光纖通道交換機連接存儲陣列和服務器主機，建立專用于數(shù)據(jù)

存儲的區(qū)域網(wǎng)絡。SAN網(wǎng)絡存儲是一種高速網(wǎng)絡或子網(wǎng)絡，SAN存儲系統(tǒng)提供在計算機與存

儲系統(tǒng)之間的數(shù)據(jù)傳輸。一個SAN網(wǎng)絡由負責網(wǎng)絡連接的通信結構、負責組織連接的管理層、

存儲部件以及計算機系統(tǒng)構成，從而使SAN技術保證數(shù)據(jù)傳輸?shù)陌踩院土Χ?SAN具有以

下幾點優(yōu)勢：

1.SAN的可擴展性意味著你有少數(shù)的磁盤不受連接到系統(tǒng)上的限制。SAN可以增長到數(shù)百個

磁盤，但是普通物理服務器的極限只有十幾個。

2.SAN的性能不會受到以太網(wǎng)流量或本地磁盤訪問量的制約。數(shù)據(jù)通過SAN從自己的私有網(wǎng)

絡傳送，隔開用戶流量、備份流量和其他SAN流量。

3.在正確的配置環(huán)境下，SAN數(shù)據(jù)被區(qū)域劃分。用戶保存數(shù)據(jù)的分區(qū)和其他人處在同樣的區(qū)

域隔離就如同將UNIX服務器和Windows服務器連接到相同的SAN上，但這兩種服務器上的

數(shù)據(jù)訪問是不同的，事實上，Windows系統(tǒng)不能“看到“UNIX的數(shù)據(jù)，反之亦然。

4.SAN系統(tǒng)不需要重新啟動就能添加新的磁盤，更換磁盤或配置RAID組。數(shù)據(jù)流完全避開

服務器系統(tǒng)，SAN同樣增加了數(shù)據(jù)備份和恢復性能。

5.分區(qū)也可以在SAN上將你的工作負載分離。不僅是將你的數(shù)據(jù)分離保護，而且對那些影響

應用程序性能的不相關的工作負載采取屏蔽。在適當?shù)膮^(qū)域應用SAN共享從性能上講不是問

題。

6.SAN有個無可比擬的優(yōu)勢，就是存儲連接距離為10公里距離(約6英里)。不是說你一定

會用到這個優(yōu)勢，但當你需要的時候，它就能顯現(xiàn)出來。具有距離優(yōu)勢，可以將數(shù)據(jù)存儲到

一個獨立的位置，從系統(tǒng)服務中脫離出來。

7.在如SAN這樣的存儲網(wǎng)絡上的自動精簡配置的空間利用效率，要比本地存儲的來得高。當

一個系統(tǒng)需要更多的存儲資源時，SAN將動態(tài)分配資源。這意味著物理系統(tǒng)可以享受自動精

簡配置，就像虛擬化那樣。

1.3NAS、SAN和DAS的區(qū)別

目前磁盤存儲市場上，存儲分類(如下表一)根據(jù)服務器類型分為：封閉系統(tǒng)的存儲和

開放系統(tǒng)的存儲，封閉系統(tǒng)主要指大型機,AS400等服務器，開放系統(tǒng)指基于包括Windows、

UNIX.Linux等操作系統(tǒng)的服務器；開放系統(tǒng)的存儲分為：內置存儲和外掛存儲；開放系統(tǒng)

的外掛存儲根據(jù)連接的方式分為：直連式存儲(Direct-AttachedStorage,簡稱DAS)和網(wǎng)絡

化存儲(Fabric-AttachedStorage,簡稱FAS)；開放系統(tǒng)的網(wǎng)絡化存儲根據(jù)傳輸協(xié)議又分為：

網(wǎng)絡接入存儲(Network-AttachedStorage,簡稱NAS)和存儲區(qū)域網(wǎng)絡(StorageAreaNetwork,

簡稱SAN)。由于目前絕大部分用戶采用的是開放系統(tǒng)，其外掛存儲占有目前磁盤存儲市場

的70%以上，因此本文主要針對開放系統(tǒng)的外掛存儲進行論述說明。

表一：

存儲分類

封閉系統(tǒng)的存儲

「內置存儲

開放系統(tǒng)的存儲Direct-AttachedStorage

直連式存偌(DAS)Network-AttachedStorage

外掛存儲?網(wǎng)絡接入存儲(NAS)

Fabric-AttachedStorage“

網(wǎng)絡存儲(FAS)StorageAreaNetwork

存儲區(qū)域網(wǎng)絡(SAN)

今天的存儲解決方案主要為:直連式存儲(DAS)、存儲區(qū)域網(wǎng)絡(SAN)、網(wǎng)絡接入存儲(NAS)。

如下表二：

今天的存儲解決方案

ApplicationApplication

Application

FileSystemFileSystem

開放系統(tǒng)的直連式存儲(Direct-AttachedStorage,簡稱DAS)已經(jīng)有近四十年的使用歷

史，隨著用戶數(shù)據(jù)的不斷增長，尤其是數(shù)百GB以上時，其在備份、恢復、擴展、災備等方

面的問題變得日益困擾系統(tǒng)管理員。

主要問題和不足為：

直連式存儲依賴服務器主機操作系統(tǒng)進行數(shù)據(jù)的10讀寫和存儲維護管理，數(shù)據(jù)備份和

恢復要求占用服務器主機資源(包括CPU、系統(tǒng)10等)，數(shù)據(jù)流需要回流主機再到服務器連

接著的磁帶機(庫)，數(shù)據(jù)備份通常占用服務器主機資源20-30%,因此許多企業(yè)用戶的日常

數(shù)據(jù)備份常常在深夜或業(yè)務系統(tǒng)不繁忙時進行，以免影響正常業(yè)務系統(tǒng)的運行。直連式存儲

的數(shù)據(jù)量越大，備份和恢復的時間就越長，對服務器硬件的依賴性和影響就越大。

直連式存儲與服務器主機之間的連接通道通常采用SCSI連接,帶寬為10MB/S.20MB/S.

40MB/S、80MB/S等，隨著服務器CPU的處理能力越來越強，存儲硬盤空間越來越大，陣列

的硬盤數(shù)量越來越多，SCSI通道將會成為10瓶頸；服務器主機SCSIID資源有限，能夠建立

的SCSI通道連接有限。

無論直連式存儲還是服務器主機的擴展，從一臺服務器擴展為多臺服務器組成的群集

(Cluster),或存儲陣列容量的擴展，都會造成業(yè)務系統(tǒng)的停機，從而給企業(yè)帶來經(jīng)濟損失，

對于銀行、電信、傳媒等行業(yè)7X24小時服務的關鍵業(yè)務系統(tǒng)，這是不可接受的。并且直連

式存儲或服務器主機的升級擴展，只能由原設備廠商提供，往往受原設備廠商限制。

存儲區(qū)域網(wǎng)絡(StorageAreaNetwork,簡稱SAN)采用光纖通道(FibreChannel)技術，

通過光纖通道交換機連接存儲陣列和服務器主機，建立專用于數(shù)據(jù)存儲的區(qū)域網(wǎng)絡。SAN經(jīng)

過十多年歷史的發(fā)展，已經(jīng)相當成熟，成為業(yè)界的事實標準(但各個廠商的光纖交換技術不

完全相同，其服務器和SAN存儲有兼容性的要求)。SAN存儲采用的帶寬從100MB/s、200MB/s,

發(fā)展至lj目前的lGbps、2Gbps,.

網(wǎng)絡接入存儲(Network-AttachedStorage,簡稱NAS)采用網(wǎng)絡(TCP/IP、ATM.FDDI)

技術，通過網(wǎng)絡交換機連接存儲系統(tǒng)和服務器主機，建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)。隨著

IP網(wǎng)絡技術的發(fā)展，網(wǎng)絡接入存儲(NAS)技術發(fā)生質的飛躍。早期80年代末到90年代初

的10Mbps帶寬，網(wǎng)絡接入存儲，'乍為文件服務器存儲，性能受帶寬影響；后來快速以太網(wǎng)

(lOOMbps)^VLAN虛網(wǎng)、Trunk(EthernetChannel)以太網(wǎng)通道的出現(xiàn)，網(wǎng)絡接入存儲的讀

寫性能得到改善；1998年千兆以太網(wǎng)(1000Mbps)的出現(xiàn)和投入商用，為網(wǎng)絡接入存儲(NAS)

帶來質的變化和市場廣泛認可。由于網(wǎng)絡接入存儲采用TCP/IP網(wǎng)絡進行數(shù)據(jù)交換，TCP/IP

是IT業(yè)界的標準協(xié)議，不同廠商的產(chǎn)品(服務器、交換機、NAS存儲)只要滿足協(xié)議標準

就能夠實現(xiàn)互連互通，無兼容性的要求；并且2002年萬兆以太網(wǎng)(10000Mbps)的出現(xiàn)和

投入商用，存儲網(wǎng)絡帶寬將大大提高NAS存儲的性能。NAS需求旺盛已經(jīng)成為事實。首先

NAS幾乎繼承了磁盤列陣的所有優(yōu)點，可以將設備通過標準的網(wǎng)絡拓撲結構連接，擺脫了服

務器和異構化構架的桎梏。

其次，在企業(yè)數(shù)據(jù)量飛速膨張中，SAN、大型磁帶庫、磁盤柜等產(chǎn)品雖然都是很好的存

儲解決方案，但他們那高貴的身份和復雜的操作是資金和技術實力有限的中小企業(yè)無論如何

也不能接受的。NAS正是滿足這種需求的產(chǎn)品，在解決足夠的存儲和擴展空間的同時，還提

供極高的性價比。因此，無論是從適用性還是TCO的角度來說，NAS自然成為多數(shù)企業(yè)，

尤其是大中小企業(yè)的最佳選擇。

NAS與SAN的分析與比較

針對I/。是整個網(wǎng)絡系統(tǒng)效率低下的瓶頸問題，專家們提出了許多種解決辦法。其中抓

住癥結并經(jīng)過實踐檢驗為最有效的辦法是:將數(shù)據(jù)從通用的應用服務器中分離出來以簡化存

儲管理。

問題：

應用服務器存儲系嫵

3

圖1

由圖1可知原來存在的問題：每個新的應用服務器都要有它自己的存儲器。這樣造成

數(shù)據(jù)處理復雜，隨著應用服務器的不斷增加，網(wǎng)絡系統(tǒng)效率會急劇下降。

解決辦法：

共享存儲器

從圖2可看出：將存儲器從應用服務器中分離出來，進行集中管理。這就是所說的存

儲網(wǎng)絡(StorageNetworks)。

使用存儲網(wǎng)絡的好處：

統(tǒng)一性：形散神不散，在邏輯上是完全一體的。

實現(xiàn)數(shù)據(jù)集中管理，因為它們才是企業(yè)真正的命脈。

容易擴充，即收縮性很強。

具有容錯功能，整個網(wǎng)絡無單點故障。

專家們針對這一辦法又采取了兩種不同的實現(xiàn)手段,即NAS(NetworkAttachedStorage)

網(wǎng)絡接入存儲和SAN(StorageAreaNetworks)存儲區(qū)域網(wǎng)絡。

NAS：用戶通過TCP/IP協(xié)議訪問數(shù)據(jù)，采用業(yè)界標準文件共享協(xié)議如：NFS、HTTP、CIFS

實現(xiàn)共享。

SAN：通過專用光纖通道交換機訪問數(shù)據(jù)，采用SCSI、FUAL接口。

什么是NAS和SAN的根本不同點？

NAS和SAN最本質的不同就是文件管理系統(tǒng)在哪里。如圖：

圖3

由圖3可以看出，SAN結構中，文件管理系統(tǒng)(FS)還是分別在每一個應用服務器上；

而NAS則是每個應用服務器通過網(wǎng)絡共享協(xié)議(如：NFS、CIFS)使用同一個文件管理系統(tǒng)。

換句話說：NAS和SAN存儲系統(tǒng)的區(qū)別是NAS有自己的文件系統(tǒng)管理。

NAS是將目光集中在應用、用戶和文件以及它們共享的數(shù)據(jù)上。SAN是將目光集中在磁

盤、磁帶以及連接它們的可靠的基礎結構。將來從桌面系統(tǒng)到數(shù)據(jù)集中管理到存儲設備的全

面解決方案將是加

NASSAN0

1.4NAS實現(xiàn)類型對比：統(tǒng)一式、網(wǎng)關式和橫向擴展式

(Scale-out)

NAS主要有三種類型的實現(xiàn)：統(tǒng)一式、網(wǎng)關式和橫向擴展式(Scale-out),統(tǒng)一NAS使

用統(tǒng)一的存儲平臺將基于NAS和基于SAN的數(shù)據(jù)訪問合并，提供了可以同時管理二種環(huán)境

的統(tǒng)一管理界面。網(wǎng)關NAS使用外部存儲來存取數(shù)據(jù)，網(wǎng)關NAS和存儲的管理操作是分開

的。橫向擴展式(Scale-out)NAS可組合多個節(jié)點，形成一個集群NAS系統(tǒng)。本文將對比三

種不同NAS實現(xiàn)類型。

統(tǒng)一NAS提供文件服務，同時負責存儲文件數(shù)據(jù)，并提供塊數(shù)據(jù)訪問。它支持用于文

件訪問的CIFS和NFS協(xié)議，以及用于塊級訪問的SCSI和FC協(xié)議。因為基于NAS和基于SAN

的訪問合并到同一個存儲平臺，統(tǒng)一NAS降低了企業(yè)的基礎設施成本和管理成本。

統(tǒng)一NAS的一個系統(tǒng)中包括了一個或多個NAS頭及存儲。NAS頭與存儲控制器連接，

提供到存儲的訪問。存儲控制器提供了與iSCSI和FC主機的連接。存儲可使用不同的磁盤類

型(例如SAS、ATA、FC和閃存盤)，以滿足不同的負載需求。下圖顯示的是一個統(tǒng)一NAS

連接的例子。

網(wǎng)關式NAS

網(wǎng)關式NAS設備包含一個或多個NAS頭，使用外部存儲或者獨立管理的存儲。與統(tǒng)一

NAS相似，存儲是與其他使用塊級I/O的應用共享的。這種解決方案的管理功能比統(tǒng)一存儲

復雜，因為NAS頭和存儲器的管理任務是分開的。網(wǎng)關式解決方案可以利用FC基礎設施,

例如：交換機等，訪問SAN存儲陣列或直連式存儲陣列。

網(wǎng)關式NAS的擴展性比統(tǒng)一NAS好，因為NAS頭和存儲陣列可以獨立地根據(jù)需求進行

擴展升級。例如：可以通過增加NAS頭的方式提升NAS設備的性能。當存儲容量達到上限

時，網(wǎng)關NAS設備可以獨立于NAS頭對SAN進行擴展，增加存儲容量。網(wǎng)關式NAS通過在

SAN環(huán)境中進行存儲共享，提高了存儲資源的利用率。下圖顯示的是一個網(wǎng)關式NAS連接

的例子。

NASGateway

ServersStorageAStorageBStorageC

橫向擴展式(Scale-out)NAS

統(tǒng)一NAS和網(wǎng)關NAS實現(xiàn)都提供了一定的擴展性能，可以在數(shù)據(jù)增長和性能需求提高

時對資源進行擴展。對NAS設備進行擴展主要涉及增加CPU、內存和存儲容量。擴展性受

制于NAS設備對后續(xù)增加NAS頭和存儲容量的支持能力。

橫向擴展式(Scale-out)NAS可組合多個節(jié)點，形成一個集群NAS系統(tǒng)。只需要向集群

NAS架構中添加節(jié)點即可實現(xiàn)資源的擴展。整個集群可看作是一個NAS設備，資源是集中

管理的。在需要擴大容量或提高性能的時候，可向集群中添加節(jié)點，這不會造成停機下線的

情況。橫向擴展NAS可以集合許多性能和可用性中等的節(jié)點，形成集群系統(tǒng)擁有更好的總

體性能和可用性。它還有易使用、陳本低以及理論上可無限擴展的優(yōu)勢。

橫向擴展式(Scale-out)NAS在集群中的所有節(jié)點上創(chuàng)建了一個單一文件系統(tǒng)。節(jié)點的

所有信息都可以彼此共享，因此連接到任何節(jié)點的客戶端都可以訪問整個文件系統(tǒng)。集群

NAS將數(shù)據(jù)在所有節(jié)點間分條，同時使用鏡像或效驗方式進行數(shù)據(jù)保護。數(shù)據(jù)從客戶端發(fā)送

到集群時，數(shù)據(jù)被分割，并行分配給不同節(jié)點。當客戶端發(fā)送文件讀取請求時，集群NAS

從多個節(jié)點獲取相應的塊，將他們組合成文件，然后將文件發(fā)給客戶端。隨著節(jié)點的增加,

文件系統(tǒng)實現(xiàn)動態(tài)擴展，數(shù)據(jù)在節(jié)點之間均衡分布。每個增加的節(jié)點都增加了整個集群的存

儲、內存、CPU和網(wǎng)絡能力。因此，整個集群的性能都得到提升。

橫向擴展式(Scale-out)NAS適合解決企業(yè)和客戶當前面臨的大數(shù)據(jù)問題。它統(tǒng)一管理

和存儲高速增長的數(shù)據(jù)，同時又十分靈活，能滿足各種性能需求。下圖顯示的是一個橫向擴

展式(Scale-out)NAS連接的例子。

Scale-outNAS

2node3node4node5&more

nodes

Capacity!

Podonrunce■

應用于：了解統(tǒng)一式、網(wǎng)關式和橫向擴展式(Scale-out)NAS的概念和區(qū)別。

1.5智能存儲系統(tǒng)概念解析

智能存儲系統(tǒng)是配置了多塊硬盤和大量內存，并提供多條I/O通路，擁有智能操作系統(tǒng)

的存儲陣列。它采用復雜的算法來實現(xiàn)最優(yōu)化的存儲資源處理，以滿足高性能需求的應用程

序。本文將介紹智能存儲系統(tǒng)的組成部件。

一般來說，前端、緩存、后端和物理磁盤四部分構成一個智能存儲系統(tǒng)。智能存儲系統(tǒng)的數(shù)

據(jù)處理是為從主機發(fā)起的I/O請求到達前端端口開始，然后經(jīng)過緩存。如果被請求的數(shù)據(jù)保

存在緩存中，那么讀請求直接在緩存中完成。如果數(shù)據(jù)不在緩存中，則經(jīng)過后端端口到物理

磁盤上讀取數(shù)據(jù)。主機被寫入數(shù)據(jù)經(jīng)過前端端口，先寫入緩存，然后經(jīng)后端端口保存到物理

磁盤。

IntelligentStorageSystem

Host

前端

智能存儲系統(tǒng)的前端由前端端口和前端控制器組成,它提供了存儲系統(tǒng)和主機之間高可

用的連接端口。一個智能存儲系統(tǒng)擁有多個前端端口，以實現(xiàn)大量主機同時對智能存儲系統(tǒng)

的讀寫。不同的前端端口支持不同的傳輸協(xié)議，這些傳輸協(xié)議包括FC、FCoE和iSCSI等。前

端控制器通過內部數(shù)據(jù)總線將數(shù)據(jù)寫入緩存或從緩存讀取數(shù)據(jù)。

緩存

緩存可以通俗理解為內存，它可以減少主機I/O訪問請求所需時間。緩存的最小單位是

頁，緩存就是由頁組成。應用I/O的大小決定了緩存頁的大小。由于緩存沒有尋道時間和旋

轉延時，因此緩存的響應時間不到機械磁盤的十分之一，可以快速的處理大量數(shù)據(jù)或者實時

數(shù)據(jù)，大幅提升了智能存儲系統(tǒng)的性能。

后端

智能存儲系統(tǒng)的后端由后端端口和后端控制器組成，它提供了緩存和物理磁盤的連接端

口。一個智能存儲系統(tǒng)可以擁有多個后端端口，這樣可以提供更好的數(shù)據(jù)保護、負載均衡能

力和冗余性。數(shù)據(jù)從緩存通過后端端口傳到物理磁盤，后端控制器為讀寫數(shù)據(jù)提供臨時的數(shù)

據(jù)存儲，并充當交流著的角色。

物理磁盤

物理磁盤的主要作用是保存數(shù)據(jù)。智能存儲支持不同類型的物理磁盤，如：閃存盤、SATA

盤和SAS盤等。??般來說，閃存盤數(shù)據(jù)訪問時間最快，SATA盤數(shù)據(jù)訪問時間最慢，用戶可

以根據(jù)不同應用類型配置不同類型的物理磁盤。

應用于：智能存儲系統(tǒng)概念解析

1.6〃大數(shù)據(jù)〃概念解析

大數(shù)據(jù)是一個新提出的且在不斷演化的概念,是指數(shù)據(jù)量超過了菖規(guī)軟件工具在可接受

的時間內的抓取、存儲、管理和處理能力。它即包括結構化數(shù)據(jù)，也包括非結構化數(shù)據(jù)。其

數(shù)據(jù)的來源多種多樣，可以來自商務應用處理、網(wǎng)頁、視頻、圖像和社交媒體等。這些數(shù)據(jù)

集通常需要實時地抓取和更新，以用于分析、預測性建模和決策等用途。

BigDataLandscape

VerticalAppsAd/MediaAppsBusinessAnalyticsand

IntelligenceVisualization

ORAO_€lHvoerion.--I-obIeou

LogDataApps(dlMETANAtKHS「

tHaoaott(BusinessIntelligenceAST?EMN

TURTI§sasBTBCaM-*■

CDChSQSnss?

panopticon

_DataAsAServiceAutonomy

__J3IESE3BBoiikGEBBDOplatforaI

SCT3m仙-hzux?皿2.士lawE

alteryxvisually

AnalyticsOperationalInfrastructureAsStructured

InfrastructureInfrastructureAServiceDaubases

Hort二等口CoucwsasalOgen工XCLG

doudera送遞正,1二二二.WlndowsAzure

LM?GRtKNPLUM

Volt

NNBTBZZAkognitio

.?MarkLogicCINZfOZRZMZAZTZlCZA

GoogleBigQuory

Technologies

Hanse布公如也

copyri作?2oi2Feinieib/go/chinesebiop.fortesxom/davefe.nicib

從大數(shù)據(jù)中吸取價值存在很大的機遇。大數(shù)據(jù)的生態(tài)系統(tǒng)（如下圖所示）由以下元素組成：

1、從多個位置收集數(shù)據(jù)，并從收集的數(shù)據(jù)中生成數(shù)據(jù)（元數(shù)據(jù)）的設備。

2、數(shù)據(jù)收集器，收集來自設備和用戶的數(shù)據(jù)。

3、數(shù)據(jù)聚合工具，從收集的數(shù)據(jù)中吸取有意義的信息。

4、數(shù)據(jù)用戶和買家，是指數(shù)據(jù)價值鏈中從他人收集或聚合的數(shù)據(jù)中收益的人群。

BigDataEcosystem

KPMG,Daloitto

Accenture,IBMGS

MlIBMrHP,

Ter>datnOracle,EMC.

fAtes,CapGemmi

Vmwarc,Equinix

Centric,TCS,

Int0nHOzone

SAF>SAS

IBM,CloudtraOmch.IBM

Orxh,Cisco,Dell,MicroStrategy

Fujitsu,HPQlikVIew

Microsoft.Salc^Forcc,

NetApp,DdlrEMC.EveryAncU

IBM,FujKw.

Hitachi

Facobook.Ooogh

IBM,SAROracle,Apple,Am^xor

HP,HortenWorks,

MArkLo^k,lOGen

/go/chinese

大數(shù)據(jù)的數(shù)據(jù)量、多樣性、變化范圍和復雜性超出了傳統(tǒng)的IT設備和數(shù)據(jù)處理工具及

方法的處理能力。對大數(shù)據(jù)進行實時分析需要新的方法、架構和工具，以提供高性能、大規(guī)

模并行處理（MPP）數(shù)據(jù)平臺和對數(shù)據(jù)集的復雜分析。

數(shù)據(jù)科學是一門新興的學科，商業(yè)組織可以利用這門學科從大數(shù)據(jù)中獲取商業(yè)價值。數(shù)

據(jù)科學是多門學科（統(tǒng)計學、數(shù)學、數(shù)據(jù)可視化和計算機科學）的綜合。數(shù)據(jù)科學家的職責

是設計各種高級算法對海量數(shù)據(jù)進行分析，以尋找新的價值點,為更多的決策提供數(shù)據(jù)支持。

很多領域和市場已經(jīng)開始利用數(shù)據(jù)科學，從大數(shù)據(jù)的分析中獲益。其中包括醫(yī)學與科學

研究、醫(yī)療醫(yī)護、公共管理、欺詐檢測、社交媒體、銀行、保險公司，以及其他以數(shù)據(jù)為中

心的實體。

應用于：幫助用戶了解大數(shù)據(jù)相關概念。

第2章主要協(xié)議和相關技術

2.1SCSI訪問控制原理介紹

下面為大家介紹SCSI-2和SCSI-3訪問控制原理。主要內容包括：SCSI-2

Reserve/Release/Reset和SCSI-3PersistentReserveIN/PersistentReserveOUT/PREEMPT以及

SCSI訪問控制常見場景。

SCSI-2Reserve（預留）/Release（釋放）/Reset（重置）

SCSI-2協(xié)議中客戶端訪問lun過程如下：

1、客戶端向lun發(fā)起預留操作

2、預留操作成功后，客戶端獲得lun操作權限；預留失敗，提示預留沖突，會繼續(xù)嘗試，

直到預留成功。

3、客戶端操作完畢后，執(zhí)行釋放操作，其他客戶端可以預留。

SCSI-2訪問控制主要峽點有：

1、預留操作基于路徑。預留和釋放必須由相同的客戶端完成，一臺主機不能釋放另外一臺

主機的預留，同一主機HBA卡不能取消相同主機另外一塊HBA的預留。

2、預留無法長久保留。主機重啟將會丟失預留信息。

3、如果lun已經(jīng)被預留，其他主機無法再預留。如果其他主機要想獲得lun操作權限，必

須對lun進行重置，重置操作可能會導致數(shù)據(jù)丟失。重置后釋放掉lun現(xiàn)有的預留，重置操

作由lun主動發(fā)起，原來預留主機并不知曉。

SCSI-3PersistentReserve(PR)/PREEMPT(搶占)

SCSI-3協(xié)議引入PGR(persistentgroupreservation)功能。在訪問lun之前，客戶端首先

向lun注冊(registration)一個預裙密鑰(reservationkey),注冊成功后客戶端可以嘗試進行

永久預留(reserve),永久預留成功后就可以獲得lun操作權限。預留密鑰是一串16進制的

ASCII碼，最長8個字節(jié)。永久預留一共6種類型，由1、3、5、6、7.8數(shù)字表示。包括兩

種操作類型和三種客戶類型，操作類型包括寫排它和所有訪問排他，客戶類型包括所有客戶

端、已注冊客戶端和所屬客戶端。數(shù)字與永久預留類型對應關系如下：

1->writeexclusive

3->exclusiveaccess

5->writeexclusive-registrantsonly

6->exclusiveaccess-registrantsonly

7->writeexclusive-allregistrants

8->exclusiveaccess-allregistrants.

不同注冊類型對應不同訪問權限。與SCSI-2不同，SCSI-3釋放操作根據(jù)預留密鑰。不同

客戶端可以使用相同密鑰或是不同密鑰進行預留，具體可以結合永久預留類型決定?？蛻舳?/p>

可以通過搶占來獲取已被永久預留的lun訪問權限。SCSL3搶占和SCSI-2重置不一樣，搶占

不會造成數(shù)據(jù)丟失。

SCSI-3關于PGR相關操作命令分為兩大類:分別是PRIN和PROUT,PRIN主要用于查詢，

PROUT用于修改。SCSI命令執(zhí)行過程中，需要明確該命令是哪種類型。

常見使用場景

集群I/OFencing

為了防止集群故障發(fā)生“腦裂”現(xiàn)象，2-節(jié)點集群可以通過SCSI-2Reseve/Release觸發(fā)

I/Ofencing來保證整個集群正常運行，是SCSI-2不適用于多?節(jié)點集群，多?節(jié)點集群可以使

用SCSI-3PGR。主流廠商集群套件都己經(jīng)支持SCSI-3PGR,比如：VCS、HACAMP、RHCS等。

2、集群文件系統(tǒng)

集群文件系統(tǒng)需要保證多節(jié)點同時訪問存儲時的數(shù)據(jù)一致性,SCSI-2/SCSI-3都可以滿足,

當一個節(jié)點嘗試訪問一個已經(jīng)被預留的存儲就會產(chǎn)生訪問權限沖突。SCSI-3PGR相比SCSI-2

Reserve/Release更能夠減少訪問權限沖突。

小結：SCSI-2具體基本訪問控制能力，但是無法滿足Active/Active多路徑環(huán)境和集群多

節(jié)點訪問存儲的需求。SCSI-3通過引入客戶端注冊和操作權限分類概念，強化并行訪問權限

控制,彌補SCSI-2的不足。

2.2FC協(xié)議詳解

FC協(xié)議簡介

開發(fā)于1988年，最早是用來提高硬盤協(xié)議的傳輸帶寬，側重于數(shù)據(jù)的快速、高效、可

靠傳輸。到上世紀90年代末，F(xiàn)CSAN開始得到大規(guī)模的廣泛應用。

FC協(xié)議其實并不能翻譯成光纖協(xié)議，只是FC協(xié)議普遍采用光纖作為傳輸線纜而不是銅

纜，因此很多人把FC稱為光纖通道協(xié)議。在邏輯上，我們可以將FC看作是一種用于構造

高性能信息傳輸?shù)?、雙向的、點對點的串行數(shù)據(jù)通道。在物理上，F(xiàn)C是一到多對應的點對

點的互連鏈路，每條鏈路終結于一個端口或轉發(fā)器。FC的鏈路介質可以是光纖、雙絞線或

同軸電纜。

FC協(xié)議棧

高層協(xié)議

SCSI-3ATM

IPI-3命令集映SCSI-3FC鏈路封裝FC-ATM

FC4射(IPI-3STD)命令集映射FC-LE

FC-3通用服務

FC2結構協(xié)議光纖物理與信號接口FC-ALFC-AL-2

FC-1/解碼(FC-PH,FC-PH2,

存8b/10b編碼

FC-PH3)

FG0■物理變換銅，光連接

FC-0：連接物理介質的界面、電纜等；定義編碼和解碼的標準。

FC-1：傳輸協(xié)議層或數(shù)據(jù)鏈接層，編碼或解碼信號。

FC-2：網(wǎng)絡層，光纖通道的核心，定義了幀、流控制、和服務質量等。

Fc-a：定義了常用服務，如數(shù)據(jù)加密和壓縮△

FC-4：協(xié)議映射層，定義了光纖通道和上層應用之間的接口，上層應用比如：串行SCSI協(xié)議，

HBA卡的驅動提供了FC-4的接口函數(shù)。FC-4支持多協(xié)議，如：FCP-SCSI,FC-IP,FC-VL

光纖通道的主要部分實際上是FC-2。其中從FC-0到FC-2被稱為FC-PH,也就是“物理層〃。

光纖通道主要通過FC-2來進行傳輸，因此，光纖通道也常被成為“二層協(xié)議”或者"類以太網(wǎng)

協(xié)議”。

在此重復：光纖通道并不是SCSI的替代；一般而言SCSI是光纖通道的上層。光纖通道

一般是指FC-PHY層：FC0-FC2。術語FCP,即光纖通道協(xié)議，是指對SCSI的界面協(xié)議或FC-4

層映射。我們這里討論的是光纖通道的內在工作原理，而不是指光纖通道協(xié)議。

光纖通道的數(shù)據(jù)單元叫做幀。即使光纖通道本身就有幾個層，大部分光纖通道是指第2

層協(xié)議。一個光纖通道幀最大是2148字節(jié)，而且光纖通道幀的頭部匕起廣域網(wǎng)的IP和TCP

來說有些奇怪。光線通道只使用一個幀格式來在多個層上完成各種任務。幀的功能決定其格

式。相比我們在IP世界中的概念，光纖通道幀格式是奇特而且奇妙的。

光纖通道幀起始于幀開始(SOF)標志，隨后是幀頭部，這個一會進行描述。數(shù)據(jù)，或

光纖通道內容，緊隨其后，然后是幀結束（EOF）。這樣封裝的目的是讓光纖通道可以在需

要時被其他類似于TCP的協(xié)議所承載。

FC協(xié)議交換方式

按照連接和尋址方式的不同，F(xiàn)C支持三種拓撲方式：

1.PTP（點對點）：一般用于DAS（直連式存儲）設置

N_PORT

人生

stomgconlincccnicti

服務器和存儲設備在點對點的環(huán)境里都是N_PORT.通過一條上行一條下行兩條通道進行數(shù)

據(jù)存儲與讀取。

2.FC-AL（光纖通道仲裁環(huán)路）：采用FC-AL仲裁環(huán)機制，使用Token（令牌）的方式進行仲

裁。光纖環(huán)路端口，或交換機上的FL端口，和HBA上的NL端口（節(jié)點環(huán)）連接，支持環(huán)

路運行。采用FC-AL架構，當一個設備加入FC-AL的時候，或出現(xiàn)任何錯誤或需要重新設置

的時候，環(huán)路就必須重新初始化。在這個過程中，所有的通信都必須暫時中止。由于其尋址

機制，F(xiàn)C-AL理論上被限制在了127個節(jié)點。

L_PORT

FC-SW（FCSwitchedl交換式光纖通道）：在交換式SAN上運行的方式。FC-SW可以按照任意

方式進行連接，規(guī)避了仲裁環(huán)的諸多弊端，但需要購買支持交換架構的交換模塊或FC交換

機。

光纖信道(FC)中的基本實體是光纖信道網(wǎng)絡，與一般分層網(wǎng)絡不同的是，一個光纖信

道網(wǎng)絡很大程度上由功能單元以及各單元間接口所指定，各部分組成如下：

N_PORTs-光纖信道流量終點；

FCDevices-N_PORT訪問的光纖信道設備；

FabricPort-光纖網(wǎng)絡接口，連接N_PORT；

在N_PORT間傳輸數(shù)據(jù)噴的網(wǎng)絡結構；

交換結構或混合結構下的一組輔助服務器，包括支持設備發(fā)現(xiàn)和網(wǎng)絡地址解析服務

的名稱服務器。

主要的光纖信道網(wǎng)絡拓撲組成如下所示：

ArbitratedLoop-N_PORTs以菊花鏈(daisy-chain)形式連接在一起；

SwitchedFabric-由交換單元組成的網(wǎng)絡；

MixedFabric-由交換機和"fabric-attached"環(huán)路組成的網(wǎng)絡。L_PORT將

loop-attachedN_PORT(NL.PORT)與環(huán)路連接起來，并且NL_PORT通過FL_PORT接入該

結構。

光纖通道的尋址方式

在數(shù)據(jù)中心網(wǎng)絡中，光纖通道(FUFibreChannel)是通過WorldWideName(WWN)來

標識一個唯一的設備。WWN是一個64位的地址cWWN對于光纖通道設備就像Ethernet的

MAC地址一樣都是全球唯一的，它們是由電器和電子工程協(xié)會(IEEE)標準委員會指定給制造

商，在制造時被直接內置到設備中去的。

IEEE定義生產(chǎn)Et義

NodeWWN:.約

生產(chǎn)EMIww宇科

PortVWVN:和：00^55：60：6勺柿：6o：oa|

數(shù)據(jù)中心天空

生產(chǎn)廠商逸貴的16*制字存

<tet?c?ntonkyxom

?使用，或一個或￥個餐口：5nM根酩HBA卡

通常用NodeWWN來標示每臺不同的FC交換機，它是唯一的;對于FC交換機的端口，

則使用PortWWPN來標示交換機的端口。所以一個交換機只有一個NodeWWN和多個

PortWWPNo根據(jù)IEEE標準定義，WWN的定義方式有三種，可以見《深度分析FC/FCOE

中WWN的類型定義》一文所述。

因為WWN的地址太長所以用這個地址來尋址的話會影響到路由的性能。這樣光纖通道

網(wǎng)絡采用了另外一種尋址方案。這種方案是用基于交換光纖網(wǎng)絡中的光纖端口來尋址稱為

FCID?；诮粨Q光纖網(wǎng)絡中的每個端口有一個唯一的24位的地址,FCID,這種FCID就類似

TCP/IP中的IP地址。用這種24位地址方案，這樣得到了一個較小的幀頭，這能加速路由

的處理。但是這個24位的地址必須通過某種方式連接到與WorldWideName相關聯(lián)的64

位的地址。

在光纖通道(SAN)環(huán)境中，F(xiàn)C交換機它本身負責分配和維持端口地址。當有一個WWN

登錄到交換機的某一個端口時，交換機將會為其分配一個FQD地址，同時交換機也將會創(chuàng)

建FCID和登錄的WWN地址之間的關聯(lián)關系表并維護他們的關系。交換機的這一個功能是

使用名字服務器（NAMESERVER）來實現(xiàn)的。

名字服務器其實是光纖操作系統(tǒng)的一個組件，在交換機內部運行。它本質上是一個對象

數(shù)據(jù)庫，光纖設備在連接進來時，向該數(shù)據(jù)庫注冊它們的值這是一個動態(tài)的過程。動態(tài)的尋

址方式同時也消除了手工維護地址出錯的潛在的可能，而且在移動和改變SAN方面也提供

了更多的靈活性。

數(shù)據(jù)中心天空

?動態(tài)堆址(8/24-ft)

?本地生成

?注冊到光纖通道網(wǎng)路?花燒衣

圖

-FC-AL3?-故(例0TW*)

sUJA比M

-FC-SW=24-ft

=修,。8,MOPabneMU

24?位N_PorVF_Pon可用范88

mr劇iFFf

一個24位的FCID地址由三個部吩所組成:Domain,Area,Port組成。

Domain（從23到16位）

Area（從15到08位）

Port或仲裁環(huán)物理地址?AL_PA（從07到00位）

Domain:端口地址中最重要的字節(jié)是Domain。這是標識交換機本身的地址。最多只能達到

256個地址。除了一些被保留使用的地址外，實際上只有239個地址可用。這意味著在你

的SAN環(huán)境中，所在在一個SAN網(wǎng)絡中最多只可能達239個交換機。同時Domain可以

用來標識一個san網(wǎng)絡一個FC交換機的唯一性。

Area:它提供256個地址。地址的這一個部份被用于識別個別的FL.Ports環(huán),或它可能被用

于當做一組F_Port的識別符，例如，多端口的一個光纖卡的識別符。這意謂著每組端口有

一個不同的area編號，即使對于只有一個端口的組也是如此。

Port:地址的最后部份提供2