大數(shù)據(jù)存儲(chǔ)技術(shù)培訓(xùn)

1、修訂(xidng)記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEHC1209202N8500OceanStor 9000V100R002V00R001V2.0開發(fā)/優(yōu)化者審核人開發(fā)類型（新開發(fā)/優(yōu)化）2013-09-20/新開發(fā)本頁(yè)不打印(d yn)第一頁(yè)，共九十頁(yè)。HC1209202 第二章 大數(shù)據(jù)(shj)存儲(chǔ)技術(shù)第二頁(yè)，共九十頁(yè)。目標(biāo)(mbio)學(xué)完本課程后，您將能夠:描述大數(shù)據(jù)存儲(chǔ)架構(gòu)理解大數(shù)據(jù)存儲(chǔ)技術(shù)了解大數(shù)據(jù)分析技術(shù)(jsh)了解數(shù)據(jù)安全技術(shù)理解集群NAS技術(shù)理解文件系統(tǒng)分級(jí)存儲(chǔ)理解文件系統(tǒng)快照、鏡像、復(fù)制第三頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)(j

2、sh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四頁(yè)，共九十頁(yè)。大數(shù)據(jù)(shj)存儲(chǔ)架構(gòu) Scale-out File system數(shù)據(jù)生命周期管理/跨域調(diào)度管理 Scale-out DB 傳統(tǒng)存儲(chǔ)業(yè)務(wù)海量數(shù)據(jù)業(yè)務(wù) 主存儲(chǔ)域 NOFSServers: General X86 open architecture NOFS NOFS NOFS NOFS NOFS NOFS NOFS10GE iWARP/Infiniband XDBCSQLMap-Reduce InterfacePOSIXJOB 備份域HDFS HDFS large-capacity nodehigh-OPS n

3、odeHDFShigh-bandwidth node業(yè)務(wù)層接口層存儲(chǔ)層NFS/CIFSS3ISCSIBIBig data analyticsBackupBig data shareNAS第五頁(yè)，共九十頁(yè)。應(yīng)用層HPC 客戶端客戶端在線(zi xin)系統(tǒng)近線系統(tǒng)(xtng) FC/10GE/InfinibandFC/10GE/InfinibandScale-out NASScale-out DBScale-out Backup磁盤上下電掃描文件數(shù)據(jù)保護(hù)策略單盤下電節(jié)能數(shù)據(jù)定期巡檢文件生命周期策略Distributed FSScale-out架構(gòu)(ji u)第六頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)(

4、shj)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第七頁(yè)，共九十頁(yè)。傳統(tǒng)存儲(chǔ)(cn ch)與對(duì)象存儲(chǔ)(cn ch)第八頁(yè)，共九十頁(yè)。大數(shù)據(jù)(shj)存儲(chǔ)技術(shù)分布式對(duì)象資源池第九頁(yè)，共九十頁(yè)。大數(shù)據(jù)(shj)存儲(chǔ)技術(shù)-Erasure code數(shù)據(jù)寫入時(shí)被切割成M個(gè)數(shù)據(jù)塊經(jīng)過(guò)糾錯(cuò)編碼(bin m)生成N個(gè)冗余校驗(yàn)塊,共M+N份數(shù)據(jù)系統(tǒng)將多個(gè)數(shù)據(jù)塊并行的存儲(chǔ)于不同的節(jié)點(diǎn)中當(dāng)存儲(chǔ)節(jié)點(diǎn)損壞時(shí)，數(shù)據(jù)讀寫正常，剩余數(shù)據(jù)塊及冗余塊后臺(tái)參與并將數(shù)據(jù)恢復(fù)m2m4m1m3m3m2n2n1m4m1n2m4第十頁(yè)，共九十頁(yè)。對(duì)象存儲(chǔ)(cn ch)數(shù)據(jù)寫流程第十一頁(yè)，

5、共九十頁(yè)。9、 人的價(jià)值，在招收誘惑的一瞬間被決定。2022/9/12022/9/1Thursday, September 1, 202210、低頭要有勇氣，抬頭要有低氣。2022/9/12022/9/12022/9/19/1/2022 10:27:06 PM11、人總是珍惜為得到。2022/9/12022/9/12022/9/1Sep-2201-Sep-2212、人亂于心，不寬余請(qǐng)。2022/9/12022/9/12022/9/1Thursday, September 1, 202213、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。2022/9/12022/9/12022/9/12022/9/19/1/

6、202214、抱最大的希望，作最大的努力。01 九月 20222022/9/12022/9/12022/9/115、一個(gè)(y )人炫耀什么，說(shuō)明他內(nèi)心缺少什么。九月 222022/9/12022/9/12022/9/19/1/202216、業(yè)余生活要有意義，不要越軌。2022/9/12022/9/101 September 202217、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。2022/9/12022/9/12022/9/12022/9/1第十二頁(yè)，共九十頁(yè)。對(duì)象存儲(chǔ)數(shù)據(jù)(shj)讀取流程第十三頁(yè)，共九十頁(yè)。數(shù)據(jù)(shj)塊損壞時(shí)的數(shù)據(jù)(shj)讀取和恢復(fù)第十四頁(yè)，共九十頁(yè)。元數(shù)據(jù)(shj)冗余

7、DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝元數(shù)據(jù)拷貝文件元數(shù)據(jù)節(jié)點(diǎn)1節(jié)點(diǎn)2節(jié)點(diǎn)3節(jié)點(diǎn)4節(jié)點(diǎn)5第十五頁(yè)，共九十頁(yè)。EC快速(kui s)數(shù)據(jù)恢復(fù)系統(tǒng)中每個(gè)硬盤都屬于多個(gè)(du )NLUN硬盤故障時(shí),會(huì)選出4個(gè)目標(biāo)盤出來(lái)進(jìn)行恢復(fù)每個(gè)目標(biāo)盤的恢復(fù)是獨(dú)立的，目標(biāo)盤之間的恢復(fù)可以并發(fā)節(jié)點(diǎn)(ji din)1節(jié)點(diǎn)2節(jié)點(diǎn)3節(jié)點(diǎn)4節(jié)點(diǎn)5節(jié)點(diǎn)6硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n硬盤1硬盤2硬盤3硬盤n第十六頁(yè)，共

8、九十頁(yè)。單一文件系統(tǒng)&統(tǒng)一文件系統(tǒng)命名(mng mng)空間應(yīng)用服務(wù)器WushanFS第十七頁(yè)，共九十頁(yè)。熱數(shù)據(jù)(shj)冷數(shù)據(jù)(shj)普通(ptng)數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級(jí)存儲(chǔ)技術(shù)分級(jí)存儲(chǔ)滿足用戶既需要高性能訪問(wèn)也需要大容量存儲(chǔ)的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對(duì)自己的業(yè)務(wù)進(jìn)行分級(jí)，把某些重要的業(yè)務(wù)放在性能較高的節(jié)點(diǎn)上。 第十八頁(yè)，共九十頁(yè)。熱數(shù)據(jù)(shj)冷數(shù)據(jù)(shj)普通(ptng)數(shù)據(jù)Tier 2Tier 3Tier 1SSD分級(jí)存儲(chǔ)技術(shù)分級(jí)存儲(chǔ)滿足用戶既需要高性能訪問(wèn)也需要大容量存儲(chǔ)的雙重需求。允許用戶自行規(guī)劃自己的業(yè)務(wù)，對(duì)自己的業(yè)務(wù)進(jìn)行分級(jí)，把

9、某些重要的業(yè)務(wù)放在性能較高的節(jié)點(diǎn)上。 第十九頁(yè)，共九十頁(yè)。智能(zh nn)負(fù)載均衡在所有節(jié)點(diǎn)間自動(dòng)進(jìn)行負(fù)載均衡(jnhng)自動(dòng)平衡容量和性能IP的故障切換(failover)和故障恢復(fù)(failback)無(wú)需人工干預(yù)，無(wú)需更改配置對(duì)應(yīng)用透明nodenodenodenodeOceanStor9000WiseLinkWiseLinkWiseLinkWiseLinkWushanFS01234第二十頁(yè)，共九十頁(yè)。智能負(fù)載(fzi)均衡負(fù)載均衡實(shí)現(xiàn)過(guò)程：訪問(wèn)系統(tǒng)一級(jí)/二級(jí)域名,如：OceanStor 9000對(duì)域名進(jìn)行解析(ji x)，根據(jù)負(fù)載策略，返回IP地址業(yè)務(wù)請(qǐng)求nodenodenodenod

10、enodenodeZone 1：基于(jy)CPU使用情況二級(jí)域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級(jí)域名：WushanFSNFS Client第二十一頁(yè)，共九十頁(yè)。智能(zh nn)負(fù)載均衡負(fù)載均衡(jnhng)實(shí)現(xiàn)過(guò)程：訪問(wèn)系統(tǒng)一級(jí)/二級(jí)域名,如：OceanStor 9000對(duì)域名進(jìn)行解析，根據(jù)負(fù)載策略，返回IP地址業(yè)務(wù)請(qǐng)求nodenodenodenodenodenodeZone 1：基于CPU使用(shyng)情況二級(jí)域名：Zone 2：基于網(wǎng)絡(luò)連接數(shù)二級(jí)域名：WushanFSNFS Client第二十二頁(yè)，共九十頁(yè)。高效(o xio)全局緩存（一）storageCPUMemorystor

11、ageCPUMemorystorageCPUMemory全局緩存ABC應(yīng)用服務(wù)器nodeAnodeBnodeCWushanFS第二十三頁(yè)，共九十頁(yè)。高效(o xio)全局緩存（二）利用分布式鎖，實(shí)現(xiàn)(shxin)全局緩存同一數(shù)據(jù)塊在緩存只緩存一份任意節(jié)點(diǎn)緩存中的數(shù)據(jù)都能被其他節(jié)點(diǎn)訪問(wèn)時(shí)命中Node ANode BNode CstorageCPUMemorystorageCPUMemorystorageCPUMemory應(yīng)用服務(wù)器WushanFS服務(wù)器向Node C申請(qǐng)(shnqng)鎖LOCK返回鎖在Node A已經(jīng)申請(qǐng)從Node A緩存中讀取數(shù)據(jù)第二十四頁(yè)，共九十頁(yè)。按需擴(kuò)展(kuzhn)節(jié)

12、點(diǎn)(ji din)線性擴(kuò)展60秒之內(nèi)完成(wn chng)單節(jié)點(diǎn)擴(kuò)容無(wú)需人為干預(yù)，無(wú)需任何改動(dòng)應(yīng)用服務(wù)器第二十五頁(yè)，共九十頁(yè)。InfiniBand技術(shù)(jsh)InfiniBandInfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計(jì)目的針對(duì)服務(wù)器端的連接問(wèn)題。InfiniBand技術(shù)被應(yīng)用(yngyng)于服務(wù)器與服務(wù)器（比如復(fù)制、分布式工作等）、服務(wù)器和存儲(chǔ)設(shè)備（比如SAN和直接存儲(chǔ)附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN、 WANs和the Internet）的通信。InfiniBand的用途針對(duì)服務(wù)器端的連接，提供高速、低時(shí)延、RDMA方式的訪問(wèn)InfiniBand的特點(diǎn)高帶寬低時(shí)

13、延系統(tǒng)擴(kuò)展性好第二十六頁(yè)，共九十頁(yè)。InfiniBand體系(tx)架構(gòu)InfiniBand標(biāo)準(zhǔn)定義(dngy)了一套用于系統(tǒng)通信的多種設(shè)備，包括信道適配器、交換機(jī)和路由器。第二十七頁(yè)，共九十頁(yè)。InfiniBand的幀結(jié)構(gòu)(jigu)InfiniBand的幀結(jié)構(gòu)(jigu)第二十八頁(yè)，共九十頁(yè)。InfiniBand的特點(diǎn)(tdin)高速度Infiniband第一代DDR技術(shù)，所支持的吞吐量為5、20或60Gbps，延遲低于1.3us。第二代QDR技術(shù)，帶寬最高可達(dá)120Gbps，延遲低于100ns 遠(yuǎn)程直接內(nèi)存存取功能該功能對(duì)于集群來(lái)說(shuō)很適合，因?yàn)樗梢酝ㄟ^(guò)一個(gè)虛擬的尋址方案，讓服務(wù)器知道和

14、使用其他服務(wù)器的部分內(nèi)存，無(wú)需涉及操作系統(tǒng)的內(nèi)核。傳輸卸載遠(yuǎn)程直接內(nèi)存存取能夠(nnggu)幫助傳輸卸載，后者把數(shù)據(jù)包路由從OS轉(zhuǎn)到芯片級(jí)，節(jié)省了處理器的處理負(fù)擔(dān)第二十九頁(yè)，共九十頁(yè)。InfiniBand的協(xié)議(xiy)棧第三十頁(yè)，共九十頁(yè)。10GE以太網(wǎng)定義10GE 以太網(wǎng)（10 Gigabit Ethernet，縮寫為10GE，10GbE，10 GigE或10GE），即萬(wàn)兆以太網(wǎng)。一種以太網(wǎng)的傳輸標(biāo)準(zhǔn)，2021年通過(guò)，成為IEEE Std 802.3ae-2021。它規(guī)范了以10 Gbit/s 的速度來(lái)傳輸?shù)囊蕴W(wǎng)，它的速度是GE的十倍。特點(diǎn)：10 Gigabit以太網(wǎng)，以全雙工方式連接到

15、網(wǎng)絡(luò)交換器，它不支持(zhch)半雙工模式與CSMA/CD。10GE提供了高帶寬低時(shí)延的訪問(wèn)，適合比較 媒資類、高算類、OLAP等。第三十一頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)(jsh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第三十二頁(yè)，共九十頁(yè)。數(shù)據(jù)庫(kù)技術(shù)(jsh)的演變隨著數(shù)據(jù)量的飛速增長(zhǎng)，特別是非結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)關(guān)系(gun x)型數(shù)據(jù)庫(kù)的可擴(kuò)展性出現(xiàn)瓶頸，因此出現(xiàn)各種場(chǎng)景優(yōu)化的數(shù)據(jù)存放方式OldSQL（事務(wù)）New SQL/MoreSQL（分析）NoSQL（互聯(lián)網(wǎng)）第三十三頁(yè)，共九十頁(yè)。NoSQL與NewSQL第三十四頁(yè)，共九十頁(yè)。數(shù)

16、據(jù)庫(kù)CAP原理(yunl)第三十五頁(yè)，共九十頁(yè)。NoSQL結(jié)構(gòu)(jigu)第三十六頁(yè)，共九十頁(yè)。NoSQL與關(guān)系(gun x)型的數(shù)據(jù)庫(kù)對(duì)比優(yōu)勢(shì)方面： 易擴(kuò)展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對(duì)SQL的支持支持的特性不夠豐富NoSQL未形成(xngchng)一定標(biāo)準(zhǔn)第三十七頁(yè)，共九十頁(yè)。NoSQL與關(guān)系(gun x)型的數(shù)據(jù)庫(kù)對(duì)比優(yōu)勢(shì)方面(fngmin)： 易擴(kuò)展：靈活的數(shù)據(jù)模型高可用：快速讀寫，大數(shù)據(jù)量，高性能低廉的成本不足： 不提供對(duì)SQL的支持支持的特性不夠豐富NoSQL未形成一定標(biāo)準(zhǔn)第三十八頁(yè)，共九十頁(yè)。NoSQL分類(fn li)類型部分代表特

17、點(diǎn)列存儲(chǔ)Hbase/Cassandra/Hypertable顧名思義，是按列存儲(chǔ)數(shù)據(jù)的。最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對(duì)針對(duì)某一列或者某幾列的查詢有非常大的IO優(yōu)勢(shì)。文檔存儲(chǔ)MongoDB/CouchDB文檔存儲(chǔ)一般用類似json的格式存儲(chǔ)，存儲(chǔ)的內(nèi)容是文檔型的。這樣也就有有機(jī)會(huì)對(duì)某些字段建立索引，實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的某些功能。key-value存儲(chǔ)Tokyo Cabinet Tyrant/Berkeley DB/MemcacheDB/Redis可以通過(guò)key快速查詢到其value。一般來(lái)說(shuō)，存儲(chǔ)不管value的格式，照單全收。（Redis包含了其他功能）圖存儲(chǔ)Neo4

18、J/FlockDB/InfoGrid圖形關(guān)系的最佳存儲(chǔ)。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)解決的話性能低下，而且設(shè)計(jì)使用不方便。對(duì)象存儲(chǔ)Db4o/Versant通過(guò)類似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù)，通過(guò)對(duì)象的方式存取數(shù)據(jù)。xml數(shù)據(jù)庫(kù)Berkeley DB XML/BaseX高效的存儲(chǔ)XML數(shù)據(jù)，并支持XML的內(nèi)部查詢語(yǔ)法，比如XQuery,Xpath。第三十九頁(yè)，共九十頁(yè)。NoSQL應(yīng)用(yngyng)舉例Google的BigTableBigTable提出了一種很有趣的數(shù)據(jù)模型，它將各列數(shù)據(jù)進(jìn)行排序存儲(chǔ)。數(shù)據(jù)值按范圍分布在多臺(tái)機(jī)器，數(shù)據(jù)更新操作有嚴(yán)格(yng)的一致性保證。Amazon的DynamoDyn

19、amo使用的是另外一種分布式模型。Dynamo的模型更簡(jiǎn)單，它將數(shù)據(jù)按key進(jìn)行hash存儲(chǔ)。其數(shù)據(jù)分片模型有比較強(qiáng)的容災(zāi)性，因此它實(shí)現(xiàn)的是相對(duì)松散的弱一致性：最終一致性。第四十頁(yè)，共九十頁(yè)。NewSQLNewSQL 是對(duì)各種新的可擴(kuò)展/高性能數(shù)據(jù)庫(kù)的簡(jiǎn)稱。NewSQL數(shù)據(jù)庫(kù)具有NoSQL對(duì)海量(hiling)數(shù)據(jù)的存儲(chǔ)管理能力。NewSQL數(shù)據(jù)庫(kù)保持了傳統(tǒng)數(shù)據(jù)庫(kù)支持ACID和SQL等特性。第四十一頁(yè)，共九十頁(yè)。MPP DB-結(jié)構(gòu)化數(shù)據(jù)分析MPP DB關(guān)鍵技術(shù)：分布式并行計(jì)算、存儲(chǔ)在線系統(tǒng)擴(kuò)容 訪問(wèn)性能線性擴(kuò)展加載能力線性擴(kuò)展高級(jí)負(fù)載管理 數(shù)據(jù)分區(qū)均衡存儲(chǔ)透明壓縮支持開放硬件平臺(tái)CPUCPUC

20、PUCPU內(nèi)存內(nèi)存內(nèi)存內(nèi)存擴(kuò)展方式(fngsh)：增加服務(wù)器節(jié)點(diǎn)理論上擴(kuò)展無(wú)限制，上千節(jié)點(diǎn)互連隨著節(jié)點(diǎn)數(shù)量增加，性能線性提升MPP DB Share-nothing架構(gòu)(ji u)例如：HUAWEI OceanStor 9000， EMC Greenplum， DB2 DPF Scale Out 模式(msh)網(wǎng)絡(luò)第四十二頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四十三頁(yè)，共九十頁(yè)。存儲(chǔ)系統(tǒng)的數(shù)據(jù)(shj)安全性完整性保密性可用性數(shù)據(jù)加密WORMRAID用戶管理系統(tǒng)加固日志審計(jì)補(bǔ)丁管理網(wǎng)絡(luò)管理(A

21、CL)數(shù)據(jù)銷毀遠(yuǎn)程復(fù)制備份恢復(fù)防病毒第四十四頁(yè)，共九十頁(yè)。對(duì)象存儲(chǔ)(cn ch)加密物理級(jí)：磁道校驗(yàn) CRC分片級(jí)：分片校驗(yàn) SHA256對(duì)象級(jí)：對(duì)象校驗(yàn) MD5應(yīng)用級(jí)：報(bào)文校驗(yàn) CRC端到端一致性校驗(yàn)第四十五頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)第四十六頁(yè)，共九十頁(yè)。什么(shn me)是NAS？NAS特征：擁有(yngyu)可訪問(wèn)的磁盤陣列擁有文件系統(tǒng)對(duì)外提供訪問(wèn)文件系統(tǒng)的接口LUN0LUN1LUN2LUN3LUN6LUN7LUN8LUN9LUN4LUN10LUN5LUN11卷管理(gunl

22、)模塊卷管理模塊文件系統(tǒng)Network Attached Storage網(wǎng)絡(luò)文件系統(tǒng)協(xié)議以太網(wǎng)接口以太網(wǎng)接口第四十七頁(yè)，共九十頁(yè)。NAS結(jié)構(gòu)(jigu)NAS硬件操作系統(tǒng)存儲(chǔ)管理（磁盤監(jiān)視，異常處理，RAID）文件系統(tǒng)網(wǎng)絡(luò)文件共享（NFS,CIFS）GUI界面設(shè)備監(jiān)視與控制；設(shè)備配置：網(wǎng)絡(luò)、卷、文件存取權(quán)限等）可通過(guò)Web進(jìn)行管理第四十八頁(yè)，共九十頁(yè)。網(wǎng)絡(luò)(wnglu)模塊TCP/IP微內(nèi)核操作系統(tǒng)控制器微碼RAID軟件NAS文件系統(tǒng)CIFS或NFS協(xié)議(xiy)NTFS或FAT32文件系統(tǒng)，Windows計(jì)算機(jī)UFS文件系統(tǒng)，UNIX工作站UFS文件系統(tǒng)，UNIX工作站NTFS或FAT32文

23、件系統(tǒng)，Windows計(jì)算機(jī)NTFS或FAT32文件系統(tǒng)，Windows計(jì)算機(jī)CIFS或NFS協(xié)議(xiy)CIFS或NFS協(xié)議NAS設(shè)備第四十九頁(yè)，共九十頁(yè)。CIFS是什么(shn me) 定義CIFS (Common Internet File System)，通用Internet文件系統(tǒng) ，一個(gè)新提出的協(xié)議，它使程序可以訪問(wèn)遠(yuǎn)程(yunchng)Internet計(jì)算機(jī)上的文件并要求此計(jì)算機(jī)的服務(wù)。 CIFS是公共的或開放的SMB協(xié)議版本，包含主要模塊有：NBTSMBBrowsing第五十頁(yè)，共九十頁(yè)。NBT、SMB、BrowsingNBT (NetBIOS over TCP/IP) TC

24、P/IP 上的NetBIOSSMB (The Server Messages Block Protocol) 服務(wù)器消息塊協(xié)議(xiy)Browsing (The Browse Service) 瀏覽服務(wù)SMBNETBIOSTCP/UDPIP第五十一頁(yè)，共九十頁(yè)。NBTHullRingoClementsTCP/IP網(wǎng)絡(luò)(wnglu)MickLaidlawWhere is Ringo ?NBT（NetBIOS over TCP/IP）TCP/IP上的NetBIOSThis is Ringo 第五十二頁(yè)，共九十頁(yè)。SMBSMB 是用于文件與打印機(jī)共享的協(xié)議同時(shí)也叫 CIFS (Common Int

25、ernet File System)基于客戶端/服務(wù)器模式并不等同于Samba: 一種SMB協(xié)議在unix系統(tǒng)上的開源實(shí)現(xiàn)(shxin)SMB 通常運(yùn)行在 NetBIOS (naming + sessions + datagram)協(xié)議之上NetBIOS + SMB 適用于LAN環(huán)境第五十三頁(yè)，共九十頁(yè)。BrowsingBrowsing（The Browse Service ）瀏覽器服務(wù)的主要功能是：提供客戶機(jī)域中共享資源的計(jì)算機(jī)的列表(li bio)，以及廣域網(wǎng) (WAN) 上其他域名和工作組名稱的列表。此列表提供給用“網(wǎng)上鄰居”或 NET VIEW 命令查看網(wǎng)絡(luò)資源的客戶端。第五十四頁(yè)，共

26、九十頁(yè)。CIFS 消息(xio xi)流User RequestUser ModeKernel ModeI/O ManagerRedirectorTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISNetworkTDI LayerNWLinkNet BTNet BIOSIPXTCP/IPNDISServer第五十五頁(yè)，共九十頁(yè)。NFS (Network File System )定義NFS（網(wǎng)絡(luò)文件系統(tǒng)）是Unix/linux系統(tǒng)間實(shí)現(xiàn)磁盤文件共享的一種方法，支持應(yīng)用程序在客戶端通過(guò)(tnggu)網(wǎng)絡(luò)存取位于服務(wù)器磁盤中數(shù)據(jù)的一種文件系統(tǒng)協(xié)議。工作原理使用客戶端

27、/服務(wù)器架構(gòu)，由一個(gè)客戶端程序和服務(wù)器程序組成。主要模塊RPC、鑒權(quán)、傳輸 第五十六頁(yè)，共九十頁(yè)。NFS消息(xio xi)流Syetem Call interfaceNFS ClientRPC/XDRVFS InterfaceOther types of filesystemLinux & Unix filesystemNFSClientNetworkRPC/XDRNFSServerVFS InterfaceLinux & Unix filesystem第五十七頁(yè)，共九十頁(yè)。RPC是什么(shn me)？第五十八頁(yè)，共九十頁(yè)。傳輸方式 使用UDP協(xié)議UDP傳輸在NFS局域網(wǎng)的應(yīng)用中傳輸速度快

28、UDP協(xié)議傳輸?shù)拈_銷小使用TCP協(xié)議可靠性高，有效的阻塞控制客戶端和服務(wù)器端都保留TCP連接的狀態(tài)服務(wù)器崩潰時(shí)，客戶端只需要打開一個(gè)新的TCP連接客戶端崩潰時(shí)，服務(wù)器端在新的TCP連接到來(lái)時(shí)，關(guān)閉(gunb)原來(lái)的TCP連接第五十九頁(yè)，共九十頁(yè)。應(yīng)用環(huán)境對(duì)比、網(wǎng)絡(luò)(wnglu)特性對(duì)比特性(txng)NFSCIFS傳輸(chun sh)協(xié)議 連接狀態(tài) 故障恢復(fù) 傳輸包大小TCP/UDP 無(wú)狀態(tài)自動(dòng)恢復(fù) 8K/32KTCP有狀態(tài)64K文件格式 UNIX類型 WIN類型無(wú) 第六十頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)(jch)技術(shù)集群NAS技術(shù)集

29、群NAS卷管理技術(shù)第六十一頁(yè)，共九十頁(yè)。集群技術(shù)(jsh)定義：集群是由一組相互獨(dú)立的服務(wù)器組成，對(duì)外表現(xiàn)(bioxin)為單一服務(wù)器，提供高可靠性服務(wù)。特點(diǎn)：統(tǒng)一命名高可靠性性能擴(kuò)展共享數(shù)據(jù)空間集群系統(tǒng)(xtng)業(yè)務(wù)網(wǎng)絡(luò)增加組件第六十二頁(yè)，共九十頁(yè)。集群NAS存儲(chǔ)系統(tǒng)概念(ginin)與特點(diǎn)集群NAS（Network Attached Storage）系統(tǒng)概念：集群NAS存儲(chǔ)系統(tǒng)是指將集群技術(shù)(jsh)應(yīng)用到NAS存儲(chǔ)系統(tǒng)中，是為應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用暴漲，提升NAS文件共享服務(wù)的性能和高可靠性。集群NAS存儲(chǔ)系統(tǒng)與傳統(tǒng)NAS存儲(chǔ)系統(tǒng)的對(duì)比：傳統(tǒng)NAS存儲(chǔ)系統(tǒng)集群NAS存儲(chǔ)系統(tǒng)可靠性單控模式

30、：?jiǎn)吸c(diǎn)故障；雙控模式：故障切換導(dǎo)致業(yè)務(wù)中斷，鏈路切換時(shí)間長(zhǎng)。故障切換快速；雙控模式采用Active-Active模式，集群?jiǎn)蝹€(gè)節(jié)點(diǎn)故障不影響業(yè)務(wù)。高性能多套設(shè)備提高性能將會(huì)帶來(lái)數(shù)據(jù)冗余，數(shù)據(jù)不一致等問(wèn)題。引擎架構(gòu)可擴(kuò)展；共享存儲(chǔ)設(shè)備；文件系統(tǒng)位于存儲(chǔ)側(cè)，讀取速度快?？蓴U(kuò)展性固定引擎架構(gòu)；頻繁更新及添加導(dǎo)致的系統(tǒng)停機(jī)開始影響業(yè)務(wù)在多層面提供擴(kuò)展優(yōu)勢(shì)：NAS機(jī)頭，存儲(chǔ)容量；支持在線擴(kuò)展第六十三頁(yè)，共九十頁(yè)。集群NAS數(shù)據(jù)通道互聯(lián)第六十四頁(yè)，共九十頁(yè)。VCS通信(tng xn)架構(gòu)代理監(jiān)控各個(gè)系統(tǒng)的資源，并將狀態(tài)提供給每臺(tái)機(jī)器的HADHAD將狀態(tài)發(fā)送給GAB（Group Membership Ser

31、vices/Atomic Broadcast）Gab 通過(guò)廣播，將配置信息發(fā)送到集群的所有成員LLT（Low-Latency Transport）通過(guò)低時(shí)延傳送協(xié)議，將信息發(fā)送的集群的所有節(jié)點(diǎn)在各個(gè)節(jié)點(diǎn)的HAD采取正確的行動(dòng)，比如必要(byo)時(shí)，進(jìn)行倒換（Failover）第六十五頁(yè)，共九十頁(yè)。LLT協(xié)議(xiy)LLT：Low Latency Transport屬于MAC層協(xié)議，與IP無(wú)關(guān)兩個(gè)作用:供GAB使用（單播報(bào)文）心跳(0.5秒一個(gè)廣播報(bào)文)N8000中有三條(sn tio)私有鏈路SystemASystemBLLTLLTHardwareKernelPrivate Network第

32、六十六頁(yè)，共九十頁(yè)。GAB原子廣播，實(shí)際上是點(diǎn)到點(diǎn)的單播使用LLT協(xié)議(xiy)發(fā)送數(shù)據(jù)管理集群成員：gabconfig -a第六十七頁(yè)，共九十頁(yè)。fencingFencing 功能監(jiān)控GAB，并檢測(cè)集群成員的變化保證集群成員的單一視圖，防止(fngzh)集群腦裂防止從多個(gè)節(jié)點(diǎn)，在沒有單一集群控制下，用卷管理器訪問(wèn)共享存儲(chǔ)第六十八頁(yè)，共九十頁(yè)。HADVCS的引擎，就是HAD（High availability daemon），其功能為：在集群的每個(gè)主機(jī)系統(tǒng)上都有該進(jìn)程(jnchng)運(yùn)行對(duì)所有的集群資源，維護(hù)配置和狀態(tài)信息管理所有的代理用hashadow監(jiān)控進(jìn)程HAD，在HAD進(jìn)程故障時(shí)，能夠

33、把它重新啟動(dòng)起來(lái)第六十九頁(yè)，共九十頁(yè)。全局(qunj)存儲(chǔ)空間管理技術(shù)第七十頁(yè)，共九十頁(yè)。集群元數(shù)據(jù)管理第七十一頁(yè)，共九十頁(yè)。集群元數(shù)據(jù)管理第七十二頁(yè)，共九十頁(yè)。集群全局(qunj)鎖機(jī)制第七十三頁(yè)，共九十頁(yè)。AgentAgent是控制資源的程序每種類型(lixng)的資源對(duì)應(yīng)一個(gè)代理，一個(gè)代理控制對(duì)應(yīng)類型(lixng)的所有資源用戶也可以自定義代理Diskc1t0d1s0c1t0d0s0IPNICqfe1hme0Mount/dataAgentsResources第七十四頁(yè)，共九十頁(yè)。服務(wù)組-NFS為例服務(wù)組是資源的一個(gè)集合，是控制資源的管理單元一個(gè)節(jié)點(diǎn)（node）可以有多個(gè)服務(wù)組每個(gè)服務(wù)組都

34、被獨(dú)立的監(jiān)控(jin kn)和管理服務(wù)組中的資源在系統(tǒng)中必須是可用的服務(wù)組和資源存在相互依賴關(guān)系NFS Service GroupNFSIPDiskMountShareNIC第七十五頁(yè)，共九十頁(yè)。服務(wù)組的類型(lixng)Failover Service Groups在某一時(shí)間，該service group只能運(yùn)行在一個(gè)系統(tǒng)上（system），在對(duì)數(shù)據(jù)一致性要求高（比如數(shù)據(jù)庫(kù)，網(wǎng)絡(luò)文件系統(tǒng)（NFS）的情況下，使用(shyng)該組。Parallel Service Groups在某一時(shí)間，可以部署在多個(gè)系統(tǒng)上 配置比Failover Service Groups復(fù)雜很多Hybrid Servi

35、ce Groups是上面兩種service groups的組合在N8000中只使用了Failover和Parallel兩種第七十六頁(yè)，共九十頁(yè)。資源(zyun)（Resource）定義資源是VCS對(duì)象，它對(duì)應(yīng)(duyng)到應(yīng)用服務(wù)的硬件或者軟件組件資源是放在服務(wù)組里面的定義和管理的。第七十七頁(yè)，共九十頁(yè)。資源依賴(yli)關(guān)系資源可以依賴其他資源父資源依賴子資源服務(wù)組可以依賴其他服務(wù)組資源和服務(wù)組之間的依賴關(guān)系由規(guī)則(guz)管理不允許出現(xiàn)循環(huán)依賴第七十八頁(yè)，共九十頁(yè)。目錄(ml)大數(shù)據(jù)存儲(chǔ)架構(gòu)大數(shù)據(jù)存儲(chǔ)技術(shù)大數(shù)據(jù)分析技術(shù)(jsh)數(shù)據(jù)安全技術(shù)NAS基礎(chǔ)技術(shù)集群NAS技術(shù)集群NAS卷管理技術(shù)

36、第七十九頁(yè)，共九十頁(yè)。VxVM基本概念物理對(duì)象：能被OS看到的物理存儲(chǔ)設(shè)備虛擬(xn)對(duì)象：VxVM進(jìn)行存儲(chǔ)設(shè)備管理的邏輯對(duì)象。VxVM通過(guò)虛擬對(duì)象和物理設(shè)備的映射來(lái)訪問(wèn)存儲(chǔ)設(shè)備虛擬對(duì)象有：卷，磁盤組，VM磁盤，子磁盤，Plex卷布局: 卷的布局是指卷與物理存儲(chǔ)設(shè)備的映射關(guān)系，即卷與一個(gè)或多個(gè)Plex 的關(guān)聯(lián)關(guān)系。不同的卷布局提供不同級(jí)別的存儲(chǔ)服務(wù) VM磁盤一個(gè)物理磁盤，分區(qū)或者LUN磁盤組若干個(gè)VM磁盤的組合子磁盤VM磁盤上連續(xù)的磁盤塊 Plex由一個(gè)或多個(gè)物理磁盤上的一個(gè)或者多個(gè)子磁盤組成卷由一個(gè)或多個(gè)Plex組成 第八十頁(yè)，共九十頁(yè)。VxVM虛擬(xn)對(duì)象之間的關(guān)系第八十一頁(yè)，共九十頁(yè)

37、。VxVM虛擬(xn)對(duì)象之間的關(guān)系第八十二頁(yè)，共九十頁(yè)。卷布局(bj) 條帶化（RAID-0）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksdatadgdatavoldatadg02datadg02-01datadg02-02datadg02-03datadg03-01datadg03-02datadg03-03SU = Stripe Unit64K (default)datavol-01SU1SU4SU7SU2SU5SU8SU3SU6SU9StripesSU10SU11SU12Columnsdatadg01-01datadg01-02datad

38、g01-03datadg01datadg03第八十三頁(yè)，共九十頁(yè)。卷布局(bj) 鏡像（RAID-1）Disk GroupVolumePlexSubdisksVxVM DisksSubdisksEach plex must have disk stor from different disks to achieve redundancy.datadg01datadg01-01datadg01-02datadg02datadg02-01datadg02-02datadg02-03datadg03datadg03-01datadg03-02datadg03-03datavoldatadgdatavol-01datavol-02datadg03-01datadg02-02datadg01-02第八十四頁(yè)，共九十頁(yè)。卷布局(bj) 鏡像（RAID-1）Disk G