網(wǎng)絡(luò)存儲(chǔ)技術(shù)解決方案：高性能計(jì)算統(tǒng)一存儲(chǔ)應(yīng)用場(chǎng)景

網(wǎng)絡(luò)存放技術(shù)處理方案:高性能計(jì)算統(tǒng)一存放應(yīng)用場(chǎng)景經(jīng)典場(chǎng)景面向企業(yè)級(jí)HPC數(shù)據(jù)中心,科研院所、高等院校大型HPC計(jì)算項(xiàng)目等;用戶已經(jīng)布署了HPC計(jì)算系統(tǒng),依據(jù)計(jì)算能力和存放空間需求配置高性能存放系統(tǒng)。存放系統(tǒng)應(yīng)該能夠給計(jì)算系統(tǒng)提供大容量、高性能共享存放空間,支持計(jì)算服務(wù)器集群對(duì)數(shù)據(jù)并行讀寫操作,布署方法靈活,擴(kuò)展性強(qiáng)。伴隨計(jì)算集群服務(wù)器節(jié)點(diǎn)數(shù)量增加,對(duì)存放系統(tǒng)數(shù)據(jù)讀寫性能需求對(duì)應(yīng)增加,存放系統(tǒng)應(yīng)該能夠經(jīng)過簡(jiǎn)單操作,實(shí)現(xiàn)系統(tǒng)性能與存放容量動(dòng)態(tài)增加。系統(tǒng)穩(wěn)定性良好,含有高可用性。應(yīng)用背景高性能計(jì)算(HighPerformanceComputing,HPC)在石油、生物、氣象、科研等計(jì)算密集型行業(yè)中應(yīng)用非常廣泛。近幾年來(lái),因?yàn)橛?jì)算機(jī)CPU能力快速提升,標(biāo)準(zhǔn)化硬件成本快速降低,相對(duì)廉價(jià)Linux并行集群系統(tǒng)逐步成為HPC主流,并使HPC進(jìn)入更寬廣工業(yè)和商業(yè)應(yīng)用市場(chǎng)。傳統(tǒng)存放技術(shù)架構(gòu)對(duì)帶寬和I/O能力提升卻非常困難且成本高昂。這造成了當(dāng)原始數(shù)據(jù)量較大時(shí),I/O讀寫所占整體時(shí)間就相當(dāng)可觀,成為HPC集群系統(tǒng)性能瓶頸。除了對(duì)存放系統(tǒng)I/O能力苛刻要求外,HPC對(duì)其管理、擴(kuò)展、可靠和共享訪問等各方面指標(biāo)也絲毫不妥協(xié)。因?yàn)楣芾砭S護(hù)復(fù)雜性,傳統(tǒng)存放系統(tǒng)管理成本加起來(lái)往往數(shù)倍于其采購(gòu)成本。管理任務(wù)包含安裝和配置新硬件,為用戶或應(yīng)用分配容量,在各子系統(tǒng)間遷移數(shù)據(jù)以均衡負(fù)載和容量,備份和恢復(fù)數(shù)據(jù),故障排除和系統(tǒng)重建,處理用戶對(duì)性能和容量等各方面提出新需求等。處理方案因?yàn)楦咝阅苡?jì)算對(duì)存放架構(gòu)要求極高:帶寬性能達(dá)成數(shù)GB/s甚至數(shù)十GB/s,容量能擴(kuò)展至PB級(jí);完全透明訪問和數(shù)據(jù)共享;與生俱來(lái)高可靠性和高可用性;集中式智能化管理,不因容量和設(shè)備數(shù)增加而顯著增加管理成本;無(wú)縫整合其她存放系統(tǒng),輕松獲取與交換數(shù)據(jù);集成數(shù)據(jù)服務(wù),包含備份、遠(yuǎn)程復(fù)制和生命周期管理;可按需獨(dú)立擴(kuò)展容量和性能,保護(hù)投資。經(jīng)典配置以下圖:布署一套中科藍(lán)鯨BWStorBW3200橫向擴(kuò)展集群NAS統(tǒng)一存放系統(tǒng)。既能夠經(jīng)過IP網(wǎng)絡(luò)使用NAS協(xié)議,也能夠經(jīng)過FC鏈路使用BWFS協(xié)議提供高性能共享存放空間。使用基于IP網(wǎng)絡(luò)NAS協(xié)議時(shí),無(wú)需服務(wù)器安裝任何用戶端程序,可充足利用現(xiàn)有成熟IP網(wǎng)絡(luò)技術(shù),節(jié)省部分投資;使用基于FC鏈路BWFS協(xié)議時(shí),需要在對(duì)應(yīng)計(jì)算服務(wù)器上布署B(yǎng)WFS用戶端,然后服務(wù)器經(jīng)過用戶端以光纖直連FC磁盤陣列方法掛載共享目錄,享受文件級(jí)數(shù)據(jù)共享服務(wù),無(wú)需計(jì)算服務(wù)器再使用當(dāng)?shù)匚募到y(tǒng)對(duì)存放空間進(jìn)行格式化。集群NAS統(tǒng)一存放系統(tǒng)能夠靈活地給計(jì)算服務(wù)器提供兩種不一樣基于文件數(shù)據(jù)訪問服務(wù),針對(duì)極高性能要求部分服務(wù)器使用基于FC鏈路BWFS文件系統(tǒng);針對(duì)較高性能要求部分服務(wù)器使用基于IP網(wǎng)絡(luò)NAS文件系統(tǒng)。這種新型HPC存放架構(gòu)以集群存放為主,經(jīng)過分布式或集群文件系統(tǒng)管理SAN架構(gòu)存放陣列,提供單一命名空間,并經(jīng)過IP網(wǎng)和聚合帶寬技術(shù)向用戶端提供高帶寬、高可靠存放系統(tǒng)。當(dāng)然伴隨萬(wàn)兆以太網(wǎng)技術(shù)普及,將深入強(qiáng)化IP網(wǎng)絡(luò)高聚合帶寬優(yōu)勢(shì)。整體存放系統(tǒng)能夠?qū)崿F(xiàn)橫向擴(kuò)展（Scale-Out）和縱向擴(kuò)展（Scale-Up）:橫向擴(kuò)展性能提升,縱向擴(kuò)展容量增加。方案優(yōu)勢(shì)單一全局命名空間,支持異構(gòu)操作系統(tǒng)平臺(tái)間文件級(jí)數(shù)據(jù)共享。支持多個(gè)協(xié)議:InfiniBand、FC、iSCSI、NAS等。卓越性能優(yōu)勢(shì)——既支持通用NAS協(xié)議訪問,又支持帶外SAN文件共享訪問,充足發(fā)揮存放額外帶寬,滿足不一樣業(yè)務(wù)需求。強(qiáng)大可擴(kuò)展能力——支持高達(dá)ZB級(jí)系統(tǒng)存放容量和PB等級(jí)巨型文件,支持上億規(guī)模目錄和文件數(shù)量。經(jīng)過增加存放設(shè)備能夠在線擴(kuò)展存放容量、IO帶寬和負(fù)載能力。企業(yè)級(jí)數(shù)據(jù)可靠性——擁有多項(xiàng)專利技術(shù)SAN文件系統(tǒng)BWFS,經(jīng)過文件系統(tǒng)日志和快速FSCK以及獨(dú)特文件級(jí)故障隔離技術(shù)和多文件系統(tǒng)支持,為用戶提供最大程度數(shù)據(jù)可靠性確保。經(jīng)過歷經(jīng)上百個(gè)大型數(shù)據(jù)應(yīng)用項(xiàng)目長(zhǎng)久穩(wěn)定運(yùn)行和經(jīng)驗(yàn)積累,現(xiàn)已成為BWFS數(shù)據(jù)可靠性信心起源。系統(tǒng)高可用能力——集群NAS網(wǎng)關(guān)、全冗余SAN架構(gòu),配合BWMirror文件級(jí)鏡像技術(shù),實(shí)現(xiàn)存放系統(tǒng)無(wú)單點(diǎn)故障,確保留放系統(tǒng)整體連續(xù)運(yùn)行。系統(tǒng)含有智能故障檢測(cè)與性能計(jì)數(shù)器功效,既能夠幫助用戶定位多個(gè)故障原因,又能夠定位和分析IO特征,從而進(jìn)行性能分析和優(yōu)化。系統(tǒng)內(nèi)置抗碎片分配算法和在線碎片整理工具,讓用戶無(wú)須擔(dān)心系統(tǒng)長(zhǎng)久運(yùn)行碎片化問題。靈活存放方案