lustre集群文件系統(tǒng)及性能介紹_第1頁(yè)
lustre集群文件系統(tǒng)及性能介紹_第2頁(yè)
lustre集群文件系統(tǒng)及性能介紹_第3頁(yè)
lustre集群文件系統(tǒng)及性能介紹_第4頁(yè)
lustre集群文件系統(tǒng)及性能介紹_第5頁(yè)
已閱讀5頁(yè),還剩11頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

LUSTRE集群介紹

匯報(bào)內(nèi)容lustre集群基本情況

一、Lustre系統(tǒng)的體系結(jié)構(gòu)

二、lustre的優(yōu)缺點(diǎn)

三、性能測(cè)試結(jié)果

一、lustre體系結(jié)構(gòu)

一、lustre體系結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)與管理

MDS負(fù)責(zé)管理元數(shù)據(jù),提供一個(gè)全局的命名空間,Client可以通過(guò)MDS讀取到保存于MDT之上的元數(shù)據(jù)。在Lustre中MDS可以有2個(gè),采用了Active-Standby的容錯(cuò)機(jī)制,當(dāng)其中一個(gè)MDS不能正常工作時(shí),另外一個(gè)后備MDS可以啟動(dòng)服務(wù)。文件數(shù)據(jù)存儲(chǔ)與管理 OSS負(fù)載提供I/O服務(wù),接受并服務(wù)來(lái)自網(wǎng)絡(luò)的請(qǐng)求。通過(guò)OSS,可以訪問(wèn)到保存在OST上的文件數(shù)據(jù)。一個(gè)OSS對(duì)應(yīng)2到8個(gè)OST。OST上的文件數(shù)據(jù)是以分條的形式保存的,文件的分條可以在一個(gè)OSS之中,也可以保存在多個(gè)OSS中。Lustre的特色之一是其數(shù)據(jù)是基于對(duì)象的職能存儲(chǔ)的,跟傳統(tǒng)的基于塊的存儲(chǔ)方式有所不同。Lustre系統(tǒng)訪問(wèn)入口

Lustre通過(guò)Client端來(lái)訪問(wèn)系統(tǒng),Client為掛載了Lustre文件系統(tǒng)的任意節(jié)點(diǎn)。Client提供了Linux下VFS(虛擬文件系統(tǒng))與Lustre系統(tǒng)之間的接口,通過(guò)Client,用戶可訪問(wèn)操作Lustre系統(tǒng)中的文件。

一、lustre體系結(jié)構(gòu)lustre訪問(wèn)機(jī)制ClientMDSOSS目錄操作,文件開(kāi)打/關(guān)閉,元數(shù)據(jù),并發(fā)操作文件內(nèi)容,IO及文件鎖恢復(fù),文件狀態(tài)和文件創(chuàng)建二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)提供數(shù)據(jù)共享和并行訪問(wèn)能力;擴(kuò)展性強(qiáng):可以在線擴(kuò)充系統(tǒng)總存儲(chǔ)容量及通過(guò)增加節(jié)點(diǎn)數(shù)擴(kuò)充網(wǎng)絡(luò)訪問(wèn)帶寬;適用范圍廣:在I/O級(jí)和數(shù)據(jù)吞吐率方面能滿足全行內(nèi)系統(tǒng)均衡靈活的上傳、下載文件;穩(wěn)定性強(qiáng):可以對(duì)lustre管理下的元數(shù)據(jù)和目標(biāo)數(shù)據(jù)提供故障切換技術(shù),實(shí)現(xiàn)高可靠性訪問(wèn);

二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)lustre采用分布式的鎖管理機(jī)制來(lái)實(shí)現(xiàn)并發(fā)控制,元數(shù)據(jù)和文件數(shù)據(jù)的通訊鏈路分開(kāi)管理;提供多網(wǎng)絡(luò)協(xié)議訪問(wèn),例如以太網(wǎng)絡(luò)和IB網(wǎng)絡(luò)等協(xié)議訪問(wèn);

二、lustre的優(yōu)缺點(diǎn)Lustre缺點(diǎn)1、需要并且只能在linux部署lustre內(nèi)核,軟件部署與linux操作系統(tǒng)綁定的比較緊密;2、節(jié)點(diǎn)間故障切換要依賴于第三方的心跳技術(shù),如linux自帶的heartbeat軟件包3、目前只能寫一份數(shù)據(jù),無(wú)法依靠lustre實(shí)現(xiàn)數(shù)據(jù)鏡像。三、性能測(cè)試結(jié)果測(cè)試內(nèi)容:本次測(cè)試的內(nèi)容包括性能測(cè)試和故障切換性能測(cè)試主要測(cè)試集群文件系統(tǒng)的I/O讀寫性能效率故障切換主要測(cè)試集群文件系統(tǒng)在網(wǎng)絡(luò)或系統(tǒng)失效情況下的切換機(jī)制。測(cè)試目標(biāo):

測(cè)試指標(biāo)包括以下內(nèi)容:不同文件系統(tǒng)下的tibco消息中間件存儲(chǔ)性能及系統(tǒng)命令工具的磁盤讀寫性能,系統(tǒng)CPU、內(nèi)存、IO等待數(shù)據(jù)、I/Oidle比率等;模擬lustre故障切換三、性能測(cè)試結(jié)果測(cè)試環(huán)境:三、性能測(cè)試結(jié)果在tibco消息中間件下性能測(cè)試數(shù)據(jù):測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)(筆/秒)

磁盤陣列LVM管理下的文件系統(tǒng)(筆/秒)Lustre文件系統(tǒng)

(筆/秒)單進(jìn)程

(多線程)

單隊(duì)列

2K數(shù)據(jù)包30個(gè)線程8724/87207132/71323810/380850個(gè)線程8928/88887794/77944733/4733100個(gè)線程9179/91798009/80095905/5905多進(jìn)程

(多線程)

單隊(duì)列

2K數(shù)據(jù)包10個(gè)進(jìn)程

30個(gè)線程7000/70008340/83405940/5940三、性能測(cè)試結(jié)果響應(yīng)時(shí)間性能測(cè)試數(shù)據(jù)::測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)

磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)單進(jìn)程

(多線程)

單隊(duì)列

30個(gè)線程0.115/0.1150.140/0.1400.262/0.26250個(gè)線程0.112/0.1130.128/0.1280.228/0.228100個(gè)線程0.109/0.1090.125/0.1250.169/0.169多進(jìn)程

(多線程)

單隊(duì)列10個(gè)進(jìn)程

30個(gè)線程0.143/0.1430.120/0.1200.168/0.168三、性能測(cè)試結(jié)果讀寫吞吐量性能測(cè)試數(shù)據(jù):測(cè)試工具測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)

磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)IOR讀操作302MB/s510MB/s183MB/s寫操作1.6GB/s1.49GB/s433MB/sdd系統(tǒng)命令讀操作2.1GB/s1.8GB/s1.8GB/s寫操作613MB/s615MB/s274MB/sIOZONE(多進(jìn)程)讀操作216MB/s250MB/s204MB/s寫操作1.6GB/s285M/s646MB/s三、性能測(cè)試結(jié)果lustre故障切換:手工卸載、掛載lustre元數(shù)據(jù)、目標(biāo)數(shù)據(jù)文件系統(tǒng)測(cè)試結(jié)果:正常(重新掛載后客戶端數(shù)據(jù)訪問(wèn)正常)模擬lustre元數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果:正常(借助第三方心跳檢測(cè)heartbeat軟件,元數(shù)據(jù)備份服務(wù)器正常接管,客戶端數(shù)據(jù)訪問(wèn)正常)模擬lustre目標(biāo)數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果:正常(借助第三方心跳檢測(cè)heartbeat軟件,目標(biāo)數(shù)據(jù)備份服務(wù)器正常接

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論