版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
LUSTRE集群介紹
匯報(bào)內(nèi)容lustre集群基本情況
一、Lustre系統(tǒng)的體系結(jié)構(gòu)
二、lustre的優(yōu)缺點(diǎn)
三、性能測(cè)試結(jié)果
一、lustre體系結(jié)構(gòu)
一、lustre體系結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)與管理
MDS負(fù)責(zé)管理元數(shù)據(jù),提供一個(gè)全局的命名空間,Client可以通過(guò)MDS讀取到保存于MDT之上的元數(shù)據(jù)。在Lustre中MDS可以有2個(gè),采用了Active-Standby的容錯(cuò)機(jī)制,當(dāng)其中一個(gè)MDS不能正常工作時(shí),另外一個(gè)后備MDS可以啟動(dòng)服務(wù)。文件數(shù)據(jù)存儲(chǔ)與管理 OSS負(fù)載提供I/O服務(wù),接受并服務(wù)來(lái)自網(wǎng)絡(luò)的請(qǐng)求。通過(guò)OSS,可以訪問(wèn)到保存在OST上的文件數(shù)據(jù)。一個(gè)OSS對(duì)應(yīng)2到8個(gè)OST。OST上的文件數(shù)據(jù)是以分條的形式保存的,文件的分條可以在一個(gè)OSS之中,也可以保存在多個(gè)OSS中。Lustre的特色之一是其數(shù)據(jù)是基于對(duì)象的職能存儲(chǔ)的,跟傳統(tǒng)的基于塊的存儲(chǔ)方式有所不同。Lustre系統(tǒng)訪問(wèn)入口
Lustre通過(guò)Client端來(lái)訪問(wèn)系統(tǒng),Client為掛載了Lustre文件系統(tǒng)的任意節(jié)點(diǎn)。Client提供了Linux下VFS(虛擬文件系統(tǒng))與Lustre系統(tǒng)之間的接口,通過(guò)Client,用戶可訪問(wèn)操作Lustre系統(tǒng)中的文件。
一、lustre體系結(jié)構(gòu)lustre訪問(wèn)機(jī)制ClientMDSOSS目錄操作,文件開(kāi)打/關(guān)閉,元數(shù)據(jù),并發(fā)操作文件內(nèi)容,IO及文件鎖恢復(fù),文件狀態(tài)和文件創(chuàng)建二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)提供數(shù)據(jù)共享和并行訪問(wèn)能力;擴(kuò)展性強(qiáng):可以在線擴(kuò)充系統(tǒng)總存儲(chǔ)容量及通過(guò)增加節(jié)點(diǎn)數(shù)擴(kuò)充網(wǎng)絡(luò)訪問(wèn)帶寬;適用范圍廣:在I/O級(jí)和數(shù)據(jù)吞吐率方面能滿足全行內(nèi)系統(tǒng)均衡靈活的上傳、下載文件;穩(wěn)定性強(qiáng):可以對(duì)lustre管理下的元數(shù)據(jù)和目標(biāo)數(shù)據(jù)提供故障切換技術(shù),實(shí)現(xiàn)高可靠性訪問(wèn);
二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)lustre采用分布式的鎖管理機(jī)制來(lái)實(shí)現(xiàn)并發(fā)控制,元數(shù)據(jù)和文件數(shù)據(jù)的通訊鏈路分開(kāi)管理;提供多網(wǎng)絡(luò)協(xié)議訪問(wèn),例如以太網(wǎng)絡(luò)和IB網(wǎng)絡(luò)等協(xié)議訪問(wèn);
二、lustre的優(yōu)缺點(diǎn)Lustre缺點(diǎn)1、需要并且只能在linux部署lustre內(nèi)核,軟件部署與linux操作系統(tǒng)綁定的比較緊密;2、節(jié)點(diǎn)間故障切換要依賴于第三方的心跳技術(shù),如linux自帶的heartbeat軟件包3、目前只能寫一份數(shù)據(jù),無(wú)法依靠lustre實(shí)現(xiàn)數(shù)據(jù)鏡像。三、性能測(cè)試結(jié)果測(cè)試內(nèi)容:本次測(cè)試的內(nèi)容包括性能測(cè)試和故障切換性能測(cè)試主要測(cè)試集群文件系統(tǒng)的I/O讀寫性能效率故障切換主要測(cè)試集群文件系統(tǒng)在網(wǎng)絡(luò)或系統(tǒng)失效情況下的切換機(jī)制。測(cè)試目標(biāo):
測(cè)試指標(biāo)包括以下內(nèi)容:不同文件系統(tǒng)下的tibco消息中間件存儲(chǔ)性能及系統(tǒng)命令工具的磁盤讀寫性能,系統(tǒng)CPU、內(nèi)存、IO等待數(shù)據(jù)、I/Oidle比率等;模擬lustre故障切換三、性能測(cè)試結(jié)果測(cè)試環(huán)境:三、性能測(cè)試結(jié)果在tibco消息中間件下性能測(cè)試數(shù)據(jù):測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)(筆/秒)
磁盤陣列LVM管理下的文件系統(tǒng)(筆/秒)Lustre文件系統(tǒng)
(筆/秒)單進(jìn)程
(多線程)
單隊(duì)列
2K數(shù)據(jù)包30個(gè)線程8724/87207132/71323810/380850個(gè)線程8928/88887794/77944733/4733100個(gè)線程9179/91798009/80095905/5905多進(jìn)程
(多線程)
單隊(duì)列
2K數(shù)據(jù)包10個(gè)進(jìn)程
30個(gè)線程7000/70008340/83405940/5940三、性能測(cè)試結(jié)果響應(yīng)時(shí)間性能測(cè)試數(shù)據(jù)::測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)
磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)單進(jìn)程
(多線程)
單隊(duì)列
30個(gè)線程0.115/0.1150.140/0.1400.262/0.26250個(gè)線程0.112/0.1130.128/0.1280.228/0.228100個(gè)線程0.109/0.1090.125/0.1250.169/0.169多進(jìn)程
(多線程)
單隊(duì)列10個(gè)進(jìn)程
30個(gè)線程0.143/0.1430.120/0.1200.168/0.168三、性能測(cè)試結(jié)果讀寫吞吐量性能測(cè)試數(shù)據(jù):測(cè)試工具測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)
磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)IOR讀操作302MB/s510MB/s183MB/s寫操作1.6GB/s1.49GB/s433MB/sdd系統(tǒng)命令讀操作2.1GB/s1.8GB/s1.8GB/s寫操作613MB/s615MB/s274MB/sIOZONE(多進(jìn)程)讀操作216MB/s250MB/s204MB/s寫操作1.6GB/s285M/s646MB/s三、性能測(cè)試結(jié)果lustre故障切換:手工卸載、掛載lustre元數(shù)據(jù)、目標(biāo)數(shù)據(jù)文件系統(tǒng)測(cè)試結(jié)果:正常(重新掛載后客戶端數(shù)據(jù)訪問(wèn)正常)模擬lustre元數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果:正常(借助第三方心跳檢測(cè)heartbeat軟件,元數(shù)據(jù)備份服務(wù)器正常接管,客戶端數(shù)據(jù)訪問(wèn)正常)模擬lustre目標(biāo)數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果:正常(借助第三方心跳檢測(cè)heartbeat軟件,目標(biāo)數(shù)據(jù)備份服務(wù)器正常接
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 五年級(jí)數(shù)學(xué)口算100題
- 昆明冶金高等??茖W(xué)?!夺t(yī)學(xué)文獻(xiàn)檢索1》2023-2024學(xué)年第一學(xué)期期末試卷
- 江蘇食品藥品職業(yè)技術(shù)學(xué)院《中外文學(xué)名著欣賞藏》2023-2024學(xué)年第一學(xué)期期末試卷
- 吉林建筑大學(xué)《商務(wù)統(tǒng)計(jì)實(shí)訓(xùn)》2023-2024學(xué)年第一學(xué)期期末試卷
- 湖南軟件職業(yè)技術(shù)大學(xué)《GIS軟件應(yīng)用實(shí)驗(yàn)(一)》2023-2024學(xué)年第一學(xué)期期末試卷
- 湖北幼兒師范高等??茖W(xué)?!哆^(guò)程原理》2023-2024學(xué)年第一學(xué)期期末試卷
- 【物理】《跨學(xué)科實(shí)踐:制作微型密度計(jì)》(教學(xué)設(shè)計(jì))-2024-2025學(xué)年人教版(2024)初中物理八年級(jí)下冊(cè)
- 高考物理總復(fù)習(xí)《功和功率、動(dòng)能定理》專項(xiàng)測(cè)試卷含答案
- 中國(guó)民航大學(xué)《中級(jí)財(cái)務(wù)會(huì)計(jì)Ⅱ》2023-2024學(xué)年第一學(xué)期期末試卷
- 鄭州理工職業(yè)學(xué)院《服裝展示設(shè)計(jì)》2023-2024學(xué)年第一學(xué)期期末試卷
- 2025年湖北武漢工程大學(xué)招聘6人歷年高頻重點(diǎn)提升(共500題)附帶答案詳解
- 大堂經(jīng)理:黃金業(yè)務(wù)營(yíng)銷講座
- 山東省建筑工程消防設(shè)計(jì)部分非強(qiáng)制性條文適用指引
- 內(nèi)蒙古自治區(qū)呼和浩特市《綜合能力測(cè)試》事業(yè)單位國(guó)考真題
- 陜西省咸陽(yáng)市各縣區(qū)鄉(xiāng)鎮(zhèn)行政村村莊村名居民村民委員會(huì)明細(xì)及行政區(qū)劃代碼
- 綠城物業(yè)室內(nèi)公共區(qū)域清潔作業(yè)規(guī)程
- 封條模板A4直接打印版
- 危險(xiǎn)貨物道路運(yùn)輸企業(yè)安全檢查通用清單
- 用友NC財(cái)務(wù)軟件操作手冊(cè)
- 眼內(nèi)炎患者護(hù)理查房
- 電工維修培訓(xùn)資料 維修電工技術(shù)學(xué)習(xí) 維修電工常識(shí) 電工培訓(xùn)ppt課件
評(píng)論
0/150
提交評(píng)論