《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項目六-任務(wù)二 解析GlusterFS存儲技術(shù)

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目六解析非結(jié)構(gòu)化數(shù)據(jù)存儲任務(wù)一走進(jìn)非結(jié)構(gòu)化存儲技術(shù)什么是半結(jié)構(gòu)化數(shù)據(jù)？什么是Redis？什么是ElasticSearch？ElasticSearch的應(yīng)用場景？回顧任務(wù)引入-GlusterFileSystemGlusterFileSystem是一款自由軟件，主要由ZRESEARCH公司負(fù)責(zé)開發(fā)，十幾名開發(fā)者，最近非常活躍。文檔也比較齊全，不難上手。任務(wù)描述:本節(jié)將帶領(lǐng)同學(xué)們一起學(xué)習(xí)GlusterFS存儲技術(shù)架構(gòu)和技術(shù)特性。任務(wù)教學(xué)目標(biāo)：了解GlusterFS基本概念。理解GlusterFS系統(tǒng)架構(gòu)。理解GlusterFS技術(shù)特性。任務(wù)概要教學(xué)內(nèi)容Gluster概述Gluster系統(tǒng)架構(gòu)一二二Gluster技術(shù)特性三GlusterFS概述知識點一4.1.3.1安裝依賴（53&54）GlusterFS是一款免費的開源軟件，主要應(yīng)用在集群系統(tǒng)中，具有很好的可擴(kuò)展性。GlusterFS具有良好的系統(tǒng)結(jié)構(gòu)，易于擴(kuò)展、配置方便，通過各個模塊的靈活搭配來得到針對性的解決方案。GlusterFS具有強(qiáng)大的橫向擴(kuò)展能力，通過擴(kuò)展能夠支持?jǐn)?shù)PB級別的存儲容量和處理數(shù)千客戶端。GlusterFS將來自多個服務(wù)器的磁盤存儲資源聚合到一個全局名稱空間中。GlusterFS概述GlusterFS系統(tǒng)架構(gòu)知識點二4.1.3.1安裝依賴（53&54）GlusterFS管理守護(hù)進(jìn)程（glusterd）在每臺服務(wù)器上運行，并管理一個塊進(jìn)程（glusterfsd），該進(jìn)程反過來導(dǎo)出底層磁盤存儲（XFS文件系統(tǒng)）?？蛻魴C(jī)進(jìn)程裝載卷并將所有塊中的存儲作為單個統(tǒng)一存儲命名空間公開給訪問它的應(yīng)用程序?？蛻魴C(jī)和brick進(jìn)程的堆棧中加載了各種轉(zhuǎn)換器。來自應(yīng)用程序的I/O通過這些轉(zhuǎn)換器路由到不同的程序塊。（一）GlusterFS系統(tǒng)架構(gòu)4.1.3.1安裝依賴（53&54）分布存儲是Glusterfs默認(rèn)使用的存儲卷類型。文件會被分布得存儲到邏輯卷中的各個存儲塊上去。以兩個存儲塊的邏輯卷為例，文件file1可能被存放在brick1或brick2中，但不會在每個塊中都存一份。分布存儲不提供數(shù)據(jù)冗余保護(hù)。（二）分布存儲卷4.1.3.1安裝依賴（53&54）在鏡像存儲邏輯卷中，數(shù)據(jù)至少會在不同的brick上存儲兩份，具體采取存儲幾份的冗余數(shù)據(jù)則可以在創(chuàng)建鏡像存儲卷時由客戶端進(jìn)行設(shè)定。鏡像存儲可以有效的防止存儲塊損壞引發(fā)的數(shù)據(jù)丟失風(fēng)險。（三）鏡像存儲卷4.1.3.1安裝依賴（53&54）分布式復(fù)制GlusterFS邏輯卷中，文件是跨鏡像存儲塊的集合（replicatedsetsofbricks）進(jìn)行分布式存儲，即文件可能被存儲在某一個鏡像存儲塊集合中，但不會同時存儲到多個集合。而在一個鏡像存儲塊的集合內(nèi)，文件在每個存儲塊（brick）上各存一份。（四）分布式復(fù)制卷4.1.3.1安裝依賴（53&54）在分片式存儲卷中，一個文件會被切分成多份，數(shù)量等于brick的數(shù)量，每個brick中保存一份。分布式片存儲方式不提供數(shù)據(jù)冗余保護(hù)。（五）分片式存儲卷））4.1.3.1安裝依賴（53&54）分布式分片存儲卷由分片式存儲卷的基礎(chǔ)上擴(kuò)展而來，根據(jù)設(shè)定的分片參數(shù)（一個文件分成幾片）和為邏輯卷加入的bricks數(shù)量可以組成多個分片存儲塊集合，形成了分布式分片存儲卷。每個分片存儲塊集合中存儲的的數(shù)據(jù)不同。（六）分布式分片式存儲卷GlusterFS技術(shù)特性知識點三兼容性使用通用的商用硬件，與POSIX（PortableOperatingSystemInterface，可移植操作系統(tǒng)接口）兼容，可以使用任何支持?jǐn)U展屬性的On-Disk文件系統(tǒng)，可以使用NFS和SMB等行業(yè)標(biāo)準(zhǔn)協(xié)議進(jìn)行訪問。并發(fā)可處理成千上萬的客戶訪問。易管理性Self-HealNFS類磁盤布局，提供復(fù)制、配額、地理復(fù)制、快照和Bitrot檢測，允許針對不同工作負(fù)載進(jìn)行優(yōu)化。容量集群可以拓展支持PB級別的存儲容量。開源開放源代碼。這里插入主標(biāo)題GlusterFS技術(shù)特性任務(wù)小結(jié)本節(jié)系統(tǒng)講解了GlusterFS存儲技術(shù)、系統(tǒng)架構(gòu)和特性GlusterFS作為一款免費的開源軟件，因其良好的系統(tǒng)結(jié)構(gòu)、易于拓展、方便配置等特性而得到廣泛應(yīng)用。GlusterFS可以支持多種類型的邏輯卷，以實現(xiàn)不同的數(shù)據(jù)保護(hù)級別和存取性能。GlusterFS存儲卷進(jìn)有：分布存儲卷、鏡像存儲卷、分布式復(fù)制卷、分片式存儲卷、分布式分片存儲卷。每一種存儲卷擁有不同的特點，需要根據(jù)不同的應(yīng)用場景進(jìn)行設(shè)計。拓展訓(xùn)練Gluster官方文檔獨立學(xué)習(xí)因為Gluster可以以不同的方式用于不同的任務(wù)，所以很難同時解釋所有的事情。我們建議您首先遵循快速入門指南。通過使用大量虛擬機(jī)，您將創(chuàng)建一個功能測試設(shè)置來學(xué)習(xí)基本概念。這樣，您就可以更好地閱讀更詳細(xì)的安裝指南。通過官網(wǎng)學(xué)習(xí)：快速入門指南-如果您是Gluster新手，請從這里開始！安裝指南介紹