海量分布式存儲的概念與技術(shù)

海量分布式存儲的概念與技術(shù)第一頁，共二十一頁，編輯于2023年，星期日Page

2目錄海量分布式存儲的概念01存儲模式選擇02網(wǎng)絡(luò)存儲技術(shù)直連式存儲技術(shù)對象存儲技術(shù)數(shù)據(jù)庫策略03第二頁，共二十一頁，編輯于2023年，星期日Page

3一、概念如今的互聯(lián)網(wǎng)正處于一個信息爆炸的時代。面對信息爆炸的互聯(lián)網(wǎng)，對信息的存儲和處理也就產(chǎn)生了海量的數(shù)據(jù)。第三頁，共二十一頁，編輯于2023年，星期日Page

4概念海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(10^12bytes)、Petabyte(10^15bytes)甚至Exabyte(10^18bytes)級的數(shù)據(jù)集合。存儲這些海量信息不但要求存儲設(shè)備有很大的儲存容量，且還需要大規(guī)模數(shù)據(jù)庫來存儲和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫技術(shù)要求的同時，更需要對海量存儲的模式、數(shù)據(jù)庫策略及應(yīng)用體系架構(gòu)有更高的設(shè)計考慮。第四頁，共二十一頁，編輯于2023年，星期日Page

5二、存儲模式的選擇存儲系統(tǒng)的存儲模式影響著整個海量數(shù)據(jù)存儲系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲系統(tǒng)，應(yīng)該考慮選擇良好的海量存儲模式對于海量數(shù)據(jù)而言，實現(xiàn)單一設(shè)備上的存儲顯然是不合適的，甚至是不可能的。分布式是解決這種問題的一個很好的解決方案。存儲分類（根據(jù)服務(wù)器類型）第五頁，共二十一頁，編輯于2023年，星期日Page

62.1直連式存儲（DAS）其存儲設(shè)備通過電纜（通常是SCSI接口電纜）或者光纖直接連到服務(wù)器，I/O請求直接發(fā)送到存儲設(shè)備，它依賴于服務(wù)器，本身不帶有任何存儲操作系統(tǒng)。典型DAS結(jié)構(gòu)第六頁，共二十一頁，編輯于2023年，星期日Page

72.1直連式存儲（DAS）主要問題和不足： 直連式存儲依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的IO讀寫和存儲維護(hù)管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機(jī)資源（包括CPU、系統(tǒng)IO等），數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源20-30%，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運行。 直連式存儲的數(shù)據(jù)量越大，備份和恢復(fù)的時間就越長，對服務(wù)器硬件的依賴性和影響就越大。 無論直連式存儲還是服務(wù)器主機(jī)的擴(kuò)展，從一臺服務(wù)器擴(kuò)展為多臺服務(wù)器組成的群集，或存儲陣列容量的擴(kuò)展，都會造成業(yè)務(wù)系統(tǒng)的停機(jī)，從而給企業(yè)帶來經(jīng)濟(jì)損失第七頁，共二十一頁，編輯于2023年，星期日Page

82.1直連式存儲（DAS）由于DAC本身弊端與網(wǎng)絡(luò)技術(shù)的崛起，直連式存儲(DAS)已顯得非常力不從心，存儲模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲模式，網(wǎng)絡(luò)存儲也成為目前典型存儲技術(shù)第八頁，共二十一頁，編輯于2023年，星期日Page

92.2網(wǎng)絡(luò)存儲方式存儲區(qū)域網(wǎng)絡(luò)(SAN)網(wǎng)絡(luò)附加存儲(NAS)單擊此處添加文字單擊此處添加文字單擊此處添加文字單擊此處添加文字網(wǎng)絡(luò)存儲方式第九頁，共二十一頁，編輯于2023年，星期日Page

102.2.1網(wǎng)絡(luò)附加存儲(NAS)或稱網(wǎng)絡(luò)接入存儲，采用網(wǎng)絡(luò)技術(shù)，通過網(wǎng)絡(luò)交換機(jī)連接存儲系統(tǒng)和服務(wù)器主機(jī)，建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)。它擁有自己的文件系統(tǒng)，通過NFS或CIFS這兩種網(wǎng)絡(luò)文件系統(tǒng)對外提供文件訪問服務(wù)。NAS將存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來提供數(shù)據(jù)和文件服務(wù)。第十頁，共二十一頁，編輯于2023年，星期日Page

112.2.1網(wǎng)絡(luò)附加存儲(NAS)優(yōu)缺點：NAS管理簡單、擴(kuò)容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡單，所以其最大的優(yōu)點是跨平臺性很好，但NAS服務(wù)器在網(wǎng)絡(luò)存儲中處于數(shù)據(jù)通路上，當(dāng)服務(wù)請求激增時存在I/O瓶頸，性能是NAS的最大問題第十一頁，共二十一頁，編輯于2023年，星期日Page

12它是存儲設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(FibreChannel)或iSCSI(internetSCSI)構(gòu)建，它是塊級的存儲2.2.2存儲區(qū)域網(wǎng)絡(luò)(SAN)第十二頁，共二十一頁，編輯于2023年，星期日Page

132.2.2存儲區(qū)域網(wǎng)絡(luò)(SAN)優(yōu)缺點：SAN的優(yōu)點是高容量、高可靠性、低延遲缺點是SAN沒有一個統(tǒng)一的存儲系統(tǒng)接口，對存儲設(shè)備的共享訪問存在數(shù)據(jù)的完整性與安全性問題，設(shè)備的跨平臺性較差第十三頁，共二十一頁，編輯于2023年，星期日Page

142.3對象存儲技術(shù)對象存儲（Object-BasedStorage,OBS)綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高可靠性、跨平臺以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。第十四頁，共二十一頁，編輯于2023年，星期日Page

152.3對象存儲技術(shù)對象(Object) 包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理OSD（Object-basedStorageDevice) 一個智能設(shè)備，OSD為存儲對象數(shù)據(jù)的設(shè)備，它是一個智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲介質(zhì)等以及運行在其中的控制軟件MDS元數(shù)據(jù)服務(wù)器(MetadataServer) 系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)網(wǎng)絡(luò)連接文件系統(tǒng) 文件系統(tǒng)運行在客戶端上，將應(yīng)用程序的文件系統(tǒng)請求傳輸?shù)組DS和OSD上

對象存儲系統(tǒng)組成第十五頁，共二十一頁，編輯于2023年，星期日Page

162.3對象存儲技術(shù)

傳統(tǒng)塊存儲與對象存儲對象存儲結(jié)構(gòu)第十六頁，共二十一頁，編輯于2023年，星期日Page

172.3對象存儲技術(shù)對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：高性能數(shù)據(jù)存儲：訪問節(jié)點有獨立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個OSD進(jìn)行并行訪問跨平臺數(shù)據(jù)共享：由于在對象存儲系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺下的設(shè)備和數(shù)據(jù)的共享。可伸縮性：對象存儲模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。第十七頁，共二十一頁，編輯于2023年，星期日Page

182.3對象存儲技術(shù)對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：可伸縮性：對象存儲模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。智能的存儲設(shè)備：OSD中集成了部分的存儲管理功能方便安全的數(shù)據(jù)訪問：I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過授權(quán)許可才能進(jìn)行，從而保證了數(shù)據(jù)訪問的安全性；另一方面，任何Client都可以通過對象存儲系統(tǒng)提供的標(biāo)準(zhǔn)文件接口訪問OSD上的數(shù)據(jù)，統(tǒng)一的命名空間使Client訪問數(shù)據(jù)的一致性得到了保證。第十八頁，共二十一頁，編輯于2023年，星期日Page

192.3對象存儲技術(shù)存儲接口存儲系統(tǒng)優(yōu)點缺點塊級存儲塊塊存儲設(shè)備如:SAN,提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價格較高、不能滿足成千上萬CPU規(guī)模的系統(tǒng)文件儲存文件塊存儲設(shè)備＋文件系統(tǒng)如:NAS,擴(kuò)展性好、易于管理、價格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對象存儲對象塊存儲設(shè)備＋文件系統(tǒng)＋定位邏輯＋應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪問,管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善與傳統(tǒng)存儲方式對比第十九頁，共二十一頁，編輯于2023年，星期日Page

20三、數(shù)據(jù)庫策略數(shù)據(jù)庫管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲檢索系統(tǒng)的核心部件，所有對數(shù)據(jù)的控制都要通過DBMS來實現(xiàn)基于海量數(shù)據(jù)環(huán)境，針對海量數(shù)據(jù)的有效存儲方法為了實現(xiàn)高性能的海量數(shù)據(jù)存儲可采取的數(shù)