《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項目三-任務(wù)七 淺析Swift工作原理

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)七Swift工作原理Swift的特性？Swift的應(yīng)用工作場景？CAP定義？CAP理論？回顧任務(wù)描述:本節(jié)任務(wù)對Swift的概念、工作原理進行了系統(tǒng)闡述，剖析了Swift的總體架構(gòu)以及虛節(jié)點和環(huán)的工作原理。任務(wù)教學目標：了解Swift核心概念及架構(gòu)理解Swift工作原理任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學內(nèi)容核心概念總體架構(gòu)Swift的工作原理一二三核心概念知識點一（一）Swift邏輯結(jié)構(gòu)賬號A賬號B賬號C容器容器容器對象對象（二）SwiftURLURL：網(wǎng)址形式的訪問具體信息的方式。對Swift的服務(wù)請求都是通過RESTAPI用URL的訪問。例子：/v1/account/container/object賬號容器對象（三）賬號賬號：一個租戶。它可以是個人、部門或公司等。

Swift通過創(chuàng)建賬號使多個用戶和應(yīng)用可以同時并發(fā)地使用存儲系統(tǒng)。賬號的數(shù)據(jù)庫存儲下屬，容器信息（名稱、創(chuàng)建日期等）（四）容器容器：類似于文件系統(tǒng)中的目錄。容器的數(shù)據(jù)庫存儲下屬，對象信息（名稱、創(chuàng)建日期等）【注意：同一賬號，不同容器名稱不同賬號，相同容器名稱】（五）對象對象：類似于文件系統(tǒng)中的文件。對象存儲核心信息（圖片、錄像、日志等）文件總體架構(gòu)知識點二公網(wǎng)私網(wǎng)代理節(jié)點存儲節(jié)點URL請求（一）Swift部署架構(gòu)（二）代理服務(wù)器Proxyserver對外的SwiftRESTAPI接口負責處理對swift的所有請求至少兩臺代理服務(wù)器（HTTP服務(wù)器）對內(nèi)連接和通信swift集群中每個組件查詢賬號-容器-對象位置，并反饋對外對內(nèi)（四）總體架構(gòu)

例子PUT上傳特點：

1、對對象名字HASH

確定存儲節(jié)點

2、一個節(jié)點不可用，

智能選擇合適節(jié)點GET下載特點：

1、確定數(shù)據(jù)節(jié)點

2、逐一索要PK（五）賬號-容器-對象（服務(wù)器）賬號存儲服務(wù)器：該賬號擁有的容器服務(wù)器的列表

SQlite數(shù)據(jù)庫保存

多副本容器存儲服務(wù)器：

該容器擁有的對象的列表

SQlite數(shù)據(jù)庫保存

多副本跟蹤統(tǒng)計（對象總數(shù)等）對象存儲服務(wù)器：

為對象提供磁盤存儲空間可存儲、檢索和刪除本地設(shè)備對象123Swift的工作原理知識點三（一）Swift工作原理—核心存儲空間=無數(shù)虛節(jié)點虛節(jié)點=賬號/容器/對象映射關(guān)系虛節(jié)點——物理位置虛節(jié)點環(huán)（二）虛節(jié)點—定義虛節(jié)點一般被復(fù)制三份。每個副本在不同區(qū)域（磁盤、服務(wù)器、交換機或數(shù)據(jù)中心）。（三）虛節(jié)點VS倉庫的訂單盒管理優(yōu)勢：處理少量盒子，比處理分散的大量訂單容易！虛節(jié)點數(shù)目不變（訂單盒數(shù)目固定）！訂單盒虛節(jié)點（四）環(huán)—定義訪問數(shù)據(jù)的步驟：1，公網(wǎng)—私網(wǎng)。請求先到代理服務(wù)器。2，代理服務(wù)器查詢環(huán)，確定下面兩個的對應(yīng)關(guān)系。

①賬號/容器/對象②存儲服務(wù)器定義：環(huán)把虛節(jié)點映射到磁盤上的物理地址。（五）環(huán)—增加存儲服務(wù)器增加存儲服務(wù)器=增加虛節(jié)點=整個系統(tǒng)虛節(jié)點重新均勻分配（六）環(huán)—增加存儲服務(wù)器怎么做到通過移動少量虛節(jié)點來重新達到均衡？優(yōu)秀算法（一致性哈希算法）。感興趣的同學可以自行翻閱資料容量不同的存儲服務(wù)器特別是容量小的怎么做到均衡？平均值可能大于自身容量。主要通過“權(quán)重”解決。比如10T容量設(shè)備權(quán)重定為2；5T的定為1，則10T的虛節(jié)點數(shù)是5T的2倍。（七）拓展篇：如何能夠更好的保證云存儲系統(tǒng)中數(shù)據(jù)完整性？1.一致性服務(wù)器

審計器1

復(fù)制器2

更新器3（七）拓展篇：如何能夠更好的保證云存儲系統(tǒng)中數(shù)據(jù)完整性？2.流程圖（七）拓展篇：如何能夠更好的保證云存儲系統(tǒng)中數(shù)據(jù)完整性？3.第一個：審計器運行：Swift集群中每個節(jié)點的后臺掃描磁盤確認是否有壞點或文件系統(tǒng)的損壞反復(fù)地檢測存放在該服務(wù)器上的對象、容器和賬號的完整性有問題，移動到隔離目錄。若有問題【復(fù)制器】（七）拓展篇：如何能夠更好的保證云存儲系統(tǒng)中數(shù)據(jù)完整性？4.第二個：復(fù)制器功能：數(shù)據(jù)存儲在正確地方每個數(shù)據(jù)都有足夠的副本掃描每一個虛節(jié)點（為保證副本數(shù)目）將本地數(shù)據(jù)和其他區(qū)域副本對比發(fā)現(xiàn)不一致的地方（檢查哈希值）通過rsync同步文件對等節(jié)點?！旧珊玫母北咎娲瓉淼母北尽浚ㄆ撸┩卣蛊喝绾文軌蚋玫谋ＷC云存儲系統(tǒng)中數(shù)據(jù)完整性？5.第三個：更新器功能：對象更新器容器的對象列表容器更新器賬號的容器列表如果1，更新失敗，加入到本地文件系統(tǒng)上的更新隊列2，成功更新前，用戶得不到最新數(shù)據(jù)。保證保證弱一致性高負荷下加入一對象可以訪問容器中無該對象更新器起作用（七）拓展篇：如何能夠更好的保證云存儲系統(tǒng)中數(shù)據(jù)完整性？6.區(qū)域和地區(qū)地理距離不同。讀請求；代理節(jié)點就近選擇副本服務(wù)。寫請求；本地進行，然后把副本異步傳到其他地區(qū)。地區(qū)A（武漢）地區(qū)B（北京）區(qū)域1區(qū)域2區(qū)域1區(qū)域2武昌漢口任務(wù)小結(jié)1.Swift的幾個核心概念：賬號，容器，對象，URL3.Swift的總體架構(gòu)：代理服務(wù)器，存儲服務(wù)器（賬號容器對象）3.Swift工作原理：虛節(jié)點、環(huán)等4.Swift的一致性服務(wù)器：審計器、復(fù)制器和更新器拓展訓練Xena獨立學習OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改