云存儲架構(gòu)設(shè)計最佳實踐

1、云存儲架構(gòu)設(shè)計最正確實踐 TOC o 1-5 h z 前言2.概述2.云存儲技術(shù)分析22. 1云存儲通用框架22.2云存儲硬件架構(gòu)31集中式存儲4分布式存儲-獨立部署架構(gòu)5分布式存儲-超融合架構(gòu)53分布式底層存儲技術(shù)6. 1分布式文件系統(tǒng)7.2分布式鍵值存儲83.云存儲架構(gòu)框架設(shè)計91總體設(shè)計原那么和方法9需求分析10. 1應(yīng)用場景分析10.2數(shù)據(jù)存儲需求10云存儲總體架構(gòu)11架構(gòu)設(shè)計評估125技術(shù)選型13需求分析應(yīng)用場景分析不同行業(yè)、業(yè)務(wù)場景往往決定了云存儲不同的應(yīng)用場景，傳統(tǒng)行業(yè)和互 聯(lián)網(wǎng)行業(yè)之間往往也有著明顯差異：核心業(yè)務(wù)應(yīng)用場景：傳統(tǒng)行業(yè)核心業(yè)務(wù)邏輯的變化不頻繁，核心系 統(tǒng)的業(yè)務(wù)量增長

2、是規(guī)律的，可預(yù)估的，系統(tǒng)架構(gòu)穩(wěn)定；而互聯(lián)網(wǎng)行業(yè) 來說，業(yè)務(wù)系統(tǒng)追求敏捷迭代，業(yè)務(wù)量起伏變化較大，系統(tǒng)架構(gòu)從簡 單到復(fù)雜，要求彈性伸縮；互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用場景：對于傳統(tǒng)行業(yè)來說，互聯(lián)網(wǎng)是一種新的業(yè)務(wù) 拓展渠道，是業(yè)務(wù)轉(zhuǎn)型的方向，需要逐步試點開放的；非結(jié)構(gòu)化數(shù)據(jù)場景：非結(jié)構(gòu)化數(shù)據(jù)場景也有很大差異，在局部場景 下，非結(jié)構(gòu)化數(shù)據(jù)多是系統(tǒng)產(chǎn)生或提供的臨時數(shù)據(jù)，一次寫入屢次讀 取，要求10性能穩(wěn)定，如個人網(wǎng)盤場景；另外一些場景下，非結(jié)構(gòu) 化數(shù)據(jù)要求長期存放，一次寫入很少讀取，逐漸成為冷數(shù)據(jù)，典型的 如銀行保險業(yè)務(wù)雙錄場景；數(shù)據(jù)災(zāi)備與平安：無論是傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè)，都需要考慮業(yè) 務(wù)連續(xù)性需求，建立數(shù)據(jù)災(zāi)備體

3、系和敏感數(shù)據(jù)保護方案。而金融行業(yè) 還有著更加嚴(yán)格的國家法律法規(guī)和金融監(jiān)管部門要求，業(yè)務(wù)系統(tǒng)的 RT0、 RP0要求更加明確，重要、敏感數(shù)據(jù)需要平安可控，一般會 審慎選擇云存儲的部署模式。數(shù)據(jù)存儲需求部署模式敏感數(shù)據(jù)情況決定了云存儲的部署模式，對于涉及敏感數(shù)據(jù)較多的系 統(tǒng)，一般采用私有部署模式；對于非敏感數(shù)據(jù)，云存儲的本錢往往是一個是 重要的考慮點，公有云部署除了考慮數(shù)據(jù)存儲費用外，也還需考慮存儲流量 費用。綜合考慮我司的業(yè)務(wù)應(yīng)用場景，云存儲排除了公有云模式，而是采用了私有 部署模式。存儲訪問接口存儲訪問接口對應(yīng)的是云存儲的功能需求，對于我司來說，包括塊存儲、NAS存儲接口和對象存儲S3接口。塊

4、存儲對應(yīng)于云服務(wù)器硬盤需求，NAS 存儲對應(yīng)于多個云服務(wù)器間的文件共享需求，對象存儲S3接口對應(yīng)于互 聯(lián)網(wǎng)類業(yè)務(wù)非結(jié)構(gòu)化數(shù)據(jù)存儲和冷數(shù)據(jù)歸檔需求。數(shù)據(jù)存儲分級數(shù)據(jù)存儲分級可以在滿足不同業(yè)務(wù)系統(tǒng)存儲需求的基礎(chǔ)上，降低整體 云存儲本錢，結(jié)合我司業(yè)務(wù)情況分為：.核心業(yè)務(wù)類型系統(tǒng)及其數(shù)據(jù)庫，需要最高的存儲性能和可靠性；.其他輕量級數(shù)據(jù)庫，需要較高的存儲性能和可靠性；.互聯(lián)網(wǎng)類新業(yè)務(wù)和其他非關(guān)鍵類應(yīng)用，需要一定的存儲性能和較 好的擴展性；.非結(jié)構(gòu)化類型業(yè)務(wù)數(shù)據(jù)，需要較高的擴展性，存儲性能要求不高；.數(shù)據(jù)備份與歸檔，數(shù)據(jù)存儲冷熱分層；.開發(fā)測試系統(tǒng)，利舊存儲。云存儲總體架構(gòu)從行業(yè)開展趨勢和企業(yè)IT戰(zhàn)略轉(zhuǎn)型

5、方向看，我司傳統(tǒng)業(yè)務(wù)依然處于 基礎(chǔ)性的重要地位，這也決定了集中式存儲架構(gòu)將與分布式存儲架構(gòu)長期 并存的狀態(tài)。分布式存儲架構(gòu)主要用于新的線上業(yè)務(wù)場景，集中式SAN存 儲和NAS存儲在傳統(tǒng)業(yè)務(wù)場景依然占據(jù)重要地位。最終確立了統(tǒng)一納管異構(gòu)存儲資源，提供多種類型數(shù)據(jù)接口、面向海量 數(shù)據(jù)場景的云存儲架構(gòu)，如圖7所示.可通過引入超融合架構(gòu)來構(gòu)建私 有云laaS平臺，實現(xiàn)IT基礎(chǔ)架構(gòu)云化轉(zhuǎn)型，分別構(gòu)建開發(fā)測試、互聯(lián) 網(wǎng)類新業(yè)務(wù)應(yīng)用等超融合集群。而海量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)需要通 過分布式對象存儲來構(gòu)建可彈性擴容的數(shù)據(jù)湖，采用基于策略的數(shù)據(jù)全生 命周期管理，提供熱、溫、冷不同資源池，實現(xiàn)數(shù)據(jù)在不同資源池以及

6、云平 臺間的流動和分層。云存儲服務(wù)身份認(rèn)證對象存儲身份認(rèn)證對象存儲訪問控制文件共享存儲備份歸檔大數(shù)據(jù)存儲云存儲資源池存儲系統(tǒng)API接塊窯文仲喜對象備存飛接口層存儲抽象層敷堀存儲層圖7.云存儲架構(gòu)示意圖架構(gòu)設(shè)計評估云存儲架構(gòu)設(shè)計是否合理，需要從敏感點、權(quán)衡點以及架構(gòu)風(fēng)險點這三 個方面去評估：敏感點敏感點對應(yīng)于不同數(shù)據(jù)存儲的共有的一些特性，比方存儲的軟硬件成 本、可靠性、存儲10性能、架構(gòu)復(fù)雜度、靈活擴展能力、資源孤島、故障 域隔離和可管理性等屬性；權(quán)衡點權(quán)衡點那么是影響多個架構(gòu)質(zhì)量屬性的敏感點，需要架構(gòu)師評估取舍的 局部。比方存儲架構(gòu)是集中式還是分布式?jīng)Q定了存儲的架構(gòu)復(fù)雜度和靈活 擴展能力；存儲

7、的軟硬件本錢也很大程度上決定了存儲的可靠性和性能；資 源孤島雖然會造成資源浪費，但合理規(guī)劃好，也是故障域隔離的前提。風(fēng)險點對于架構(gòu)師來說，最需要關(guān)注的往往是架構(gòu)中的風(fēng)險點，是架構(gòu)設(shè)計成 敗的關(guān)鍵。分布式存儲架構(gòu)存在著復(fù)雜度高、新技術(shù)引入風(fēng)險以及版本迭代 速度快等風(fēng)險點；超融合架構(gòu)還面臨著擴展性受限、資源孤島等風(fēng)險；而傳 統(tǒng)存儲架構(gòu)主要風(fēng)險點在于難以應(yīng)對海量數(shù)據(jù)存儲擴展，本錢較高，與新技 術(shù)的適配度也不高。對應(yīng)于我司的云存儲架構(gòu)設(shè)計，傳統(tǒng)SAN存儲性能穩(wěn)定，10延時低, 本錢高，不易擴展，但適合于核心業(yè)務(wù)場景；NAS存儲性能不高，但易于使 用和文件共享，本錢也不高，適合于絕大多數(shù)文件共享訪問場景

8、；分布式對 象存儲性能一般，架構(gòu)復(fù)雜度高，但可以靈活擴展，支持海量數(shù)據(jù)存儲，成 本低，適合于海量結(jié)構(gòu)化數(shù)據(jù)存儲和互聯(lián)網(wǎng)業(yè)務(wù)場景；而超融合架構(gòu)可以很 好地與計算資源融合，架構(gòu)簡單，本錢低，雖然有擴展性受限和資源孤島問 題，但結(jié)合公司業(yè)務(wù)和計算資源配比建立不同超融合集群，可以做好數(shù)據(jù)存 儲分級，隔離不同的故障域。技術(shù)選型按照云存儲架構(gòu)設(shè)計評估，我司還需要分別引入分布式對象存儲和超 融合兩種不同硬件架構(gòu)的云存儲方案。結(jié)合云存儲底層存儲技術(shù)的分析，分 布式對象存儲更適宜采用基于分布式鍵值存儲的產(chǎn)品，性能需求不高，擴展 性更強；超融合那么傾向于基于分布式文件系統(tǒng)的產(chǎn)品，邏輯架構(gòu)更加清晰， 并不追求超大規(guī)

9、模部署，而小規(guī)模部署下性能更有優(yōu)勢。對于傳統(tǒng)行業(yè)來說，開源云存儲技術(shù)并不能拿來即用，是不適應(yīng)不同業(yè) 務(wù)系統(tǒng)的存儲需求的。要在云存儲這樣的基礎(chǔ)架構(gòu)領(lǐng)域做到技術(shù)自主是非 常困難的，也缺乏相應(yīng)的技術(shù)積累、人才隊伍建設(shè)和研發(fā)資源投入。因此大 多數(shù)傳統(tǒng)企業(yè)都需要選擇不同廠商的云存儲產(chǎn)品，做技術(shù)選型也就是在篩 選不同廠商產(chǎn)品。不同廠商的分布式存儲都會有其清晰的市場定位和優(yōu)勢場景，其中廠 商對于存儲產(chǎn)品核心技術(shù)的把控能力是最重要的，其次是廠商的售后服務(wù) 水平，當(dāng)然還要看產(chǎn)品的定價水平。對于我司這樣的中小企業(yè)來說，更傾向 于跟隨策略，篩選市場份額前列、有大規(guī)模的同行業(yè)落地案例的廠商產(chǎn)品。 在篩選出了廠商產(chǎn)品之

10、后，技術(shù)層面還需要做好P0C測試，來驗證技術(shù)選 型。對于云存儲產(chǎn)品來說，選型測試還需要考慮以下六點：業(yè)務(wù)應(yīng)用場景業(yè)務(wù)類型決定了數(shù)據(jù)存儲分級標(biāo)準(zhǔn)，數(shù)據(jù)類型決定了使用存儲連接方 式以及云存儲產(chǎn)品類型等功能需求，數(shù)據(jù)容量那么決定了云存儲的擴展性能 力要求；兼容性對于云存儲產(chǎn)品來說，軟硬件的兼容性是一個重要指標(biāo)，包括通用服務(wù)器選型、設(shè)備微碼驅(qū)動版本、操作系統(tǒng)版本、不同虛擬化平臺等的兼容性；10性能10性能也是云存儲是產(chǎn)品是否適配業(yè)務(wù)應(yīng)用場景的另一個重要考量 點，相比于通用的存儲性能指標(biāo)數(shù)據(jù)，業(yè)務(wù)場景下的測試更有說服力；高可靠性通過開展破壞性測試，來驗證云存儲產(chǎn)品的高可靠性；易管理性分布式架構(gòu)復(fù)雜度高，

11、云存儲的易管理性關(guān)系到運維人員是否能很好 地管控云存儲；數(shù)據(jù)保護和容災(zāi)數(shù)據(jù)保護和容災(zāi)會增加本錢，但依然需要考慮數(shù)據(jù)多維度的平安。隨著互聯(lián)網(wǎng)類新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)快速增長，云存儲技術(shù)應(yīng)運而 生。本文深入剖析了云存儲通用框架、硬件架構(gòu)以及其底層原理這三個技術(shù)層 面的差異性，為云存儲架構(gòu)框架設(shè)計提供了理論依據(jù)；再結(jié)合細(xì)分行業(yè)及其業(yè) 務(wù)應(yīng)用場景的差異性需求，最終確定了滿足企業(yè)需求的云存儲總體架構(gòu)，并詳 細(xì)介紹了架構(gòu)設(shè)計評估和技術(shù)選型過程中的一些實踐經(jīng)驗。.概述隨著互聯(lián)網(wǎng)類新興業(yè)務(wù)的激增、業(yè)務(wù)數(shù)據(jù)快速增長，使得企業(yè)數(shù)據(jù)中心 存儲系統(tǒng)面臨新的挑戰(zhàn)：大數(shù)據(jù)、云計算等新技術(shù)應(yīng)用帶來了新的存儲應(yīng)用 場景；海

12、量數(shù)據(jù)存儲沖擊著傳統(tǒng)存儲架構(gòu)，性能容量成為瓶頸；存儲系統(tǒng)擴 容和新建周期長，無法滿足業(yè)務(wù)敏捷需求。云存儲技術(shù)應(yīng)運而生，敏捷、資源可彈性部署、按需獲取的特性很好地 滿足了數(shù)據(jù)中心海量數(shù)據(jù)和新興業(yè)務(wù)快速上線的存儲需求。.云存儲技術(shù)分析顧名思義，云存儲是在云計算基礎(chǔ)上衍生和開展出來的，通過網(wǎng)絡(luò)將大 量異構(gòu)存儲設(shè)備構(gòu)成了統(tǒng)一的存儲資源池，在集中式存儲技術(shù)基礎(chǔ)上，融合 了分布式存儲、多租戶共享、軟件定義存儲等多種云存儲技術(shù)。新技術(shù)應(yīng)用都有其兩面性，在設(shè)計構(gòu)建云存儲架構(gòu)框架之前，有必要詳 細(xì)了解和剖析云存儲技術(shù)，這樣才能結(jié)合自身需求做好規(guī)劃。下文將從云存 儲通用框架、存儲硬件架構(gòu)以及分布式底層存儲技術(shù)這三

13、方面展開表達。1云存儲通用框架相比于傳統(tǒng)存儲來說，云存儲系統(tǒng)是一種層次化的體系結(jié)構(gòu)，其通用框 架可參考圖1分為云存儲服務(wù)和云存儲資源池兩種，其中云存儲資源池是 云存儲最為核心的局部。云存儲服務(wù)。份認(rèn)證訪問控制云存儲資源池存:儲系統(tǒng)存儲費源管理存儲費源管理API 接 C塊存儲文件存儲對象存儲存儲接I兒!存儲抽象層集中式存儲 分價式存儲數(shù)據(jù)存儲所圖1.云存儲通用框架圖云存儲資源池又可細(xì)分為數(shù)據(jù)存儲層、存儲抽象層和存儲接口層。數(shù)據(jù) 存儲層是云存儲的基礎(chǔ)，由不同類型的硬件設(shè)備組成，提供多種10性能 的存儲資源；存儲抽象層實現(xiàn)了不同類型的存儲設(shè)備的邏輯虛擬化管理，為 上層應(yīng)用提供不同存儲資源的抽象，實現(xiàn)

14、存儲資源的靈活調(diào)配；存儲接口層 提供了不同類型的存儲接口，實現(xiàn)存儲系統(tǒng)與外部應(yīng)用的數(shù)據(jù)傳輸。 云存儲服務(wù)為用戶提供統(tǒng)一的協(xié)議和編程接口，提供云數(shù)據(jù)盤和對象存儲 服務(wù)，是云存儲資源調(diào)度控制的入口，授權(quán)用戶可以公共應(yīng)用接口訪問云存 儲。云存儲硬件架構(gòu)數(shù)據(jù)存儲層可根據(jù)差異化的需求、細(xì)分行業(yè)以及不同的應(yīng)用場景，部署 不同架構(gòu)的數(shù)據(jù)存儲，這也是存儲硬件選型的關(guān)鍵。一般可分為集中式和分 布式兩種存儲架構(gòu)，其中分布式存儲中又可以依據(jù)計算與存儲是否解耦，再 細(xì)分為獨立部署與超融合兩種架構(gòu)，下文將對這三種架構(gòu)存儲進行評估。. 1集中式存儲集中式存儲的代表是傳統(tǒng)SAN存儲或NAS存儲，使用專用硬件和存 儲控制器。

15、其架構(gòu)如圖2所示，存儲控制器采用雙控或多控互聯(lián)架構(gòu)，包 含RAID功能和大容量Cache?？刂破骱蠖诉B接到磁盤柜，磁盤柜包含了 多個RAID組，每個RAID組又包含多塊磁盤，這就組成了集中式的磁盤 陣列。0 0-0 A磁盤柜圖2.集中式存儲硬件架構(gòu)示意圖集中式存儲一般提供塊存儲或文件存儲接口服務(wù)，其優(yōu)點可總結(jié)為：性能：10分片粒度小，數(shù)據(jù)10傳輸路徑短，表現(xiàn)為低時延和高 I0PS ；可靠性高：專有硬件和存儲控制器的可靠性高，基于RAID和硬件 冗余等技術(shù)也較成熟；數(shù)據(jù)強一致性：控制器、磁盤間的集中式互聯(lián)架構(gòu)最大限度地保證 了數(shù)據(jù)的強一致性。當(dāng)然傳統(tǒng)集中式存儲也有其劣勢，這也是分布式架構(gòu)興起的原

16、因，表現(xiàn)在：擴展性差：集中式存儲是無法無限制地擴展磁盤柜的，受限于存儲 控制器的擴展能力；本錢較高：集中式存儲的高可靠專有硬件也會帶來更高的設(shè)備采購本錢和維保本錢。分布式存儲-獨立部署架構(gòu)分布式存儲采用可擴展的系統(tǒng)結(jié)構(gòu)，通過網(wǎng)絡(luò)將數(shù)據(jù)分散存儲在多臺 獨立的存儲節(jié)點上，其架構(gòu)如圖3所示，分布式存儲-獨立部署架構(gòu)由 多個專門的存儲節(jié)點組成，對外提供各種存儲服務(wù)。圖3.分布式存儲-獨立部署架構(gòu)示意圖分布式存儲不再依賴于傳統(tǒng)專用硬件，大局部部署在通用服務(wù)器之上, 通過軟件定義的方式來實現(xiàn)核心存儲邏輯，其優(yōu)勢在于：靈活迭代：相比于硬件的迭代，軟件版本迭代周期更快更靈活；硬件本錢低： 消除了專有硬件依賴，

17、硬件本錢低；易擴展： 分布式架構(gòu)易于橫向擴展，性能容量線性擴展。而分布式存儲的劣勢在于：復(fù)雜度高：相比于集中式單體架構(gòu)來說，分布式運維復(fù)雜度高；穩(wěn)定性低：局部產(chǎn)品技術(shù)成熟度不夠，硬件故障或系統(tǒng)異常場景下, 存儲性能易受影響。分布式存儲-超融合架構(gòu)超融合架構(gòu)是一個包含計算、網(wǎng)絡(luò)、存儲的整體架構(gòu)解決方案，其存儲 本身也是分布式存儲。在超融合形態(tài)中，計算與存儲是同一軟件堆棧運行在 通用服務(wù)器中的，其架構(gòu)如圖4所示，大多數(shù)超融合產(chǎn)品在其節(jié)點上會部署控制器虛擬機CVM , CVM會承當(dāng)存儲服務(wù)功能，而普通的虛擬機需與 CVM通信才可訪問數(shù)據(jù)存儲。虐蟻機虛擬機,留務(wù)喜虛擬化層,留務(wù)喜虛擬化層,服務(wù)25虛擬

18、化層,一爆務(wù)器虛Q化層CVM scsifiSIHCVM scsifiSIHCVMSCSI 拉制器-toogj loom Loox- -100三0皂I00H1loot- LOQZ- Is制君超融合超融合圖4.分布式存儲-超融合架構(gòu)示意圖超融合傾向于計算層和存儲層可以很好耦合的設(shè)計理念，除了分布式 存儲的優(yōu)點外，其優(yōu)勢還包括：降低運維復(fù)雜度：通過架構(gòu)設(shè)計、部署、日常運維管理的簡化，單 一廠商可提供所有軟硬件的支持。而分布式存儲的獨立部署架構(gòu)的優(yōu)勢在于資源自由調(diào)配、計算與存儲 層可獨立部署擴展。這樣來看，超融合的劣勢如下：新的資源孤島：無法與外部做資源共享，會帶來資源利用率和統(tǒng)一 管理問題；性能問題

19、： 計算與和存儲會爭搶服務(wù)器硬件資源和網(wǎng)絡(luò)帶寬，性能 問題會更明顯；橫向擴展性缺乏：性能風(fēng)險也間接帶來了無法大規(guī)模部署的問題;系統(tǒng)內(nèi)部復(fù)雜性：系統(tǒng)架構(gòu)的簡化帶來了更高的內(nèi)部復(fù)雜性。2.3分布式底層存儲技術(shù)相比于集中式存儲，分布式存儲的復(fù)雜性更高，但更適應(yīng)大規(guī)模的云部 署場景，有必要深入了解其底層原理。分布式存儲存在著獨立部署和超融合 的硬件架構(gòu)差異，而從邏輯層面來看，不管是獨立部署還是超融合架構(gòu)，又 主要分為分布式文件系統(tǒng)（DFS ）和分布式鍵值（k-v ）存儲這兩種存 儲技術(shù)。1分布式文件系統(tǒng)云存儲技術(shù)的復(fù)雜性還在于存儲虛擬化技術(shù)，它屏蔽了數(shù)據(jù)10與底 層數(shù)據(jù)存儲的映射與實現(xiàn)細(xì)節(jié)。如圖5所示

20、，分布式文件系統(tǒng)（DFS ） 是一種虛擬文件系統(tǒng)，本身有著文件目錄結(jié)構(gòu)特征。而DFS對外提供的存 儲單元那么是由文件組成，這些文件又會被邏輯分片，再按照多數(shù)據(jù)副本分布 算法分布到不同數(shù)據(jù)節(jié)點上。| vDisk | | vDisk | | vDisk | vDisk |XDFSXDFSchunk g-unF |chunk 一-chunk 一 raunk 一 一chunk 一 -chunk 一I邏輯數(shù)據(jù)分片 k但凰僮m HUM數(shù)據(jù)節(jié)點數(shù)據(jù)節(jié)點數(shù)據(jù)節(jié)點元數(shù)據(jù)管理圖5.基于DFS的云存儲底層原理示意圖基于DFS的云存儲邏輯清晰，也有著比擬廣的應(yīng)用范圍，比方GFS、 HDFS等典型應(yīng)用，包括一些超融合底

21、層存儲也是基于DFS來實現(xiàn)的，但 也存在著明顯缺陷：擴展性受限：基于目錄結(jié)構(gòu)的文件系統(tǒng)，會成為DFS大規(guī)模擴展的瓶頸；性能方面：文件目錄信息可以通過緩存到內(nèi)存中來提高定位數(shù)據(jù)的速度，但是當(dāng)文件數(shù)量到達一定量級時，硬件無法滿足時，性能會急 劇下降。分布式鍵值存儲分布式文件系統(tǒng)的文件目錄管理遵循著map-reduce的設(shè)計思路，化 大為小，分而治之，再合并處理，其架構(gòu)中需要元數(shù)據(jù)管理節(jié)點來協(xié)調(diào)，本 質(zhì)上還是一種中心化；分布式鍵值（k-v ）存儲是一種無中心化架構(gòu)，解 決了主節(jié)點本身的瓶頸，其架構(gòu)設(shè)計思路那么是均衡設(shè)計，所有節(jié)點的地位都 是對等的，通過數(shù)據(jù)布局算法均衡分布在不同節(jié)點上。一致性hash算法 和虛擬節(jié)點是一種通用做法，不同于簡單散列hash將數(shù)據(jù)分布在一條直 線上，而是采用首尾相連，將整個哈希值空間組織成一個虛擬圓環(huán)。ceph是一種典型基于分布式鍵值的存儲系統(tǒng)，其object數(shù)據(jù)分布采 用的是crush算法，是在一致性hash算法基礎(chǔ)上，充分考慮多副本、故 障域隔離等約束設(shè)計而來，其實現(xiàn)原理如圖6所示。數(shù)據(jù)寫入數(shù)據(jù)寫入數(shù)據(jù)寫入。PoolPGPGPGPG圖6,基于