求出設(shè)備節(jié)點(diǎn)的哈希值-中國(guó)云計(jì)算

電子工業(yè)出版社《云計(jì)算(其次版)》配套課件解放軍理工高校劉鵬教授主編華東交通高校劉鵬制作第3章Amazon云計(jì)算AWS

《云計(jì)算（其次版）》購(gòu)買當(dāng)當(dāng)網(wǎng)京東商城姊妹力作《實(shí)戰(zhàn)Hadoop》購(gòu)買當(dāng)當(dāng)網(wǎng)京東商城提綱Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo彈性計(jì)算云EC2簡(jiǎn)潔存儲(chǔ)服務(wù)S3簡(jiǎn)潔隊(duì)列服務(wù)SQS簡(jiǎn)潔數(shù)據(jù)庫(kù)服務(wù)SimpleDB關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS內(nèi)容推送服務(wù)CloudFront其他Amazon云計(jì)算服務(wù)AWS應(yīng)用實(shí)例小結(jié)Amazon供應(yīng)的云計(jì)算服務(wù)彈性計(jì)算云EC2簡(jiǎn)潔存儲(chǔ)服務(wù)S3簡(jiǎn)潔數(shù)據(jù)庫(kù)服務(wù)SimpleDB簡(jiǎn)潔隊(duì)列服務(wù)SQS彈性MapReduce服務(wù)內(nèi)容推送服務(wù)CloudFront電子商務(wù)服務(wù)DevPay靈敏支付服務(wù)FPSDynamo在Amazon服務(wù)平臺(tái)的地位

面對(duì)服務(wù)的Amazon平臺(tái)架構(gòu)Amazon平臺(tái)的架構(gòu)是完全的分布式、去中心化需求——Amazon平臺(tái)中有很多服務(wù)對(duì)存儲(chǔ)的需求只是讀取、寫(xiě)入，（滿足簡(jiǎn)潔的鍵/值式存儲(chǔ)）Amazon怎么處理這個(gè)需求？Dynamo簡(jiǎn)潔的鍵/值方式存儲(chǔ)數(shù)據(jù)，不支持困難的查詢存儲(chǔ)的是數(shù)據(jù)值的原始形式（bit），不解析數(shù)據(jù)的具體內(nèi)容、不識(shí)別任何數(shù)據(jù)結(jié)構(gòu)，這使得它幾乎可以處理全部的數(shù)據(jù)類型Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo

Dynamo架構(gòu)的主要技術(shù)

問(wèn)題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法，數(shù)據(jù)備份數(shù)據(jù)沖突處理向量時(shí)鐘（vectorclock）臨時(shí)故障處理Hintedhandoff（數(shù)據(jù)回傳機(jī)制），參數(shù)（W,R,N）可調(diào)的弱quorum機(jī)制永久故障后的恢復(fù)Merkle哈希樹(shù)成員資格以及錯(cuò)誤檢測(cè)基于gossip的成員資格協(xié)議和錯(cuò)誤檢測(cè)數(shù)據(jù)均衡分布的問(wèn)題

一樣性哈希算法平衡性單調(diào)性分散性負(fù)載兩步進(jìn)行：求出設(shè)備節(jié)點(diǎn)的哈希值，并配置到環(huán)上的一個(gè)點(diǎn)；接著計(jì)算數(shù)據(jù)的哈希值，按順時(shí)針?lè)较驅(qū)⑵溆成涞江h(huán)上距其最近的節(jié)點(diǎn)；添加新節(jié)點(diǎn)時(shí)，依據(jù)上述規(guī)則，調(diào)整相關(guān)數(shù)據(jù)到新的節(jié)點(diǎn)上。刪除節(jié)點(diǎn)和添加節(jié)點(diǎn)過(guò)程相反Dynamo接受的改進(jìn)算法虛擬節(jié)點(diǎn)數(shù)據(jù)分區(qū)和等份存儲(chǔ)數(shù)據(jù)備份當(dāng)數(shù)據(jù)被勻整存儲(chǔ)到環(huán)上各節(jié)點(diǎn)后，Dynamo將冗余存儲(chǔ)數(shù)據(jù)（備份數(shù)據(jù)）思索：Amazon可以保證相鄰的節(jié)點(diǎn)分別位于不同地區(qū)區(qū)域，即使某個(gè)數(shù)據(jù)中心由于自然災(zāi)難或斷電的緣由整體癱瘓，仍可以保證在世界上其他數(shù)據(jù)中心中保存有數(shù)據(jù)的備份。這里就有一個(gè)特殊重要的問(wèn)題——如何進(jìn)行節(jié)點(diǎn)分布，保證相鄰節(jié)點(diǎn)位于不同的數(shù)據(jù)中心？數(shù)據(jù)沖突問(wèn)題

Dynamo系統(tǒng)選擇犧牲一樣性來(lái)?yè)Q取系統(tǒng)的牢靠性和可用性解決數(shù)據(jù)沖突：最終一樣性模型（EventualConsistency）向量時(shí)鐘

向量時(shí)鐘原理圖

容錯(cuò)機(jī)制

Dynamo臨時(shí)故障處理機(jī)制

1）臨時(shí)故障處理機(jī)制在數(shù)據(jù)讀寫(xiě)中接受了一種稱為弱quorum（Sloppyquorum）的機(jī)制，涉及三個(gè)參數(shù)W、R、NW—代表一次成功的寫(xiě)操作至少須要寫(xiě)入的副本數(shù)R—代表一次成功讀操作需由服務(wù)器返回給用戶的最小副本數(shù)N—每個(gè)數(shù)據(jù)存儲(chǔ)的副本數(shù)滿足R+W>N，用戶即可自行配置R和W優(yōu)勢(shì)：實(shí)現(xiàn)可用性與容錯(cuò)性之間的平衡容錯(cuò)機(jī)制

2）永久性故障處理機(jī)制Merkle哈希樹(shù)技術(shù)每個(gè)虛擬節(jié)點(diǎn)保存三顆Merkle樹(shù)，即每個(gè)鍵值區(qū)間建立一個(gè)Merkle樹(shù)哈希樹(shù)的葉子節(jié)點(diǎn)是存儲(chǔ)每個(gè)數(shù)據(jù)分區(qū)內(nèi)全部數(shù)據(jù)對(duì)應(yīng)的哈希值，父節(jié)點(diǎn)是其全部子節(jié)點(diǎn)的哈希值成員資格及錯(cuò)誤檢測(cè)

基于Gossip協(xié)議的成員資格檢測(cè)機(jī)制Gossip（閑聊）協(xié)議錯(cuò)誤檢測(cè)機(jī)制

基于Gossip協(xié)議的成員資格檢測(cè)機(jī)制

基于Gossip協(xié)議的最優(yōu)傳遍路徑

提綱Amazon平臺(tái)基礎(chǔ)存儲(chǔ)架構(gòu)：Dynamo彈性計(jì)算云EC2簡(jiǎn)潔存儲(chǔ)服務(wù)S3簡(jiǎn)潔隊(duì)列服務(wù)SQS簡(jiǎn)潔數(shù)據(jù)庫(kù)服務(wù)SimpleDB關(guān)系數(shù)據(jù)庫(kù)服務(wù)RDS內(nèi)容推送服務(wù)CloudFront其他Amazon云計(jì)算服務(wù)AWS應(yīng)用實(shí)例小結(jié)主要特性

靈敏性：EC2允許用戶對(duì)運(yùn)行實(shí)例類型、數(shù)量自行配置，還可以選擇實(shí)例運(yùn)行的地理位置，依據(jù)用戶的需求隨時(shí)變更實(shí)例的運(yùn)用數(shù)量低成本：EC2使得企業(yè)不必為短暫的業(yè)務(wù)增長(zhǎng)而購(gòu)買額外的服務(wù)器等設(shè)備。EC2的服務(wù)都是按小時(shí)來(lái)收費(fèi)，而且價(jià)格特殊合理平安性：EC2向用戶供應(yīng)了一整套平安措施，包括基于密鑰對(duì)機(jī)制的SSH方式訪問(wèn)、可配置的防火墻機(jī)制等，同時(shí)允許用戶對(duì)它的應(yīng)用程序進(jìn)行監(jiān)控易用性：用戶可以依據(jù)Amazon供應(yīng)的模塊自由構(gòu)建自己的應(yīng)用程序，同時(shí)EC2還會(huì)對(duì)用戶服務(wù)懇求自動(dòng)進(jìn)行負(fù)載平衡容錯(cuò)性：利用系統(tǒng)供應(yīng)的諸如彈性IP地址之類的機(jī)制，在故障發(fā)生時(shí)EC2能最大程度地保證用戶服務(wù)仍能維持在穩(wěn)定的水平彈性計(jì)算云EC2

EC2基本架構(gòu)及主要概念

EC2的基本架構(gòu)Amazon機(jī)器映像（AMI）AMI（AmazonMachineImage）是一個(gè)可以將用戶的應(yīng)用程序、配置等一起打包的加密機(jī)器映像AMI是用戶云計(jì)算平臺(tái)運(yùn)行的基礎(chǔ)，用戶運(yùn)用EC2服務(wù)的第一步就是要?jiǎng)?chuàng)建一個(gè)自己的AMIAmazon供應(yīng)的AMI有四種類型（1）公共AMI（2）私有AMI（3）付費(fèi)AMI（4）共享AMIEC2基本架構(gòu)及主要概念

實(shí)例類型和其相關(guān)配置實(shí)例（Instance）用戶創(chuàng)建好AMI后，實(shí)際運(yùn)行的系統(tǒng)稱為一個(gè)實(shí)例資源SmallLargeExtraLargeHigh-CPUMediumHigh-CPUExtraLarge平臺(tái)32位64位64位32位64位CPU1ECU4ECU8ECU5ECU20ECU內(nèi)存1.7GB7.5GB15GB1.7GB7GB存儲(chǔ)容量160GB850GB1690GB350GB1690GB實(shí)例類型名m1.smallm1.largem1.xlargec1.mediumc1.xlargeEC2的關(guān)鍵技術(shù)

1．彈性塊存儲(chǔ)（EBS）長(zhǎng)期保存或比較重要的數(shù)據(jù)，須要用彈性塊存儲(chǔ)（ElasticBlockStore，EBS），Amazon限制每個(gè)EBS最多創(chuàng)建20個(gè)卷快照（Snapshot）2.區(qū)域地理區(qū)域（RegionZone）可用區(qū)域（AvailabilityZone）

EC2的關(guān)鍵技術(shù)

3．EC2的通信機(jī)制EC2服務(wù)中，系統(tǒng)各模塊之間及系統(tǒng)和外界之間的信息交互是通過(guò)IP地址進(jìn)行公共IP地址（PublicIPAddress）私有IP地址（PrivateIPAddress）彈性IP地址（ElasticIPAddress）

4．彈性負(fù)載平衡（ElasticLoadBalancing）允許EC2實(shí)例自動(dòng)分發(fā)應(yīng)用流量，從而保證工作負(fù)載不會(huì)超過(guò)現(xiàn)有實(shí)力，并且在確定程度上支持容錯(cuò)5．監(jiān)控服務(wù)（CloudWatch）AmazonCloudWatch是一個(gè)Web服務(wù)，供應(yīng)了AWS資源的可視化檢測(cè)功能包括EC2實(shí)例狀態(tài)、資源利用率、需求狀況、CPU利用率、磁盤(pán)讀取、寫(xiě)入和網(wǎng)絡(luò)流量等指標(biāo)EC2的關(guān)鍵技術(shù)

6．自動(dòng)縮放（AutoScaling）自動(dòng)縮放可以依據(jù)用戶自定義的條件，自動(dòng)調(diào)整EC2的計(jì)算實(shí)力7．服務(wù)管理限制臺(tái)（AWSManagementConsole）服務(wù)管理限制臺(tái)是一種基于Web的限制環(huán)境，可用于啟動(dòng)、管理EC2實(shí)例和供應(yīng)各種管理工具和API接口關(guān)鍵技術(shù)協(xié)作工作圖EC2平安及容錯(cuò)機(jī)制EC2特點(diǎn)之一：允許用戶隨時(shí)更新實(shí)例狀態(tài)，用戶可以隨時(shí)加入或刪除實(shí)例，實(shí)例狀態(tài)的動(dòng)態(tài)變更便利了用戶，但是卻給防火墻的配置帶來(lái)了麻煩EC2引入了平安組（SecurityGroup）概念平安組其實(shí)就是一組規(guī)則，用戶利用這些規(guī)則來(lái)確定哪些網(wǎng)絡(luò)流量會(huì)被實(shí)例接受，其他則全部拒絕一個(gè)用戶目前最多可以創(chuàng)建100個(gè)平安組。當(dāng)用戶的實(shí)例被創(chuàng)建時(shí)，假如沒(méi)有指定平安組，則系統(tǒng)自動(dòng)將該實(shí)例支配給一個(gè)默認(rèn)組（DefaultGroup）EC2平安及容錯(cuò)機(jī)制用戶訪問(wèn)EC2時(shí)須要運(yùn)用SSH（SecureShell）密鑰對(duì)（KeyPair）來(lái)登錄服務(wù)密鑰對(duì)的名稱（KeyPairName）和公鑰（PublicKey）儲(chǔ)存在EC2中用戶創(chuàng)建新實(shí)例時(shí)，EC2會(huì)將它保存的信息復(fù)制一份放在實(shí)例的元數(shù)據(jù)（Metadata）中，然后用戶運(yùn)用自己保存的私鑰（PrivateKey）就可以平安地登錄EC2并運(yùn)用相關(guān)服務(wù)用戶運(yùn)用密鑰對(duì)登錄服