大數(shù)據(jù)與云計(jì)算-曹莎95課件講解

主講人：曹莎莎大數(shù)據(jù)與云計(jì)算知識(shí)點(diǎn)AMAZON云計(jì)算簡(jiǎn)介3什么是彈性計(jì)算云EC24了解什么是簡(jiǎn)單存儲(chǔ)服務(wù)S31了解什么是AWS2什么是基礎(chǔ)存儲(chǔ)架構(gòu)DynamoAMAZON云計(jì)算簡(jiǎn)介定義AWS簡(jiǎn)單來(lái)說(shuō)就是一個(gè)云計(jì)算提供商，他提供了一組覆蓋全球的，囊括了數(shù)據(jù)的計(jì)算、存儲(chǔ)、分析和部署等服務(wù)，可以幫助企業(yè)獲取更多資源，有效降低成本。21發(fā)展歷程特點(diǎn)31996年成立2006年推出第一個(gè)aws服務(wù)成為亞馬遜三大核心業(yè)務(wù)之一什么是AWS全球規(guī)?；顿M(fèi)更節(jié)省創(chuàng)新和更快速的平臺(tái)安全性更高定義Dynamo是Amazon系統(tǒng)中的底層存儲(chǔ)架構(gòu)。當(dāng)互聯(lián)網(wǎng)的數(shù)據(jù)爆發(fā)式增長(zhǎng)，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)難以滿足企業(yè)對(duì)數(shù)據(jù)庫(kù)的高靈活性、高擴(kuò)展性的要求時(shí)，以分布式、無(wú)中心模式的分布式數(shù)據(jù)庫(kù)Dynamo應(yīng)運(yùn)而生。主要問(wèn)題及解決方案問(wèn)題采取的相關(guān)技術(shù)數(shù)據(jù)均衡分布改進(jìn)的一致性哈希算法數(shù)據(jù)備份參數(shù)可調(diào)的弱quorum機(jī)制數(shù)據(jù)沖突處理向量時(shí)鐘（VectorClock）成員資格及錯(cuò)誤檢測(cè)基于Gossip協(xié)議的成員資格和錯(cuò)誤檢測(cè)臨時(shí)故障處理Hintedhandoff（數(shù)據(jù)回傳機(jī)制）永久故障處理Merkle哈希樹(shù)基礎(chǔ)存儲(chǔ)架構(gòu)DynamoGet（）：返回對(duì)象Put（）：存儲(chǔ)和放置對(duì)象系統(tǒng)接口無(wú)需服務(wù)器增量的可擴(kuò)展性對(duì)稱性特點(diǎn)基礎(chǔ)存儲(chǔ)架構(gòu)Dynamo基礎(chǔ)存儲(chǔ)架構(gòu)DynamoDynamo采用的是改進(jìn)的一致性哈希算法。算法：數(shù)據(jù)備份：數(shù)據(jù)的副本備份存儲(chǔ)在哈希環(huán)順時(shí)針?lè)较蛏显摂?shù)據(jù)所在虛擬節(jié)點(diǎn)的后繼節(jié)點(diǎn)中保證一個(gè)副本必須寫(xiě)入硬盤，其他副本只要寫(xiě)入節(jié)點(diǎn)的內(nèi)存即返回寫(xiě)成功每個(gè)虛擬節(jié)點(diǎn)上實(shí)際存儲(chǔ)了分配給它以及分配它的前N-1個(gè)前驅(qū)虛擬節(jié)點(diǎn)的數(shù)據(jù)數(shù)據(jù)的一致性Dynamo采用的是改進(jìn)的一致性哈希算法。CacheACacheCObject1Object2Object3Object4基礎(chǔ)存儲(chǔ)架構(gòu)Dynamo數(shù)據(jù)版本控制Dynamo中將數(shù)據(jù)的增加或刪除這種操作都視為一種增加操作，即每一次操作的結(jié)果都作為一份全新的數(shù)據(jù)保存，這樣也就造成了一份數(shù)據(jù)會(huì)存在多個(gè)版本，分布在不同的節(jié)點(diǎn)上。01

為了解決該問(wèn)題，Dynamo中采用了向量時(shí)鐘技術(shù)（VectorClock）。02基礎(chǔ)存儲(chǔ)架構(gòu)Dynamo故障檢測(cè)和處理永久性故障處理機(jī)制在節(jié)點(diǎn)失效超過(guò)了設(shè)定時(shí)間后，如果沒(méi)有發(fā)現(xiàn)節(jié)點(diǎn)可以重用，則Dynamo會(huì)認(rèn)定該節(jié)點(diǎn)出現(xiàn)了永久性故障，臨時(shí)故障處理機(jī)制Dynamo中如果某個(gè)節(jié)點(diǎn)由于機(jī)器假死等因素?zé)o法與其他節(jié)點(diǎn)通信，則會(huì)被其他節(jié)點(diǎn)認(rèn)為失效基礎(chǔ)存儲(chǔ)架構(gòu)DynamoDynamo需要從其他數(shù)據(jù)副本進(jìn)行數(shù)據(jù)同步。Dynamo中采用了一種帶有監(jiān)聽(tīng)的數(shù)據(jù)回傳機(jī)制（HintedHandoff）。EC2全名AmazonElasticComputeCloud，是一種AWS中的虛擬服務(wù)器，又稱實(shí)例。彈性計(jì)算云EC2EC2的優(yōu)勢(shì)：更節(jié)省更安全更快捷擴(kuò)展性更強(qiáng)EC2的基本架構(gòu)：Amazon機(jī)器映象（AMI）更安全EC2的基本架構(gòu)主要包括了Amazon機(jī)器映象、實(shí)例、存儲(chǔ)模塊等組成部分，并能與S3等其他Amazon云計(jì)算服務(wù)結(jié)合使用。彈性計(jì)算云EC2實(shí)例彈性塊存儲(chǔ)（EBS）EC2的關(guān)鍵技術(shù)：地理區(qū)域和可用區(qū)域01EC2的通信機(jī)制02彈性負(fù)載均衡03監(jiān)控服務(wù)（CloudWatch）04自動(dòng)縮放（AutoScaling）05服務(wù)管理控制臺(tái)06彈性計(jì)算云EC2

簡(jiǎn)單存儲(chǔ)服務(wù)S3S3的定義：AmazonS3的全稱是AmazonSimpleStrongService，因?yàn)樗拿Q里有3個(gè)S開(kāi)頭的單詞，因此簡(jiǎn)稱為S3.它是AWS最古老的服務(wù)之一，用戶可以通過(guò)它存儲(chǔ)和管理任何數(shù)據(jù)，如圖片、視頻、音樂(lè)和文檔。存儲(chǔ)的雙要素1

對(duì)象：是S3的基本存儲(chǔ)單元，主要由數(shù)據(jù)和元數(shù)據(jù)組成2

桶：桶是用于存儲(chǔ)對(duì)象的容器，其作用類似于文件夾簡(jiǎn)單存儲(chǔ)服務(wù)S3基本操作：S3中支持對(duì)桶和對(duì)象的操作，主要包括：Get、Put、List、Delete和Head。簡(jiǎn)單存儲(chǔ)服務(wù)S3S3的安全措施：簡(jiǎn)單存儲(chǔ)服務(wù)S3S3向用戶提供包括身份認(rèn)證（Authentication）和訪問(wèn)控制列表[15]（ACL）的雙重安全機(jī)制。身份認(rèn)證：S3中使用基于HMAC-SHA1的數(shù)字簽名方式來(lái)確定用戶身份。訪問(wèn)控制列表：訪問(wèn)控制列表（AccessCo