4.《云計(jì)算(第三版)》配套PPT之四：第2章 Google云計(jì)算原理與應(yīng)用(三)

《云計(jì)算》第三版配套PPT課件電子工業(yè)出版社《云計(jì)算(第三版)》配套課件云計(jì)算（第三版）CLOUD

COMPUTING

Third

Edition第2章Google云計(jì)算原理與應(yīng)用（三）主編：劉鵬教授of

58本套PPT下載地址：/list.aspx?cid=20云計(jì)算的紅寶書(shū)書(shū)籍購(gòu)買(mǎi)地址：/item.html?itemID=1469775685&p=-1（包郵且有劉鵬教授親筆簽名）微信掃描二維碼關(guān)注云計(jì)算頭條電子工業(yè)出版社《云計(jì)算(第三版)》配套課件2教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士?，F(xiàn)任中國(guó)云計(jì)算專(zhuān)家咨詢(xún)委員會(huì)秘書(shū)長(zhǎng)、中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng)、工業(yè)與信息化部云計(jì)算研究中心專(zhuān)家。主持完成科研項(xiàng)目25項(xiàng)，發(fā)表論文80余篇，出版專(zhuān)業(yè)書(shū)籍15本。獲部級(jí)科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)4項(xiàng)。主編了國(guó)內(nèi)第一本云計(jì)算教材《云計(jì)算》和第一本云計(jì)算編程書(shū)籍《實(shí)戰(zhàn)Hadoop》。創(chuàng)辦了知名的中國(guó)云計(jì)算（）和中國(guó)大數(shù)據(jù)（）網(wǎng)站。曾率隊(duì)奪得2002

PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高?？萍急荣愖罡擢?jiǎng)，并三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省

“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱(chēng)號(hào)。劉鵬《云計(jì)算》第三版配套PPT課件目錄2.1

G

o

o

g

l

e文件系統(tǒng)G

F

S2.2分布式數(shù)據(jù)處理M

a

p

R

e

d

u

c

e2.3分布式鎖服務(wù)C

h

u

b

b

y2.4分布式結(jié)構(gòu)化數(shù)據(jù)表B

i

g

t

a

b

l

e2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.7海量數(shù)據(jù)的交互式分析工具D

r

e

m

e

l2.8內(nèi)存大數(shù)據(jù)分析系統(tǒng)P

o

w

e

r

D

r

i

l

l

2.9

G

o

o

g

l

e應(yīng)用程序引擎of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施of58《云計(jì)算》第三版配套PPT課件針對(duì)可用性的要求，實(shí)現(xiàn)了一個(gè)同步的、容錯(cuò)的、適合遠(yuǎn)距離傳輸?shù)膹?fù)制機(jī)制。針對(duì)可擴(kuò)展性的要求，將整個(gè)大的數(shù)據(jù)分割成很多小的數(shù)據(jù)分區(qū)，每個(gè)數(shù)據(jù)分區(qū)連同它自身的日志存放在NoSQL數(shù)據(jù)庫(kù)中，具體來(lái)說(shuō)就是存放在Bigtable中。2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e方法一設(shè)計(jì)目標(biāo)及方案選擇設(shè)計(jì)目標(biāo)設(shè)計(jì)一種介于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)和NoSQL之間的存儲(chǔ)技術(shù)，盡可能達(dá)到高可用性和高可擴(kuò)展性的統(tǒng)一。方法二6

of58《云計(jì)算》第三版配套PPT課件數(shù)據(jù)的分區(qū)和復(fù)制2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e7

of58在Megastore中，這些小的數(shù)據(jù)分區(qū)被稱(chēng)為實(shí)體組集（Entity

Groups）。每個(gè)實(shí)體組集包含若干的實(shí)體組（Entity

Group，相當(dāng)于分區(qū)中表的概念）。一個(gè)實(shí)體組中包含很多的實(shí)體（Entity，相當(dāng)于表中記錄的概念）。of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施58《云計(jì)算》第三版配套PPT課件9

of2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不合適的三個(gè)原因傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)是通過(guò)連接（Join）來(lái)滿足用戶(hù)的需求的，但是就Megastore而言，這種數(shù)據(jù)模型是不合適的，主要有以下三個(gè)原因：原因1對(duì)于高負(fù)載的交互式應(yīng)用來(lái)說(shuō)，可預(yù)期的性能提升要比使用一種代價(jià)高昂的查詢(xún)語(yǔ)言所帶來(lái)的好處多原因2Megastore所面對(duì)的應(yīng)用是讀遠(yuǎn)多于寫(xiě)，因此好的選擇是將讀操作所需要做的工作盡可能地轉(zhuǎn)移到寫(xiě)操作上原因3在Bigtable這樣的鍵/值存儲(chǔ)系統(tǒng)中存儲(chǔ)和查詢(xún)級(jí)聯(lián)數(shù)據(jù)（Hierarchical

Data）是很方便的of58《云計(jì)算》第三版配套PPT課件Megastore數(shù)據(jù)模型怎么設(shè)計(jì)？《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e細(xì)粒度控制的數(shù)據(jù)模型和模式語(yǔ)言同關(guān)系型數(shù)據(jù)庫(kù)一樣，Megastore的數(shù)據(jù)模型是在模式（schema）中定義的且是強(qiáng)類(lèi)型的（strongly

typed）每個(gè)模式都由一系列的表（tables）構(gòu)成，表又包含有一系列的實(shí)體（entities），每實(shí)體中包含一系列屬性（properties）屬性是命名的且具有類(lèi)型，這些類(lèi)型包括字符型（strings）、數(shù)字類(lèi)型（numbers）或者Google的Protocol

Buffers。Google團(tuán)隊(duì)設(shè)計(jì)的Megastore數(shù)據(jù)模型11

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e照片共享服務(wù)數(shù)據(jù)模型實(shí)例表Photo就是一個(gè)子表，因?yàn)樗暶髁艘粋€(gè)外鍵User則是一個(gè)根表一個(gè)Megastore實(shí)例中可以有若干個(gè)不同的根表，表示不同類(lèi)型的實(shí)體組集三種不同屬性設(shè)置，既有必須的（如user_id），也有可選的（如thumbnail_url）Photo中的可重復(fù)類(lèi)型的tag屬性12

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

eMegastore索引局部

定義在單個(gè)實(shí)體組中，作用域僅限于單個(gè)實(shí)索引

體組（

如PhotosByTime

）可以橫跨多個(gè)實(shí)體組集進(jìn)行數(shù)據(jù)讀取操作（如PhotosByTag

）全局索引主要兩類(lèi)額外索引STORING子句（STORING

Clause）可重復(fù)的索引（Repeated

Indexes）內(nèi)聯(lián)索引（Inline

Indexes）13

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

eBigtable中存儲(chǔ)情況行鍵（Row

Key）UPhoto.timePhoto.tagPhoto._url101John101,50012:30:01Dinner,

Paris…101,50212:15:22Betty,

Paris…102MaryBigtable的列名實(shí)際上是表名和屬性名結(jié)合在一起得到，不同表中實(shí)體可存儲(chǔ)在同一個(gè)Bigtable行中14

of58of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施《云計(jì)算》第三版配套PPT課件Megastore提供的三種讀currentsnapshotinconsistent總是在單個(gè)實(shí)體組中完成總是在單個(gè)實(shí)體組中完成系統(tǒng)取出已知的最后一個(gè)完整提交的事務(wù)的時(shí)間戳，接著從這個(gè)位置讀數(shù)據(jù)忽略日志的狀態(tài)直接讀取最新的值2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e16

of58《云計(jì)算》第三版配套PPT課件完整的事務(wù)周期讀應(yīng)用邏輯提交生效清除獲取最后一次提交的事務(wù)的時(shí)間戳和日志位置從Bigtable讀取且聚集數(shù)據(jù)到日志入口使用Paxos達(dá)到一致，將個(gè)入口追加到日志將數(shù)據(jù)更新到Bigtable中的實(shí)體和索引清理不再需要的數(shù)據(jù)2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e17

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

eMegastore中的事務(wù)機(jī)制18

of58of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

eMegastore基本架構(gòu)在Meg

a

s

t

o

r

e中共有三種副本完整副本（Full

Replica）見(jiàn)證者副本（Witness

Replica）只讀副本（Read-only

Replica）20

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e快速讀與快速寫(xiě)快速讀快速寫(xiě)21

of58利用本地讀取實(shí)現(xiàn)快速讀，帶來(lái)更好的用戶(hù)體驗(yàn)及更低的延遲關(guān)鍵是保證選擇的副本上數(shù)據(jù)是最新的協(xié)調(diào)者是一個(gè)服務(wù)，該服務(wù)分布在每個(gè)副本的數(shù)據(jù)中心里面。它的主要作用就是跟蹤一個(gè)實(shí)體組集合協(xié)調(diào)者的狀態(tài)是由寫(xiě)算法來(lái)保證如果一次寫(xiě)成功，那么下一次寫(xiě)的時(shí)候就跳過(guò)準(zhǔn)備過(guò)程，直接進(jìn)入接受階段Megastore沒(méi)有使用專(zhuān)門(mén)的主服務(wù)器，而是使用leadersleader主要是來(lái)裁決哪個(gè)寫(xiě)入的值可以獲取0號(hào)提議客戶(hù)端、網(wǎng)絡(luò)及Bigtable的故障都會(huì)導(dǎo)致一個(gè)寫(xiě)操作處于不確定的狀態(tài)of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e復(fù)制的日志每個(gè)副本都存有記錄所有更新的數(shù)據(jù)。Megastore允許副本不按順序接受日志，這些日志將獨(dú)立的存儲(chǔ)在Bigtable中。預(yù)寫(xiě)式日志23

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e數(shù)據(jù)讀取本地查詢(xún)發(fā)現(xiàn)位置追趕

驗(yàn)證查詢(xún)數(shù)據(jù)24

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e數(shù)據(jù)寫(xiě)入接受leader準(zhǔn)備接受失效生效25

of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e協(xié)調(diào)者的可用性協(xié)調(diào)者在系統(tǒng)中是比較重要的——協(xié)調(diào)者的進(jìn)程運(yùn)行在每個(gè)數(shù)據(jù)中心。每次的寫(xiě)操作中都要涉及協(xié)調(diào)者，因此協(xié)調(diào)者的故障將會(huì)導(dǎo)致系統(tǒng)的不可用Megastore使用了Chubby鎖服務(wù)，為了處理請(qǐng)求，一個(gè)協(xié)調(diào)者必須持有多數(shù)鎖。一旦因?yàn)槌霈F(xiàn)問(wèn)題導(dǎo)致它丟失了大部分鎖，協(xié)調(diào)者就會(huì)恢復(fù)到一個(gè)默認(rèn)保守狀態(tài)除了可用性問(wèn)題，對(duì)于協(xié)調(diào)者的讀寫(xiě)協(xié)議必須滿足一系列的競(jìng)爭(zhēng)條件26

of58of58《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)Megastore2.5.1設(shè)計(jì)目標(biāo)及方案選擇

2.5.2

M

e

g

a

s

t

o

r

e數(shù)據(jù)模型2.5.3

M

e

g

a

s

t

o

r

e中的事務(wù)及并發(fā)控制

2.5.4

M

e

g

a

s

t

o

r

e基本架構(gòu)2.5.5核心技術(shù)——復(fù)制2.5.6產(chǎn)品性能及控制措施《云計(jì)算》第三版配套PPT課件2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e可用性的分布情況Megastore在Google中已經(jīng)部

署和使用了若干年，有超過(guò)100個(gè)產(chǎn)品使用Megastore作為其存儲(chǔ)系統(tǒng)從圖中可以看出，絕大多數(shù)產(chǎn)品具有極高的可用性（>99.999%）。這表明

Megastore系統(tǒng)的設(shè)計(jì)是非常成功的，基本達(dá)到了預(yù)期目標(biāo)28

of58《云計(jì)算》第三版配套PPT課件產(chǎn)品延遲情況的分布29

of582.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e應(yīng)用程序的平均讀取延遲在萬(wàn)分之一毫秒之內(nèi)，平均寫(xiě)入延遲在

100至400毫秒之間避免Megastore的性能下降，可采取以下三種應(yīng)對(duì)方法：重新選擇路由使客戶(hù)端繞開(kāi)出現(xiàn)問(wèn)題的副本將出現(xiàn)問(wèn)題副本上的協(xié)調(diào)者禁用，確保問(wèn)題的影響降至最小。禁用整個(gè)副本《云計(jì)算》第三版配套PPT課件目錄2.1

G

o

o

g

l

e文件系統(tǒng)G

F

S2.2分布式數(shù)據(jù)處理M

a

p

R

e

d

u

c

e2.3分布式鎖服務(wù)C

h

u

b

b

y2.4分布式結(jié)構(gòu)化數(shù)據(jù)表B

i

g

t

a

b

l

e2.5分布式存儲(chǔ)系統(tǒng)M

e

g

a

s

t

o

r

e2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.7海量數(shù)據(jù)的交互式分析工具D

r

e

m

e

l2.8內(nèi)存大數(shù)據(jù)分析系統(tǒng)P

o

w

e

r

D

r

i

l

l

2.9

G

o

o

g

l

e應(yīng)用程序引擎of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.6.1基本設(shè)計(jì)目標(biāo)2.6.2

D

a

p

p

e

r監(jiān)控系統(tǒng)簡(jiǎn)介2.6.3關(guān)鍵性技術(shù)2.6.4常用D

a

p

p

e

r工具2.6.5

D

a

p

p

e

r使用經(jīng)驗(yàn)of58在我們看來(lái)很簡(jiǎn)單的一次搜索實(shí)際上涉及了眾多Google后臺(tái)子系統(tǒng)，這些子系統(tǒng)的運(yùn)行狀態(tài)都需要進(jìn)行監(jiān)控用戶(hù)的平均每一次前臺(tái)搜索會(huì)導(dǎo)致Google的后臺(tái)發(fā)生1011次的處理《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper兩個(gè)基本要求Google的服務(wù)是全天候的，如果不能對(duì)Google的后臺(tái)同樣進(jìn)行全天候的監(jiān)控很可能會(huì)錯(cuò)過(guò)某些無(wú)法再現(xiàn)的關(guān)鍵性故障兩個(gè)基本要求1.廣泛可部署性（Ubiquitous

Deployment）設(shè)計(jì)出的監(jiān)控系統(tǒng)應(yīng)當(dāng)能夠?qū)ΡM可能多的Google服務(wù)進(jìn)行監(jiān)控監(jiān)控系統(tǒng)設(shè)計(jì)2.不間斷的監(jiān)控33

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper三個(gè)基本設(shè)計(jì)目標(biāo)低開(kāi)銷(xiāo)這個(gè)是廣泛可部署性的必然要求。監(jiān)控系統(tǒng)的開(kāi)銷(xiāo)越低，對(duì)于原系統(tǒng)的影響就越小，系統(tǒng)的開(kāi)發(fā)人員也就越愿意接受這個(gè)監(jiān)控系統(tǒng)。對(duì)應(yīng)用層透明監(jiān)控系統(tǒng)對(duì)程序員應(yīng)當(dāng)是不可見(jiàn)的。如果監(jiān)控系統(tǒng)的使用需要程序開(kāi)發(fā)人員對(duì)其底層的一些細(xì)節(jié)進(jìn)行調(diào)整才能正常工作的話，這個(gè)監(jiān)控系統(tǒng)肯定不是一個(gè)完善的監(jiān)控系統(tǒng)?？蓴U(kuò)展性Google的服務(wù)增長(zhǎng)速度是驚人的，設(shè)計(jì)出的系統(tǒng)至少在未來(lái)幾年里要能夠滿足Google服務(wù)和集群的需求。34

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.6.1基本設(shè)計(jì)目標(biāo)2.6.2

D

a

p

p

e

r監(jiān)控系統(tǒng)簡(jiǎn)介2.6.3關(guān)鍵性技術(shù)2.6.4常用D

a

p

p

e

r工具2.6.5

D

a

p

p

e

r使用經(jīng)驗(yàn)of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)DapperDapper監(jiān)控系統(tǒng)的基本概念典型分布式系統(tǒng)的請(qǐng)求及應(yīng)答過(guò)程用戶(hù)ABCD

E請(qǐng)求X應(yīng)答XRPC

1中間層RPC

2前端后臺(tái)RPC

4RPC

3在監(jiān)控系統(tǒng)中記錄下所有這些消息不難，如何將這些消息記錄同特定的請(qǐng)求（本例中的X）關(guān)聯(lián)起來(lái)才是分布式監(jiān)控系統(tǒng)設(shè)計(jì)中需要解決的關(guān)鍵性問(wèn)題之一。36

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)DapperDapper監(jiān)控系統(tǒng)的三個(gè)基本概念監(jiān)控樹(shù)（Trace

Tree）一個(gè)同特定事件相關(guān)的所有消息區(qū)間（Span）區(qū)間實(shí)際上就是一條記錄注釋?zhuān)ˋnnotation）注釋主要用來(lái)輔助推斷區(qū)間關(guān)系，也可以包含一些自定義的內(nèi)容37

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper區(qū)間Helper.Call的詳細(xì)信息區(qū)間包含了來(lái)自客戶(hù)端的注釋信息：“<Start>”、“Client

Send”、“Client

Recv”和“<End>”，也包含了來(lái)自服務(wù)器端的注釋信息：“Server

Recv”、“foo”和“Server

Send”38

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper監(jiān)控信息的匯總（1）將區(qū)間的數(shù)據(jù)寫(xiě)入到本地的日志文件（2）所有機(jī)器上的本地日志文件匯集（3）匯集后的數(shù)據(jù)寫(xiě)入到Bigtable存儲(chǔ)庫(kù)中39

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.6.1基本設(shè)計(jì)目標(biāo)2.6.2

D

a

p

p

e

r監(jiān)控系統(tǒng)簡(jiǎn)介2.6.3關(guān)鍵性技術(shù)2.6.4常用D

a

p

p

e

r工具2.6.5

D

a

p

p

e

r使用經(jīng)驗(yàn)of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper最關(guān)鍵的代碼基礎(chǔ)是基本RPC、線程和控制流函數(shù)庫(kù)的實(shí)現(xiàn)主要功能是實(shí)現(xiàn)區(qū)間創(chuàng)建、抽樣和在本地磁盤(pán)上記錄日志。將復(fù)雜的功能實(shí)現(xiàn)限制在一個(gè)輕量級(jí)的核心功能庫(kù)中保證了Dapper的監(jiān)控過(guò)程基本對(duì)應(yīng)用層透明。輕量級(jí)核心功能庫(kù)小規(guī)模庫(kù)通用線程（Ubiquitous

Threading）控制流（Control

Flow）RPC代碼庫(kù)（RPC

Library

Code）41

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper二次抽樣技術(shù)利用二次抽樣技術(shù)成功地解決了低開(kāi)銷(xiāo)及廣泛可部署性的問(wèn)題。第一次抽樣第二次抽樣實(shí)踐中，設(shè)計(jì)人員發(fā)現(xiàn)當(dāng)抽樣率低至1/1024時(shí)也能夠產(chǎn)生足夠多的有效監(jiān)控?cái)?shù)據(jù)，即在1024個(gè)請(qǐng)求中抽取1個(gè)進(jìn)行監(jiān)控也是可行的，從而可以捕獲有效數(shù)據(jù)發(fā)生在數(shù)據(jù)寫(xiě)入Bigtable前，具體方法是將監(jiān)控id散列成一個(gè)標(biāo)量z（0≤z≤1），如果某個(gè)區(qū)間的z小于事先定義好的匯總抽樣系數(shù)，則保留這個(gè)區(qū)間并將它寫(xiě)入Bigtable，否則丟棄42

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.6.1基本設(shè)計(jì)目標(biāo)2.6.2

D

a

p

p

e

r監(jiān)控系統(tǒng)簡(jiǎn)介2.6.3關(guān)鍵性技術(shù)2.6.4常用D

a

p

p

e

r工具2.6.5

D

a

p

p

e

r使用經(jīng)驗(yàn)of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)DapperDapper存儲(chǔ)APIDapper的“存儲(chǔ)API”簡(jiǎn)稱(chēng)為DAPI，提供了對(duì)分散在區(qū)域Dapper存儲(chǔ)庫(kù)（DEPOTS）的監(jiān)控記錄的直接訪問(wèn)。一般有以下三種方式訪問(wèn)這些記錄。通過(guò)監(jiān)控id訪問(wèn)（Access

by

Trace

id）

利用全局唯一的監(jiān)控id直接訪問(wèn)所需的監(jiān)控?cái)?shù)據(jù)塊訪問(wèn)（Bulk

Access）借助MapReduce對(duì)數(shù)以十億計(jì)的Dapper監(jiān)控?cái)?shù)據(jù)的并行訪問(wèn)44

of58（3）索引訪問(wèn)（Indexed

Access）Dapper存儲(chǔ)庫(kù)支持單索引（Single

Index）《云計(jì)算》第三版配套PPT課件Dapper用戶(hù)界面（1）選擇監(jiān)控對(duì)象（2）用戶(hù)對(duì)這些執(zhí)行模式進(jìn)行排序并選擇查看更多細(xì)節(jié)45

of58（3）分布式執(zhí)行模式圖形化描述呈現(xiàn)給用戶(hù)《云計(jì)算》第三版配套PPT課件Dapper用戶(hù)界面（4）根據(jù)最初選擇的開(kāi)銷(xiāo)度量標(biāo)準(zhǔn)，Dapper以頻度直方圖的形式將步驟（3）中選中的執(zhí)行模式的開(kāi)銷(xiāo)分布展示出來(lái)（5）用戶(hù)選擇了某個(gè)監(jiān)控樣例后，就會(huì)進(jìn)入所謂的監(jiān)控審查視圖（Trace

Inspection

View）46

of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)Dapper2.6.1基本設(shè)計(jì)目標(biāo)2.6.2

D

a

p

p

e

r監(jiān)控系統(tǒng)簡(jiǎn)介2.6.3關(guān)鍵性技術(shù)2.6.4常用D

a

p

p

e

r工具2.6.5

D

a

p

p

e

r使用經(jīng)驗(yàn)of58《云計(jì)算》第三版配套PPT課件2.6大規(guī)模分布式系統(tǒng)的監(jiān)控基礎(chǔ)架構(gòu)DapperDapper使用經(jīng)驗(yàn)新服務(wù)部署中Dapper的使用利用Dapper對(duì)系統(tǒng)延遲情況進(jìn)行一系列的跟蹤，進(jìn)而發(fā)現(xiàn)存在的問(wèn)題定位長(zhǎng)尾延遲（Addres