2024谷歌Bigtable：結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)

Bigtable盡管需求各異Bigtable還是成功

實(shí)現(xiàn)了可擴(kuò)展性和高性能BigtableBigtable層Google基礎(chǔ)架構(gòu)5節(jié)介紹了被FinanceOrkutWritelyGoogleEarth使用Bigtable來(lái)處理各種要求苛刻的工作負(fù)載，

提高Bigtable的性能7節(jié)規(guī)定Bigtable第11節(jié)介紹int64

5

1t3t5和t6。

分組到連續(xù)的行中/index.htmlcom.google.maps/index.html

family:qualifier表*T=);,CNN);r1.Delete(\hanchor:);

*stream；stream=圖Bigtable

Bigtable

Bigtable可以與MapReduce[12]一起使用Google開(kāi)發(fā)的用作MapReduce作業(yè)的輸入源和輸出目標(biāo)。據(jù)子集2顯示了使用RowMutation抽象來(lái)執(zhí)行一系列更新的C++代碼（為了使示例簡(jiǎn)短對(duì)Apply的調(diào)用對(duì)Webtable執(zhí)行原子突變\h

GoogleSSTableBigtableSSTable

MasterTabletTabletTablet和過(guò)期TabletGFS每個(gè)tablet服務(wù)器管理一組tablet（通常每個(gè)tablet服務(wù)器有10到tablet。BigtableChubby[8]Chubby

Bigtable集群存儲(chǔ)許多表tablet組成tablet包含

不可4第一級(jí)是存儲(chǔ)在Chubby中的一個(gè)文件128MBMETADATAlo?

METADATA

后才能更改它們1Chubby務(wù)器集以及tablet服務(wù)器的當(dāng)前分配情況tablet未分配tablettablettablet器會(huì)通過(guò)向tablet服務(wù)器發(fā)送tablet加載請(qǐng)求來(lái)分配tablet。

掃描遇到尚未分配的tablettablet添加到未分配tablet集中tablet有資格進(jìn)行tablet分配。tabletservertabletChubby（Chubbytabletserver就會(huì)嘗試重新獲取其文件的獨(dú)占鎖tabletserver器可以更快地重新分配其tablet

METADATA現(xiàn)有tablet的集合僅在創(chuàng)建或刪除tabletablet以形成tablettablettabletmaster載的tablet的一部分。

memtableSSTableGFStablet

SSTable期執(zhí)行合并壓縮來(lái)限制此類(lèi)文件的數(shù)量SSTable和memtable的內(nèi)容SSTable入的SSTable和memtable。SSTable服務(wù)器時(shí)當(dāng)Bigtable

每個(gè)SSTable塊（其大小SSTable壓縮方案Bentley和16KBMB/sGzip（3141Webtable

5.3節(jié)所述的GFS同一物理日志中不同tablet的突變,tablet服務(wù)器死機(jī)時(shí)tablet每個(gè)服務(wù)器通常只加載少量原始服務(wù)器的tablettablet該tablet來(lái)自原始提交日志志文件將被讀取100次（每個(gè)服務(wù)器一次）。

SSTable進(jìn)行垃圾收集tablet的SSTable都注冊(cè)在METADATA表中服務(wù)器通過(guò)對(duì)SSTable集進(jìn)行標(biāo)記和清除垃圾收集[25]來(lái)刪除過(guò)時(shí)的SSTable，其中METADATA表包含根集。

組成的GFS單元400GBIDE硬盤(pán)。

個(gè)tablet服務(wù)器上讀取或?qū)懭氪蠹s1GB的數(shù)據(jù)。除了SSTable緩存之外，

小相等的范圍N個(gè)客戶端

R

帶寬足以使平板服務(wù)器CPU飽和解析和Bigtable（memGFS到

GFSRPCBigtable

0 >

1：Bigtabletablet100網(wǎng)絡(luò)上每1000個(gè)64KB大塊

（200TB維護(hù)TB作業(yè)（Eart（表2提供了一些表格的數(shù)據(jù)

GB）\h（/psearchID

BigtableChubby

代碼中

即監(jiān)控便對(duì)于RPC的一個(gè)示例，METADATABigtableChubby約

而B(niǎo)igtable的目標(biāo)是直接?持客戶端CAN[29]Chord[32]Tapestry[37Pastry[30]對(duì)于來(lái)說(shuō)的RealApplicationCluster[27使用GFS[4[33BigtableDB2而不是基于行的存儲(chǔ)C?Store[134]以及SybaseIQ[15,36]等商業(yè)產(chǎn)品，MonetDB/X100[38]性組不?持CPU緩存級(jí)優(yōu)化BigtableC?Store

,（1（2（3

CalderBigtableDanAguayoSameerAjmaniZhifengChen、BillC