ArchSummit全球架構(gòu)師峰會(huì)-《分布式實(shí)現(xiàn)那些事兒：Pegasus 背后的故事》孫偉杰

i布式實(shí)現(xiàn)那些事兒.標(biāo)題文本..標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本.標(biāo)題文本孫偉杰云存儲(chǔ)工程師!浙江大學(xué)碩士畢業(yè)。目前就職C小米，致rCi布式存儲(chǔ)系統(tǒng)Pegasus的研發(fā)工作。熱愛(ài)底層技術(shù)，熱愛(ài)開(kāi)源，是i布式系統(tǒng)框架rDSN的重?Pegasus的產(chǎn)生?實(shí)現(xiàn)中的那些坑?現(xiàn)狀和計(jì)劃?總結(jié)!外部客戶(hù)端壓r太大導(dǎo)致Zookeeper不可用!Zookeeper不可用導(dǎo)致所有RegionServer不可用HBase的不足Pegasus的定位!中心y、iPartitionPegasus寫(xiě)請(qǐng)求流程Pegasus寫(xiě)請(qǐng)求流程Pegasus寫(xiě)請(qǐng)求流程Pegasus寫(xiě)請(qǐng)求流程Pegasus的讀請(qǐng)求流程圖?實(shí)現(xiàn)上的那些坑?現(xiàn)狀和計(jì)劃?總結(jié)Partition方案Hash排序方案無(wú)有無(wú)有各表分開(kāi)存表間資源限制(quota)不容易容易誤操作帶來(lái)的影響高概率影響多個(gè)業(yè)務(wù)低概率影響多個(gè)業(yè)務(wù)HashSchema的負(fù)載均衡個(gè)Key請(qǐng)求過(guò)熱(難以解決)個(gè)Partition請(qǐng)求過(guò)熱(無(wú)需考慮)?Partition容量i布不均(無(wú)需考慮)?Partition個(gè)數(shù)i布不均(需要處理)!Primary、Secondary不c享物理機(jī)!對(duì)C每個(gè)表：Primary、Secondary都平均i配!角色切換優(yōu)C數(shù)據(jù)拷貝!根據(jù)Primary的可能流向建立有向圖!Ford-Fulkerson方法：最短路+迭代考慮機(jī)架位等信息節(jié)點(diǎn)需要有權(quán)重拷貝數(shù)據(jù)時(shí)限流!數(shù)據(jù)不依賴(lài)DFS“T們有雙機(jī)房熱備嗎？”P(pán)egasus的多級(jí)冗余策略.滿(mǎn)足多種業(yè)務(wù)需求.表級(jí)別靈活控o，避ility品可用的一致性協(xié)議的實(shí)現(xiàn)A搶臨界區(qū)→無(wú)鎖串行y排隊(duì)!事件驅(qū)v、純異步、無(wú)鎖串行y?實(shí)現(xiàn)中的那些坑?Deterministic測(cè)試?現(xiàn)狀和計(jì)劃?總結(jié)i布式系統(tǒng)做穩(wěn)定很難問(wèn)題IO常狀態(tài)?控o程序的執(zhí)行順序控o程序的執(zhí)行順序：消除并行!單節(jié)點(diǎn)串行y：按序執(zhí)行+異步IO事件P隨機(jī)delay!節(jié)點(diǎn)間串行y：parallel→concurrent，多隊(duì)lP隨機(jī)調(diào)度!以一定的概率注入錯(cuò)誤!業(yè)務(wù)邏輯assert、添ta局狀態(tài)檢查模塊!發(fā)生異常時(shí)：用相同的隨機(jī)數(shù)種子重新運(yùn)行應(yīng)用case：一致性協(xié)議的單元測(cè)試i布式框架rDSN異步編程模型https///Microsoft/rDSN?實(shí)現(xiàn)中的那些坑?現(xiàn)狀和計(jì)劃?總結(jié)tion?b司e上線服務(wù)業(yè)務(wù)?持續(xù)開(kāi)源更多s能?RESTfulAPI?多租戶(hù)支持?實(shí)現(xiàn)中的那些坑?現(xiàn)狀和計(jì)劃?總結(jié)對(duì)C一個(gè)好的項(xiàng)目關(guān)注業(yè)務(wù)?明確業(yè)務(wù)需求關(guān)注架構(gòu)一致性、可用性、擴(kuò)展性、性能關(guān)注軟件工程?可維護(hù)性、測(cè)試、監(jiān)控?PacificA一致性協(xié)議：/en-us/research/publication/pacifica-replication-in-log-based-distributed-storage-systems/?《ArchSummit2016北京》關(guān)CPegasus的技術(shù)i享：/presentation/3023.標(biāo)題文本.