微博Cache架構(gòu)設(shè)計(jì)實(shí)踐

1、微博Cache架構(gòu)設(shè)計(jì)實(shí)踐技術(shù)創(chuàng)新 變革未來大綱數(shù)據(jù)挑戰(zhàn)Feed系統(tǒng)架構(gòu)Cache架構(gòu)及演進(jìn)總結(jié)及展望數(shù)據(jù)挑戰(zhàn)平臺接口 日訪問百億級Cache 內(nèi)存百T級核心記錄千億級Cache日訪問萬億級單個(gè)核心數(shù)據(jù) Cache QPS百萬級日活用戶 1.6億Feed平臺系統(tǒng)架構(gòu)Feed timeline構(gòu)建流程Feed Cache 架構(gòu)Cache架構(gòu)Cache架構(gòu)及演進(jìn)簡單KV數(shù)據(jù)類型單層HashMain-HACache架構(gòu)及演進(jìn)簡單KV數(shù)據(jù)類型Main-HA-LlCache架構(gòu)及演進(jìn)簡單KV數(shù)據(jù)類型Key PointMemcached 為主層內(nèi)HASH節(jié)點(diǎn)不漂移，miss則穿透多組L1 讀取性能升 峰值

2、流量成本降讀寫策略Write:多寫Read:逐層穿透，miss 回寫Json/xml Protocol BufferQuickLZ 壓縮Cache架構(gòu)及演進(jìn) 集合類數(shù)據(jù)業(yè)務(wù)特點(diǎn)部分修改分頁獲取資源計(jì)算 聯(lián)動計(jì)算類型 關(guān)注，粉絲，分組，共同關(guān)注，xx也關(guān)注方案 RedisHash 分布，MS，cache/storage30+T 內(nèi)存，2-3萬億rw/dayCache架構(gòu)及演進(jìn)集合類數(shù)據(jù)Redis擴(kuò)展(Longset)Long型開放數(shù)組，Double Hash 尋址Client 構(gòu)建數(shù)據(jù)結(jié)構(gòu)，elements 單次寫入Lsput 填充率過高，由client重建Lsgetall Lsdump少量而超

3、熱數(shù)據(jù) mc抗讀Cache架構(gòu)及演進(jìn)集合類數(shù)據(jù)Redis其他擴(kuò)展熱升級 10+分鐘毫秒級AOF:RotateROB:Pos of AOF全增量復(fù)制落地同步速控Cache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型計(jì)數(shù)業(yè)務(wù)特點(diǎn)單key有多計(jì)數(shù)（微博用戶多種計(jì)數(shù)）Value size較?。?-8個(gè)字節(jié)）每日新增記錄近十億級，總記錄千億級單次請求多條kvCache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型計(jì)數(shù)選型1: MemcachedMC 剔除，重啟數(shù)據(jù)丟失大量計(jì)數(shù)為0，如何存選型2: Redis內(nèi)存有效負(fù)荷低方問性能最終方案：自研CounterServiceShema 支持多列，按bit分配Tables 預(yù)分配，double-hash尋

4、址內(nèi)存降為1/5-1/15以下冷熱分離，SSD 存放老數(shù)據(jù)，老熱數(shù)據(jù)入LRU落地 RDB + AOF全增量復(fù)制單機(jī)：熱數(shù)據(jù)百億級，冷數(shù)據(jù)千億級Cache架構(gòu)及演進(jìn)計(jì)數(shù)器 CounterService存儲架構(gòu)Cache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型存在性判斷業(yè)務(wù)類型需求檢查是否存在（閱讀 贊）單條記錄量小，value 1bit (0/1)總數(shù)據(jù)量巨大，大量value為0每日新增數(shù)量大 千億級Cache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型存在性判斷選型1: Redis單條kv:65 bytes每日新增內(nèi)存 6T (不考慮HA)選型2 CounterService單條kv:9 bytes每日新增內(nèi)存 900G (不考慮H

5、A)Cache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型存在性判斷錄終方案：自研PhantomTable 分段預(yù)分配，段內(nèi) bloomfilter每條kv：1.2 bytes (1%誤判）每日新增內(nèi)存：12OG SOOG 6TCache架構(gòu)及演進(jìn)其他數(shù)據(jù)類型存在性判斷Phantom系統(tǒng)架構(gòu)數(shù)據(jù)存放共享內(nèi)存，重啟不丟數(shù)據(jù)落地 RDB + AOF兼容Redis 協(xié)議Cache架構(gòu)及演進(jìn)小結(jié)關(guān)注點(diǎn)集群內(nèi)高可用集群內(nèi)擴(kuò)展性組件高性能存儲成本Cache架構(gòu)及演進(jìn)進(jìn)步優(yōu)化業(yè)務(wù)關(guān)聯(lián)資源太多 如何簡化開發(fā)？常規(guī)峰值、突發(fā)流量如何快捷、低成本應(yīng)對？面向資源組件管理 如何簡化運(yùn)維？本地配置模式 如何快速變更？業(yè)務(wù)數(shù)據(jù)分類多如何獨(dú)立管

6、控SLA？Cache架構(gòu)及演進(jìn)服務(wù)化本地Confs 配置服務(wù)化configServer 管理配置服務(wù)，避免頻繁重啟資源服務(wù)管理 API 化變更方式 script 修改， smart client 異步更新Cache架構(gòu)及演進(jìn)服務(wù)化Cache 訪問Proxy 化IDC數(shù)據(jù)致性Collecting/replicationCache架構(gòu)及演進(jìn)服務(wù)化ClusterManager腳本化Web 界面化服務(wù)校驗(yàn) 業(yè)務(wù)SLA面向服務(wù)管控資源服務(wù)治理擴(kuò)容、縮容SLA 呆障監(jiān)控報(bào)警故障處理簡化開發(fā)屏蔽Cache資源細(xì)節(jié)單行配置訪問總結(jié)與展望Feed Cache 架構(gòu)數(shù)據(jù) 架構(gòu)性能 擴(kuò)展 可用性存儲 成本服務(wù)化Ll-M-HA分布策略開源擴(kuò)展優(yōu)化自研組件簡單KV集合類數(shù)據(jù)計(jì)數(shù)存在性判斷配