數(shù)字資產(chǎn)下的數(shù)據(jù)存儲(chǔ)實(shí)踐

數(shù)字資產(chǎn)下的數(shù)據(jù)存儲(chǔ)實(shí)踐葛雙博阿里云數(shù)據(jù)庫高級(jí)產(chǎn)品專家集中存儲(chǔ)關(guān)系數(shù)據(jù)庫萬物互聯(lián)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)集中存儲(chǔ)關(guān)系數(shù)據(jù)庫萬物互聯(lián)互聯(lián)網(wǎng)移動(dòng)互聯(lián)網(wǎng)人工智能智慧生活車聯(lián)網(wǎng)數(shù)字資產(chǎn)-〕里云云原生多模垂直化垂直化關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫0.120252005201020150.12025-〕里云簡單易用/高可靠/擴(kuò)容高可靠/擴(kuò)容/數(shù)據(jù)處理簡單易用可靠性/可用性(硬件故障、數(shù)據(jù)備份)取指定數(shù)據(jù)在線擴(kuò)容高吞吐在線擴(kuò)容高吞吐LindormAPILindormMulti-Model引擎寬表時(shí)序搜索文件LindormStream數(shù)據(jù)流訂閱與計(jì)算LindormDFS存儲(chǔ)HadoopCompatibleFilesystemProtocol（100%HDFS兼容）透明轉(zhuǎn)存標(biāo)準(zhǔn)/性能型存儲(chǔ)透明轉(zhuǎn)存標(biāo)準(zhǔn)/性能型存儲(chǔ)容量型存儲(chǔ)容量型存儲(chǔ)分布式存儲(chǔ)分布式數(shù)據(jù)庫磁盤磁盤分庫分表磁盤分布式存儲(chǔ)分布式數(shù)據(jù)庫磁盤磁盤分庫分表磁盤傳統(tǒng)單機(jī)數(shù)據(jù)庫-〕里云支付寶賬單高度可控金融級(jí)節(jié)點(diǎn)存儲(chǔ)峰值請求支付寶賬單高度可控金融級(jí)節(jié)點(diǎn)存儲(chǔ)峰值請求手淘消息手淘消息菜鳥物流監(jiān)控,大屏,軌跡,設(shè)備狀態(tài)…GMV&光明頂大屏g螞蟻智能風(fēng)控推薦,搜索,BI報(bào)表…廣告直通車生意參謀淘寶淘寶天貓支付寶菜鳥阿里媽媽優(yōu)酷大文娛飛豬AE友盟餓了么釘釘盒馬高德-〕里云低成本低成本高可靠高性能 -〕里云把存儲(chǔ)當(dāng)算力，有效存儲(chǔ)越大，算力越大。100PB以上規(guī)模存儲(chǔ)，需要存儲(chǔ)集群能無限擴(kuò)展。擴(kuò)容不影響封裝數(shù)據(jù)的寫入和時(shí)空證明寫入吞吐在1-100GB/s磁盤故障、服務(wù)器故障，不影響封裝數(shù)據(jù)寫入和時(shí)空證封裝數(shù)據(jù)寫入和時(shí)空證明IO沖突。分布式分布式智能調(diào)度智能調(diào)度冗余度內(nèi)磁盤或者節(jié)點(diǎn)故障不影響時(shí)空證明擴(kuò)容不影響寫入和時(shí)空證明子集群可無限擴(kuò)展元數(shù)據(jù)1+2容災(zāi)，允許故障2個(gè)節(jié)點(diǎn)讀寫沖突時(shí)，優(yōu)先保證時(shí)空證明智能控制Rebuild帶寬，保證時(shí)空證明 客戶端掛載提供文件操作接口(如有其他系統(tǒng)支持需求可根據(jù)實(shí)際情況進(jìn)行支持)?單個(gè)LDFS集群掛載進(jìn)程占用約10GB內(nèi)存(可調(diào))?單個(gè)LDFS掛載進(jìn)程并發(fā)打開文件句柄數(shù)不超過10萬-〕里云 APP/ldfs-1//ldfs-1節(jié)點(diǎn)數(shù)量線性增長?每個(gè)子集群由3個(gè)元數(shù)據(jù)節(jié)點(diǎn)+最大120個(gè)存儲(chǔ)節(jié)點(diǎn)(67PB)構(gòu)成?子集群內(nèi)擴(kuò)容存儲(chǔ)節(jié)點(diǎn)，應(yīng)用無感知?元數(shù)據(jù)節(jié)點(diǎn)允許故障2臺(tái)接入交換機(jī)接入交換機(jī)接入交換機(jī)元數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)節(jié)點(diǎn)數(shù)量線性增長?每個(gè)子集群由3個(gè)元數(shù)據(jù)節(jié)點(diǎn)+最大120個(gè)存儲(chǔ)節(jié)點(diǎn)(67PB)構(gòu)成?子集群內(nèi)擴(kuò)容存儲(chǔ)節(jié)點(diǎn)，應(yīng)用無感知?元數(shù)據(jù)節(jié)點(diǎn)允許故障2臺(tái)接入交換機(jī)接入交換機(jī)接入交換機(jī)元數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)客戶端節(jié)點(diǎn)客戶端節(jié)點(diǎn)無限水平擴(kuò)展子集群1子集群2子集群N數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)故障容忍故障容忍冗余策略數(shù)據(jù)節(jié)點(diǎn)元數(shù)據(jù)節(jié)點(diǎn)故障容忍故障容忍推薦模式最小模式推薦模式最小模式存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)8存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)協(xié)議機(jī)協(xié)議機(jī)協(xié)議機(jī)協(xié)議機(jī)….存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)8扇形寫入高效利用帶寬8存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)協(xié)議機(jī)協(xié)議機(jī)協(xié)議機(jī)協(xié)議機(jī)….存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)8扇形寫入模式存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)節(jié)點(diǎn)以EC8+2舉例存儲(chǔ)節(jié)點(diǎn)智能識(shí)別切換智能識(shí)別切換-〕里云數(shù)據(jù)封裝模式數(shù)據(jù)封裝模式封裝流量WindowPost請求封裝流量WindowPost請求 數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本 數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本數(shù)據(jù)副本壞盤/慢盤宕機(jī)/網(wǎng)絡(luò)故障-〕里云數(shù)據(jù)副本數(shù)據(jù)副本壞盤/慢盤宕機(jī)/網(wǎng)絡(luò)故障1.以EC8+2為例，可容忍兩節(jié)點(diǎn)不可用可容忍兩節(jié)點(diǎn)不可用。損壞節(jié)點(diǎn)維修后可重新集群剩余節(jié)點(diǎn)進(jìn)行并行數(shù)據(jù)Rebuild不可用節(jié)點(diǎn)免Rebuild流量影響WindowPost指標(biāo)項(xiàng)指標(biāo)內(nèi)容磁盤水位單獨(dú)物理磁盤容量單機(jī)可用邏輯容量442TB(1000進(jìn)制)/402TiB(1024進(jìn)制)單機(jī)可承載密封塊單機(jī)帶寬單機(jī)rebuild能力里里存儲(chǔ)節(jié)點(diǎn)監(jiān)控運(yùn)維中心 元數(shù)據(jù)節(jié)點(diǎn)托管機(jī)房-〕里云?永久存儲(chǔ)，不刪除，總規(guī)模上百TB?時(shí)間維度：最近的數(shù)據(jù)最熱，最遠(yuǎn)的數(shù)據(jù)最冷?部分股票和K線顆粒度是數(shù)據(jù)熱點(diǎn)?20%的熱數(shù)據(jù)占了80%的QPS快照類行情數(shù)據(jù)逐筆航行數(shù)據(jù)開盤價(jià)/收盤價(jià)/最高價(jià)/最低價(jià)/成交量/時(shí)間戳股票ID+時(shí)間+K線顆粒度程序觸發(fā)查詢，并發(fā)度高-〕里云最小值 最大值最小值一行情數(shù)據(jù)一K線統(tǒng)計(jì)……存儲(chǔ)原始行情數(shù)據(jù)存儲(chǔ)K線數(shù)據(jù) !用戶查詢?同時(shí)引入MySQL和Redis，運(yùn)維復(fù)雜?MySQL無法支撐海量存儲(chǔ)和高并發(fā)查詢?分庫分表無法應(yīng)對業(yè)務(wù)持續(xù)增長帶來的擴(kuò)容需求?分庫分表方案無法應(yīng)對單機(jī)熱點(diǎn)數(shù)據(jù)?存儲(chǔ)成本高一行情數(shù)據(jù)一 內(nèi)存中計(jì)算最大值最小值 結(jié)果寫入……存儲(chǔ)原始行情數(shù)據(jù)異常時(shí)加載存儲(chǔ)K線數(shù)據(jù)存儲(chǔ)原始行情數(shù)據(jù) 用戶查詢?使用Lindorm替換MySQL和Redis，無需維護(hù)兩套開源技術(shù)組件?Lindorm提供冷熱分離能力，存儲(chǔ)成本下降70%?在線彈性擴(kuò)容?數(shù)據(jù)自動(dòng)均衡和單機(jī)抗熱點(diǎn)?高性能，支持千萬級(jí)QPS?支持二級(jí)索引和全文檢索，提供數(shù)據(jù)分析能力?金融級(jí)容災(zāi)(同城強(qiáng)一致和異地容災(zāi))?數(shù)據(jù)按時(shí)間線寫入，近線訪問為主?冷數(shù)據(jù)存儲(chǔ)成本減少80%，熱數(shù)據(jù)訪問性能提升15%01不壓縮 2快速壓縮?數(shù)據(jù)按時(shí)間線寫入，近線訪問為主?冷數(shù)據(jù)存儲(chǔ)成本減少80%，熱數(shù)據(jù)訪問性能提升15%01不壓縮 2快速壓縮3?即開即用，按表開啟?應(yīng)用零改造?冷熱分隔線，靈活調(diào)整深度壓縮?自由設(shè)置冷熱的存儲(chǔ)介質(zhì)、壓縮算法性能型存儲(chǔ)容量型存儲(chǔ)標(biāo)準(zhǔn)型存儲(chǔ)冷熱分離冷熱分離推送Server3(隔離服務(wù)器)Server2Server1Server0HotKey探測模塊Region匯報(bào)模塊Region匯報(bào)模塊收集推送Server3(隔離服務(wù)器)Server2Server1Server0HotKey探測模塊Region匯報(bào)模塊Region匯報(bào)模塊收集-〕里云釘釘釘釘BotHotKeyHotKey探測模塊RegionRegion匯報(bào)模塊當(dāng)業(yè)務(wù)存在訪問熱點(diǎn)時(shí)，可能打爆服務(wù)器,影響全局服務(wù)熱點(diǎn)Key實(shí)時(shí)識(shí)別結(jié)合外部控制系統(tǒng)，自動(dòng)隔離熱點(diǎn)KeyLindorm寬表引擎ServerServerServer行格式列格式Lindorm搜索引擎SearchServerSearchServerSearchServerLindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)簡單查詢&寫入&數(shù)據(jù)管理計(jì)算引擎ServerServerServer聯(lián)邦分析&ETL檢索聚合查詢簡單易用產(chǎn)品特性，開箱即用，無需額外開發(fā)和維護(hù)Lindorm寬表引擎ServerServerServer行格式列格式Lindorm搜索引擎SearchServerSearchServerSearchServerLindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)簡單查詢&寫入&數(shù)據(jù)管理計(jì)算引擎ServerServerServer聯(lián)邦分析&ETL檢索聚合查詢簡單易用產(chǎn)品特性，開箱即用，無需額外開發(fā)和維護(hù)在線高并發(fā)請求統(tǒng)一SQL訪問數(shù)據(jù)的管理、讀寫、分析等統(tǒng)一SQL接入根據(jù)SQL類型自動(dòng)選擇合適的存儲(chǔ)引擎在線請求與分析請求自動(dòng)資源隔離，消除相互影響數(shù)據(jù)一致元數(shù)據(jù)自動(dòng)打通實(shí)時(shí)交互式分析數(shù)據(jù)按需自動(dòng)同步，毫秒級(jí)低延遲支持強(qiáng)同步低成本數(shù)據(jù)統(tǒng)一存儲(chǔ)在LDFS，大幅減少碎片高性能寬表引擎：使用行存格式，支持高并發(fā)在線服務(wù)搜索引擎：使用倒排+列存(自研PAX、開源Parquet等多支持高性能分析üüüüüüüüüüüü復(fù)雜分析復(fù)雜分析計(jì)算引擎：基于Spark引擎深度優(yōu)化，提供高性能融合分析分布式全分布式架構(gòu)，水平擴(kuò)展，自動(dòng)容錯(cuò)，滿足企業(yè)級(jí)高可靠需求Lindorm跨機(jī)房部署，支持機(jī)房級(jí)故障的自動(dòng)恢復(fù)，并保證數(shù)據(jù)的強(qiáng)一致使用場景1.99.99%以上SLA優(yōu)勢關(guān)鍵技術(shù)4.節(jié)點(diǎn)/機(jī)房故障后，自動(dòng)切換Leader資源利用率高率請求容錯(cuò)，去毛刺-〕里云機(jī)房A機(jī)房B機(jī)房CZoneAn邏輯圖部署圖數(shù)據(jù)同步服務(wù)t數(shù)據(jù)同步服務(wù)t-〕里云優(yōu)勢以表為粒度，自由單雙向同步百毫秒數(shù)據(jù)延遲對lindorm集群無影響，由LTS做數(shù)據(jù)參與同步的集群數(shù)量、表數(shù)量無限制延遲可監(jiān)控報(bào)警、數(shù)據(jù)鏈路可API管理分布式、自容錯(cuò)、數(shù)據(jù)校驗(yàn)-〕里云低成本低成本?智能壓縮，高壓縮率?按需在線擴(kuò)容?自動(dòng)冷熱分級(jí)存儲(chǔ)?多種存儲(chǔ)介質(zhì)混存自動(dòng)刪除過期數(shù)據(jù)云原生云原生和存儲(chǔ)獨(dú)立伸縮?秒級(jí)在線擴(kuò)容，擴(kuò)容過程不影響服務(wù)?100PB水平擴(kuò)展高性能高性能?點(diǎn)查場景千萬級(jí)高并發(fā)下保證個(gè)位數(shù)毫秒?多維實(shí)時(shí)檢索?實(shí)時(shí)數(shù)據(jù)高并發(fā)寫入?離線數(shù)據(jù)快速導(dǎo)入數(shù)據(jù)處理數(shù)據(jù)處理?關(guān)系/鍵值/文件/搜索/時(shí)序/時(shí)空能力超融合，業(yè)務(wù)化繁為簡?二級(jí)索引和多維檢