LSQL大規(guī)模集群技術(shù)架構(gòu)

1、技術(shù)創(chuàng)新，變革未來LSQL大規(guī)模集群技術(shù)架構(gòu)LSQL介紹LSQL大規(guī)模集群優(yōu)化 LSQL集群運維實例一LSQL集群運維實例二目錄01LSQL介紹應(yīng)用層 Application LayerSQL計算層SQL computing LayerLSQL存儲引擎層Storage Engine Layer全文檢索引擎 Full-Text EngineKV 引擎Key-Value EngineOLAP 引擎 OLAP Engine預(yù)計算 引擎Pre-Computing Engine行業(yè)定制引擎 Industry EngineHadoop 基礎(chǔ)服務(wù)HDFSYARN基礎(chǔ)設(shè)施層 Infrastructure La

2、yer私有云 Private / 公有云 Public / 混合云 Hybrid / 物理集群 ClusterJDBC / REST外部數(shù)據(jù)源 External Data SourceOracle /MySQLKafkaHiveJSON / TXT / CSVParquet / ORCCustomerETL ToolsLSQL介紹LSQL集群架構(gòu)DN NM LSQLDN NM LSQLDN NM LSQLNNLSQLDriverRMDN NM LSQLZKZKZKKafkaKafkaKafkaJNJNJN02LSQL優(yōu)化LSQL優(yōu)化映射表/視圖表不同表不同分片DN請求緩存過載保護(hù)LSQL優(yōu)化1

3、映射表列1列2列3列4列5128甲215乙340丙丁Tom男戊Lucy女己Mary女分組姓名性別丁Tom男戊Lucy女己Mary女ID年齡分組128甲215乙340丙物理表Physical Table映射表1Mapping Table映射表2Mapping TableLSQL優(yōu)化映射表/視圖表不同表不同分片DN請求緩存過載保護(hù)LSQL優(yōu)化2不同表不同分片大表小表1200分片LSQL優(yōu)化映射表/視圖表不同表不同分片DN請求緩存過載保護(hù)LSQL優(yōu)化3DN請求緩存NameNodeDN無Cache層LSQLDNCache層LSQL未使用DN緩存使用DN緩存LSQL優(yōu)化映射表/視圖表不同表不同分片DN請

4、求緩存過載保護(hù)倒排表掃描長度限制。Shuffle 達(dá)到過載保護(hù)的閾值，則中斷此操作。單次查詢文件讀寫量的過載控制。SQL任務(wù)執(zhí)行時間的控制，超時kill。LSQL優(yōu)化4過載保護(hù)03LSQL運維實例一LSQL案例背景3000張表數(shù)據(jù)規(guī)模超萬億條（PB級）日增300500億條（幾十TB）數(shù)據(jù)存儲三個月以上全文檢索、多維查詢、地理位置檢索數(shù)據(jù)碰撞、多表關(guān)聯(lián)、統(tǒng)計、數(shù)據(jù)導(dǎo)出等每日請求近百萬次90%查詢響應(yīng)時間 3天) 全量心跳ervalMsec ： (0 = 300)增量數(shù)據(jù)心跳erv

5、al ：erval ：(3秒 = 60秒）心跳間隔(3秒 = 60秒）減少心跳頻率node.invalidate.work.pct.per.iteration ：（0.32 = 0.15）減少掃 描節(jié)點數(shù)量卡頓依舊！IBR同步機制的問題刪除塊接收塊DataNodeIBR上報NameNode同步處理IBR：增量塊匯報(Incremental Block Report)，發(fā)生時機：剛剛被刪除的塊正在被接收(寫)的塊接收完畢(已被寫完)的塊問題1：DN實時上報IBR問題2：NN同步處理IBRIBR延時異步處理刪除塊接收塊DataNodeBP線程Nam

6、eNode異步處理線程1，DN延時發(fā)送IBR2，NN異步處理IBRPending IBR暫存 隊列04LSQL運維實例二千臺聯(lián)邦模式LSQL服務(wù)異常中止日志分析：NN處于Standby模式？原因分析及對策原因調(diào)查：1，NN負(fù)載過高，出現(xiàn)主備切換 2，主備切換后，F(xiàn)ailover失效參數(shù)不起作用：dfs.federation.router.client.retry.max.attemptsSubCluster0主備切換異常原因State StoreRRNNNNDNDNDNActiveStandby修改Router源碼NN高負(fù)載原因之一ChooseRandom()隨機選節(jié)點引發(fā)的問題隨機算法修改遍

7、歷所有節(jié)點判斷是否屬于排除節(jié)點加入候選列表判斷節(jié)點存儲類型從候選列表隨機選擇從所有節(jié)點隨機選擇判斷是否屬于排除節(jié)點判斷節(jié)點存儲類型返回所選節(jié)點去掉全局鎖循環(huán)數(shù)次NN高負(fù)載原因之二異構(gòu)存儲引發(fā)的問題Excluded列表包含幾百臺DN，全部為SSD節(jié)點!NN高負(fù)載原因之二節(jié)點排除策略引發(fā)的問題maxLoad = 系數(shù) * 集群平均Xceiver負(fù)載數(shù)節(jié)點的負(fù)載數(shù) maxLoad，將其加入exclude列表修改節(jié)點排除策略# 禁用# 增加倍數(shù)默認(rèn)值：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 2.0修改方法：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 5.0NN高負(fù)載原因之三機架策略引發(fā)的問題遍歷大量SATA節(jié)點！SATA節(jié)點NN高負(fù)載原因之三每機架最大副本數(shù) = （總副本數(shù) 1）/ 機架數(shù) + 2Rack01Rack02Rack03Rack04Rack05Rac