2024攜程HBase 實踐應用

攜程HBaseHBase目前我們使用的HBase版本為1.2.0-cdh5.7.1版，表的數(shù)量1000張以上，大表超過了100TBQPS5HDFS50TB（HBaseOpenTSDB，將埋點數(shù)據(jù)分析給應用，查看應用請求量和延遲等HBaseBUHermesJstormjobidHBaseHBaseSSD集群訪問延遲基本控制在10ms以內(nèi)。除了以上場景外，其他所有業(yè)務線都用到了HBase。使用方式基本類似，實時寫一般通過Jstorm/HBaseAPI寫入HBase，批量寫一般通過SPARK/MR/Hive/Kylin等，應用讀取HBase再去使用。hickwallOSjmxAPIHBaseHDFSzookeeper的其它數(shù)據(jù)。數(shù)據(jù)落地到inflexDB，然后在Griffin上展示，同時依據(jù)一些規(guī)則產(chǎn)生一些告警。flashCompaction隊列，flash隊列請求比較大意味著機群的寫負載比較重，如果高峰期Compaction隊列有積壓需要調(diào)整Compaction策略，避免業(yè)務高峰期影響性能。Blockcache中讀取，這樣讀寫延遲比較高。Hlog、Storefile文件數(shù)過大，則表明寫的負載比較重，也會根據(jù)Storefile文件大小，如Regionserver上總Storefile文件大小預估MajorCompaction的消耗。MajorCompaction將所有數(shù)據(jù)讀出來寫成一個新的文件，如果Storefile很大，預示著Compaction消耗也很大。GetScanputGCGCGC功能，其思路是建一個表，建表的時候首先會知道集群有多少RegionServer，根據(jù)RegionServer數(shù)量進行預分區(qū)，構(gòu)建Region；檢查確保每個RegionServer上都有Region；然后每個一段時間對所有RegionServer進行put/scan一行，分別獲取耗時。這樣得到一個直觀的數(shù)據(jù)可以了解到用戶的訪問延遲或者哪個RegionServer的響應延遲則，比如連續(xù)失敗N次需要報警燈等。HBasePingPingDisk況，CPUCPUSWAPSWAP率，QPS表示請求量，NetWork展示最近每塊網(wǎng)卡的流量使用情況，IO指IO延遲。覽”看板，展示了集群總的請求量，以及某些指標MaxTopN的RegionServer,比如說想知道有哪些RegionServer的請求量是最高的，可以通過MaxTopN指標展示哪些RegionServer它的作用是讓我們快速發(fā)現(xiàn)表有沒有熱點或者熱點是在哪個RegionServer需要從InfluxDB上根據(jù)自己需要自定義查詢，如下圖二所示“自定義查詢”，比如想查詢集群中請求量最大的表有哪些或者整個集群中最熱的Region是哪個，可以通過自定義查BomHBaseGuava依賴的是11版，而很多用戶使用的第三方產(chǎn)品可能依賴的是18版，那么就會產(chǎn)生版本的ShadeGuavaABQConfigB集群，那么客戶端在新建連接的時候就能感知到配置信息發(fā)生了變化，這時候就會關(guān)閉AConnectionTablenewConnectionBADashBoard方便地告訴用戶應用響應慢是因為用戶邏輯慢還是由于HBase響應慢。Hive上操作，把A集群的數(shù)據(jù)先加入到Hive，然后再寫入B集群，從而完成遷移；平時Export/Import，其優(yōu)點是可以使用增量遷移，在遷移時可以指定時間戳；遷移較快的是直接CopyHFile，然后在新集群直接BulkLoad，因為它跳過了HBase層面的HDFSHBase，等等，我們基本不采用這種方式。我們采用的升級基本是先搭建一個新的1.2的集群，然后在Hive上操作，把HBase0.94上的數(shù)據(jù)先讀到Hive，然后再1.2我們還可以通過修改Replication，通過模擬Replication來完成遷移。ReplicationReplication并解析數(shù)據(jù)，然后將數(shù)據(jù)寫入到Slave集群。SlaveKAFKA，再用Jstrom消費寫入新的集群中。采用這種方式來完成遷移。CompactionCompaction，然后通過腳本以Region為單位進行MajorCompaction，周期為N天，周期根據(jù)lastMajorCompactionTimestamp、TTL、writes高峰期觸發(fā)Split，對性能損耗非常大。候，可能表已存在，那么如何避免呢？我們通過獲取Client設置不當報錯以及其他熱點問ClientRegionMovedExceptionRegionSplit的方式，避免業(yè)務高峰期自己Split。rowkeyRegion較小時，實現(xiàn)自動化Split過熱的Region。比如某個Client一直報錯RegionMovedException？很多時候是因為Region遷移了報錯。當發(fā)生錯誤后我們開始查找問題，如下圖所示，當hbase.client.retries.number<=1非常低時出現(xiàn)錯誤直接throwable，沒有重試機會。IO我們通過查看性能，發(fā)現(xiàn)有一個RegionServer在這個時間點CPU有沖高，然后我們也發(fā)CPU_wioIOHBase通過如下命令查看SMART信息：