大規(guī)模集群管理及遷移

DBA,Baidu肖貝貝MongoDB中國大會MongoDB數(shù)據(jù)遷移主要內(nèi)容：主要內(nèi)容介紹:MongoDB在百度云的使用

遇到的問題與解決方法MongoDB集群內(nèi)均衡MonogDB集群間遷移MongoDB在百度云

應(yīng)用：百度云首頁信息通訊錄短信人臉識別數(shù)據(jù)百度網(wǎng)盤圖片元數(shù)據(jù)日志類記錄…數(shù)據(jù)量與請求量：總的數(shù)據(jù)量千億以上.每秒請求數(shù)據(jù)量很多.MongoDB實例很多.單集群群上幾百億數(shù)據(jù).服務(wù)保證:可靠服務(wù).遇到的問題與解決方法

遇到的問題：IO問題:IO被打滿.換SSD磁盤,加分片.每個分片的組成:2-4臺SSD在線服務(wù)節(jié)點.從是否提供讀取決于業(yè)務(wù)要求:主從延遲.0-1臺HDD,延時備份機器.數(shù)量不等的投票機器.SSD芯片的選擇

:不同芯片的SSD性能有明顯差別.iostat的util長期100%遇到的問題：集群可控性問題:封禁與權(quán)限問題.問題原因:資源隔離性不夠完全.封禁需求:部分用戶非法操作:

視為攻擊行為.權(quán)限控制需求:禁止使用者做昂貴操作與可能導(dǎo)致嚴(yán)重問題的操作:創(chuàng)建索引等...刪除索引,刪除數(shù)據(jù)表等...解決辦法:

上層權(quán)限處理:添加rest接口.遇到的問題：在線建索引

:直接或者后臺建立影響性能.導(dǎo)致的問題:建立索引時出現(xiàn)查詢寫入超時.解決辦法:利用復(fù)制集單節(jié)點失效不影響集群存活的特性,輪轉(zhuǎn)建立索引.先從后主.注意:oplog時間要足夠長.連接問題：每個到Mongos的連接都會創(chuàng)建一個到后端分片的連接.導(dǎo)致的問題:客戶端數(shù)量增加導(dǎo)致連接數(shù)線性增長.解決辦法:Monogs之前的proxy:連接池.連接問題：導(dǎo)致的問題:分片之間連接影響.解決辦法:

使用具有各分片間連接數(shù)控制的輕量proxy代替mongos.收益:一個分片響應(yīng)緩慢不再影響其他分片查詢.弊端:不再支持跨分片查詢.遇到的問題：均衡問題:服務(wù)器負(fù)載較高時的均衡性能.設(shè)置均衡時間窗口.性能原因定位:刪除數(shù)據(jù)階段IO問題.解決辦法一:

取消均衡數(shù)據(jù)的同步刪除數(shù)據(jù)階段,改為后臺刪除.緩解,不治本.解決辦法二:

完全取消均衡數(shù)據(jù)的刪除階段.BalancerMongoDB集群內(nèi)均衡

自動的均衡：

...ConfigServerMongos將某個chunk遷移至shard2shard1shard2請接收數(shù)據(jù)...數(shù)據(jù)傳輸...更新ChunkManager更新ChunkManager更新Chunk信息更新Chunk緩存刪除或者不刪除...增量數(shù)據(jù)同步...我們的均衡：

...ConfigServerMongosshard1shard2數(shù)據(jù)傳輸...更新ChunkManager更新ChunkManager更新Chunk信息WriteBack時更新均衡效果：收益:速度大幅提升.限制:分片必須為復(fù)制集.可用于MongoDB數(shù)據(jù)庫擴(kuò)容/縮容.MongoDB集群間遷移

應(yīng)用場景：機器過保下架機器操作系統(tǒng)更換機房機器調(diào)整業(yè)務(wù)表在集群之間調(diào)整......基本思路：基礎(chǔ)數(shù)據(jù)遷移:查找寫入(export+import)或者是(find+insert)增量數(shù)據(jù)遷移:使用oplogapi切換:業(yè)務(wù)層無感知基礎(chǔ)數(shù)據(jù)遷移：find數(shù)據(jù)之后insert到目標(biāo)mongos遇到的問題:遷移工具長時間運行有意外被殺死的可能解決辦法:遷移工具進(jìn)度記錄,可以在任意時間中斷并重啟基礎(chǔ)數(shù)據(jù)遷移：find數(shù)據(jù)之后insert到目標(biāo)mongos遇到的問題:基礎(chǔ)數(shù)據(jù)量太大,遷移階段oplog滾動一圈解決辦法:多線程find+insert,增加數(shù)據(jù)遷移速度按照shardkey范圍進(jìn)行多次遷移增量數(shù)據(jù)遷移：oplog回放操作:遇到的問題:oplog回放速度小于oplog增長速度分析:

oplog有序性限制寫入.解決辦法:同類操作批量進(jìn)行,如連續(xù)寫(場景有限).oplog是否可以無序以實現(xiàn)并發(fā).shardkey為保證順序的最小粒度.增量數(shù)據(jù)遷移：具體操作:隊列讀寫,shardkey取模分配.隊列間并發(fā).收益:同步速度接近極限.缺點:只適用于分片的集合.絕大多數(shù)大型集群都被分片.增量數(shù)據(jù)遷移：問題:oplog格式shardkey在某些oplog中不存在.增加shardkey到所有oplog的o字段.帶來的問題:沒發(fā)現(xiàn)問題.現(xiàn)在,我們所有的MongoDB都是修改了opl