kingshard數(shù)據(jù)庫中間件設(shè)計(jì)與實(shí)現(xiàn)

kingshard數(shù)據(jù)庫中間件設(shè)計(jì)與實(shí)現(xiàn)1陳非github:@flikeweibo:@chenfei001Agenda業(yè)務(wù)使用MySQL的痛點(diǎn)主流MySQLProxy方案kingshard的設(shè)計(jì)與實(shí)現(xiàn)總結(jié)2業(yè)務(wù)使用MySQL的痛點(diǎn)業(yè)務(wù)實(shí)現(xiàn)讀寫分離在業(yè)務(wù)中配置主庫、從庫的IP和端口DB宕機(jī)或上下線業(yè)務(wù)受影響運(yùn)維協(xié)調(diào)開發(fā)修改業(yè)務(wù)配置3clientdb_masterdb_slave1db_slave2主從同步主從同步業(yè)務(wù)使用MySQL的痛點(diǎn)4業(yè)務(wù)實(shí)現(xiàn)分庫分表改寫SQL語句將SQL路由不同的DB聚合結(jié)果集數(shù)據(jù)庫中間件的目標(biāo)5減輕開發(fā)的工作量支持SQL讀寫分離支持?jǐn)?shù)據(jù)分片開發(fā)更加專注于業(yè)務(wù)邏輯，提升效率降低DB的運(yùn)維與業(yè)務(wù)的耦合度DB的上下線業(yè)務(wù)無感知減輕DBA的工作負(fù)擔(dān)主流MySQLProxy方案6業(yè)務(wù)已有方案Atlas擴(kuò)展功能較難基本不維護(hù)Cobar功能簡(jiǎn)單基本不維護(hù)MyCat易用性較低開始商業(yè)化kingshard的設(shè)計(jì)目標(biāo)7核心指導(dǎo)思想簡(jiǎn)單有效核心功能讀寫分離數(shù)據(jù)分片提升DB的可運(yùn)維性，減輕DBA負(fù)擔(dān)kingshard的架構(gòu)設(shè)計(jì)8整體架構(gòu)圖kingshard的SQLParser9SQL

Parser的設(shè)計(jì)與實(shí)現(xiàn)詞法分析器將SQL切分成token目的：作為語法分析器的輸入語法分析器根據(jù)token和MySQL規(guī)約法則生成AST(abstractsyntaxtree)目的：讀寫分離、數(shù)據(jù)分片SQL詞法分析語法分析AST改寫/路由SQLkingshard的sharding方案10sharding相關(guān)概念分片方式：Hash,Range和Time_RangeShardkey類型：整型和MySQL標(biāo)準(zhǔn)時(shí)間類型子表：分表名+序號(hào)，最大支持9999張子表。例如：table_0001,table_1023落在不同的DB實(shí)例，由配置指定Shard

key到實(shí)例采用兩級(jí)映射方案shard_keysub_tableDBconfigconfigkingshard的sharding方案11select*fromtabwhereid=10rangehashtimeconfigselect*fromtab_0001whereid=10calculatetableindexkingshard的連接池設(shè)計(jì)12目標(biāo)復(fù)用連接，降低后端DB壓力方式一個(gè)DB實(shí)例對(duì)應(yīng)一個(gè)連接池連接池個(gè)數(shù)上限可配置，無空閑連接則阻塞效果前端高并發(fā)，MySQL負(fù)載不會(huì)抖動(dòng)限制連接池個(gè)數(shù)，保護(hù)后端DB不至于宕機(jī)kingshard的連接池設(shè)計(jì)13kingshardDB1ConnPoolConnPoolDB2connconnconn......poppush連接取出時(shí)：重置字符集重置Databasekingshard支持預(yù)處理的方案14作用防SQL注入，參數(shù)不做語義解析，只當(dāng)做字符串提升效率，SQL不再需要重復(fù)解析示例preparestmt1from“SELECT*FROMtblWHEREid=?”;set@a=100;executestmt1using@a;deallocatepreparestmt1;kingshard支持預(yù)處理的方案15核心矛盾prepare狀態(tài)與會(huì)話(連接)綁定連接池機(jī)制要求連接復(fù)用簡(jiǎn)單的方案將prepare/deallocate內(nèi)的所有語句保持在同一個(gè)連接上執(zhí)行缺點(diǎn)：與事務(wù)不同，很多程序不執(zhí)行deallocate，導(dǎo)致連接被占用不放kingshard支持預(yù)處理的方案16kingshard支持預(yù)處理方案流程圖kingshard的后端DB的高可用17方式使用獨(dú)立goroutine檢測(cè)DB狀態(tài)定期檢測(cè)每臺(tái)DB是否正常，周期和重試次數(shù)均可配置效果自動(dòng)摘除宕機(jī)或網(wǎng)絡(luò)中斷的DB自動(dòng)掛載恢復(fù)正常的DBkingshardDB_MasterDB_Slave1DB_Slave2pingpingpingnode業(yè)務(wù)使用kingshard的高可用方案18kingshard對(duì)安全與審計(jì)的支持19客戶端IP限制用戶自定義IP白名單列表SQL黑名單用戶定義黑名單SQL列表正則匹配方式，例如：deletefrommytable,selectcount(*)frommytablewhereid<?慢SQL記錄用戶自定義慢日志耗時(shí)大小kingshard的演進(jìn)計(jì)劃20重構(gòu)SQL

Parser支持復(fù)雜SQL的解析管理端改造以API的方式支持管理命令Web界面操作與展示總結(jié)21為什么用Golang開發(fā)開發(fā)效率非常高性能并不差，相當(dāng)于C語言的70%-80%便捷的并發(fā)編程部署簡(jiǎn)單關(guān)注度開源一周年左右Github