古雷-央視國(guó)際網(wǎng)絡(luò)有限公司-技術(shù)事業(yè)群DBA-MySQL5.7與8.0新特性管窺

2016-11-20中國(guó)軟件開發(fā)者大賽演講主題演講央視網(wǎng)絡(luò)DBA古雷L感興趣的特性感興趣的特性?戲說(shuō)Groupreplication(5.7)?快速增加列寬(5.7)?TheRewriterQueryRewritePlugin(5.7)?JSON(5.7和8.0)GroupGroupreplication?http://mysqlhighavaila/mysql-group-replication-transaction-life-cycle-explained/GroupGroupreplicationcertification?http://mysqlhighavaila/mysql-group-replication-transaction-life-cycle-explained/yQpyQp/gr/doc/technical.html?三家共同管理山頭田地?每家莊主都可以發(fā)號(hào)師令?犁地、播種、澆水、施肥磚磚飛鴿傳書飛鴿傳書順序問(wèn)題與沖突問(wèn)題順序問(wèn)題與沖突問(wèn)題?要是鴿子路上貪吃，犁地的命令比播種命令晚到了，種子都被翻出來(lái)咋辦？?要是兩個(gè)莊主都發(fā)了澆水的命令，澆兩遍水，把種子淹死咋辦？?天氣太干、太熱，一個(gè)莊主看到澆了一遍水以后，還需要澆。連續(xù)兩次澆水的命令常的聰明的通訊員(類paxos)最會(huì)放鴿子?我們需要把老板們的命令編號(hào)，產(chǎn)生統(tǒng)一的順序員：–收到消息后，按編號(hào)順序向上匯報(bào)，包括本地老板息–如果5到了，4沒(méi)到，不得向上匯報(bào)–接上句，如果發(fā)現(xiàn)4是我的編號(hào)序列，而我由于之前沒(méi)消息可發(fā)，沒(méi)發(fā)過(guò)4，此時(shí)發(fā)出一個(gè)空閑命令編號(hào)為4秘書最懂老板的心秘書最懂老板的心?老板都是有秘書的?三個(gè)老板誰(shuí)也得罪不起，有令必行?但是如果做了老板實(shí)際不想做的事，也會(huì)?老板依據(jù)他已知的發(fā)生情況，發(fā)號(hào)師令?通訊員已經(jīng)解決了順序問(wèn)題秘書的高招秘書的高招?所有執(zhí)行過(guò)的命令都給一個(gè)編號(hào)，起名叫GTID?把自己老板的命令，加上當(dāng)前命令執(zhí)行的整體狀態(tài)，一同交給通訊員；這個(gè)整體狀態(tài)起名叫g(shù)tidexecutedUUID,50-55)?秘書收到通訊員給的消息后，與之前收到的消含前者的gtid_executed–是，準(zhǔn)許執(zhí)行，分配GTID，修改此消息的gtid_executed–否，丟棄–秘書把這個(gè)過(guò)程叫作認(rèn)證(cetification)更復(fù)更復(fù)雜的情況頭有10塊地，按0到9編號(hào)?秘書做認(rèn)證工作的時(shí)候，把當(dāng)前收到的命令，只和之前收到的同一塊地的命令進(jìn)行?不同地的命令之間不會(huì)有沖突?后來(lái)秘書把一塊地稱為一行記錄，地的編鍵認(rèn)證的優(yōu)化認(rèn)證的優(yōu)化?認(rèn)證需要比較的命令越來(lái)越多，要與以前發(fā)生的都比較一下?定期把列表中已經(jīng)被所有山頭執(zhí)行完的命沖突發(fā)生的條件–(a)兩個(gè)山頭差不多同時(shí)發(fā)出同一塊地的命令–(b)兩個(gè)莊主都不知道對(duì)方發(fā)出的這條件命令?在所有山頭都執(zhí)行完成的命令，就不會(huì)滿GR數(shù)據(jù)庫(kù)狀態(tài)機(jī)要GR數(shù)據(jù)庫(kù)狀態(tài)機(jī)要點(diǎn)?每個(gè)事務(wù)發(fā)給所有節(jié)點(diǎn)?在每個(gè)節(jié)點(diǎn)，所有事務(wù)的認(rèn)證順序都是一樣的，認(rèn)是別的節(jié)點(diǎn)發(fā)過(guò)來(lái)的外來(lái)事務(wù)A證是否成功?外來(lái)事務(wù)，在允許執(zhí)行前還不是事務(wù)，因此需要與本地事務(wù)一起進(jìn)行沖突檢測(cè)，稱為認(rèn)證認(rèn)證認(rèn)證(Certification)的理解(主鍵相同)數(shù)據(jù)?假設(shè)Ta被排在Tb之前?Tb是在『看到』Ta執(zhí)行結(jié)果以后才發(fā)起的嗎？–是，允許Tb提交(本地事務(wù))或者執(zhí)行(外來(lái)事務(wù))–否，Tb回滾(本地事務(wù))或者丟棄?同一個(gè)事務(wù)在不同節(jié)點(diǎn)上的認(rèn)證結(jié)果是一樣的–都成功，或者都失敗–因?yàn)樗惺聞?wù)在各個(gè)節(jié)點(diǎn)上的認(rèn)證順序都是一樣的GroupGroupreplication其他關(guān)注點(diǎn)?所有節(jié)點(diǎn)的binlog順序完全一樣嗎?不會(huì)有自增列沖突嗎?GTID的順序是全局由小到大的嗎瞬間增加列寬的條件瞬間增加列寬的條件difyvarcharntovarcharnmm?charsetutf8(滿足以下任一)–0<n≤85and0<n+m≤85–n>85?charsetutf8mb4(滿足以下任一)–n>63TheTheRewriterQueryRewritePlugin?在server端改寫SELECT語(yǔ)句?為SELECT加hint(指定索引、Join順序等)，甚至更徹底地改寫?在應(yīng)用端不能(或不方便)修改框架生成的SQL–時(shí)間緊急(比如故障處理)?性能損耗？MySQLMySQLShell&JSON?varmysqlx=require('mysqlx');?varmySession=mysqlx.getSession('wx:wx@localhost');?varmyDb=mySession.getSchema('world_x');?varmyDocs=myColl.find('_id=??{"GNP":828,?????????????????}"IndepYear":null,"Name":"Aruba","_id":"ABW","demographics":{"LifeExpectancy":78.4,"Population":103000"geography":{"Continent":"NorthAmerica","Region":"Caribbean","SurfaceArea":193"government":{"GovernmentForm":"NonmetropolitanTerritoryofThe"HeadOfState":"Beatrix"}Netherlands",?SELECTdocFROM`world_x`.`countryinfo`WHERE(`_id`='ABW’)?CREATETABLE`countryinfo`(?`doc`jsonDEFAULTNULL,?`_id`varchar(32)GENERATEDALWAYSAS(json_unquote(json_extract(`doc`,'$._id')))LL?`Continent`varchar(32)GENERATEDALWAYSAS(json_unquote(json_extract(`doc`,'$.geography.Continent')))STOREDNOTNULL,?PRIMARYKEY(`_id`),?KEY`i_Continent`(`Continent`)?)ENGINE=InnoDBDEFAULTCHARSET=utf8?varmyDocs=?SELECTdocFROM`world_x`.`countryinfo`EREt='Asia');?explain上面的SQL，使用了索引i_Continent?stored或者virtual的列，都能用上索引JSONJSONDatatype?有格式二進(jìn)制于以字符串保存JSON?正在做的改進(jìn)字段局部更新GeneratedGeneratedcolumns其他字段計(jì)算出來(lái)的字段?Vritual–不占存儲(chǔ)空間，每次查詢時(shí)重新計(jì)算?Stored–需要存儲(chǔ)，每當(dāng)插入、更新記錄時(shí)計(jì)算一次?可建索引–實(shí)現(xiàn)類似函數(shù)索引的功能–為JSON建立索引，類似于在JSON函數(shù)上建索引MySQL8MySQL8.0UUIDUUID慮作為InnoDB表主鍵了uuidswapflag?VARBINARY(16)DbinaryuuidswapflagUUIDversion1參考資料參考資料??http:///gr/doc/?http://?Th