持續(xù)性能提升的最佳實踐

QCon全球軟件開發(fā)大會離枝鹽升大綱-持續(xù)性能提升的難點-生產(chǎn)全鏈路壓測背景和概念-生產(chǎn)全鏈路壓測落地難點-生產(chǎn)全鏈路云遷移業(yè)務連續(xù)性案例Info

Info傳統(tǒng)性能測試的缺陷硬件配置網(wǎng)絡環(huán)境數(shù)據(jù)庫配置中間件規(guī)模數(shù)據(jù)規(guī)模應用規(guī)模流量模型硬件配置網(wǎng)絡環(huán)境數(shù)據(jù)庫配置中間件規(guī)模數(shù)據(jù)規(guī)模應用規(guī)模流量模型缺乏真實性不能形成有效反饋不能進入正反饋模型ConInfoQ什么是生產(chǎn)全鏈路壓測什么是生產(chǎn)全鏈路壓測InfoInfo什么是生產(chǎn)全鏈路壓測什么是生產(chǎn)全鏈路壓測InfoInfo壓測壓測?壓力引擎

?性能分析生產(chǎn)環(huán)境-數(shù)據(jù)隔離?流量識別-安全保護?實時監(jiān)控

全鏈路?鏈路治理?多場景混合?流量模型我需要做生產(chǎn)全鏈路壓測嗎我需要做生產(chǎn)全鏈路壓測嗎InfoInfo我需要做生產(chǎn)全鏈路壓測嗎我需要做生產(chǎn)全鏈路壓測嗎InfoInfo生產(chǎn)全鏈路壓測歷史生產(chǎn)全鏈路壓測歷史InfoInfo-2013年誕生：阿里巴巴第一次生產(chǎn)全鏈路壓測實踐-2015-2017年：極客公司開始嘗試-2018年：第一款企業(yè)級生產(chǎn)全鏈路壓測產(chǎn)品誕生-2020年：生產(chǎn)全鏈路壓測開始進入大眾市場-分布式系統(tǒng)-研發(fā)人數(shù)超過50人-系統(tǒng)規(guī)模超過100臺-有專門性能測試同學-業(yè)務快速增長生產(chǎn)全鏈路壓測落地QCon全球軟件開發(fā)大會InfoQ生產(chǎn)全鏈路壓測架構(gòu)場景層平臺層全鏈路壓測全鏈路監(jiān)控故障演練容量評估ETE巡檢系統(tǒng)限流&降級系統(tǒng)瓶頸鏈路監(jiān)控壓測方案管理壓測報告壓發(fā)力起壓控測制隔管離控il壓測腳本壓測總覽壓測執(zhí)行應用管理鏈路概覽調(diào)用鏈查詢QCon全球軟件開發(fā)大會域名分析入口分析調(diào)度引擎壓測試跑靜態(tài)信息驗證影子庫表配置架構(gòu)治理限降流級應用

分析接入資物理機docker層源虛擬機云主機訂單轉(zhuǎn)運簽收攬收派送售后業(yè)務流程配置入口頗限流規(guī)則命令配置業(yè)務活動配置

服務岀口分析流量控制場景配置系統(tǒng)流程識su

系統(tǒng)流程比對降級策略演練控制中間件識別強弱做標注熔斷配置演練報告應用一覽應用調(diào)用來源應用調(diào)用去向應用服務分析消息隊列分析數(shù)據(jù)庫分析緩存分析關(guān)鍵路徑分析遠程調(diào)用消息系統(tǒng)緩存數(shù)據(jù)庫數(shù)據(jù)存儲緩存數(shù)據(jù)庫消息系統(tǒng)InfoQ數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離正常流量壓測流量4Web服務器1遠程調(diào)用中間件應用1 壓測可識別2 壓測流量識別之后的傳遞3 緩存和儲存將壓測數(shù)據(jù)存儲到影子區(qū)域?消息過濾器?正常Topic?影子Topic?緩存過濾器?正常區(qū)域?影子區(qū)域?搜索過濾器?正常索引?影子索引?存儲過濾器?正常庫?影子庫QCon全球軟件開發(fā)大會InfoG數(shù)據(jù)隔離設計與現(xiàn)實QCon全球軟件開發(fā)大會InfoQRocketMQ隔離設tQCon全球軟件開發(fā)大會QCon全球軟件開發(fā)大會InfoGInfoInfoInfoInfo RocketMQ隔離現(xiàn)實 消息發(fā)送-同步發(fā)送 -異步發(fā)送 ?Oneway發(fā)送 -單條發(fā)送?批量發(fā)送?事務消息

消息接收?推模式?拉模式 ?無序消費?順序消費?自動提交 ?手動提交?默認線程池?自定義線程池

異常情況?消費失敗?重試隊列?死信隊列?版本兼容隔離設計的其他現(xiàn)實壓測中T項目啟動.氾圍確疋鏈路梳理]鏈路調(diào)試壓測數(shù)據(jù)準備壓測場景配置鏈路試跑壓測執(zhí)行鏈路調(diào)試提前規(guī)避風險數(shù)據(jù)偏移,脫敏白名單測試環(huán)境試跑

壓測啟動檢查

漏數(shù)檢查

數(shù)據(jù)隔離擋板生產(chǎn)環(huán)境試跑壓測終止緊急預案兜底檢查QCon全球軟件開發(fā)大會推廣問題降低接入

成本AllIn One的使用體驗培養(yǎng)種子

用戶爭取高層支持 JconInfoQ 常態(tài)化問題 成立性能運營小組性能瓶頸優(yōu)

化check性能瓶頸優(yōu)

化check性能小組生產(chǎn)準入check生產(chǎn)風

險監(jiān)控延期風險產(chǎn)品線開發(fā)復核問題

瓶頸是否

修復QCon全球軟件開發(fā)大會常態(tài)化壓測啟壓測準備存在風

險產(chǎn)品線開發(fā)生產(chǎn)

壓測瓶頸優(yōu)

化任務

列表處理 任務協(xié)助解決處理記錄任務升級復核瓶頸

修復是否

延期任務 升級架構(gòu)師/其他

團隊協(xié)助InfoQ常態(tài)化問題?挖掘鏈路和請求數(shù)據(jù)-自動的鏈路梳理發(fā)現(xiàn)環(huán)境問題?自動發(fā)現(xiàn)新增服務、參數(shù)變化?自動發(fā)現(xiàn)數(shù)據(jù)庫變化QCon全球軟件開發(fā)大會InfoQInfoInfo配置名稱0000002＜返回配置名甲＜退回業(yè)務活動名稱-調(diào)試業(yè)多請求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時長：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMall配置名稱0000002＜返回配置名甲＜退回業(yè)務活動名稱-調(diào)試業(yè)多請求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時長：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMallDmsMallDmsMallrtemcenterRedis響應信息插件調(diào)試日志Rabbit6ac0622f16067307742374922d0001Accept:*/*、Cache-Control:no-cacheContent-(*useridM:"tommy”.*producttd*:w84j33t23wtimeio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceredis10293?成】I問題分析配置異常：(EA0001)白名單方法沒配置、(EA0002)影子庫表用戶名密碼不匹配輸入?yún)?shù)MQ2341Mysql10293Mysql10293請求Header Accept:*/*、Cache-Control:no-cacheKContent-Type:appli...▼請求Header Accept:*/*、Cache-Control:no-cachevContent-Type:appli...▼[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271(X)4d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271CX)4d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|l|httppuglindebuginfo;I機器性能?成】類型Before(進)Before(出)Exception(進)Exception(出)CPU利用率16%16%16%16%?失9CPU負載6.546.546.546.54常態(tài)化問題 賦能研發(fā)??QConQCon全球軟件開發(fā)大會InfoQ成為新基礎(chǔ)設施系統(tǒng)發(fā)布后，與流水線集成，驗證生產(chǎn)環(huán)境性能基線月度性能驗收，3*24小時生產(chǎn)環(huán)境壓測大促保障中生產(chǎn)環(huán)境單接口、單鏈路壓測有性能潔癖的工程師文化大促保障中生產(chǎn)環(huán)境全鏈路、全場景壓測大項目重構(gòu)后，進行生產(chǎn)環(huán)境相關(guān)鏈路的壓測上云或者云遷移后，進行生產(chǎn)環(huán)境全鏈路壓測通過生產(chǎn)環(huán)境全鏈路壓測進行多機房的定期容量驗證有性能潔癖的工程師文化QCon全球軟件開發(fā)大會QCon全球軟件開發(fā)大會云遷移案例2020年底，A公司做出了一項重大決策，要將公司業(yè)務從阿里云平臺遷移至華為云平臺。公司現(xiàn)有業(yè)務包含上百個應用以及數(shù)十PT的數(shù)據(jù)都要進行遷移，如何安全高效地完成遷移成了大家最關(guān)心的問題InfoQ云遷移案例云遷移案例云遷移案例云遷移案例\ 在生產(chǎn)環(huán)境直接利用現(xiàn)有數(shù)據(jù)進行性能壓測，完成后 /' 只對