01銀行自動(dòng)化測(cè)試過程分析實(shí)踐

1、5月28-29日主辦方：銀試過程提升實(shí)踐曾慶熙/銀試開發(fā)工程師曾慶熙/銀試開發(fā)工程師負(fù)責(zé)功能測(cè)試、性能測(cè)試、精準(zhǔn)測(cè)試相關(guān)平臺(tái)的設(shè)計(jì)和開發(fā)Contents目錄01020304銀試痛點(diǎn)整體方案和目標(biāo)自動(dòng)化測(cè)試過程提升實(shí)踐精準(zhǔn)測(cè)試在測(cè)試過程中的應(yīng)用06總結(jié)和展望05 效果與01銀試痛點(diǎn)痛點(diǎn)1: 測(cè)試分析難度高結(jié)果數(shù)據(jù)好多，好復(fù)雜子系統(tǒng)1子系統(tǒng)2非應(yīng)用結(jié)果分析數(shù)據(jù)復(fù)雜人工成本高類型多樣子系統(tǒng)n官網(wǎng)：代碼掃描安全掃描編譯構(gòu)建日志SQL掃描代碼覆蓋率覆蓋率數(shù)據(jù)增量覆蓋率單元測(cè)試接口測(cè)試自動(dòng)化測(cè)試日志性能測(cè)試UI測(cè)試DevOps流水線編譯構(gòu)建部署環(huán)境巡檢開發(fā)驗(yàn)證SIT驗(yàn)證預(yù)發(fā)驗(yàn)證發(fā)布痛點(diǎn)2: 測(cè)試環(huán)境復(fù)雜,

2、問題定位難怎么定位哪里出現(xiàn)問題？A環(huán)境1需求1接口1APP1子系統(tǒng)1B環(huán)境2需求2接口2APP2子系統(tǒng)2APP3Z環(huán)境n需求n接口n子系統(tǒng)n官網(wǎng)：痛點(diǎn)3: 前置時(shí)間久,失敗成本高T+0重新埋數(shù)跑批T+1T+2埋數(shù)跑批校驗(yàn)失敗T+N埋數(shù)跑批校驗(yàn)結(jié)果官網(wǎng)：埋數(shù)跑批校驗(yàn)埋數(shù)跑批校驗(yàn)痛點(diǎn)4: 測(cè)試過程數(shù)據(jù)難評(píng)估測(cè)試評(píng)估靠經(jīng)驗(yàn)？風(fēng)險(xiǎn)太高了版本上線后測(cè)試執(zhí)行中發(fā)現(xiàn)生產(chǎn)缺陷，如何確定用例和代碼范圍？維護(hù)成本高，怎么識(shí)別有效用例？ 遇到系統(tǒng)重構(gòu)，怎么有效圈定回歸用例范圍？n?需求開發(fā)前n RD自測(cè)怎么圈定用例范圍？n 代碼影響范圍涉及用例是哪些？n 用例是否有效覆蓋改動(dòng)代碼？n 測(cè)試結(jié)果是否可信？n nnn

3、需求影響范圍涉及的系統(tǒng)有哪些？n 需求影響范圍涉及的代碼有哪些？n n官網(wǎng)：02 整體方案和目標(biāo)測(cè)試過程提升目標(biāo)精準(zhǔn)測(cè)試精準(zhǔn)評(píng)估范圍，測(cè)試分析自動(dòng)化利用數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)智能化測(cè)試體驗(yàn)，減少人工干預(yù)，提升QA團(tuán)隊(duì)測(cè)試效率測(cè)試過程數(shù)據(jù)，提升RD團(tuán)隊(duì)和QA團(tuán)隊(duì)的數(shù)據(jù)化交流，消滅盲區(qū)測(cè)試效能提升提升效率和質(zhì)量自動(dòng)化測(cè)試過程分析整體建設(shè)應(yīng)用層數(shù)據(jù)分析層數(shù)據(jù)倉庫數(shù)據(jù)源應(yīng)用系統(tǒng)單元測(cè)試大數(shù)據(jù)測(cè)試UI測(cè)試性能測(cè)試接口測(cè)試系統(tǒng)日志系統(tǒng)過程數(shù)據(jù)自動(dòng)化測(cè)試日志自動(dòng)化過程數(shù)據(jù)自動(dòng)化測(cè)試數(shù)據(jù)精準(zhǔn)測(cè)試模塊代碼覆蓋分析表覆蓋分析系統(tǒng)鏈路分析用例回溯接口鏈路分析用例推薦SQL運(yùn)行分析異常日志報(bào)文預(yù)處理關(guān)鍵字段提取案例智能編

4、排案例倒排索引案例拓?fù)鋱D數(shù)值統(tǒng)計(jì)斷言生成參數(shù)生成報(bào)文環(huán)境巡檢錯(cuò)誤聚類流量回放測(cè)試分析自動(dòng)化模塊范圍覆蓋用例用例生成環(huán)境巡檢歸因分析03 自動(dòng)化測(cè)試過程提升實(shí)踐實(shí)踐1：自動(dòng)化測(cè)試日志分析n 總體設(shè)計(jì)自動(dòng)化分析調(diào)度模板預(yù)處理規(guī)則干預(yù)報(bào)文 敗訓(xùn)練識(shí)別 歸 知識(shí)庫歸因類別生成異常類別日志異常檢檢測(cè)識(shí)別日志測(cè)規(guī)則配置關(guān)鍵字輸入關(guān)聯(lián)檢索日志聚合智 能 檢 索因失接口流量日志數(shù)據(jù)操作日志自定義腳本日志子用例執(zhí)行日志系統(tǒng)日志覆蓋率鏈路數(shù)據(jù)SQL數(shù)據(jù)明細(xì)數(shù)據(jù)聚合數(shù)據(jù)MySQLRedisESMySQLES應(yīng)用系統(tǒng)測(cè)試平臺(tái)實(shí)踐1：自動(dòng)化測(cè)試日志分析n 失敗歸因流程分析預(yù)處理聚合異步數(shù)據(jù)異步字段分解接口流量分析引擎相

5、似度計(jì)算基準(zhǔn)規(guī)則同步消息分?jǐn)?shù)擇優(yōu)DBESZK子用例分析引擎標(biāo)注字段集知識(shí)庫關(guān)聯(lián)數(shù)據(jù)歸因類別腳本日志分析引擎功能特點(diǎn)：1. 實(shí)時(shí)展示自動(dòng)化測(cè)試狀況2. 自定義調(diào)整失敗歸因精度3. 多種類型自動(dòng)化日志失敗歸因分析引擎訓(xùn) 練 引 擎數(shù)據(jù)日志分析引擎實(shí)告測(cè)試報(bào)告同步客戶端數(shù)值統(tǒng)計(jì)分析任務(wù)接口數(shù)據(jù)歸因匯總失敗識(shí)別kafkakafka歸因類別關(guān)聯(lián)數(shù)據(jù)1n消息精準(zhǔn)測(cè)試自動(dòng)化測(cè)試接口文檔平臺(tái)實(shí)踐1：自動(dòng)化測(cè)試日志分析n 失敗歸因失敗歸因原始自動(dòng)化日志優(yōu)勢(shì)：1. 失敗日志自動(dòng)歸因2. 快速定位測(cè)試問題實(shí)踐2：環(huán)境巡檢n 環(huán)境巡檢系統(tǒng)類n 系統(tǒng)情況n 系統(tǒng)實(shí)例業(yè)務(wù)邏輯n 案例執(zhí)行擋板類n 接口擋板n 函數(shù)擋板資源

6、依配置類n 文件配置n 數(shù)據(jù)庫配置n CPU占用n 內(nèi)存占用n 磁盤占用n 依健康度n 消息總線系統(tǒng)實(shí)踐2：環(huán)境巡檢n 環(huán)境修復(fù)擋板類n 接口擋板操作n 函數(shù)擋板操作配置類n 文件配置修改n 數(shù)據(jù)庫配置修改智能修復(fù)n 機(jī)器學(xué)習(xí)模型依n 部署或重啟實(shí)踐2：環(huán)境巡檢n 效果示例實(shí)踐3：用例回放n 建設(shè)思路報(bào)文回放步驟回放基于接口流量錄制回放支持版本回歸兼容性測(cè)試和生命周期測(cè)試測(cè)試數(shù)據(jù)反復(fù)回歸驗(yàn)證，節(jié)省跑批時(shí)間和減少用例編寫基于用例步驟錄制回放支持自動(dòng)化用例步驟測(cè)試數(shù)據(jù)反復(fù)回歸驗(yàn)證，節(jié)省前置自動(dòng)化步驟執(zhí)行時(shí)間實(shí)踐3：用例回放n 步驟回放-流程與原理步驟錄制回放原理步驟回放測(cè)試流程AOP植入模塊生命周

7、期流水線用例回放動(dòng)態(tài)植入動(dòng)態(tài)植入自動(dòng)化步驟execute()afterbefore錄制埋數(shù)數(shù)據(jù)第一階段: 批前埋數(shù)數(shù)據(jù)DB獲取埋數(shù)數(shù)據(jù)數(shù)據(jù)獲取第二階段: 批后校驗(yàn)回放工具回放批后校驗(yàn)自動(dòng)化步驟beforeexecute()用例回放驗(yàn)證結(jié)果業(yè)務(wù)跑批批量計(jì)劃實(shí)踐3：用例回放n 報(bào)文回放-大數(shù)據(jù)測(cè)試場(chǎng)景實(shí)踐原有測(cè)試流程： Case 1 埋數(shù) 日切+跑批+推數(shù) Case 2 埋數(shù) Case N 埋數(shù)流量回放方案:人工抽查，隱患大T0和T1結(jié)果比對(duì)流量自動(dòng)回放，自動(dòng)比對(duì)，無需編寫自動(dòng)化腳本對(duì)比T0和T1的返回報(bào)文保存T0的請(qǐng)求、返回報(bào)文1、使用T0的請(qǐng)求報(bào)文請(qǐng)求T1 2、保存T1的返回報(bào)文T1數(shù)據(jù) T1

8、數(shù)據(jù) T1數(shù)據(jù)T0數(shù)據(jù) T0數(shù)據(jù) T0數(shù)據(jù)實(shí)踐3：用例回放n 報(bào)文回放-效果示例實(shí)踐4：案例智能編排n 算法思路n 效果示例編排后: 10min用例列表A B C D編排前: 15min線程1:線程1:線程2:線程2:CABCABDD計(jì)劃運(yùn)行影響因子編排生成系統(tǒng)需求優(yōu)先級(jí)用例調(diào)度評(píng)估用例調(diào)試日志運(yùn)行時(shí)間并發(fā)數(shù)評(píng)估失敗頻率重試次數(shù)評(píng)估并發(fā)超時(shí)計(jì)劃運(yùn)行日志執(zhí)行時(shí)間評(píng)估用例執(zhí)行優(yōu)先級(jí)實(shí)踐5：案例跟蹤分析n 設(shè)計(jì)思路測(cè)試數(shù)據(jù)管理平臺(tái)條線數(shù)據(jù)形態(tài)倒排索引優(yōu)勢(shì)：1.自動(dòng)化測(cè)試過程2. 測(cè)試資產(chǎn)自動(dòng)沉淀用例拓?fù)鋱D凍結(jié)銷戶轉(zhuǎn)賬智能測(cè)試案例生成測(cè)試地圖案例推薦數(shù)據(jù)表-用例子用例-用例接口-用例數(shù)據(jù)血緣自動(dòng)化執(zhí)行

9、計(jì)劃運(yùn)行用例執(zhí)行執(zhí)行植入測(cè)試數(shù)據(jù)采集用例鏈路采集接口鏈路采集參數(shù)鏈路采集實(shí)踐5：案例執(zhí)行跟蹤分析n 效果示例04 精準(zhǔn)測(cè)試在測(cè)試過程中的應(yīng)用問題思考變更影響如何評(píng)估？案例如何最小化？如何快速回歸？如何快速定位問題？測(cè)試內(nèi)容可視化？精準(zhǔn)測(cè)試的作用sql語法分析耗時(shí)分析索引命中影響行數(shù)案例運(yùn)行關(guān)鍵字匹配異常實(shí)時(shí)日志 案例代碼覆蓋案例推薦函數(shù)跟蹤案例縮減用例調(diào)試鏈路跟蹤接口調(diào)用鏈接口內(nèi)容通過工具，將用例，系統(tǒng)，代碼，SQL，接口，日志自動(dòng)建立關(guān)聯(lián)被測(cè)系統(tǒng)SQL日志代碼調(diào)用鏈接口調(diào)用鏈產(chǎn)生的價(jià)值開發(fā)團(tuán)隊(duì)測(cè)試團(tuán)隊(duì)ü 用例推薦，提升自測(cè)效率ü 了解用例的執(zhí)行邏輯，提升用例質(zhì)量ü

10、; 進(jìn)行用例調(diào)試ü SQL分析，識(shí)別慢ü 缺陷修復(fù)，精準(zhǔn)定位到相關(guān)用例，進(jìn)行自測(cè)ü 高頻分析ü 了解變更范圍，提升測(cè)試效率ü 熟悉代碼/接口邏輯，加深業(yè)務(wù)了解，提高用例質(zhì)量ü 熟悉用例影響的類，表，接口ü 缺陷分析ü 用例分析，用例最小化ü 結(jié)果分析提升效率和質(zhì)量代碼案例數(shù)據(jù)化交流，消滅盲區(qū)ü 用例運(yùn)行的相關(guān)數(shù)據(jù)ü 代碼運(yùn)行堆棧ü 代碼函數(shù)入?yún)⒊鰠?#252; SQL執(zhí)行詳細(xì)語句精準(zhǔn)平臺(tái)架構(gòu)業(yè)務(wù)系統(tǒng)agent構(gòu)建平臺(tái)測(cè)試平臺(tái)測(cè)試流水線UI層業(yè)務(wù)層數(shù)據(jù)層日志庫精準(zhǔn)知識(shí)庫git代

11、碼差異分析SQL分析日志分析接口分析案例關(guān)聯(lián)案例推薦案例聚類分析接口鏈路跟蹤函數(shù)調(diào)用鏈分析案例調(diào)試系統(tǒng)版本管理智能缺陷定位雙向回溯展示用例覆蓋率展示系統(tǒng)視圖展示案例代碼覆蓋率通過案例和代碼的關(guān)聯(lián)，根據(jù)代碼繪制案例的覆蓋率報(bào)告案例關(guān)聯(lián)類案例關(guān)聯(lián)覆蓋率識(shí)別調(diào)用鏈案例關(guān)聯(lián)報(bào)告生成代碼關(guān)聯(lián)案例關(guān)聯(lián)行數(shù)案例代碼覆蓋率效果案例推薦流程通過案例和代碼的關(guān)聯(lián)，根據(jù)代碼變更進(jìn)行案例自動(dòng)推薦案類調(diào)用鏈案案例關(guān)聯(lián)變更分析代碼變更案行數(shù)案例推薦例關(guān)聯(lián)類變動(dòng)例關(guān)聯(lián)方變更法例關(guān)聯(lián)行變更數(shù)案例推薦效果圖案例執(zhí)行SQL動(dòng)態(tài)分析主要規(guī)則如下：12執(zhí)行耗時(shí)超過500msSQL語句執(zhí)行掃描34語句沒有走索引關(guān)聯(lián)表超過3張表56語句

12、是否使用外排影響行數(shù)超過5000根據(jù)分析結(jié)果給出建議根據(jù)既定規(guī)則explain分析基于SQL explain 模擬SQL優(yōu)化器分析SQL語句SQL動(dòng)態(tài)分析結(jié)果展示在案例結(jié)果中了解被測(cè)系統(tǒng)的SQL情況以及sql分析結(jié)果案例運(yùn)行鏈路實(shí)時(shí)展示在案例結(jié)果中了解案例步驟的真實(shí)鏈路應(yīng)用日志分析測(cè)試如何清晰了解日志的異常？日志分析關(guān)鍵字匹配日志文件案例編號(hào)/案例日志輸出案例編號(hào)知識(shí)庫日志分析結(jié)果日志攔截業(yè)務(wù)運(yùn)行關(guān)鍵字類別說明Table '*' doesn't existTABLE_ERROR表不column '*' does not existTABLE_ERROR列不Lock wait timeoutTABLE_ERROR數(shù)據(jù)庫表鎖超時(shí)