商業(yè)銀行大數(shù)據(jù)性能容量測試探索與實踐

商業(yè)銀行大數(shù)據(jù)性能容量測試探索與實踐隨著數(shù)字化轉(zhuǎn)型的逐步深入，商業(yè)銀行大數(shù)據(jù)平臺的技術(shù)體系愈發(fā)龐大，所承載的業(yè)務(wù)功能也日漸豐富，而各類性能問題給生產(chǎn)環(huán)境的平穩(wěn)運行帶來了巨大挑戰(zhàn)，并促使大數(shù)據(jù)場景下的性能測試隨之成為了業(yè)界面臨的難點問題。本文從需求識別、測試方法、監(jiān)控體系和模型預測等四個方面入手，詳細闡述了大數(shù)據(jù)性能容量評測體系的方法論基礎(chǔ)，并進一步分享了大數(shù)據(jù)性能容量評測平臺的建設(shè)路徑與實踐成效。數(shù)字經(jīng)濟時代，商業(yè)銀行各類業(yè)務(wù)需求的不斷增加，為傳統(tǒng)的業(yè)務(wù)處理模式帶來了巨大挑戰(zhàn)，而數(shù)字化也隨之成為銀行業(yè)實現(xiàn)可持續(xù)發(fā)展的全新命題，并促使越來越多的商業(yè)銀行開始構(gòu)建符合自身發(fā)展需求的大數(shù)據(jù)體系架構(gòu)。為應對上述轉(zhuǎn)變，工商銀行以技術(shù)變革引領(lǐng)銀行再造，全力打造智慧銀行ECOST程，并引入多層次數(shù)據(jù)開展新業(yè)態(tài)建設(shè)，以及采用對外賦能等數(shù)字化轉(zhuǎn)型舉措，始終致力于以科技驅(qū)動賦能業(yè)務(wù)創(chuàng)新和價值創(chuàng)造，實現(xiàn)全方位的金融科技突破創(chuàng)新。歷經(jīng)近20年的迭代優(yōu)化，工商銀行大數(shù)據(jù)技術(shù)體系從最初單機、一體機架構(gòu)的批量分析場景開始，先后走過了起步、發(fā)展、轉(zhuǎn)型、提升等多個階段，通過對典型場景的不斷打磨，逐步演進到基于分布式數(shù)據(jù)庫、融合大數(shù)據(jù)服務(wù)與AI服務(wù)的大數(shù)據(jù)服務(wù)云模式，并從“數(shù)據(jù)輔助決策”平臺一步步發(fā)展為“數(shù)據(jù)+智能驅(qū)動決策〃平臺。實踐中，大數(shù)據(jù)技術(shù)平臺作為海量數(shù)據(jù)的采集、存儲、加工和分析平臺，為工商銀行業(yè)務(wù)發(fā)展提供了高效的數(shù)據(jù)支撐。但是，隨著大數(shù)據(jù)平臺技術(shù)體系的愈發(fā)龐大與所承載業(yè)務(wù)功能的日益豐富，各類性能問題也給生產(chǎn)環(huán)境的平穩(wěn)運行帶來較大挑戰(zhàn)，而大數(shù)據(jù)場景下的性能測試也始終是業(yè)界面臨的一個難點問題。本文結(jié)合工商銀行大數(shù)據(jù)技術(shù)體系建設(shè)，深入探討了分布式系統(tǒng)架構(gòu)下〃四位一體”（包含需求分析、版本測試、日常監(jiān)控、模型預測）的性能容量綜合評測體系的研究思路與實踐路徑。一、大數(shù)據(jù)性能容量測試的目標與思路工商銀行大數(shù)據(jù)技術(shù)體系主要基于分布式系統(tǒng)建立了包含〃一湖兩庫”（數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團信息庫）在內(nèi)的大數(shù)據(jù)服務(wù)云，可提供多樣化的大數(shù)據(jù)服務(wù)和AI服務(wù)。但是，大數(shù)據(jù)服務(wù)云的大范圍推廣和應用在推動工商銀行大數(shù)據(jù)技術(shù)體系不斷發(fā)展的同時，在新技術(shù)架構(gòu)下的性能表現(xiàn)卻存在很大差異，而如何在驗收測試前預先界定性能測試范圍、識別性能隱患，更是成為產(chǎn)品研發(fā)流程中最值得關(guān)注的焦點之一。此外，由于分布式系統(tǒng)服務(wù)器數(shù)量較多，各臺服務(wù)器、各個資源池、各組件服務(wù)以及整個集群層面也全都需要進行性能分析，并對超出閾值的性能指標和進程進行相應處理。為有效應對大數(shù)據(jù)性能容量測試的新挑戰(zhàn)，工商銀行針對大數(shù)據(jù)性能測試面臨的痛點問題，建立了需求分析、版本測試、日常監(jiān)控、模型預測〃四位一體''的大數(shù)據(jù)性能容量評測體系，并通過搭建大數(shù)據(jù)性能容量測試平臺進行統(tǒng)一管理，實現(xiàn)了驗收測試前預先界定性能測試范圍、明確性能測試方法、完善性能監(jiān)控策略以及預測性能隱患等目標。測試源頭識別性能需求工商銀行大數(shù)據(jù)服務(wù)云通過將分布式系統(tǒng)平臺的離線數(shù)據(jù)分析處理服務(wù)封裝成大數(shù)據(jù)服務(wù)平臺，該平臺可為上層應用提供統(tǒng)一的技術(shù)標準和開發(fā)規(guī)范，分配所需資源和權(quán)限，并完成特定的業(yè)務(wù)功能。同時，大數(shù)據(jù)服務(wù)平臺是云上應用與集群交互的媒介，借助其統(tǒng)一管控的優(yōu)勢，工商銀行開發(fā)大數(shù)據(jù)服務(wù)云程序級管理系統(tǒng)，對入云應用的新增修改程序及測試覆蓋情況進行統(tǒng)一的管理和監(jiān)控，實現(xiàn)了從驗收測試源頭界定性能測試范圍、精準識別性能測試需求的目標。動靜結(jié)合的性能測試方法在動態(tài)測試方面，基于分布式系統(tǒng)資源的靈活調(diào)配能力，以及工商銀行大數(shù)據(jù)沙盒的數(shù)據(jù)快速填補能力，工商銀行提出了在分布式環(huán)境下構(gòu)建系統(tǒng)資源、測試數(shù)據(jù)、配置參數(shù)與實際生產(chǎn)比例為1:1的測試環(huán)境場景性能評測方法，并形成了一套面向“技術(shù)+業(yè)務(wù)'場景的分布式系統(tǒng)性能容量測試指引。具體而言，測試方法主要包括模擬真實場景測試和新舊版本比對測試兩種，兩種方法都需要對系統(tǒng)資源、測試數(shù)據(jù)和配置參數(shù)等進行靈活調(diào)配，不同之處在于模擬真實場景測試需要創(chuàng)造出和生產(chǎn)實際運行場景完全一致的底層資源和數(shù)據(jù)環(huán)境，適用于對新增或修改的程序進行測試；而新舊版本比對測試只需新舊版本下的資源和數(shù)據(jù)環(huán)境一致即可，適用于對歷史版本修改后的定性預估測試。大數(shù)據(jù)性能容量測試方法設(shè)計要點見表1。表1大數(shù)據(jù)性能容量測試方法設(shè)計要點

若設(shè)計［數(shù)據(jù)沙盒全量獲:,使測試\f生產(chǎn)一致若設(shè)計［數(shù)據(jù)沙盒全量獲:,使測試\f生產(chǎn)一致〔據(jù)邏輯分［測試數(shù)據(jù)〔本一致i完善大數(shù)據(jù)性能監(jiān)控體系根據(jù)分布式系統(tǒng)平臺的技術(shù)特點，工商銀行結(jié)合自身的大數(shù)據(jù)服務(wù)使用方式制定了相應的設(shè)備、集群、資源、服務(wù)、進程等監(jiān)控策略，并統(tǒng)一納入大數(shù)據(jù)性能容量測試平臺，對超出正常值（主要根據(jù)業(yè)務(wù)作業(yè)運行時效指標、服務(wù)器或集群使用限制制定）的性能指標進行預警、分析和查殺。分布式平臺的性能監(jiān)控策略可分為應用層、隊列層和集群層來分層實施，并通過在平臺應用層面開發(fā)專門的掃描工具，實現(xiàn)對應用作業(yè)運行時間、服務(wù)器資源使用情況、隊列資源使用情況、集群資源使用情況、表傾斜情況、大表廣播以及對超性能閾值的進程查殺等情況的監(jiān)控和預警。機器學習模型預測性能隱患針對面向大數(shù)據(jù)程序的性能容量預測，工商銀行使用機器學習方法建立了回歸模型性能預測工具，并選取所用算法、作業(yè)并發(fā)數(shù)量、作業(yè)所在系統(tǒng)、關(guān)鍵字出現(xiàn)次數(shù)、作業(yè)運行次數(shù)、作業(yè)編號、作業(yè)運行日期等因素作為入模特征，使用lightGBM多分類模型實現(xiàn)了對大數(shù)據(jù)平臺新增修改作業(yè)的模型預測。實踐中，回歸模型性能預測工具不僅可以對作業(yè)的運行時間進行預測，還可在作業(yè)運行之前排除新作業(yè)運行的性能隱患，尤其在數(shù)據(jù)湖、數(shù)據(jù)倉庫和平臺化開發(fā)作業(yè)的性能預測中更是具有較強的普適性。二、大數(shù)據(jù)性能容量測試的解決方案在〃四位一體”解決思路的基礎(chǔ)上，工商銀行進一步搭建了大數(shù)據(jù)性能容量測試平臺，其核心部分主要由大數(shù)據(jù)服務(wù)云程序級管理系統(tǒng)、靜態(tài)代碼校驗系統(tǒng)、性能監(jiān)控系統(tǒng)和模型預測系統(tǒng)等四部分組成，分別負責識別測試需求、靜態(tài)代碼校驗、集群及應用日常監(jiān)控和作業(yè)級性能隱患預測等功能。大數(shù)據(jù)性能容量測試平臺總體框架如圖1所示。艮務(wù)云應用程序參數(shù)畫模型］圖1大數(shù)據(jù)性能容量測試平臺總體框架1.大數(shù)據(jù)服務(wù)云程序級管理系統(tǒng)大數(shù)據(jù)服務(wù)云程序級管理系統(tǒng)通過對入云應用的新增修改程序及測試覆蓋情況進行統(tǒng)一的管理和監(jiān)控，實現(xiàn)了從驗收測試源頭精準界定性能測試范圍、識別性能測試需求等目標。同時，該系統(tǒng)采用B/S界面，通過對云上各應用進行程序備份、定時檢測和對比等方式實現(xiàn)了程序變動檢測，以及通過對新增修改程序增加時間戳、定時檢測運行狀態(tài)，還可對入云應用進行精細化管控。此外，系統(tǒng)通過對接前臺頁面和郵件系統(tǒng)，可將程序變動情況和測試情況進行實時展示和通知，包括作業(yè)信息、修改內(nèi)容、檢測時間、測試覆蓋情況等內(nèi)容。2.靜態(tài)代碼校驗系統(tǒng)靜態(tài)代碼校驗系統(tǒng)通過將既定的靜態(tài)校驗規(guī)則封裝到開發(fā)掃描工具，使得作業(yè)在動態(tài)測試前即可通過工具掃描出不合規(guī)和低效率語句，達到提前發(fā)現(xiàn)性能隱患的效果。同時，系統(tǒng)將應用層代碼拆分成單個HQL或SQL語句，通過對單個語句的語法校驗，還可完成對應用層程序的靜態(tài)校驗，并與大數(shù)據(jù)服務(wù)云進行程序級管理系統(tǒng)對接，實現(xiàn)每日新增修改作業(yè)的靜態(tài)校驗功能。此外，系統(tǒng)通過對接前臺頁面，可將靜態(tài)校驗結(jié)果進行實時展示，包括靜態(tài)校驗日期、校驗作業(yè)信息、違反規(guī)則和修改建議等內(nèi)容。3.性能監(jiān)控系統(tǒng)性能監(jiān)控系統(tǒng)根據(jù)既定的監(jiān)控策略，通過部署相應監(jiān)控程序可對超出正常值的性能指標進行預警、分析和查殺。。一.IIIonesusisKKel^isu^sw-l=ls一ilh翦卷Ih面g宣i雷岫皈眉一iffli一奎。ilh更切定岑e備瞅ir?泌置<￥;?s舞宣IM映苗&費罟蕾窘e瓣夏籬螂<普置爰同一胡螂袱<R0之￡W6=H-任眷缺onin一B蜃熱卷lh曲史備告置蜃星粵e瞠同一+M黑泌置旺埋兼i胡螂olifflizsz^s-回SUH-一，稿M回耍一一苗恒商銀行大數(shù)據(jù)性能測試領(lǐng)域，并開展了經(jīng)典場景案例下的最佳性能測試實踐，在完善測試體系、降低測試成本以及提升測試質(zhì)量等方面效果顯著。1.完善大數(shù)據(jù)性能測試方法體系通過從測試源頭識別性能需求、采用動靜結(jié)合的性能測試方法、構(gòu)建完善的性能監(jiān)控體系以及引入機器學習性能預測模型，工商銀行建立了需求分析、版本測試、日常監(jiān)控、模型預測〃四位一體”的大數(shù)據(jù)性能容量評測體系，不僅提供了一套完整的大數(shù)據(jù)性能測試方法，還通過大數(shù)據(jù)性能容量測試平臺實現(xiàn)了統(tǒng)一管理，從而為金融業(yè)開展大數(shù)據(jù)性能容量測試提供了可借鑒的指引和參考。2.顯著降低測試成本，提升測試效率通過開發(fā)大數(shù)據(jù)性能容量測試平臺，工商銀行將性能測試靜態(tài)校驗和模型預測結(jié)果進行可視化展現(xiàn)，使得所有程序管理、靜態(tài)校驗、監(jiān)控查殺和模型預測等工作均能夠通過平臺自動化完成，并可在動態(tài)測試前即發(fā)現(xiàn)性能容量隱患，不僅使工作效率提升60%左右，也節(jié)省了約30%的測試資源。從成效來看，在需求分析方面，工商銀行建立覆蓋開發(fā)、測試、生產(chǎn)全流程的大數(shù)據(jù)性能容量測試流程，完成44個大數(shù)據(jù)項目的需求分析并開展了針對性測試，發(fā)現(xiàn)、解決性能問題50例；在版本測試方面，工商銀行通過靜態(tài)代碼校驗，發(fā)現(xiàn)62個入云應用共計3000余腳本存在性能隱患，之后通過專項治理優(yōu)化使計算資源節(jié)省了約5%；在監(jiān)控預警方面，工商銀行確定了53個大數(shù)據(jù)分布式系統(tǒng)性能容量監(jiān)控指標，部署25項監(jiān)控規(guī)則，實現(xiàn)了對設(shè)備、集群、資源、服務(wù)、