銀行旁路運營監(jiān)察系統(tǒng)方案

1、銀行旁路運營監(jiān)察系統(tǒng)方案技術(shù)創(chuàng)新，變革未來智慧IT目前運維監(jiān)控的困境運維與開發(fā)分屬不同部門，監(jiān)控方面的需求運維很重視，但開發(fā)無暇顧及；系統(tǒng)與系統(tǒng)、組件與組件耦合關(guān)系梳理不清楚，不知道你不知道時常發(fā)生；隨著監(jiān)控指標增多，監(jiān)控平臺延遲越來越大；缺少預(yù)警功能；較難做到端到端的監(jiān)控；虛擬機、容器越來越多，agent負載越來越大，丐效果不好；基礎(chǔ)層面監(jiān)控較難關(guān)聯(lián)到業(yè)務(wù)層面的監(jiān)控；運維就是純技術(shù)，但是老板希望看到實時報表，或者大促時候的實時交易數(shù)據(jù)；傳統(tǒng)監(jiān)控與安全關(guān)系不大?，F(xiàn)狀埋點，例如：Metrics+influxdb+grafanaAgent，例如：Zabbix現(xiàn)有日志，例如：Syslog、ELK數(shù)據(jù)

2、庫采集比較需求數(shù)量：集團下面全部30+家專業(yè)公司，如銀行、證券、信托、陸金所、汽車之家等等；N*100Tb/s；流量：互聯(lián)網(wǎng)C端入口流量數(shù)據(jù)量：N*100TB/天；指標：x十萬個；告警延遲：10秒內(nèi)；展示延遲：30秒內(nèi)；預(yù)警提前：1周；顆粒度：每一個業(yè)務(wù)，每一個維度，每一個產(chǎn)品，例如陸金所基金3000+支基金，監(jiān)控每一支交易趨勢；深圳監(jiān)察室，集中展示與告警。旁路方案監(jiān)控目標指標交易可用性數(shù)據(jù)庫可用性主機可用性網(wǎng)絡(luò)可用性安全可用性應(yīng)用可用性交易監(jiān)控指標容量交易量可用性業(yè)務(wù)成功率系統(tǒng)成功率系統(tǒng)錯誤數(shù)交易超時率服務(wù)質(zhì)量平均響應(yīng)時間平均處理時間長交易數(shù)量長交易率總覽視圖部署單 元視圖AP視 圖交易碼

3、視圖錯誤碼 視圖發(fā)送方視圖視圖發(fā)起方接收方視圖明細視 圖自定義視圖渠道類 型視圖地理信 息視圖分公司視圖流量采集商業(yè)的有tap例如gigamon；開源的為Pf_ring，High-speed packet capture, filtering and analysis.實現(xiàn)數(shù)據(jù)采集和解析一體化，同時完成流量采集，數(shù)據(jù)包解析和清洗。使用旁路模式進行部署。通過鏡像流量來捕獲數(shù)據(jù)，不影響現(xiàn)有應(yīng)用系統(tǒng)和網(wǎng)絡(luò)，為純軟件解決方案，直接部署在通用服務(wù)器上即可實現(xiàn)實時采集和解析數(shù)據(jù)。大吞吐量和高可用，最高可支持每秒40Gb數(shù)據(jù)的采集。安全可靠。旁路接收口位亍防火墻之后，僅用亍數(shù)據(jù)采集，不配置IP，不會被外部攻

4、擊。提供強大的分析清洗能力，訪問及交易請求處理能力可達20000筆/s。流量采集-TAPGigamoniTAP：流量采集-iTAP會單獨打開一個附件，來詳細說明！處理與展示解碼全量解碼，例如天旦；正則解碼，例如華青；iTAP解碼。會單獨打開一個附件，來詳細說明！協(xié)議解碼拓撲發(fā)現(xiàn)報文私有協(xié)議解析數(shù)據(jù)分析Elasticsearch：至少1.7及以后，之前版本存在安全漏洞；GC設(shè)置；Index template設(shè)置；結(jié)合flume-collector或者kafka-批量壓入方式，進行數(shù)據(jù)傳輸；SPARK+HADOOP：延遲；分片；結(jié)合kafka進行數(shù)據(jù)傳輸，partition設(shè)置；最小二乘法等趨勢預(yù)

5、測方法數(shù)據(jù)展示自定義視圖；權(quán)限控制顯示，尤其單值顯示；色彩對比度大；靈活配置界面；刷新頻率與方式；顯示點、線、圖；如何一個產(chǎn)品顯示3000多個指標；輪播形式包線、圖表同比、環(huán)比排期設(shè)置預(yù)警與告警。數(shù)據(jù)展示數(shù)據(jù)分析平臺特點支持EPL語言對事件進行復(fù)雜邏輯處理；靈活的數(shù)據(jù)處理：支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型全文檢索、分析和批處理；支持超高幵發(fā)查詢能力；支持監(jiān)控大屏幕個性化配置功能，可根據(jù)不同監(jiān)控、分析場景配置實現(xiàn)動態(tài)、實時的 大屏幕監(jiān)控視圖?？商峁I(yè)務(wù)地圖、業(yè)務(wù)渠道、業(yè)務(wù)量同比環(huán)比變化、丏業(yè)公司等不同維度業(yè)務(wù)指標的實時結(jié)果展示；展示平臺特點告警支持自定義過濾器（過濾器支持多條件的邏輯運算和搜索、數(shù)學(xué)計算）進行告警;支持對多個流