云環(huán)境下的網(wǎng)絡(luò)流量采集探索與實(shí)踐

1、 云環(huán)境下的網(wǎng)絡(luò)流量采集探索與實(shí)踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc21981693 01 綜述 PAGEREF _Toc21981693 h 3 HYPERLINK l _Toc21981694 02 網(wǎng)絡(luò)流量采集的價(jià)值 PAGEREF _Toc21981694 h 3 HYPERLINK l _Toc21981695 03 傳統(tǒng)網(wǎng)絡(luò)流量采集的方案 PAGEREF _Toc21981695 h 5 HYPERLINK l _Toc21981696 04 云環(huán)境下流量采集面臨的挑戰(zhàn) PAGEREF _Toc21981696 h 6 HYPERLINK l

2、_Toc21981697 05 云環(huán)境下的流量采集實(shí)踐 PAGEREF _Toc21981697 h 8 HYPERLINK l _Toc21981698 5.1 建設(shè)目標(biāo) PAGEREF _Toc21981698 h 8 HYPERLINK l _Toc21981699 5.2 云環(huán)境虛機(jī)流量采集模式的選擇 PAGEREF _Toc21981699 h 9 HYPERLINK l _Toc21981700 5.3 云環(huán)境下的流量采集平臺(tái)架構(gòu) PAGEREF _Toc21981700 h 10 HYPERLINK l _Toc21981701 5.4 云環(huán)境下的流量采集實(shí)踐效果 PAGEREF

3、 _Toc21981701 h 12 HYPERLINK l _Toc21981702 06 展望 PAGEREF _Toc21981702 h 1601 綜述近兩年，邁入FinTech時(shí)代的商業(yè)銀行紛紛搶占新一輪技術(shù)革命先機(jī)，積極進(jìn)行數(shù)字化轉(zhuǎn)型，加大對(duì)云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈和物聯(lián)網(wǎng)等新技術(shù)的研究和應(yīng)用，提升科技服務(wù)能力的同時(shí)為客戶提供智能、全方位、差異化服務(wù)。數(shù)字化轉(zhuǎn)型離不開信息技術(shù)和IT架構(gòu)的創(chuàng)新和建設(shè)，民生銀行作為具有全國(guó)影響力的股份制商業(yè)銀行，在改革轉(zhuǎn)型信息科技實(shí)施方案暨信息科技三年規(guī)劃的指導(dǎo)下，積極探索云計(jì)算技術(shù)在數(shù)據(jù)中心的落地，目前分行測(cè)試云、行業(yè)云已成功上線并穩(wěn)定運(yùn)行。

4、云計(jì)算通過云管、云平臺(tái)及虛擬化技術(shù)實(shí)現(xiàn)了資源的統(tǒng)一池化管理，支持多租戶、自服務(wù)以及資源彈性伸縮。云計(jì)算技術(shù)在帶來以上優(yōu)勢(shì)的同時(shí)，也給傳統(tǒng)的流量采集帶來了新的挑戰(zhàn)。本文結(jié)合民生銀行分行測(cè)試云建設(shè)的實(shí)際情況，探索和研究云環(huán)境下的網(wǎng)絡(luò)流量采集實(shí)現(xiàn)方案。02 網(wǎng)絡(luò)流量采集的價(jià)值網(wǎng)絡(luò)流量采集大多利用網(wǎng)絡(luò)設(shè)備支持旁路流量鏡像的方式實(shí)現(xiàn)。通過旁路鏡像獲取原始業(yè)務(wù)流量的方式，對(duì)生產(chǎn)在線業(yè)務(wù)無任何影響，旁路的監(jiān)控方式可實(shí)現(xiàn)各監(jiān)控平臺(tái)的集中統(tǒng)一部署并釋放大量的主機(jī)資源。從目前行業(yè)使用來看，旁路網(wǎng)絡(luò)流量采集是所有旁路流量監(jiān)控和分析平臺(tái)的基礎(chǔ)，旁路網(wǎng)絡(luò)流量采集不僅僅具有采集功能，同時(shí)還可以對(duì)采集的流量進(jìn)行分類、標(biāo)記、

5、去重、復(fù)制、脫敏、過濾等流量?jī)?yōu)化功能，實(shí)現(xiàn)流量資源的靈活按需供給。對(duì)于數(shù)據(jù)中心運(yùn)維來說，通過建立統(tǒng)一的網(wǎng)絡(luò)流量采集平臺(tái)，結(jié)合各監(jiān)控分析平臺(tái)可以極大提升運(yùn)維管理水平和業(yè)務(wù)連續(xù)性管理水平。1. 提供監(jiān)控分析數(shù)據(jù)源：通過網(wǎng)絡(luò)流量采集獲取的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)上業(yè)務(wù)交互的流量，可為網(wǎng)絡(luò)監(jiān)控、交易監(jiān)控、安全監(jiān)控、大數(shù)據(jù)、客戶行為分析、訪問策略需求梳理優(yōu)化、各類可視化分析平臺(tái)以及成本分析、應(yīng)用擴(kuò)容、遷移等提供所需的數(shù)據(jù)源。2.提供舉證溯源功能：在日常開發(fā)測(cè)試、生產(chǎn)運(yùn)維過程中時(shí)常會(huì)因?yàn)楣收弦呀?jīng)發(fā)生，缺少歷史故障時(shí)間點(diǎn)的真實(shí)數(shù)據(jù)進(jìn)行詳細(xì)分析和定位，互相推諉的情況時(shí)有發(fā)生。通過網(wǎng)絡(luò)流量采集可以實(shí)現(xiàn)對(duì)歷史數(shù)據(jù)進(jìn)行回溯分析

6、和故障診斷，為開發(fā)、應(yīng)用、業(yè)務(wù)部門提供歷史數(shù)據(jù)支撐，徹底解決取證難、效率低，甚至互相推諉的問題。3.解決監(jiān)控?cái)?shù)據(jù)來源不一致問題，提升應(yīng)急處置效率：通過為網(wǎng)絡(luò)、應(yīng)用監(jiān)控、交易監(jiān)控、安全監(jiān)控等平臺(tái)提供統(tǒng)一的數(shù)據(jù)源，可消除原有各監(jiān)控平臺(tái)存在采集信息來源不一致、信息不對(duì)稱問題，提升各類突發(fā)事件處置效率，快速定位問題，恢復(fù)業(yè)務(wù)，提高業(yè)務(wù)連續(xù)性水平。4.提供數(shù)據(jù)合并功能：通過建立統(tǒng)一的網(wǎng)絡(luò)流量采集平臺(tái)，可以對(duì)部署同城雙中心甚至多中心的分散流量進(jìn)行合并再處理，結(jié)合過濾等優(yōu)化功能實(shí)現(xiàn)按需供給。5.消除干擾、充分釋放主機(jī)資源：沒有網(wǎng)絡(luò)流量采集的情況下，基于交易或安全的監(jiān)控代理需要部署在服務(wù)器上。一方面對(duì)應(yīng)用的穩(wěn)

7、定性可能會(huì)帶來一定的影響，同時(shí)也需要消耗一定的主機(jī)資源。另一方面在故障分析時(shí)需要排除監(jiān)控代理自身因素，給故障定位帶來了一定的干擾。而通過旁路的流量采集則可以規(guī)避此類問題。另外，需要重點(diǎn)說明的時(shí)，流量采集作為旁路分析的基礎(chǔ)供數(shù)平臺(tái)，與生產(chǎn)網(wǎng)絡(luò)一樣，其自身的穩(wěn)定性、可靠性和準(zhǔn)確性相當(dāng)重要。比如就準(zhǔn)確性來說，流量采集原則上不允許出現(xiàn)任何丟包、擁塞的情況，否則會(huì)導(dǎo)致上層的監(jiān)控分析結(jié)果出現(xiàn)偏差，甚至產(chǎn)生頻繁的監(jiān)控誤告警，監(jiān)控分析也就失去了其本來的價(jià)值。基于以上原因，我行在最新的流量采集平臺(tái)建設(shè)中首次采用了先進(jìn)的SPINE-LEAF架構(gòu)，大量采用萬M接入、多鏈路負(fù)載均衡以及源端口流量?jī)?yōu)化機(jī)制并逐步向40G

8、/100G過渡，以實(shí)現(xiàn)無丟包的流量采集和供數(shù)能力。03 傳統(tǒng)網(wǎng)絡(luò)流量采集的方案目前傳統(tǒng)的網(wǎng)絡(luò)環(huán)境中流量采集主要有如下四種方式：1. 鏡像直通方式：直接通過交換機(jī)鏡像方式將采集的流量給到分析工具。優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、無需增加新的投入，缺點(diǎn)是不靈活，受交換機(jī)鏡像功能的限制在將流量給到分析工具之前無法對(duì)采集的流量進(jìn)行預(yù)先的優(yōu)化處理，對(duì)監(jiān)控工具的性能和端口消耗過大。此種方案一般只適合于中小規(guī)模的部署情況。2.分光器方式：將分光器串接在網(wǎng)絡(luò)設(shè)備之間，采用分光技術(shù)將線路上的流量復(fù)制一份出來給到采集平臺(tái)。此種方案優(yōu)點(diǎn)是對(duì)網(wǎng)絡(luò)設(shè)備無影響，缺點(diǎn)是串接需要調(diào)整布線，設(shè)備之間串接分光器后對(duì)數(shù)據(jù)傳輸?shù)姆€(wěn)定性可能帶來一定的

9、影響。此種方案一般不作為獨(dú)立方案使用，且大多僅在局部使用，實(shí)際應(yīng)用時(shí)可考慮作為鏡像方式的補(bǔ)充，物理網(wǎng)絡(luò)設(shè)備互聯(lián)流量集中的場(chǎng)景中可考慮采用分光器方式解決物理交換機(jī)鏡像能力不足的問題。3.建立專門的流量采集平臺(tái)：通過成熟的硬件搭建獨(dú)立的采集平臺(tái)接收鏡像或分光器等來源流量，然后供數(shù)給各分析平臺(tái)。此方案優(yōu)點(diǎn)是可實(shí)現(xiàn)跨中心、跨地域的流量聚合功能；可對(duì)流量進(jìn)行優(yōu)化、預(yù)處理，有效減輕分析平臺(tái)的壓力；同時(shí)具備流量復(fù)制功能，一份原始流量，多平臺(tái)復(fù)用；亦可根據(jù)各監(jiān)控平臺(tái)特點(diǎn)和需求實(shí)現(xiàn)按需供給。此種方案適合于需要對(duì)流量進(jìn)行優(yōu)化或需給多分析平臺(tái)供數(shù)的情況，方案應(yīng)用比較廣泛。4.Netflow方式：此方案通過在網(wǎng)絡(luò)設(shè)備

10、接口下啟用Netflow功能，將采集的信息走以太網(wǎng)絡(luò)傳遞給監(jiān)控平臺(tái)。優(yōu)點(diǎn)是可以采集到一些通過鏡像方式無法采集到的流量，如路由器上的非以太接口的流量，缺點(diǎn)是只能作采樣，無法采集原始流量，采樣比過大時(shí)對(duì)網(wǎng)絡(luò)設(shè)備穩(wěn)定性和性能影響較大，部署時(shí)需詳細(xì)評(píng)估。此方式大多用于骨干或外聯(lián)專線作基本的流量成分分析和安全分析，通常作為整體流量監(jiān)控的輔助手段。04 云環(huán)境下流量采集面臨的挑戰(zhàn)云服務(wù)在我國(guó)各行業(yè)中的占比越來越大。自2017年起，我國(guó)已有70%以上的省市先后出臺(tái)政策，推動(dòng)當(dāng)?shù)仄髽I(yè)加速上云。思科預(yù)計(jì)2020年云化數(shù)據(jù)中心的東西向流量將占數(shù)據(jù)中心總流量的80%以上。企業(yè)上云后，不再大規(guī)模使用物理機(jī)部署業(yè)務(wù)，大

11、多利用虛擬化技術(shù)對(duì)計(jì)算資源進(jìn)行統(tǒng)一的池化管理，這時(shí)同一物理機(jī)不同虛機(jī)之間的業(yè)務(wù)交互的東西流量不再經(jīng)過網(wǎng)絡(luò)物理交換機(jī)。傳統(tǒng)數(shù)據(jù)中心的流量采集方案十分成熟，但云環(huán)境下的流量采集實(shí)現(xiàn)面臨著諸多挑戰(zhàn)：1) 虛機(jī)監(jiān)控的缺失：云計(jì)算和虛擬化將網(wǎng)絡(luò)的邊界延伸到了物理服務(wù)器內(nèi)部，同一物理機(jī)內(nèi)部不同虛機(jī)之間的東西流量交互不再經(jīng)過物理交換機(jī)，傳統(tǒng)的通過物理交換機(jī)鏡像獲取業(yè)務(wù)交互流量的方式已不能適應(yīng)虛機(jī)之間流量采集，云環(huán)境中東西流量的采集需打破傳統(tǒng)的完全旁路無侵入的鏡像模式，將采集客戶端部署到服務(wù)器上。2) 性能挑戰(zhàn)：傳統(tǒng)的流量采集通過在接入交換機(jī)上有選擇地鏡像（比如只鏡像關(guān)鍵業(yè)務(wù)主機(jī)交換機(jī)端口流量）將流量引給流量

12、采集平臺(tái)，目前來看傳統(tǒng)數(shù)據(jù)中心交換機(jī)鏡像性能上暫時(shí)還不存在過大的壓力。但在云環(huán)境中服務(wù)器大多通過10G或25G高密接入。由于交換機(jī)鏡像只能基于接口采集所有流量，無法作過濾，在此種模式下，交換機(jī)上集中鏡像的方式必然會(huì)給網(wǎng)絡(luò)設(shè)備帶來性能和穩(wěn)定性的影響。3) 靜態(tài)的采集和運(yùn)維方式不能適應(yīng)云化環(huán)境的變化：企業(yè)上云之后，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源被池化和虛擬化，實(shí)現(xiàn)集中的自動(dòng)化運(yùn)維，網(wǎng)絡(luò)人員不再需要過多關(guān)心底層計(jì)算資源與網(wǎng)絡(luò)資源的映射。云環(huán)境中虛機(jī)上線、下線、擴(kuò)容、遷移、故障切換頻繁且均通過自動(dòng)化實(shí)現(xiàn)，傳統(tǒng)的通過靜態(tài)鏡像進(jìn)行流量采集的方式無法感知虛機(jī)的變化，鏡像策略更是無法隨虛機(jī)的切換實(shí)現(xiàn)同步部署。05

13、 云環(huán)境下的流量采集實(shí)踐5.1 建設(shè)目標(biāo)從上面的描述可以看出，云環(huán)境下的流量采集重點(diǎn)要關(guān)注虛擬機(jī)之間東西向流量的采集以及性能問題。同時(shí)鑒于云平臺(tái)的動(dòng)態(tài)性特點(diǎn)，云環(huán)境下的流量采集需突破現(xiàn)有傳統(tǒng)交換機(jī)鏡像的模式，實(shí)現(xiàn)靈活、自動(dòng)化的采集和監(jiān)控部署功能，以匹配云網(wǎng)絡(luò)的自動(dòng)化運(yùn)維目標(biāo)，綜合考慮云環(huán)境下的流量采集需實(shí)現(xiàn)如下目標(biāo)：實(shí)現(xiàn)虛擬機(jī)之間東西向流量的采集功能采集部署到計(jì)算節(jié)點(diǎn)上，采用分布式采集架構(gòu)，規(guī)避通過交換機(jī)鏡像帶來的性能和穩(wěn)定性問題可動(dòng)態(tài)感知云環(huán)境中虛擬機(jī)資源的變化，采集策略可隨虛擬機(jī)資源的變化進(jìn)行自動(dòng)調(diào)整采集工具自身需具備過載保護(hù)機(jī)制，最小化對(duì)服務(wù)器的影響采集工具自身具備流量?jī)?yōu)化功能采集平臺(tái)可

14、對(duì)采集的虛擬機(jī)流量進(jìn)行監(jiān)控5.2 云環(huán)境虛機(jī)流量采集模式的選擇云環(huán)境中虛機(jī)流量采集需將采集探針部署到計(jì)算節(jié)點(diǎn)上，根據(jù)計(jì)算節(jié)點(diǎn)上可部署采集點(diǎn)的位置，云環(huán)境下的虛擬機(jī)流量采集模式可分為Agent模式、虛機(jī)模式、宿主機(jī)模式三種，對(duì)比說明如下：Agent模式：在云環(huán)境中的每一臺(tái)需采集流量的虛擬機(jī)上安裝采集軟探針（Agent代理），通過Agent代理軟件提取云環(huán)境東西向流量，分發(fā)給各分析平臺(tái)，優(yōu)點(diǎn)是與虛擬化平臺(tái)無關(guān)，不影響虛擬交換機(jī)性能，可隨虛機(jī)遷移，可作流量過濾，缺點(diǎn)是需管理的Agent過多，故障時(shí)無法排除Agent自身的影響，需共用現(xiàn)有生產(chǎn)網(wǎng)卡吐流量，可能會(huì)對(duì)業(yè)務(wù)交互產(chǎn)生影響，新建虛機(jī)需同步部署Ag

15、ent。虛機(jī)模式：在云環(huán)境每臺(tái)物理宿主機(jī)上安裝統(tǒng)一的采集虛擬機(jī)并在采集虛擬機(jī)上部署采集軟探針，通過在虛擬交換機(jī)上鏡像虛擬網(wǎng)卡流量的方式將該宿主機(jī)上的流量鏡像給采集虛擬機(jī)，然后由該采集虛擬機(jī)通過專用網(wǎng)卡傳輸至傳統(tǒng)物理流量采集平臺(tái)，再分發(fā)至各監(jiān)控分析平臺(tái)。優(yōu)點(diǎn)是軟交換機(jī)旁路鏡像，對(duì)現(xiàn)有業(yè)務(wù)網(wǎng)卡和虛擬機(jī)無侵?jǐn)_，通過一定的手段也可實(shí)現(xiàn)對(duì)虛機(jī)變化的感知和策略的自動(dòng)遷移，缺點(diǎn)是采集虛擬機(jī)被動(dòng)接收流量無法實(shí)現(xiàn)過載保護(hù)機(jī)制，可鏡像的流量大小由虛擬交換機(jī)性能決定，對(duì)虛擬交換機(jī)穩(wěn)定性有一定影響，KVM環(huán)境中需由云平臺(tái)統(tǒng)一下發(fā)鏡像流表，管理維護(hù)復(fù)雜，特別是宿主機(jī)故障時(shí)，采集虛機(jī)等同于業(yè)務(wù)虛機(jī)也會(huì)隨著其它虛機(jī)遷移到不

16、同的宿主機(jī)上，此時(shí)采集策略和采集虛機(jī)如何管理維護(hù)目前來看還沒有較好的解決方案。宿主機(jī)模式：通過在云環(huán)境每臺(tái)物理宿主機(jī)上部署獨(dú)立采集軟探針，以進(jìn)程模式工作在宿主機(jī)上，并將采集的流量傳輸至傳統(tǒng)物理流量采集平臺(tái)。優(yōu)點(diǎn)是完全旁路的機(jī)制，對(duì)虛機(jī)、業(yè)務(wù)網(wǎng)卡、虛機(jī)交換機(jī)均無侵?jǐn)_，采集方式簡(jiǎn)單，管理方便，無需維護(hù)獨(dú)立虛機(jī)，輕量級(jí)且采集軟探針可實(shí)現(xiàn)過載保護(hù)。由于是作為宿主機(jī)上的進(jìn)程，可對(duì)宿主機(jī)和虛機(jī)資源、性能等進(jìn)行監(jiān)控，指導(dǎo)鏡像策略的部署。缺點(diǎn)是需消耗一定宿主機(jī)的資源，重點(diǎn)需關(guān)注性能影響，另外可能存在某些虛機(jī)化平臺(tái)不支持宿主機(jī)上部署采集軟件探針的情況。綜上所述，宿主機(jī)模式的天生完全旁路的方式優(yōu)勢(shì)明顯，風(fēng)險(xiǎn)較低，

17、且與我行使用的基于OpenStack的云平臺(tái)和KVM虛擬平臺(tái)完全匹配，因此我行在云環(huán)境中選擇了宿主機(jī)上部署軟采集探針的方式實(shí)現(xiàn)云環(huán)境中虛機(jī)流量的采集。5.3 云環(huán)境下的流量采集平臺(tái)架構(gòu)如下圖所示，云環(huán)境下的流量采集平臺(tái)采用了兩級(jí)架構(gòu)，包括云網(wǎng)絡(luò)流量采集控制器和云網(wǎng)絡(luò)流量采集客戶端。云網(wǎng)絡(luò)流量采集控制器：通過API與Openstack云平臺(tái)無縫對(duì)接，自動(dòng)學(xué)習(xí)云平臺(tái)內(nèi)主機(jī)、項(xiàng)目、虛擬機(jī)、網(wǎng)絡(luò)等資源以及網(wǎng)絡(luò)和資源的映射關(guān)系，監(jiān)控云環(huán)境中各類資源間網(wǎng)絡(luò)連接和流量。云網(wǎng)絡(luò)流量采集控制器對(duì)流量采集策略、云網(wǎng)絡(luò)流量采集客戶端進(jìn)行統(tǒng)一管理。控制器可自動(dòng)感知云網(wǎng)絡(luò)中的虛機(jī)變化，當(dāng)有虛機(jī)上線、下線、遷移時(shí)，采集策

18、略自動(dòng)進(jìn)行匹配，無需人工干預(yù)。云網(wǎng)絡(luò)流量采集客戶端：部署在每一個(gè)計(jì)算節(jié)點(diǎn)上負(fù)責(zé)接收控制器下發(fā)的采集策略，實(shí)現(xiàn)對(duì)虛機(jī)流量采集、流量按需分發(fā)、復(fù)制、切片、去重等優(yōu)化功能，并通過獨(dú)立的主機(jī)網(wǎng)卡與現(xiàn)有的流量采集平臺(tái)建立VxLAN隧道，將流量吐給現(xiàn)有流量采集平臺(tái)（也可以吐給網(wǎng)絡(luò)交換機(jī)），實(shí)現(xiàn)云網(wǎng)絡(luò)采集流量和傳統(tǒng)網(wǎng)絡(luò)采集流量的統(tǒng)一管理。5.4 云環(huán)境下的流量采集實(shí)踐效果經(jīng)過優(yōu)化，云環(huán)境下的流量采集平臺(tái)已在我行分行測(cè)試云中成功試點(diǎn)，并與我行現(xiàn)有流量采集平臺(tái)實(shí)現(xiàn)了無縫對(duì)接，目前運(yùn)行穩(wěn)定。云環(huán)境下的流量采集平臺(tái)的成功上線，擴(kuò)展了現(xiàn)有流量采集平臺(tái)的功能，解決了云環(huán)境中流量采集的各類痛點(diǎn)問題。云平臺(tái)資源自動(dòng)發(fā)現(xiàn)和關(guān)

19、聯(lián)通過API與Openstack云平臺(tái)無縫對(duì)接，控制器可以發(fā)現(xiàn)云平臺(tái)中的各類資源，包括區(qū)域、用戶、VPC、子網(wǎng)、路由器、虛擬機(jī)等，并直觀地展現(xiàn)給網(wǎng)絡(luò)管理員。結(jié)合采集器的監(jiān)控和采集功能，可以基于各個(gè)維度可視化展現(xiàn)當(dāng)前云環(huán)境中的資源使用和流量監(jiān)控情況，方便運(yùn)維人員隨時(shí)掌握云環(huán)境中的流量采集和資源部署情況。如可基于VPC建立網(wǎng)段、虛機(jī)及IP的映射關(guān)系，并實(shí)時(shí)監(jiān)控虛機(jī)的監(jiān)控部署情況及流量。靈活的采集策略采集客戶端是運(yùn)行于計(jì)算節(jié)點(diǎn)的用戶態(tài)進(jìn)程，資源占用低并且具備完整的流量預(yù)處理能力。采集客戶端部署實(shí)施時(shí)無需對(duì)現(xiàn)有系統(tǒng)進(jìn)行改造，對(duì)生產(chǎn)系統(tǒng)的依賴和影響降到了最低，在大規(guī)模虛擬網(wǎng)絡(luò)環(huán)境中，采集器滿足部署零依賴、策略零干擾、資源消耗低等特性。采集客戶端通過從控制器獲取采集規(guī)則，實(shí)現(xiàn)精細(xì)采集和引流控制。采集客戶端采集規(guī)則可以基于IP、IP段、虛機(jī)、子網(wǎng)、端口等多角度進(jìn)行采集，另外也可以自定義資源組進(jìn)行采集。采集客戶端可以鏡像