網(wǎng)絡(luò)自動(dòng)化運(yùn)維教程 課件 項(xiàng)目7 使用Telemetry實(shí)時(shí)監(jiān)控CPU和內(nèi)存使用率

項(xiàng)目7使用Telemetry實(shí)時(shí)監(jiān)控CPU和內(nèi)存使用率項(xiàng)目7使用Telemetry實(shí)時(shí)監(jiān)控CPU和內(nèi)存使用率7.1Telemetry概述7.2Telemetry技術(shù)原理7.3任務(wù)實(shí)施7.1Telemetry概述Telemetry也叫NetworkTelemetry（網(wǎng)絡(luò)遙測(cè)技術(shù)），是一項(xiàng)遠(yuǎn)程的從物理設(shè)備或虛擬設(shè)備上高速采集數(shù)據(jù)的技術(shù)。設(shè)備通過(guò)推模式（PushMode）周期性的主動(dòng)向采集器上送設(shè)備的接口流量統(tǒng)計(jì)、CPU或內(nèi)存數(shù)據(jù)等信息，相對(duì)傳統(tǒng)拉模式（PullMode）的一問(wèn)一答式交互，提供了更實(shí)時(shí)更高速的數(shù)據(jù)采集功能。1Telemetry簡(jiǎn)介7.1Telemetry概述Telemetry采用推模式工作，YANG模型定義結(jié)構(gòu)，精度可以達(dá)到亞秒級(jí)。2Telemetry技術(shù)特點(diǎn)7.1Telemetry概述Telemetry技術(shù)采用推模式及時(shí)獲取豐富的監(jiān)控?cái)?shù)據(jù)，可以實(shí)現(xiàn)網(wǎng)絡(luò)故障的快速定位，提供統(tǒng)一的數(shù)據(jù)流格式，簡(jiǎn)化采集器分析監(jiān)測(cè)數(shù)據(jù)的難度，從而解決傳統(tǒng)網(wǎng)絡(luò)運(yùn)維問(wèn)題。采集數(shù)據(jù)的精度高，且類型十分豐富，可以充分反映網(wǎng)絡(luò)狀況。在復(fù)雜的網(wǎng)絡(luò)中，能夠快速地定位故障，達(dá)到秒級(jí)，甚至亞秒級(jí)的故障定位速度。僅需配置一次訂閱，設(shè)備就可以持續(xù)上報(bào)數(shù)據(jù)，減輕了設(shè)備處理查詢請(qǐng)求的壓力3Telemetry技術(shù)優(yōu)勢(shì)7.1Telemetry概述4Telemetry網(wǎng)絡(luò)模型Telemetry網(wǎng)絡(luò)模型分廣義和狹義兩種：廣義Telemetry：包括采集器、分析器、控制器和設(shè)備共同構(gòu)成的一個(gè)自閉環(huán)系統(tǒng)。狹義Telemetry：指設(shè)備采樣數(shù)據(jù)上送給采集器的功能。廣義Telemetry網(wǎng)絡(luò)模型項(xiàng)目7使用Telemetry實(shí)時(shí)監(jiān)控CPU和內(nèi)存使用率7.1Telemetry概述7.2Telemetry技術(shù)原理7.3任務(wù)實(shí)施7.2Telemetry技術(shù)原理狹義的Telemetry框架可以分為四個(gè)模塊：數(shù)據(jù)源、數(shù)據(jù)生成、數(shù)據(jù)訂閱和數(shù)據(jù)推送。1Telemetry框架7.2Telemetry技術(shù)原理Telemetry數(shù)據(jù)源定義了可被獲取的數(shù)據(jù)。Telemetry采用YANG模型定義設(shè)備可獲取數(shù)據(jù)源。支持各類YANG模型，包括Huawei-YANG、IETF-YANG和OpenConfig-YANG2Telemetry數(shù)據(jù)源7.2Telemetry技術(shù)原理Telemetry數(shù)據(jù)訂閱定義了數(shù)據(jù)發(fā)送端和數(shù)據(jù)獲取端交互關(guān)系。3Telemetry數(shù)據(jù)訂閱7.2Telemetry技術(shù)原理當(dāng)用戶想長(zhǎng)時(shí)間、周期性地監(jiān)控某個(gè)端口的端口流量趨勢(shì)時(shí)，可以配置Telemetry靜態(tài)訂閱功能。4Telemetry靜態(tài)訂閱7.2Telemetry技術(shù)原理5Telemetry動(dòng)態(tài)訂閱當(dāng)用戶對(duì)某些接口產(chǎn)生興趣，想監(jiān)控一段時(shí)間時(shí)，可以配置Telemetry動(dòng)態(tài)訂閱功能。在不感興趣時(shí)，斷開(kāi)連接即可，訂閱會(huì)自動(dòng)取消且不會(huì)配置恢復(fù)，從而避免對(duì)設(shè)備造成長(zhǎng)期負(fù)載，也簡(jiǎn)化了用戶和設(shè)備的交互。7.2Telemetry技術(shù)原理6采樣數(shù)據(jù)設(shè)備側(cè)將采樣數(shù)據(jù)按照編碼格式進(jìn)行編碼，并且使用傳輸協(xié)議進(jìn)行數(shù)據(jù)傳輸。設(shè)備側(cè)采樣數(shù)據(jù)主要包括如下3個(gè)方面的內(nèi)容。原始數(shù)據(jù)：Telemetry采樣的原始數(shù)據(jù)可來(lái)自網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)平面、控制平面和管理平面，目前支持采集設(shè)備的接口流量統(tǒng)計(jì)、CPU或內(nèi)存數(shù)據(jù)等。數(shù)據(jù)模型：Telemetry基于YANG模型采集數(shù)據(jù)。YANG用于設(shè)計(jì)可以作為各種傳輸協(xié)議操作的配置數(shù)據(jù)模型、狀態(tài)數(shù)據(jù)模型、RPC模型和通知機(jī)制等。HUAWEI-YANG為測(cè)試特性，不能用于商用場(chǎng)景。性能指標(biāo)：Telemetry技術(shù)目前支持在特定的采樣傳感器路徑下采集指定的數(shù)據(jù)。7.2Telemetry技術(shù)原理7采樣路徑用戶通過(guò)采樣路徑來(lái)描述自己需要采集的數(shù)據(jù)。設(shè)備上的數(shù)據(jù)已經(jīng)通過(guò)YANG模型描述說(shuō)明，基于YANG模型和它的子樹(shù)路徑可以構(gòu)成采樣路徑。例如采集CPU數(shù)據(jù)的路徑為huawei-debug:debug/cpu-infos/cpu-info。冒號(hào)之前的huawei-ifm表示YANG模型名稱，后續(xù)的debug/...表示YANG模型內(nèi)的節(jié)點(diǎn)名稱，各層節(jié)點(diǎn)名稱通過(guò)正斜線銜接在一起。7.2Telemetry技術(shù)原理8采樣周期采樣周期是指周期性地主動(dòng)向采集器上送設(shè)備的接口流量統(tǒng)計(jì)、CPU或內(nèi)存數(shù)據(jù)等。用戶配置靜態(tài)訂閱的采樣周期時(shí)，期望設(shè)備在這個(gè)采樣周期內(nèi)能將所有對(duì)象的數(shù)據(jù)都采集出來(lái)。采樣周期的準(zhǔn)確性受采樣實(shí)例數(shù)、采樣數(shù)據(jù)源的周期和CPU繁忙程度等因素影響。7.2Telemetry技術(shù)原理9GPB編碼在設(shè)備和采集器之間傳輸數(shù)據(jù)時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行編碼，當(dāng)前支持2種編碼格式即Google協(xié)議緩沖（GoogleProtocolBuffer，GPB）編碼格式和JSON編碼格式。采用GPB編碼格式傳輸?shù)臄?shù)據(jù)比采用其他編碼格式（JSON或XML）傳輸?shù)臄?shù)據(jù)具有更強(qiáng)的信息負(fù)載能力，保證了Telemetry業(yè)務(wù)的數(shù)據(jù)吞吐能力，同時(shí)降低了CPU使用率和帶寬。GPB編碼格式，是一種與語(yǔ)言無(wú)關(guān)、平臺(tái)無(wú)關(guān)、可擴(kuò)展性好的用于通信協(xié)議、數(shù)據(jù)存儲(chǔ)的序列化結(jié)構(gòu)數(shù)據(jù)格式。gRPC協(xié)議用GPB編碼格式承載數(shù)據(jù)，GPB編碼格式的文件擴(kuò)展名為.proto。GPB是一種靈活、高效、自動(dòng)序列化結(jié)構(gòu)數(shù)據(jù)的機(jī)制。GPB與XML、JSON類似，但不同的是，它采用二進(jìn)制編碼，性能好、效率高。7.2Telemetry技術(shù)原理10Proto文件（1）Proto文件用于定義GPB編碼的編碼規(guī)則。Telemetry利用GPB編碼格式（文件擴(kuò)展名為.proto）提供一種靈活、高效、自動(dòng)序列化結(jié)構(gòu)數(shù)據(jù)的機(jī)制，GPB屬于二進(jìn)制編碼格式，性能好、效率高。GPB通過(guò).proto文件描述編碼使用的字典。采集器可以利用Protoc工具軟件根據(jù).proto文件自動(dòng)生成代碼，然后用戶基于自動(dòng)生成的代碼進(jìn)行二次開(kāi)發(fā)，對(duì)獲取到的Telemetry數(shù)據(jù)進(jìn)行解析，從而實(shí)現(xiàn)與設(shè)備的數(shù)據(jù)對(duì)接。7.2Telemetry技術(shù)原理10Proto文件（2）華為CE12800V200R005C10SPC800的Proto文件V200R005C10SPC800-Proto.tar。該壓縮文件中包含該設(shè)備的公共Proto文件和業(yè)務(wù)數(shù)據(jù)Proto文件。（1）公共proto文件to。采集器作為客戶端向設(shè)備發(fā)起RPC請(qǐng)求，訂閱采樣數(shù)據(jù)，用于Telemetry動(dòng)態(tài)訂閱。（2）公共proto文件to。設(shè)備作為客戶端主動(dòng)向采集器發(fā)起RPC請(qǐng)求，推送數(shù)據(jù)，用于Telemetry靜態(tài)訂閱。（3）公共proto文件to。設(shè)備采樣業(yè)務(wù)數(shù)據(jù)之后，用Telemetry頭進(jìn)行封裝，方便對(duì)接。（4）業(yè)務(wù)proto文件to。如to、to等設(shè)備采集業(yè)務(wù)數(shù)據(jù)之后，按文件進(jìn)行GPB編碼，網(wǎng)管按業(yè)務(wù)數(shù)據(jù)Proto文件解碼。7.2Telemetry技術(shù)原理11gRPC協(xié)議Telemetry通過(guò)gRPC協(xié)議將經(jīng)過(guò)編碼格式封裝的數(shù)據(jù)上報(bào)給采集器進(jìn)行存儲(chǔ)。gRPC協(xié)議是Google發(fā)布的開(kāi)源RPC框架，是基于HTTP/2協(xié)議的、高性能的、通用的軟件框架。通信雙方都基于該框架進(jìn)行二次開(kāi)發(fā)，從而使得通信雙方聚焦在業(yè)務(wù)，無(wú)須關(guān)注由gRPC軟件框架實(shí)現(xiàn)的底層通信。7.2Telemetry技術(shù)原理12gRPC網(wǎng)絡(luò)架構(gòu)gRPC協(xié)議棧具有如下五層：TCP傳輸層：TCP提供面向連接的、可靠的數(shù)據(jù)鏈路。TLS（TransportLayerSecurity，傳輸層安全）傳輸層：該層是可選的，設(shè)備和采集器可以基于TLS協(xié)議實(shí)現(xiàn)安全通信。HTTP2.0應(yīng)用層：gRPC承載在HTTP2.0協(xié)議上，利用了該協(xié)議的頭部壓縮、多路復(fù)用、流量控制等增強(qiáng)特性。gRPC層：定義了RPC的協(xié)議交互格式。公共RPC方法定義在公共proto文件中，例如to。數(shù)據(jù)模型層：用于承載編碼后的業(yè)務(wù)數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)的編碼格式包括：GPB，XML，JSON等。7.2Telemetry技術(shù)原理13gRPC網(wǎng)絡(luò)架構(gòu)gRPC采用客戶端/服務(wù)器模型，使用HTTP/2協(xié)議傳輸報(bào)文。設(shè)備支持gRPC服務(wù)器或gRPC客戶端7.2Telemetry技術(shù)原理13gRPC網(wǎng)絡(luò)架構(gòu)gRPC采用客戶端/服務(wù)器模型，使用HTTP/2協(xié)議傳輸報(bào)文。設(shè)備支持gRPC服務(wù)器或gRPC客戶端項(xiàng)目7使用Telemetry實(shí)時(shí)監(jiān)控CPU和內(nèi)存使用率7.1Telemetry概述7.2Telemetry技術(shù)原理7.3任務(wù)實(shí)施7.3任務(wù)實(shí)施設(shè)備SZ_CE1與采集器建立gRPC連接，要求當(dāng)SZ_CE1的CPU使用率超過(guò)40%時(shí)，上送數(shù)據(jù)給采集器；當(dāng)SZ_C