《云原生可觀測(cè)性技術(shù)研究與應(yīng)用 2023》

?2023?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有1?2023?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3致謝《云原生可觀測(cè)性技術(shù)研究與應(yīng)用》由CSA大中華區(qū)云原生安?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有4序言并成功執(zhí)行?？捎^測(cè)性應(yīng)用將成為數(shù)據(jù)驅(qū)動(dòng)型決策能力建設(shè)的最強(qiáng)支撐?！北景灼榻B了可觀測(cè)性在云原生場(chǎng)景的架構(gòu)設(shè)計(jì)，闡述在云原生場(chǎng)景使用eBPF后帶來的安全能力提升。這也是可觀測(cè)性對(duì)云原希望通過本白皮書為讀者深入淺出的介紹云原生可觀測(cè)性及云原生可觀測(cè)性對(duì)安?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有5 4 5 8 8 9 10 11 11 14 18 21 21 28 33 40 40 40 41 47 50?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有6 53 56 56 59 63 67?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有71.可觀測(cè)性概述1.1云原生可觀測(cè)性發(fā)展不可變基礎(chǔ)設(shè)施和聲明性API均是基于云原生技術(shù)的特征。采用云原生技術(shù)使?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有81.2可觀測(cè)性定義測(cè)性是在沒有考慮目標(biāo)的情況下決定系統(tǒng)在?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有9其次是探索分析，可觀測(cè)性不應(yīng)該預(yù)定調(diào)試/排查模式和2.云原生可觀測(cè)性成熟度提高對(duì)云原生系統(tǒng)的感知能力，縮短運(yùn)維過程中尋衡量和評(píng)估云原生系統(tǒng)可觀測(cè)性的成熟度模型，Level4——主動(dòng)可觀測(cè)性（ProactiveObse2.1監(jiān)控2.2基礎(chǔ)可觀測(cè)性通過從更多來源收集數(shù)據(jù)，更深入、廣泛、全面地從各種類型的數(shù)據(jù)中獲得有益的洞察力--例2.3因果可觀測(cè)性應(yīng)用場(chǎng)景，對(duì)事件因果的理解有助于更好地預(yù)測(cè)、拓?fù)涫且蚬捎^測(cè)性的第一個(gè)必要維度。拓?fù)涫荌T環(huán)境射，它跨越所有層，從網(wǎng)絡(luò)到應(yīng)用程序再到存儲(chǔ)，顯示展示了系統(tǒng)內(nèi)部各個(gè)元素之間的連接和依賴關(guān)系。這種結(jié)聯(lián)數(shù)據(jù)，能夠比較變化前后的系統(tǒng)狀態(tài)，是可觀測(cè)拓?fù)淇梢詷O大地提高因果判定的準(zhǔn)確性和有效性，Level3對(duì)空間地圖通過拓?fù)淇梢暬头治隽私庖蚬P(guān)系，顯著加快基本自動(dòng)化調(diào)查的基礎(chǔ)，例如根本原因分析、2.4主動(dòng)可觀測(cè)性將人工智能（AI）和機(jī)器學(xué)習(xí)（ML）技術(shù)融入到可觀測(cè)性AI/ML算法模型，感知服務(wù)或組件偏離正常行為系統(tǒng)輸入：Level1+Level2+Level3+大數(shù)據(jù)分析/ML模型一段話作為本章總結(jié)：“發(fā)現(xiàn)異常很容易，因?yàn)樗鼈円恢奔畠|個(gè)事件時(shí)，每?jī)煞昼娋蜁?huì)發(fā)生一百萬分之一的事件鍵是發(fā)現(xiàn)與手頭問題相關(guān)的異常，然后從可能相關(guān)的日志文信息。通過在上下文中顯示相關(guān)信息，操作員可以更快?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3.云原生觀測(cè)體系能力構(gòu)建3.1云原生可觀測(cè)性信號(hào)云原生可觀測(cè)性的實(shí)現(xiàn)依賴于監(jiān)控指標(biāo)/監(jiān)控度量（Metric（Logs）和鏈路追蹤（Traces）?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有）：?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有鏈路追蹤（Tracing）：鏈路追蹤大都是依據(jù)谷歌在2010年為了有效地進(jìn)行分布式追蹤，Dapper提出了追蹤（Trace）與跨度（Span）?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有）：點(diǎn)、執(zhí)行時(shí)長(zhǎng)等信息，每次開始調(diào)用服務(wù)前都Dapper使用以跨度為基本樹節(jié)點(diǎn)的跟蹤樹構(gòu)建跟蹤），?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有徑，使它們成為可觀察性中的詳細(xì)且昂貴的信號(hào)?？缍龋⊿pans）高度情境化，度（Spans）的信息。這使得在分布式系統(tǒng)的不同參與者基于日志的追蹤數(shù)據(jù)收集2.Dapper守護(hù)進(jìn)程和采集器從主機(jī)中將日志他?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有基于服務(wù)的追蹤數(shù)據(jù)收集?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3.2云原生可觀測(cè)能力構(gòu)建信號(hào)。利用基于拉取的系統(tǒng)，如Prometheus或保收集器附加一組一致的目標(biāo)標(biāo)簽或?qū)傩?，例如“集群”、“namespace”、”?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有數(shù)據(jù)源數(shù)據(jù)采集?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有數(shù)據(jù)存儲(chǔ)等非關(guān)系數(shù)據(jù)庫。在大規(guī)模日志采集場(chǎng)景下可以添加Kafka作為緩沖。對(duì)需要進(jìn)行大數(shù)據(jù)分析等場(chǎng)景時(shí)，也可以選擇HDFS/HBase存儲(chǔ)。數(shù)據(jù)庫），但是原生的TSDB對(duì)于大數(shù)據(jù)量的保存及查詢支持不太中的項(xiàng)目，也是不錯(cuò)的選擇。在大規(guī)模場(chǎng)景下還可以選擇oClickhouse來進(jìn)行指標(biāo)數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)展示?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有具體的局部異常?？梢栽诜?wù)拓?fù)洳榭磻?yīng)用智能化?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3.3核心能力-基于eBPF構(gòu)建云原生數(shù)據(jù)采集技術(shù)?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有內(nèi)核運(yùn)行即時(shí)本地編譯的eBPF程序。eBPF程），?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有測(cè)數(shù)據(jù)收集處理的架構(gòu)，極大增強(qiáng)云原生環(huán)境可觀測(cè)性能力?；趀BPF的可觀?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有等數(shù)據(jù)放到內(nèi)存中，在用戶態(tài)eBPF程序讀取數(shù)據(jù)，進(jìn)行預(yù)處理；基于），基于eBPF實(shí)現(xiàn)云原生可觀測(cè)性數(shù)據(jù)采集具有以下優(yōu)勢(shì)：?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3.3.3基于的eBPF云原生可觀測(cè)性增強(qiáng)示例動(dòng)態(tài)網(wǎng)絡(luò)性能監(jiān)控把它們保存在內(nèi)存中，豐富原始eBPF數(shù)據(jù)。/服務(wù)/pod等篩選條件查詢數(shù)據(jù)庫，從而構(gòu)并且基于eBPF能進(jìn)一步采集內(nèi)核級(jí)底層網(wǎng)絡(luò)可觀測(cè)性黃金信號(hào)數(shù)據(jù),如TCP網(wǎng)絡(luò)HTTP黃金指標(biāo)監(jiān)控?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有性能剖析（Profiling）傳統(tǒng)工具對(duì)系統(tǒng)中CPU進(jìn)行定時(shí)采樣，eBPF可以輕松地對(duì)堆棧跟蹤和時(shí)間進(jìn)行內(nèi)核內(nèi)摘要,獲得系統(tǒng)級(jí)別特定進(jìn)程的?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有4.云原生可觀測(cè)性應(yīng)用場(chǎng)景4.1故障分析性能夠幫助用戶在故障分析上事半功倍，有4.2事件預(yù)測(cè)供解決方案。在安全運(yùn)維領(lǐng)域提升對(duì)未發(fā)生事件?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有用戶可以將日志直接從容器輸出到如syslogd這樣的日志系統(tǒng)中。?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有json-file程序必須在Docker主機(jī)上已經(jīng)運(yùn)行。journald?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有還針對(duì)Docker主機(jī)，提出了相關(guān)的安全審計(jì)建議。對(duì)Docker主機(jī)的安全審計(jì)，一方面包括了常規(guī)的對(duì)Linux文件系統(tǒng)以及系統(tǒng)調(diào)用等進(jìn)行審計(jì)。另一方面，也應(yīng)用程序日志監(jiān)控集群活動(dòng)以及對(duì)應(yīng)用程序運(yùn)行過程的安全?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有集群級(jí)的日志架構(gòu)需要一個(gè)獨(dú)立的后端用來系統(tǒng)組件日志事件的每一個(gè)追蹤步驟（HTTP訪問日志、Pod?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有雖然Kubernetes沒有為集群級(jí)日志記錄提供原生的解決方案，但是日志工具?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有就是可以盡可能高效、快速的進(jìn)行日志監(jiān)控、記錄以及?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有4.3監(jiān)控?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有源使用行為，發(fā)現(xiàn)挖礦、拒絕服務(wù)攻擊等針對(duì)計(jì)算開銷，同時(shí)高內(nèi)存壓力還可以初步的判斷應(yīng)用程?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有控，也可以發(fā)現(xiàn)相關(guān)的問題，比如作業(yè)失敗、崩4.4微服務(wù)追蹤基于探針的分布式追蹤工具。以SkyWalk添加-javaagentagent.jar命令實(shí)現(xiàn)探上的部署。SkyWalking的Java探針實(shí)現(xiàn)原理為字節(jié)碼注入，將需要注入的類文件轉(zhuǎn)換成byte數(shù)組，通過設(shè)置好的攔截器注入到正在運(yùn)行的程序中。這種探針基于代理實(shí)現(xiàn)。Sidecar作為服務(wù)代理，基于eBPF實(shí)現(xiàn)。eBPF通過一種軟件定義的方式,提供并支持了豐富的內(nèi)核探針，同時(shí)提供了強(qiáng)大的動(dòng)態(tài)追蹤能力。開發(fā)者通過編寫eBPF程序即可實(shí)現(xiàn)相應(yīng)的追蹤腳本，我們可以使用eBPF自身的實(shí)現(xiàn)機(jī)制，以保證在內(nèi)核執(zhí)行動(dòng)態(tài)追4.5安全檢測(cè)分析使用eBPF追蹤技術(shù)可實(shí)時(shí)捕獲云原生環(huán)境中活動(dòng)容器內(nèi)關(guān)鍵事件。包括：數(shù)據(jù)收集模塊：接收eBPF收集的容器內(nèi)部系統(tǒng)調(diào)用和其他關(guān)鍵事件，例如4.5.2微服務(wù)業(yè)務(wù)異常檢測(cè)5.優(yōu)秀云原生可觀測(cè)項(xiàng)目介紹5.1Prometheus項(xiàng)目Prometheus是一個(gè)開源的云原生監(jiān)控解決方案，列挑戰(zhàn)，如復(fù)雜性、可擴(kuò)展性和平衡成本效益。Prometheus成為了許多現(xiàn)代應(yīng)Prometheus服務(wù)端負(fù)責(zé)拉取和存儲(chǔ)各種監(jiān)控指Agents遠(yuǎn)程寫入代理用于將采集到的指標(biāo)數(shù)據(jù)發(fā)送到Prome服務(wù)發(fā)現(xiàn)組件（如Consul）負(fù)責(zé)在應(yīng)用程序中注冊(cè)和發(fā)現(xiàn)PPrometheus是一個(gè)功能強(qiáng)大、靈活且易于擴(kuò)展5.2OpenTelemetry項(xiàng)目主要關(guān)注定義和追蹤分布式系統(tǒng)中的請(qǐng)求元數(shù)方式，導(dǎo)致觀測(cè)數(shù)據(jù)收集變得復(fù)雜和困難。為了解決這一問題，OpenC?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有）：的指標(biāo)數(shù)據(jù)后，將通過Proc