splunk簡(jiǎn)易教程

1、splunk Copyright 2011, Splunk Inc.Listen to your data.2 Splunk = Splunkweb + Splunkd Copyright 2011, Splunk Inc.Listen to your data.3 索引任何的機(jī)器數(shù)據(jù) 實(shí)時(shí)從日志文件獲取事件 運(yùn)行腳本獲取系統(tǒng)參數(shù), 連接到 API 和數(shù)據(jù)庫(kù) 監(jiān)聽(tīng) syslog 或獲取 Windows 事件 通用方式索引任何內(nèi)容格式的數(shù)據(jù), 不需要連接器 Windows Registry Event logs File system sysinternals Linux/Unix Config

2、urations Syslog File system Ps, iostat, top Virtualization Hypervisor Guest OS Guest Apps Applications Web logs Log4J, JMS, JMX .NET events Code and scripts Databases Configurations Audit/query logs Tables Schemas Network Configurations syslog SNMP netflow Copyright 2011, Splunk Inc.Listen to your d

3、ata.4 Splunk 有四個(gè)主要功能組件 索引和搜索服務(wù)(Indexer) 本地和分布式管理 (Deployment Server) 數(shù)據(jù)收集和轉(zhuǎn)發(fā)(Forwarder) 搜索和報(bào)表(Search Head) 一個(gè) Splunk 安裝可以是其中一個(gè)或者多個(gè)角色 Copyright 2011, Splunk Inc.Listen to your data.5 安裝和啟動(dòng) 1.安裝過(guò)程很簡(jiǎn)單 2. Splunk啟動(dòng)后，你可以打開(kāi)瀏覽器登錄進(jìn)入Splunk。默認(rèn)的情況下 Splunk 會(huì)使用 8000 端口，如果是在本機(jī)登錄 Splunk，你可以直接在地址欄輸入 http:/localhost:

4、8000 Copyright 2011, Splunk Inc.Listen to your data.6 添加數(shù)據(jù) 回到Splunk的 Web 界面，在頁(yè)面右上角選擇“管理”,選擇所需添加日志的 類(lèi)型,或者可以選擇從文件和目錄導(dǎo)入數(shù)據(jù). Copyright 2011, Splunk Inc.Listen to your data.7 添加數(shù)據(jù) 網(wǎng)絡(luò)設(shè)備添加數(shù)據(jù),通過(guò)udp 514端口定向轉(zhuǎn)發(fā)syslog Copyright 2011, Splunk Inc.Listen to your data.8 添加數(shù)據(jù) 通過(guò)指定路徑添加日志文件,如我們通過(guò)指定路徑收集IIS日志 Copyright 2

5、011, Splunk Inc.Listen to your data.9 Serach應(yīng)用的介紹 在應(yīng)用欄選擇serach,可以打開(kāi)serach界面. Copyright 2011, Splunk Inc.Listen to your data.10 Search應(yīng)用的介紹 開(kāi)始一個(gè)搜索,展現(xiàn)結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.11 Serach應(yīng)用的介紹 開(kāi)始搜索,可以進(jìn)一步添加搜索條件,例如添加一個(gè)ip,相關(guān)結(jié)果會(huì)高亮顯示. Copyright 2011, Splunk Inc.Listen to your data.12

6、 添加字段 點(diǎn)擊edit按鈕,可以添加自己想要的字段,圖中實(shí)例添加action、category_id、 product_id 三個(gè)字段,按字段搜索可以更加精確定位搜索結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.13 保持搜索結(jié)果 搜索可以保存,方便以后快速找到結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.14 搜索語(yǔ)句簡(jiǎn)介 Splunk 不只是提供簡(jiǎn)單的條件匹配搜索，還可以通過(guò)對(duì)搜索結(jié)果做進(jìn)一步的 處理從而進(jìn)行各種復(fù)雜的數(shù)據(jù)分析。例如在樣例數(shù)據(jù)中，如果我希望了解到： 在線商店賣(mài)的

7、最好的產(chǎn)品是哪些？有多少客戶(hù)購(gòu)買(mǎi)了鮮花？每個(gè)客戶(hù)購(gòu)買(mǎi)了 多少鮮花？這些問(wèn)題都可以通過(guò) Splunk提供的強(qiáng)大的搜索命令來(lái)進(jìn)行分析得 到最終的結(jié)果. Copyright 2011, Splunk Inc.Listen to your data.15 搜索語(yǔ)句簡(jiǎn)介 管道符（“ | ”）與top sourcetype=access_* action=purchase | top category_id 例如，如果希望知 道所有購(gòu)買(mǎi)商品的 日志記錄中，最多 的產(chǎn)品類(lèi)別是哪些， 我可以先篩選出有 購(gòu)買(mǎi)命令動(dòng)作的日 志事件，然后使用 top 這個(gè)命令來(lái)對(duì)結(jié) 果中的 category_id 字段進(jìn)行排序 C

8、opyright 2011, Splunk Inc.Listen to your data.16 搜索語(yǔ)句簡(jiǎn)介 對(duì)搜索結(jié)果進(jìn)一步鉆取 通過(guò)鼠標(biāo)點(diǎn)擊 category_id 中 的 FLOWERS， Splunk會(huì)自動(dòng)把 這個(gè)條件添加 到搜索條件中， 打開(kāi)新的搜索 結(jié)果頁(yè)面 Copyright 2011, Splunk Inc.Listen to your data.17 搜索語(yǔ)句簡(jiǎn)介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats dc(clientip) 有多少獨(dú)立客 戶(hù)購(gòu)買(mǎi)了鮮花 類(lèi)商品？（設(shè)

9、定一個(gè) clientip 即為一個(gè)客戶(hù) 來(lái)源） stats是用于統(tǒng)計(jì)的命令，后面可以有多種不同的統(tǒng)計(jì)方法，dc（或 distinct_count）是其中一個(gè)計(jì)算去重后的數(shù)量 Copyright 2011, Splunk Inc.Listen to your data.18 搜索語(yǔ)句簡(jiǎn)介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count BY clientip 每個(gè)獨(dú)立客戶(hù) 各購(gòu)買(mǎi)的鮮花 數(shù)量是多少？ stats是用于統(tǒng)計(jì)的命令，后面可以有多種不同的統(tǒng)計(jì)方法，dc（或 distinct_co

10、unt）是其中一個(gè)計(jì)算去重后的數(shù)量 Copyright 2011, Splunk Inc.Listen to your data.19 搜索語(yǔ)句簡(jiǎn)介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count AS 購(gòu)買(mǎi)的鮮花數(shù)量 by clientip | rename clientip AS 客戶(hù) 我們還可以對(duì) 輸出展現(xiàn)的樣 式進(jìn)行調(diào)整， 使用 rename命 令將每列的表 頭名稱(chēng)修改為 比較易于理解 的描述文字. Splunk提供了上百個(gè)不同的搜索命令以便于用戶(hù)可以對(duì)所獲取的數(shù)據(jù)進(jìn)行各種 不同

11、維度的分析,詳細(xì)參見(jiàn)請(qǐng)見(jiàn)Search Reference手冊(cè). Copyright 2011, Splunk Inc.Listen to your data.20 創(chuàng)建報(bào)表 sourcetype=access_* method=GET | chart count AS views, count(eval(action=purchase) AS purchases by category_id | rename views AS 查看, purchases AS 購(gòu)買(mǎi), category_id AS 產(chǎn)品類(lèi)別 我們用下面的 chart 命令創(chuàng)建 一個(gè)報(bào)表，展現(xiàn)查看和購(gòu)買(mǎi) 的商品類(lèi)別數(shù)量。然后選擇

12、 創(chuàng)建” !Report 打開(kāi)報(bào)表編輯 器 Copyright 2011, Splunk Inc.Listen to your data.21 創(chuàng)建報(bào)表 sourcetype=access_* | timechart count(eval(action=purchase) by product_name usenull=f 1.用 timechart 命令做一個(gè)基 于時(shí)間的報(bào)表。這個(gè)例子中 我們會(huì)使用到之前做的查找 對(duì)照定義字段 2.timechart 命令自動(dòng)會(huì)使用最合適的一 個(gè)時(shí)間間隔來(lái)做出報(bào)表，如果你有自己 指定的時(shí)間間隔，可以在 timechart 后 面增加span=xxx來(lái)定義間隔

13、，例如 span=1d、span=1h， 等等，具體可參考 timechart 命令的詳細(xì)說(shuō)明。 選擇創(chuàng)建Report 生成報(bào)表，填入 報(bào)表標(biāo)題，在“堆疊模式”中選 擇“堆疊圖”，并應(yīng)用保存。 Copyright 2011, Splunk Inc.Listen to your data.22 創(chuàng)建儀表板 儀表板是一個(gè)展現(xiàn)多個(gè)報(bào)表和搜索結(jié)果的視圖。一個(gè)儀表板由多個(gè)面板內(nèi)容 組成，Splunk允許用戶(hù)自己創(chuàng)建并組織儀表板的內(nèi)容和樣式。下面我們首先 通過(guò)Dashboard & Views 菜單創(chuàng)建一個(gè)儀表板: 創(chuàng)建一個(gè)新儀表板后是一個(gè)空白的視圖， 我們可以通過(guò)儀表板右上角的“啟用”、 “停用” 來(lái)編

14、輯儀表板上的面板內(nèi)容。 Copyright 2011, Splunk Inc.Listen to your data.23 創(chuàng)建儀表板 我們點(diǎn)擊“新建面板”來(lái)增加幾個(gè)剛剛保存過(guò)的報(bào)表和搜索。選擇“各種產(chǎn) 品購(gòu)買(mǎi)趨勢(shì)”報(bào)表，報(bào)表面板添加到儀表板后，選擇 Edit!Edit Visualization， 選擇“直條圖”，在“堆疊模式”處選擇“stacked” （堆疊） Copyright 2011, Splunk Inc.Listen to your data.24 創(chuàng)建儀表板 繼續(xù)添加其他兩個(gè)報(bào)表，用鼠標(biāo)拖拽排列面板的位置，最終我們就生成了一 個(gè)完整的儀表板 Copyright 2011, Sp

15、lunk Inc.Listen to your data.25 Splunk應(yīng)用管理 官網(wǎng)提供很多免費(fèi)的,常用的應(yīng)用下載,在”管理-應(yīng)用”菜單里我們可以點(diǎn)擊互 聯(lián)網(wǎng)查找更多應(yīng)用或者選擇從文件安裝應(yīng)用 安裝應(yīng)用,選擇從文件安裝, 選擇路徑點(diǎn)擊上載即可 Copyright 2011, Splunk Inc.Listen to your data.26 Splunk for windows應(yīng)用 安裝好for Windows的應(yīng)用之后,可以在應(yīng)用菜單中選擇windwos應(yīng)用 Copyright 2011, Splunk Inc.Listen to your data.27 Splunk for win

16、dows應(yīng)用 安裝應(yīng)用的好處是,我們不需要去編寫(xiě)麻煩的search語(yǔ)句,只需點(diǎn)擊一個(gè)按鈕就 可以得到自己想要的結(jié)果 例如我們選擇搜 索和報(bào)表,選擇 cpu使用閥值 得到cpu設(shè)定閥 值觸發(fā)的次數(shù) 統(tǒng)計(jì) Copyright 2011, Splunk Inc.Listen to your data.28 Splunk for linux應(yīng)用 Splunk for linux應(yīng)用,和for windows應(yīng)用類(lèi)似,我們可以很方便的查找到系統(tǒng)硬 件(cpu,內(nèi)存)等的使用狀態(tài),還可以查找到用戶(hù)的登錄情況(失敗次數(shù),用戶(hù)添加, 用戶(hù)修改密碼記錄)等等. Copyright 2011, Splunk In

17、c.Listen to your data.29 更多應(yīng)用 更多應(yīng)用請(qǐng)登錄http:/splunk- 作,需根據(jù)實(shí)際情況而定. Copyright 2011, Splunk Inc.Listen to your data.30 創(chuàng)建告警 可以根據(jù)實(shí)際環(huán)境要求,創(chuàng)建告警通知 根據(jù)需求,編寫(xiě)搜索語(yǔ)句,然后 在右邊的創(chuàng)建按鈕處,選擇創(chuàng) 建alert(告警) Copyright 2011, Splunk Inc.Listen to your data.31 創(chuàng)建告警 配置接收告警郵箱 創(chuàng)建完alert后,可以在收 索與報(bào)表中看到剛才創(chuàng) 建的告警 在管理器-搜索和報(bào)表 中可以看到剛創(chuàng)建的報(bào) 表,點(diǎn)擊進(jìn)入

18、設(shè)置項(xiàng) Copyright 2011, Splunk Inc.Listen to your data.32 創(chuàng)建告警 配置接收告警郵箱 進(jìn)入告警之后可以設(shè)置 時(shí)間,默認(rèn)是實(shí)時(shí)監(jiān)控的. 只要有符合搜索條件的 日志就會(huì)觸發(fā)告警. 填寫(xiě)接收警告的郵箱,按 保存完成. Copyright 2011, Splunk Inc.Listen to your data.33 創(chuàng)建告警 配置發(fā)送告警郵箱,在菜單管理器-系統(tǒng)設(shè)置-電子郵箱通知設(shè)置目錄下. 配置發(fā)送郵件服務(wù)器信 息,以及發(fā)送郵件的賬戶(hù) 信息. 這里的電子郵件發(fā)送方 式可以填發(fā)送郵箱名, 點(diǎn)擊保存按鈕,完畢. Copyright 2011, Splunk Inc.Listen to