大數(shù)據(jù)采集技術(shù)Chukwa

數(shù)據(jù)采集技術(shù)主講：吳夢(mèng)雪大大數(shù)據(jù)采集技術(shù)-ChukwaChukwa不是什么？Chukwa不是一個(gè)單機(jī)系統(tǒng)。在單個(gè)節(jié)點(diǎn)部署一個(gè)Chukwa系統(tǒng)，基本沒(méi)有什么用處。Chukwa是一個(gè)構(gòu)建在Hadoop基礎(chǔ)上的分布式日志處理系統(tǒng)。Chukwa不是一個(gè)實(shí)時(shí)錯(cuò)誤監(jiān)控系統(tǒng)。Chukwa分析的是數(shù)據(jù)是分鐘級(jí)別的，它認(rèn)為像集群的整體CPU使用率這樣的數(shù)據(jù)，延遲幾分鐘拿到，不是什么問(wèn)題。Chukwa不是一個(gè)封閉的系統(tǒng)。雖然Chukwa自帶了許多針對(duì)Hadoop集群的分析項(xiàng)，但是這并不是說(shuō)它只能監(jiān)控和分析Hadoop。大數(shù)據(jù)采集方法-ChukwaChukwa是什么？Chukwa可以用于監(jiān)控大規(guī)模Hadoop集群的整體運(yùn)行情況并對(duì)它們的日志進(jìn)行分析。Chukwa展示作業(yè)已經(jīng)運(yùn)行了多久，占用了多少資源，還有多少資源可用，一個(gè)作業(yè)為什么失敗了，一個(gè)讀寫(xiě)操作在哪個(gè)節(jié)點(diǎn)出了問(wèn)題。Chukwa展示了集群中的硬件錯(cuò)誤，集群的性能變化，集群的資源瓶頸在哪里。Chukwa展示了集群的資源消耗情況，集群的整體作業(yè)執(zhí)行情況，可以用以輔助預(yù)算和集群資源協(xié)調(diào)。Chukwa展示了集群中主要的性能瓶頸，經(jīng)常出現(xiàn)的錯(cuò)誤，從而可以著力重點(diǎn)解決重要問(wèn)題。大數(shù)據(jù)采集方法-ChukwaChukwa結(jié)構(gòu)Agents：負(fù)責(zé)采集最原始的數(shù)據(jù)，并發(fā)送給Collectors。Adaptor：直接采集數(shù)據(jù)的接口和工具，一個(gè)Agent可以管理多個(gè)adaptor的數(shù)據(jù)采集。Collectors：負(fù)責(zé)收集Agents收送來(lái)的數(shù)據(jù)，并定時(shí)寫(xiě)入集群中。Map/ReduceJobs定時(shí)啟動(dòng)，負(fù)責(zé)把集群中的數(shù)據(jù)分類、排序、去重和合并。HICC負(fù)責(zé)數(shù)據(jù)的展示。Chukwa的整體結(jié)構(gòu)圖大數(shù)據(jù)采集方法-ChukwaChukwa相關(guān)設(shè)計(jì)-Adaptors和Agents在每個(gè)數(shù)據(jù)的產(chǎn)生端，Chukwa使用一個(gè)Agent來(lái)采集它感興趣的數(shù)據(jù)，每一類數(shù)據(jù)通過(guò)一個(gè)Adaptor來(lái)實(shí)現(xiàn)，數(shù)據(jù)的類型在相應(yīng)的配置中指定。為防止數(shù)據(jù)采集端的Agent出現(xiàn)故障，Chukwa的Agent采用了所謂的‘Watchdog’機(jī)制，會(huì)自動(dòng)重啟終止的數(shù)據(jù)采集進(jìn)程，防止原始數(shù)據(jù)的丟失。另一方面，對(duì)于重復(fù)采集的數(shù)據(jù)，在Chukwa的數(shù)據(jù)處理過(guò)程中，會(huì)自動(dòng)對(duì)它們進(jìn)行去重。這樣，就可以對(duì)于關(guān)鍵的數(shù)據(jù)在多臺(tái)機(jī)器上部署相同的Agent，從而實(shí)現(xiàn)容錯(cuò)的功能。大數(shù)據(jù)采集方法-ChukwaChukwa相關(guān)設(shè)計(jì)-CollectorsAgents采集到的數(shù)據(jù)，是存儲(chǔ)到Hadoop集群上的。Hadoop集群擅長(zhǎng)于處理少量的大文件，而對(duì)于大量小文件的處理則不是它的強(qiáng)項(xiàng)，針對(duì)這一點(diǎn)，Chukwa設(shè)計(jì)了Collector這個(gè)角色，用于把數(shù)據(jù)先進(jìn)行部分合并，再寫(xiě)入集群，防止大量小文件的寫(xiě)入。另一方面，為防止Collector成為性能瓶頸或成為單點(diǎn)，產(chǎn)生故障，Chukwa允許和鼓勵(lì)設(shè)置多個(gè)Collector，Agents隨機(jī)地從Collectors列表中選擇一個(gè)Collector傳輸數(shù)據(jù)，如果一個(gè)Collector失敗或繁忙，就換下一個(gè)Collector。從而可以實(shí)現(xiàn)負(fù)載的均衡，實(shí)踐證明，多個(gè)Collector的負(fù)載幾乎是平均的。大數(shù)據(jù)采集方法-ChukwaChukwa相關(guān)設(shè)計(jì)-HICCHICC是Chukwa的數(shù)據(jù)展示端的名字。Chukwa提供了一些默認(rèn)的數(shù)據(jù)展示W(wǎng)idget，可以使用列表、曲線圖、多曲線圖、柱狀圖、面積圖式展示一類或多類數(shù)據(jù)，給用戶直觀的數(shù)據(jù)趨勢(shì)展示。在HICC展示端，對(duì)不斷生成的新數(shù)據(jù)和歷史數(shù)據(jù)，采用Robin策略，防止數(shù)據(jù)的不斷增長(zhǎng)增大服務(wù)器壓力，并對(duì)數(shù)據(jù)在時(shí)間軸上“稀釋”，可以提供長(zhǎng)時(shí)間段的數(shù)據(jù)展示。從本質(zhì)上，HICC是用Jetty來(lái)實(shí)現(xiàn)的一個(gè)Web服務(wù)端，內(nèi)部用的是JSP技術(shù)和