




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 分布式消息系統(tǒng) Kafka課程講義主講:Rey2018 分布式消息系統(tǒng) Kafka分布式消息系統(tǒng) Kafka第1章 Kafka 概述1.1 kafaka 簡(jiǎn)介Apache Kafka 是一個(gè)快速、可擴(kuò)展的、高吞吐的、可容錯(cuò)的分布式“發(fā)布-訂閱”消息系統(tǒng), 使用 Scala 與Java 語(yǔ)言編寫(xiě),能夠?qū)⑾囊粋€(gè)端點(diǎn)傳遞到另一個(gè)端點(diǎn),較之傳統(tǒng)的消息中間件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、內(nèi)置分區(qū)、支持消息副本和高容錯(cuò)的特性,非常適合大規(guī)模消息處理應(yīng)用程序。 Kafka 官網(wǎng): /1.2 Kafa 系統(tǒng)架構(gòu)1.3
2、應(yīng)用場(chǎng)景Kafka 的應(yīng)用場(chǎng)景很多,這里就舉幾個(gè)最常見(jiàn)的場(chǎng)景。1.3.1用戶的活動(dòng)追蹤用戶在網(wǎng)站的活動(dòng)(網(wǎng)頁(yè)游覽,搜索或其他用戶的操作信息)發(fā)布到不同的話題中心,主講:Rey1 分布式消息系統(tǒng) Kafka這些消息可實(shí)時(shí)處理,實(shí)時(shí)監(jiān)測(cè),也可加載到 Hadoop 或離線處理數(shù)據(jù)倉(cāng)庫(kù)。這昌“用戶畫(huà)像”的一種實(shí)現(xiàn)方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率實(shí)現(xiàn)Kafka 與其它 MQ 相比,其最大的特點(diǎn)就是高吞吐量。為了增加存儲(chǔ)能力,Kafka 將所有的消息都寫(xiě)入到了低速大容的硬盤(pán)。按理說(shuō),這將導(dǎo)致性能損失,但實(shí)際上,kafka 仍可保持超高的吞吐率,性能并未受到影響。其主
3、要采用了如下的方式實(shí)現(xiàn)了高吞吐率。 順序讀寫(xiě)零 拷 貝批量發(fā)送消息壓縮1.5 Kafka 集群搭建在生產(chǎn)環(huán)境中為了防止單點(diǎn)問(wèn)題,Kafka 都是以集群方式出現(xiàn)的。下面要搭建一個(gè) Kafka 集群,包含三個(gè)Kafka 主機(jī),即三個(gè)Broker。 主講:Rey2 分布式消息系統(tǒng) Kafka1.5.1安裝并配置第一臺(tái)主機(jī)(1) 上傳并解壓將下載好的Kafka 壓縮包上傳至 CentOS 虛擬機(jī),并解壓。(2) 創(chuàng)建軟鏈接(3) 修改配置文件在 kafka 安裝目錄下有一個(gè) config/perties 文件,修改該文件。 主講:Rey3 分布式消息系統(tǒng) Kafka主講:Rey4
4、分布式消息系統(tǒng) Kafka1.5.2再克隆兩臺(tái) Kafka以 kafkaOS1 為母機(jī)再克隆兩臺(tái)Kafka 主機(jī)。在克隆完畢后,需要修改 perties 中的 broker.id、listeners 與 advertised.listeners。 主講:Rey5 分布式消息系統(tǒng) Kafka1.5.3kafka 的啟動(dòng)與停止(1) 啟動(dòng) zookeeper(2) 啟動(dòng) kafka主講:Rey6 分布式消息系統(tǒng) Kafka(3) 停止 kafka1.5.4kafka 操作(1) 創(chuàng)建 topic在三個(gè) broker 中任意挑選一個(gè),在其中創(chuàng)建主題。本例創(chuàng)建了一個(gè)名稱為 test 的主題, 有 1 個(gè)備份,1 個(gè)分區(qū)。 (2) 查看 topic主講:Rey7 分布式消
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 大數(shù)據(jù)助力教育個(gè)性化與精準(zhǔn)化
- 心理分析與現(xiàn)代教育技術(shù)的融合
- 教育與科技的結(jié)合教學(xué)輔助型教育機(jī)器人研究
- 未來(lái)教育視域下的技術(shù)美學(xué)與空間設(shè)計(jì)
- 品牌數(shù)字營(yíng)銷戰(zhàn)略下的多平臺(tái)聯(lián)動(dòng)運(yùn)營(yíng)策略
- 教育領(lǐng)域的大數(shù)據(jù)技術(shù)應(yīng)用及未來(lái)趨勢(shì)分析報(bào)告
- 全球醫(yī)藥市場(chǎng)2025年創(chuàng)新藥物研發(fā)管線布局策略報(bào)告
- 全球鈾礦資源分布特點(diǎn)及2025年核能產(chǎn)業(yè)技術(shù)創(chuàng)新與產(chǎn)業(yè)協(xié)同研究報(bào)告
- 公交優(yōu)先戰(zhàn)略與2025年城市交通擁堵治理的公共交通優(yōu)先政策實(shí)施保障研究報(bào)告
- Carbonic-anhydrase-inhibitor-32-生命科學(xué)試劑-MCE
- 青少年詩(shī)詞大會(huì)備考試題庫(kù)(300題)
- 軟件開(kāi)發(fā)管理流程制度(附全套表格模板及填寫(xiě)指引)
- 2022年劍河縣事業(yè)單位考試真題及答案
- 藥店納入定點(diǎn)后使用醫(yī)療保障基金的預(yù)測(cè)性分析報(bào)告
- 自主移動(dòng)機(jī)器人期末A
- 電氣控制與PLC應(yīng)用技術(shù)(三菱機(jī)型)高教版YL-235A送料機(jī)構(gòu)控制電路的連接與編程教學(xué)案例高教版
- 《汽車保險(xiǎn)理賠服務(wù)研究10000字(論文)》
- YY/T 1851-2022用于增材制造的醫(yī)用純鉭粉末
- GB/Z 13800-2021手動(dòng)輪椅車
- GB/T 6109.17-2008漆包圓繞組線第17部分:180級(jí)自粘性直焊聚酯亞胺漆包銅圓線
- GB/T 17989.2-2020控制圖第2部分:常規(guī)控制圖
評(píng)論
0/150
提交評(píng)論