




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、 分布式消息系統(tǒng) Kafka課程講義主講:Rey2018 分布式消息系統(tǒng) Kafka分布式消息系統(tǒng) Kafka第1章 Kafka 概述1.1 kafaka 簡介Apache Kafka 是一個(gè)快速、可擴(kuò)展的、高吞吐的、可容錯(cuò)的分布式“發(fā)布-訂閱”消息系統(tǒng), 使用 Scala 與Java 語言編寫,能夠?qū)⑾囊粋€(gè)端點(diǎn)傳遞到另一個(gè)端點(diǎn),較之傳統(tǒng)的消息中間件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、內(nèi)置分區(qū)、支持消息副本和高容錯(cuò)的特性,非常適合大規(guī)模消息處理應(yīng)用程序。 Kafka 官網(wǎng): /1.2 Kafa 系統(tǒng)架構(gòu)1.3
2、應(yīng)用場景Kafka 的應(yīng)用場景很多,這里就舉幾個(gè)最常見的場景。1.3.1用戶的活動(dòng)追蹤用戶在網(wǎng)站的活動(dòng)(網(wǎng)頁游覽,搜索或其他用戶的操作信息)發(fā)布到不同的話題中心,主講:Rey1 分布式消息系統(tǒng) Kafka這些消息可實(shí)時(shí)處理,實(shí)時(shí)監(jiān)測,也可加載到 Hadoop 或離線處理數(shù)據(jù)倉庫。這昌“用戶畫像”的一種實(shí)現(xiàn)方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率實(shí)現(xiàn)Kafka 與其它 MQ 相比,其最大的特點(diǎn)就是高吞吐量。為了增加存儲(chǔ)能力,Kafka 將所有的消息都寫入到了低速大容的硬盤。按理說,這將導(dǎo)致性能損失,但實(shí)際上,kafka 仍可保持超高的吞吐率,性能并未受到影響。其主
3、要采用了如下的方式實(shí)現(xiàn)了高吞吐率。 順序讀寫零 拷 貝批量發(fā)送消息壓縮1.5 Kafka 集群搭建在生產(chǎn)環(huán)境中為了防止單點(diǎn)問題,Kafka 都是以集群方式出現(xiàn)的。下面要搭建一個(gè) Kafka 集群,包含三個(gè)Kafka 主機(jī),即三個(gè)Broker。 主講:Rey2 分布式消息系統(tǒng) Kafka1.5.1安裝并配置第一臺(tái)主機(jī)(1) 上傳并解壓將下載好的Kafka 壓縮包上傳至 CentOS 虛擬機(jī),并解壓。(2) 創(chuàng)建軟鏈接(3) 修改配置文件在 kafka 安裝目錄下有一個(gè) config/perties 文件,修改該文件。 主講:Rey3 分布式消息系統(tǒng) Kafka主講:Rey4
4、分布式消息系統(tǒng) Kafka1.5.2再克隆兩臺(tái) Kafka以 kafkaOS1 為母機(jī)再克隆兩臺(tái)Kafka 主機(jī)。在克隆完畢后,需要修改 perties 中的 broker.id、listeners 與 advertised.listeners。 主講:Rey5 分布式消息系統(tǒng) Kafka1.5.3kafka 的啟動(dòng)與停止(1) 啟動(dòng) zookeeper(2) 啟動(dòng) kafka主講:Rey6 分布式消息系統(tǒng) Kafka(3) 停止 kafka1.5.4kafka 操作(1) 創(chuàng)建 topic在三個(gè) broker 中任意挑選一個(gè),在其中創(chuàng)建主題。本例創(chuàng)建了一個(gè)名稱為 test 的主題, 有 1 個(gè)備份,1 個(gè)分區(qū)。 (2) 查看 topic主講:Rey7 分布式消
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年中國異徑直接頭行業(yè)市場發(fā)展前景及發(fā)展趨勢與投資戰(zhàn)略研究報(bào)告
- 生產(chǎn)品質(zhì)管理體系
- 生產(chǎn)情況匯報(bào)
- 2023-2028年中國灰木蓮行業(yè)發(fā)展監(jiān)測及投資前景預(yù)測報(bào)告
- 我國現(xiàn)行的安全生產(chǎn)監(jiān)管體制包括
- 2025年中國電液式抗壓試驗(yàn)機(jī)行業(yè)市場發(fā)展前景及發(fā)展趨勢與投資戰(zhàn)略研究報(bào)告
- 2023-2029年中國PDM行業(yè)市場發(fā)展現(xiàn)狀及未來發(fā)展趨勢預(yù)測報(bào)告
- 安全證b證c證哪個(gè)高級(jí)
- 月安全生產(chǎn)會(huì)議
- 中國森林旅游行業(yè)發(fā)展前景預(yù)測及投資戰(zhàn)略研究報(bào)告
- 2022年中國美術(shù)學(xué)院輔導(dǎo)員招聘考試真題
- 《三角形的內(nèi)角和》說課課件
- GB/T 5680-2023奧氏體錳鋼鑄件
- 鄭州市房產(chǎn)測繪實(shí)施細(xì)則資料
- 青少年詩詞大會(huì)備考試題庫(300題)
- 2022年劍河縣事業(yè)單位考試真題及答案
- 藥店納入定點(diǎn)后使用醫(yī)療保障基金的預(yù)測性分析報(bào)告
- 自主移動(dòng)機(jī)器人期末A
- 電氣控制與PLC應(yīng)用技術(shù)(三菱機(jī)型)高教版YL-235A送料機(jī)構(gòu)控制電路的連接與編程教學(xué)案例高教版
- 《汽車保險(xiǎn)理賠服務(wù)研究10000字(論文)》
- YY/T 1851-2022用于增材制造的醫(yī)用純鉭粉末
評(píng)論
0/150
提交評(píng)論