開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W_第1頁(yè)
開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W_第2頁(yè)
開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W_第3頁(yè)
開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W_第4頁(yè)
開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W_第5頁(yè)
已閱讀5頁(yè),還剩4頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、 分布式消息系統(tǒng) Kafka課程講義主講:Rey2018 分布式消息系統(tǒng) Kafka分布式消息系統(tǒng) Kafka第1章 Kafka 概述1.1 kafaka 簡(jiǎn)介Apache Kafka 是一個(gè)快速、可擴(kuò)展的、高吞吐的、可容錯(cuò)的分布式“發(fā)布-訂閱”消息系統(tǒng), 使用 Scala 與Java 語(yǔ)言編寫(xiě),能夠?qū)⑾囊粋€(gè)端點(diǎn)傳遞到另一個(gè)端點(diǎn),較之傳統(tǒng)的消息中間件(例如 ActiveMQ、RabbitMQ),Kafka 具有高吞吐量、內(nèi)置分區(qū)、支持消息副本和高容錯(cuò)的特性,非常適合大規(guī)模消息處理應(yīng)用程序。 Kafka 官網(wǎng): /1.2 Kafa 系統(tǒng)架構(gòu)1.3

2、應(yīng)用場(chǎng)景Kafka 的應(yīng)用場(chǎng)景很多,這里就舉幾個(gè)最常見(jiàn)的場(chǎng)景。1.3.1用戶的活動(dòng)追蹤用戶在網(wǎng)站的活動(dòng)(網(wǎng)頁(yè)游覽,搜索或其他用戶的操作信息)發(fā)布到不同的話題中心,主講:Rey1 分布式消息系統(tǒng) Kafka這些消息可實(shí)時(shí)處理,實(shí)時(shí)監(jiān)測(cè),也可加載到 Hadoop 或離線處理數(shù)據(jù)倉(cāng)庫(kù)。這昌“用戶畫(huà)像”的一種實(shí)現(xiàn)方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率實(shí)現(xiàn)Kafka 與其它 MQ 相比,其最大的特點(diǎn)就是高吞吐量。為了增加存儲(chǔ)能力,Kafka 將所有的消息都寫(xiě)入到了低速大容的硬盤(pán)。按理說(shuō),這將導(dǎo)致性能損失,但實(shí)際上,kafka 仍可保持超高的吞吐率,性能并未受到影響。其主

3、要采用了如下的方式實(shí)現(xiàn)了高吞吐率。 順序讀寫(xiě)零 拷 貝批量發(fā)送消息壓縮1.5 Kafka 集群搭建在生產(chǎn)環(huán)境中為了防止單點(diǎn)問(wèn)題,Kafka 都是以集群方式出現(xiàn)的。下面要搭建一個(gè) Kafka 集群,包含三個(gè)Kafka 主機(jī),即三個(gè)Broker。 主講:Rey2 分布式消息系統(tǒng) Kafka1.5.1安裝并配置第一臺(tái)主機(jī)(1) 上傳并解壓將下載好的Kafka 壓縮包上傳至 CentOS 虛擬機(jī),并解壓。(2) 創(chuàng)建軟鏈接(3) 修改配置文件在 kafka 安裝目錄下有一個(gè) config/perties 文件,修改該文件。 主講:Rey3 分布式消息系統(tǒng) Kafka主講:Rey4

4、分布式消息系統(tǒng) Kafka1.5.2再克隆兩臺(tái) Kafka以 kafkaOS1 為母機(jī)再克隆兩臺(tái)Kafka 主機(jī)。在克隆完畢后,需要修改 perties 中的 broker.id、listeners 與 advertised.listeners。 主講:Rey5 分布式消息系統(tǒng) Kafka1.5.3kafka 的啟動(dòng)與停止(1) 啟動(dòng) zookeeper(2) 啟動(dòng) kafka主講:Rey6 分布式消息系統(tǒng) Kafka(3) 停止 kafka1.5.4kafka 操作(1) 創(chuàng)建 topic在三個(gè) broker 中任意挑選一個(gè),在其中創(chuàng)建主題。本例創(chuàng)建了一個(gè)名稱為 test 的主題, 有 1 個(gè)備份,1 個(gè)分區(qū)。 (2) 查看 topic主講:Rey7 分布式消

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論