開課吧-05分布式消息系統(tǒng)kafka預習資料1_W

1、 分布式消息系統(tǒng) Kafka課程講義主講：Rey2018 分布式消息系統(tǒng) Kafka分布式消息系統(tǒng) Kafka第1章 Kafka 概述1.1 kafaka 簡介Apache Kafka 是一個快速、可擴展的、高吞吐的、可容錯的分布式“發(fā)布-訂閱”消息系統(tǒng)， 使用 Scala 與Java 語言編寫，能夠?qū)⑾囊粋€端點傳遞到另一個端點，較之傳統(tǒng)的消息中間件（例如 ActiveMQ、RabbitMQ），Kafka 具有高吞吐量、內(nèi)置分區(qū)、支持消息副本和高容錯的特性，非常適合大規(guī)模消息處理應用程序。 Kafka 官網(wǎng)： /1.2 Kafa 系統(tǒng)架構1.3

2、應用場景Kafka 的應用場景很多，這里就舉幾個最常見的場景。1.3.1用戶的活動追蹤用戶在網(wǎng)站的活動（網(wǎng)頁游覽，搜索或其他用戶的操作信息）發(fā)布到不同的話題中心，主講：Rey1 分布式消息系統(tǒng) Kafka這些消息可實時處理，實時監(jiān)測，也可加載到 Hadoop 或離線處理數(shù)據(jù)倉庫。這昌“用戶畫像”的一種實現(xiàn)方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率實現(xiàn)Kafka 與其它 MQ 相比，其最大的特點就是高吞吐量。為了增加存儲能力，Kafka 將所有的消息都寫入到了低速大容的硬盤。按理說，這將導致性能損失，但實際上，kafka 仍可保持超高的吞吐率，性能并未受到影響。其主

3、要采用了如下的方式實現(xiàn)了高吞吐率。 順序讀寫零 拷 貝批量發(fā)送消息壓縮1.5 Kafka 集群搭建在生產(chǎn)環(huán)境中為了防止單點問題，Kafka 都是以集群方式出現(xiàn)的。下面要搭建一個 Kafka 集群，包含三個Kafka 主機，即三個Broker。 主講：Rey2 分布式消息系統(tǒng) Kafka1.5.1安裝并配置第一臺主機（1） 上傳并解壓將下載好的Kafka 壓縮包上傳至 CentOS 虛擬機，并解壓。（2） 創(chuàng)建軟鏈接（3） 修改配置文件在 kafka 安裝目錄下有一個 config/perties 文件，修改該文件。 主講：Rey3 分布式消息系統(tǒng) Kafka主講：Rey4

4、分布式消息系統(tǒng) Kafka1.5.2再克隆兩臺 Kafka以 kafkaOS1 為母機再克隆兩臺Kafka 主機。在克隆完畢后，需要修改 perties 中的 broker.id、listeners 與 advertised.listeners。 主講：Rey5 分布式消息系統(tǒng) Kafka1.5.3kafka 的啟動與停止（1） 啟動 zookeeper（2） 啟動 kafka主講：Rey6 分布式消息系統(tǒng) Kafka（3） 停止 kafka1.5.4kafka 操作（1） 創(chuàng)建 topic在三個 broker 中任意挑選一個，在其中創(chuàng)建主題。本例創(chuàng)建了一個名稱為 test 的主題， 有 1 個備份，1 個分區(qū)。 （2） 查看 topic主講：Rey7 分布式消