開(kāi)課吧-05分布式消息系統(tǒng)kafka預(yù)習(xí)資料1_W

1、 分布式消息系統(tǒng) Kafka課程講義主講：Rey2018 分布式消息系統(tǒng) Kafka分布式消息系統(tǒng) Kafka第1章 Kafka 概述1.1 kafaka 簡(jiǎn)介Apache Kafka 是一個(gè)快速、可擴(kuò)展的、高吞吐的、可容錯(cuò)的分布式“發(fā)布-訂閱”消息系統(tǒng)， 使用 Scala 與Java 語(yǔ)言編寫(xiě)，能夠?qū)⑾囊粋€(gè)端點(diǎn)傳遞到另一個(gè)端點(diǎn)，較之傳統(tǒng)的消息中間件（例如 ActiveMQ、RabbitMQ），Kafka 具有高吞吐量、內(nèi)置分區(qū)、支持消息副本和高容錯(cuò)的特性，非常適合大規(guī)模消息處理應(yīng)用程序。 Kafka 官網(wǎng)： /1.2 Kafa 系統(tǒng)架構(gòu)1.3

2、應(yīng)用場(chǎng)景Kafka 的應(yīng)用場(chǎng)景很多，這里就舉幾個(gè)最常見(jiàn)的場(chǎng)景。1.3.1用戶的活動(dòng)追蹤用戶在網(wǎng)站的活動(dòng)（網(wǎng)頁(yè)游覽，搜索或其他用戶的操作信息）發(fā)布到不同的話題中心，主講：Rey1 分布式消息系統(tǒng) Kafka這些消息可實(shí)時(shí)處理，實(shí)時(shí)監(jiān)測(cè)，也可加載到 Hadoop 或離線處理數(shù)據(jù)倉(cāng)庫(kù)。這昌“用戶畫(huà)像”的一種實(shí)現(xiàn)方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率實(shí)現(xiàn)Kafka 與其它 MQ 相比，其最大的特點(diǎn)就是高吞吐量。為了增加存儲(chǔ)能力，Kafka 將所有的消息都寫(xiě)入到了低速大容的硬盤(pán)。按理說(shuō)，這將導(dǎo)致性能損失，但實(shí)際上，kafka 仍可保持超高的吞吐率，性能并未受到影響。其主

3、要采用了如下的方式實(shí)現(xiàn)了高吞吐率。 順序讀寫(xiě)零 拷 貝批量發(fā)送消息壓縮1.5 Kafka 集群搭建在生產(chǎn)環(huán)境中為了防止單點(diǎn)問(wèn)題，Kafka 都是以集群方式出現(xiàn)的。下面要搭建一個(gè) Kafka 集群，包含三個(gè)Kafka 主機(jī)，即三個(gè)Broker。 主講：Rey2 分布式消息系統(tǒng) Kafka1.5.1安裝并配置第一臺(tái)主機(jī)（1） 上傳并解壓將下載好的Kafka 壓縮包上傳至 CentOS 虛擬機(jī)，并解壓。（2） 創(chuàng)建軟鏈接（3） 修改配置文件在 kafka 安裝目錄下有一個(gè) config/perties 文件，修改該文件。 主講：Rey3 分布式消息系統(tǒng) Kafka主講：Rey4

4、分布式消息系統(tǒng) Kafka1.5.2再克隆兩臺(tái) Kafka以 kafkaOS1 為母機(jī)再克隆兩臺(tái)Kafka 主機(jī)。在克隆完畢后，需要修改 perties 中的 broker.id、listeners 與 advertised.listeners。 主講：Rey5 分布式消息系統(tǒng) Kafka1.5.3kafka 的啟動(dòng)與停止（1） 啟動(dòng) zookeeper（2） 啟動(dòng) kafka主講：Rey6 分布式消息系統(tǒng) Kafka（3） 停止 kafka1.5.4kafka 操作（1） 創(chuàng)建 topic在三個(gè) broker 中任意挑選一個(gè)，在其中創(chuàng)建主題。本例創(chuàng)建了一個(gè)名稱為 test 的主題， 有 1 個(gè)備份，1 個(gè)分區(qū)。 （2） 查看 topic主講：Rey7 分布式消