2023學(xué)年完整公開(kāi)課版Kafka名詞解釋

Kafka名詞解釋2知識(shí)目標(biāo)Kafka名詞解釋01能力目標(biāo)了解kafka名詞02學(xué)習(xí)目標(biāo)3目錄01producer02consumer03Broker04Topic05Partition06Consumergroup（CG）07分布式Producer4消息生產(chǎn)者，就是向kafkabroker發(fā)消息的客戶端；負(fù)責(zé)發(fā)布消息到Kafkabroker，Producer將消息發(fā)布到它指定的topic中,并負(fù)責(zé)決定發(fā)布到哪個(gè)分區(qū)（lowAPI）。通常簡(jiǎn)單的由負(fù)載均衡機(jī)制隨機(jī)選擇分區(qū)，但也可以通過(guò)特定的分區(qū)函數(shù)選擇分區(qū)Consumer5消息消費(fèi)者，向Kafkabroker讀取消息的客戶端.發(fā)布消息通常有兩種模式：隊(duì)列模式（queuing）和發(fā)布-訂閱模式(publish-subscribe)。隊(duì)列模式中，consumers可以同時(shí)從服務(wù)端讀取消息，每個(gè)消息只被其中一個(gè)consumer讀到；6Consumer發(fā)布-訂閱模式中消息被廣播到所有的consumer中。Consumers可以加入一個(gè)consumer組，共同競(jìng)爭(zhēng)一個(gè)topic，topic中的消息將被分發(fā)到組中的一個(gè)成員中。同一組中的consumer可以在不同的程序中，也可以在不同的機(jī)器上。如果所有的consumer都在一個(gè)組中，這就成為了傳統(tǒng)的隊(duì)列模式，在各consumer中實(shí)現(xiàn)負(fù)載均衡。如果所有的consumer都不在不同的組中，這就成為了發(fā)布-訂閱模式，所有的消息都被分發(fā)到所有的consumer中。更常見(jiàn)的是，每個(gè)topic都有若干數(shù)量的consumer組，每個(gè)組都是一個(gè)邏輯上的“訂閱者”，為了容錯(cuò)和更好的穩(wěn)定性，每個(gè)組由若干consumer組成。這其實(shí)就是一個(gè)發(fā)布-訂閱模式，只不過(guò)訂閱者是個(gè)組而不是單個(gè)consumer。Broker7Kafka集群包含一個(gè)或多個(gè)服務(wù)器，這種服務(wù)器被稱為brokerTopic8每條發(fā)布到Kafka集群的消息都有一個(gè)類別，這個(gè)類別被稱為Topic（物理上不同Topic的消息分開(kāi)存儲(chǔ)[表現(xiàn)于日志落地]，邏輯上一個(gè)Topic的消息雖然保存于一個(gè)或多個(gè)broker上但用戶只需指定消息的Topic即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處）。一個(gè)topic是對(duì)一組消息的歸納，對(duì)每個(gè)topic，Kafka對(duì)它的日志進(jìn)行了分區(qū)，如下圖2：圖2Partition9Parition是物理上的概念，每個(gè)Topic包含一個(gè)或多個(gè)Partition.；為了實(shí)現(xiàn)擴(kuò)展性，一個(gè)非常大的topic可以分布到多個(gè)broker（即服務(wù)器）上，一個(gè)topic可以分為多個(gè)partition，每個(gè)partition是一個(gè)有序的隊(duì)列。partition中的每條消息都會(huì)被分配一個(gè)有序的id（offset）。kafka只保證按一個(gè)partition中的順序?qū)⑾l(fā)給consumer，不保證一個(gè)topic的整體（多個(gè)partition間）的順序。Consumergroup（CG）10這是kafka用來(lái)實(shí)現(xiàn)一個(gè)topic消息的廣播（發(fā)給所有的consumer）和單播（發(fā)給任意一個(gè)consumer）的手段。一個(gè)topic可以有多個(gè)CG。topic的消息會(huì)復(fù)制（不是真的復(fù)制，是概念上的）到所有的CG，但每個(gè)partion只會(huì)把消息發(fā)給該CG中的一個(gè)consumer。如果需要實(shí)現(xiàn)廣播，只要每個(gè)consumer有一個(gè)獨(dú)立的CG就可以了。要實(shí)現(xiàn)單播只要所有的consumer在同一個(gè)CG。用CG還可以將consumer進(jìn)行自由的分組而不需要多次發(fā)送消息到不同的topic。分布式11每個(gè)分區(qū)在Kafka集群的若干服務(wù)中都有副本，這樣這些持有副本的服務(wù)可以共同處理數(shù)據(jù)和請(qǐng)求，副本數(shù)量是可以配置的。副本使Kafka具備了容錯(cuò)能力。每個(gè)分區(qū)都由一個(gè)服務(wù)器作為“l(fā)eader”，零或若干服務(wù)器作為“followers”,leader負(fù)責(zé)處理消息的讀和寫(xiě)，followers則去復(fù)制leader.如果leaderdown了，followers中的一臺(tái)則