第08課con的s接口blo第八課新api

1、Kafka原理剖析及實(shí)戰(zhàn)演練New API designDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)New APIn ProducerØ 增加回調(diào)Ø 重構(gòu)Partitioner接口n 統(tǒng)一High Level API與Low Level APIØ 從kafka.consumer和kafka.javaapi到kafka.clients.consumerØ subscribe動(dòng)態(tài)rebalance vs. assign手動(dòng)分配Ø 將offset存于kafka和zookeeper以外Ø Consumer

2、RebalanceListener消費(fèi)位置ØØ 消費(fèi)流程DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)Producern ProducerØ 增加回調(diào)Ø 重構(gòu)Partitioner接口DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)統(tǒng)一Ø 從kafka.consumer和kafka.javaapi到kafka.clients.consumerDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)subscribe vs. assignn Subsc

3、ribeØ 自動(dòng)RebalanceØ 自動(dòng)分配Partition給ConsumerØ 使用subscribe接口，并可n AssignØ 使用Assign接口Ø 指定目標(biāo)PartitionConsumerRebalanceListenerDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)offset管理n 自動(dòng)commitØ 自動(dòng)commitn 手動(dòng)commitØ 手動(dòng)commit全部offsetØ 手動(dòng)commit特定partition的offsetØ 支持同步和異步commit并支持commit回調(diào)DATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社區(qū)Kafka原理剖析及實(shí)戰(zhàn)演練(Jason Guo)消費(fèi)流程n 可暫停/恢復(fù)對(duì)某些Partition的消費(fèi)Ø pause 暫停消費(fèi)指定的PartitionØ resume 恢復(fù)對(duì)指定partition的消費(fèi)Ø wakeup 喚醒poll阻塞，并拋出WakeupExceptionDATAGURU專(zhuān)業(yè)數(shù)據(jù)分析社