使用logstash的kafka input plugin插件,进程重启后offset能否指定具体的数值?


(Kai Fu) #1

如果logstash重启,如何保证读取kafka的offset继续上次重启的地方开始,auto_offset_reset只是支持earliest/lastest,可能导致数据读取缺少或重复,旧版的zk_connect方式,应该可以把offset维护在zookeeper上,新版bootstrap_servers方式,没有考虑offset的维护?


(Medcl) #2

维护了的,默认会5s提交offset到kafka的


(system) #3

This topic was automatically closed 28 days after the last reply. New replies are no longer allowed.