如果logstash重启,如何保证读取kafka的offset继续上次重启的地方开始,auto_offset_reset只是支持earliest/lastest,可能导致数据读取缺少或重复,旧版的zk_connect方式,应该可以把offset维护在zookeeper上,新版bootstrap_servers方式,没有考虑offset的维护?
维护了的,默认会5s提交offset到kafka的
如果logstash重启,如何保证读取kafka的offset继续上次重启的地方开始,auto_offset_reset只是支持earliest/lastest,可能导致数据读取缺少或重复,旧版的zk_connect方式,应该可以把offset维护在zookeeper上,新版bootstrap_servers方式,没有考虑offset的维护?
维护了的,默认会5s提交offset到kafka的
© 2020. All Rights Reserved - Elasticsearch
Apache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant logo are trademarks of the Apache Software Foundation in the United States and/or other countries.