采纳
kafka 消费中出现大量的重复数据,其中有的数据重复,有的数据不重复。因为生产的数据量比较大,就没5000条就手动提交,并将consumer停止,通过定时任务再将consumer启动,这里reset的方式是earliest。通过测试发现offset有回滚的现象,如下图所示:这种情况应该如何排查,在图中还有出现Rebalance的情况,群组中一直都是3个消费者,对应着一个有三个分区的主题。这种Rebalance会不会是导致消息重复的原因。