返回到文章

采纳

编辑于
fnh

kafka产生大量重复消息

kafka

各位好!

我在centOS7,用CDH,部署了kafka集群。kafka是0.11版本的,是CDH官网的发布版jar包,不是kafka官网的源码。

问题描述:

按照kafka producer的默认配置,使用produce api,向随便一个主题发送消息,有很大概率出现大量的消息重复(每分钟重复几万条),即使我断开了kafka的producer,消息还是会自动生成发送,直到服务器的硬盘空间都被占满(200G左右),或者删除掉目标主题(有时候删除目标主题并不管用,还得重启下zookeeper或者kafka服务)。我看了生成的消息,所有的消息是完全一样的。

已经尝试的方法:

  1. producer request.required.acks设置为0,不管用;
  2. 查看了kafka broker的日志,没有发现有效的信息,日志上只是提示消费者上下线和再平衡的消息。

头疼了好久,kafka服务是部署在公司的内网。

各位老哥有没有碰到类似问题的,请赐教T T。