各位好!
我在centOS7,用CDH,部署了kafka集群。kafka是0.11版本的,是CDH官网的发布版jar包,不是kafka官网的源码。
按照kafka producer的默认配置,使用produce api,向随便一个主题发送消息,有很大概率出现大量的消息重复(每分钟重复几万条),即使我断开了kafka的producer,消息还是会自动生成发送,直到服务器的硬盘空间都被占满(200G左右),或者删除掉目标主题(有时候删除目标主题并不管用,还得重启下zookeeper或者kafka服务)。我看了生成的消息,所有的消息是完全一样的。
producer request.required.acks
设置为0
,不管用;头疼了好久,kafka服务是部署在公司的内网。
各位老哥有没有碰到类似问题的,请赐教T T。