返回到文章

采纳

编辑于 4年前

kafka消息大量积压,消费者消费很慢,poll存在消费不到数据的情况,这种情况怎么解决?

kafka

集群环境,3台机器,某个topic有360多个消费者节点,单线程异步消费,自动提交offset,存在有时候消费不到数据的情况,轮询拉取的数据量为0,但是单个消费者已经积压了近40w条数据,每条数据平均0.1M,机器的资源负载也不高,把生产者停了,积压的数据消费还是很慢,能消费到数据时候,数据总量不超过1M,消费积压情况是通过Kafka Manager查看的,麻烦各位看看这种情况是怎么导致的。