1、kafka connector 数据源有数据,但一会之后就一直打下面的logger,topic里也没有新数据了
210813-022406.201 [INFO ] Committing offsets (WorkerSourceTask:424)
210813-022406.201 [INFO ] flushing 0 outstanding messages for offset commit (WorkerSourceTask:441)
2、版本2.5,配置:
"producer.override.batch.size":"8000000",
"producer.override.linger.ms":"50",
"producer.override.acks":1,
"producer.override.buffer.memory":335544320
我使用Kafka connector 采集jdbc d的数据时有类似的问题,发生的原因是我使用的增量更新的时间戳模式,Kafka connector存储的时间戳已经是最大了,不会查询比他更小的数据造成的。
什么意思,可否详细点? 谢谢
个人认为是一段时间后,source miner 数据的线程挂了,导致没有数据,所以一直flushing 0 outstanding messages
这句日志info级别的,很难判断额。
更像是完成。
你的答案