在向某个主题发送消息时,kafka broker后台日志总是提示告警信息。
[2021-07-01 01:41:41,625] WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:0, offset:16941854}, Current: {epoch:1, offset13646164} for Partition: TMonitor-0 (kafka.server.epoch.LeaderEpochFileCache)
查看broker上的日志文件:
[root@cloud005 TMonitor-0]# ls
00000000000013646164.index 00000000000013646164.log 00000000000013646164.snapshot 00000000000013646164.timeindex leader-epoch-checkpoint
leader-epoch-checkpoint 中的内容如下:
[root@cloud005 TMonitor-0]# cat leader-epoch-checkpoint
0
1
1 13646164
13646164 在告警信息中、log目录下、leader-epoch-checkpoint都存在。
使用的kafka版本为 1.0.0 ,尝试在网上搜了关于这个告警的信息,看到有人说是kafka 使用 HW 在多副本情况下节点故障导致的。参考 https://issues.apache.org/jira/browse/KAFKA-7415 。但我的环境是单机的也出了这个问题。
我现在不清楚问题出现的原因,无法让它复现,但遇到好几次了。
论坛里的大佬们帮忙看下是什么原因导致的。