返回到文章

采纳

编辑于 3年前
0

kafka过期日志不删除,topic命令删除后,topic删了但是日志文件不删除

kafka

kafka集群中的节点3,topic通过命令删除时,日志文件标记了delete,但是文件没有自动删除

部分topic的过期日志文件没有删除。

server.properties 配置

server.properties配置

删除topic

删除topic

查看日志文件

查看kafka日志文件

log-cleaner.log 日志输出

The cleaning for partition rk0000-eoddc3d-eoddc3d-eoddc3d-swasdf is aborted and paused
The cleaning for partition rk0000-eoddc3d-eoddc3d-eoddc3d-swasdf is aborted

排查问题的原因及过程

  1. 起初这台kafka节点发生过两次因为kafka日志文件导致磁盘被撑爆的情况,按照日志文件过期删除策略,日志过期时间是168小时,理论上磁盘是完全足够的。并且在重启服务器和kafka节点后,经过大概半天左右的时间过期的日志文件自动被清理掉了。

  2. kafka集群其它节点是正常。kafka版本是2.3.1。

  3. 这次重启以后因为业务关系旧的topic全部停用了,新建了其它的topic来传输数据。本来以为日志会自动清理,但是检查以后发现旧的topic过期日志还是没有自动清理掉 。并且新的topic有部分能正常清理日志,有部分还是不能正常清理。