返回到文章

采纳

编辑于

kafka打开文件数太多

kafka

您好!
我的kafka今天下午的时候,一直报java.io.IOException: Too many open files。我的kafka就是一个单机版的,查看连接数也不多,就十个左右,但是打开文件数有70多万个,请问可能是什么原因造成的呢,是不是topic太多的原因呢,我在log.dirs日志目录里面看了一下,大概有400多个文件夹。配置文件的配置:

  num.network.threads=8
  num.io.threads=8
  socket.send.buffer.bytes=102400
  socket.receive.buffer.bytes=102400
  socket.request.max.bytes=104857600
  num.partitions=1
  num.recovery.threads.per.data.dir=1
  log.flush.interval.messages=10000
  log.flush.interval.ms=1000
  log.retention.hours=8765
  log.segment.bytes=1073741824
  log.retention.check.interval.ms=300000
  zookeeper.connection.timeout.ms=6000

另外我重启kafka也不能解决这个问题,现在我应该怎么办。通过lsof查看发现确实文件太多了,log.retention.hours这个参数设置太长的原因?