如何设置kafka的内存大小

kafka版本：2.3
3个节点的集群

当集群运行时，生产者和消费者正常运行，但系统buff/cache会不断增加，当中集群性能严重下降，几乎不可用，主题中有大量数据未消费堆积。系统内存32G，buff/cache不断增加到21G，还在不断增加，只能停止生产者，让消费者消费（性能下降），第二天来时，主题中的数据均被消费，但buff/cache没有下降，删除主题数据后，buff/cache恢复正常。

出现上述情况应该怎么处理，急 万分感谢