返回到文章
优化排版

采纳

编辑于 3年前

关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic:

  • config.storage.topic
  • offset.storage.topic
  • status.storage.topic

之前的问题实际是offset.storage.topic里消息过大,抛出的异常,所以producer.override.max.request.size配置了,也没有用。

那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端producer.properties就行了吗?有没有其他方式?

kafka connector自带的producer如何更改配置?

1、关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic: config.storage.topic,offset.storage.topic,status.storage.topic.
之前的问题实际是offset.storage.topic里消息过大,抛出的异常,所以producer.override.max.request.size配置了,也没有用。

2、那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端 producer.properties 就行了吗?有没有其他方式?

记录

编辑于 3年前

kafka connector自带的producer如何更改配置?

kafka kafka connector

kafka connector自带的producer如何更改配置?

1、关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic: config.storage.topic,offset.storage.topic,status.storage.topic.
之前的问题实际是offset.storage.topic里消息过大,抛出的异常,所以producer.override.max.request.size配置了,也没有用。

2、那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端 producer.properties 就行了吗?有没有其他方式?