关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic:
之前的问题实际是offset.storage.topic
里消息过大,抛出的异常,所以producer.override.max.request.size
配置了,也没有用。
那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size
的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端producer.properties就行了吗?有没有其他方式?
1、关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic: config.storage.topic
,offset.storage.topic
,status.storage.topic
.
之前的问题实际是offset.storage.topic
里消息过大,抛出的异常,所以producer.override.max.request.size
配置了,也没有用。
2、那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size
的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端 producer.properties 就行了吗?有没有其他方式?
1、关于前段时间提问的“kafka 生产消息报错 RecordTooLargeException”这个问题,最近找到了答案,之所以怎么更改都会报错,是因为kafka connector里除了produce source record之外,还会有三个topic: config.storage.topic
,offset.storage.topic
,status.storage.topic
.
之前的问题实际是offset.storage.topic
里消息过大,抛出的异常,所以producer.override.max.request.size
配置了,也没有用。
2、那么问题来了,如何更改这三个topic的producer config,看了源码,关于max.request.size
的配置,是没有显式配置的,那么用的就是producer的默认配置,所以改kafka broker端 producer.properties 就行了吗?有没有其他方式?