我懂了,就是说默认配置就够用了,重点优化put()方法中的处理逻辑,非常感谢您的解答!
大部分场景下,kafka是批次获取消息的,默认的配置基本能达到物理机的最大能力,一般都卡在处理速度上,而不是拉取上。
嗯嗯,原来如此,十分感谢你的耐心;我还想问一下,kafka sink connect怎么对消费者进行配置呢?
我只知道需要重写start()
,put()
,flush()
,stop()
方法,貌似没有地方需要新建消费者,也就没有地方对消费者进行配置
props.setProperty("fetch.min.bytes", "2097152");
应该写在哪里呢?
consumer.properties
是没用的,这个是在使用消费者命令行
时,指定配置文件使用的,如:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config config/consumer.properties
你在代码里,应该类似消费者这种
Properties props = new Properties();
props.setProperty("fetch.min.bytes", "2097152");
...