 
                        
                        
                    
                    
                    
                    
                    
                    
                我用jmeter进行了单分区的压力测试,Number of Threads->50、Ramp-up period(in seconds):2、loop count:100。所有的测试在单topic同一分区下进行,得到结果如下,
offset=16692
offset=16691
offset=16693
offset=16702
offset=16703
offset=16705
offset=16708
offset=16710
offset=16711
offset=16709
offset=16712
offset=16713
offset=16714
offset=16718
offset=16719
offset=16722
offset=16725
offset=16726
offset=16729
offset=16728
offset=16727
offset=16733
offset=16735
offset=16737
offset=16743
offset=16744
offset=16745
offset=16748
offset=16746
offset=16747
offset=16756
......
有的如你所说是间隔确实拉大了,但是有的确实连续的。
另外,当我用非springboot配置的事务去执行kafka时,可以保证offset是连续的。
代码如下:
public static void main(String[] args) {
    // Producer 配置信息,应该配置在属性文件中
    Properties props = new Properties();
    //指定要连接的 broker,不需要列出所有的 broker,但建议至少列出2个,以防某个 broker 挂了
    props.put("bootstrap.servers", "10.60.153.252:9092");
    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("transactional.id", "test.transactional.id"); // 需要设置 transactional.id
    // 创建 Producer
    Producer<string, string=""> producer = new KafkaProducer<string, string="">(props);
    // 初始化事务
    producer.initTransactions();
    try {
        // 开启事务
        producer.beginTransaction();
        for (int i = 0; i < 10; i++) { 
             // 发送消息 
             producer.send(new ProducerRecord("wxy_test", "message "+i), new Callback() {
             public void onCompletion(RecordMetadata metadata, Exception exception) {
                 if(exception != null) {
                     System.out.println("send message i failed with " + exception.getMessage());
                 } else {
                     // offset 是消息在 partition 中的编号,可以根据 offset 检索消息
                     System.out.println("message i sent to " + metadata.topic() + ", partition " + metadata.partition() + ", offset " + metadata.offset());
                 }
             }
         });
        }
        // 提交事务
        producer.commitTransaction();
    } catch(KafkaException e) {
        // 终止事务
        producer.abortTransaction();
    } finally {
        producer.close();
    }
}
我是觉得如果真是spring-kafka集成事务导致这个offset间隔2,那就是个bug啊。很容易让人觉得是消息传递不正常。
 
                        
                        当你启用producerFactory.setTransactionIdPrefix("trans-");。
在这种情况下,客户端会启用一个生产者缓存,用于确认kafka集群返回的信息。
我不太清楚springboot提供的kafka客户端是什么机制打印的,我想如果kafka的发送的消息先在缓存中,等待确认,那kafka返回确认的时候,从缓存中踢出(多笔一起踢出),客户端打印的时候,同一时间点,跳过了已经确认过的offset。
你可以加大发送压力,看看offset间隔是否会扩大。
最后,kafka发送有同步发送和异步发送,理论上异步发送都是按批次发的,offset也会间隔的更大才是。 你还是得压一下。