kafka消费者数据丢失. 手动提交方式未提交，消费者未打开情况下数据已被消费修订版本明细

源

采纳

编辑于

黑

kafka

zookeeper版本3.4.10, kafka版本1.0.1

问题主要是, 手动提交方式的情况下,拉取到几条数据,未提交, 下次打开拉取不到数据。

关闭消费者,生产者发送几条数据,再打开消费者,拉取不到数据.

消费者打开的情况下生产者发送消息能拉取到,从偏移量能看出关闭消费者时发送的那几条数据

打开zookeeper和kafka后zookeeper的异常信息
```
 Established session 0x16435b8d5a50000 with negotiated timeout 6000 for client /127.0.0.1:10017
```
这个之前问过,不确定是长链接sesison问题,10017端口外部地址是2181.而且重启电脑也没用
```
 [ProcessThread(sid:0 cport:2181)::PrepRequestProcess@648] - Got user-level KeeperException when processing sessionid:0x16435b8d5a50000 type:create cxid:0x5 zxid:0x3 txntype:-1 reqpath:n/a Error Path:/brokers Errors:KeeperErrorCode = NoNode for /brokers
```
大同小异几个错误提示, Error Path 不一样, 现在有brokers,config,admin,cluster,constroller_epoch,还有两个稍微有点不一样的错,Error Path是/brokers和/brokers/ids, KeeperErrorCode是NodeExists for XXX

网上查这个问题解决方法是删除zookeeper version-2文件夹,试过,没用,能清的一系列文件夹log,dir等都删过.

目前kafka无异常, 不过有一个地方让人在意
```
 Creating /brokers/ids/1001 (is it secure? false)
```

创建topic时又会报2上面的错,

   Error Path:/brokers/topics/test/partitions/0 Error:KeeperErrorCode = NoNode for /brokers/topics/test/partitions/0

因为是两个分区所以来了两遍

生产者发送消息,没啥问题,一打开消费者,__consumer-offsets就会被创建

并生成50个分区..然后每个分区都报2的错,再往后就是开始说的问题了.

ps.之前测试时都是一个分区

预览