Kafka MirrorMaker1集群间切换后切回数据集群多出了10000条数据？

Kafka MirrorMaker1集群间切换后切回数据未同步

• kafka版本 0.10.0.1
• zookeeper版本 3.4.6

测试内容

AB两个集群，从A同步到B，从B同步到A，切回从A同步到B 使用mirrormaker做集群数据同步

步骤

A集群同步到B集群

1、配置

A集群配置
consumer.config
zookeeper.connect=127.0.0.1:2181
bootstrap.servers=192.168.10.13:9092,192.168.10.14:9092,192.168.10.15:9092 #A集群地址
group.id=mirrormaker
auto.offset.reset=earliest

producer.config
bootstrap.servers=192.168.10.16:9092,192.168.10.17:9092,192.168.10.18:9092 #B集群地址

2、启动命令

./bin/kafka-mirror-maker.sh --new.consumer --consumer.config config/consumer.config --num.streams 1 --producer.config config/producer.config --whitelist 'ABTestMsg'

3、A集群使用kafka-producer-perf-test脚本模拟发送10000条消息

4、验证B集群同步成功10000条

停掉A集群mirrormaker切换B同步A

1、配置

B集群配置
consumer.config
zookeeper.connect=127.0.0.1:2181
bootstrap.servers=192.168.10.16:9092,192.168.10.17:9092,192.168.10.18:9092 #B 集群地址
group.id=mirrormaker
auto.offset.reset=latest

producer.config
bootstrap.servers=192.168.10.13:9092,192.168.10.14:9092,192.168.10.15:9092 #A集群地址

2、启动命令

./bin/kafka-mirror-maker.sh --new.consumer --consumer.config config/consumer.config --num.streams 1 --producer.config config/producer.config --whitelist 'ABTestMsg'

3、B集群使用kafka-producer-perf-test脚本模拟发送10000条消息

4、验证A集群同步成功10000条 AB集群partition Latest offset 20000

停掉B切回A集群

1、停掉B集群

2、启动命令

./bin/kafka-mirror-maker.sh --new.consumer --consumer.config config/consumer.config --num.streams 1 --producer.config config/producer.config --whitelist 'ABTestMsg'

3、验证 A集群partition Latest offset 20000 B集群partition Latest offset 30000

问题

在切回A集群后，启动mirrormaker， B集群多出了10000条。