现在要做一个案例,暂时的需求是这样的。客户那边是关系型数据库,我们这边也是关系型数据库。 首先我们会把客户那边的数据库copy一份,放在我们本地。然后具体的需求就是,客户那边对数据库中的数据进行修改、增加、删除的时候,我们这边的数据也可以实时同步。 我利用Kafka-connect可以实现了数据的新增、修改,可是删除一直实现不了,请问可以实现吗,还是说需要自己去写一些接口什么的呢?
下边是source和sink的配置
***source:***
name=mysql-b-source-comments
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost/test?user=root&password=root
table.whitelist=comments
mode=timestamp
timestamp.column.name=commenttime
topic.prefix=mysql-kafka-
***sink:***
name=mysql-b-sink-comments
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
topics=mysql-kafka-comments
connection.url=jdbc:mysql://localhost:3306/test?user=root&password=root
auto.create=false
insert.mode=upsert
pk.mode = record_value
pk.fields = id
table.name.format=kafkacomments