返回到文章

采纳

编辑于 2年前

kafka发送数据到队列前丢失

kafka python

我用python 生成了4000多条数据,最后通过kafka send()出去的只有3000多条,有时候2000条。

我尝试了几个方法解决:

  1. 每次send数据前time_sleep一段时间(大概0.001秒),就不会丢失数据。
  2. 使用同步发送数据也就是send().get()之后也不会丢失数据
  3. 使用异步回调发送数据也不会丢失。

以下是丢失数据的代码。4000条数据如果都成功经过send的话sum应该会累加到4000,可是最终只到了2000-3000。

求大佬解答!!

input_path = event.src_path
producer.send("Runparse", input_path)
sum = sum +1
print(sum)