改版通知

巨人肩膀网站已全新改版。若您仍依赖旧站功能或数据,欢迎联系我们,我们会协助处理。联系我们

Kafka实例消费流量猛增异常排查

海星之梦2024年7月19日0 回答200 浏览

1、今天发现Kafka实例消费流量在某个时刻后猛增:

image.png

2、和相关同事确认也没有加新的消费任务,上游的数据生产也很平稳,这个就很奇怪了。

3、开始排查

  1. 想确认是哪个topic哪个消费组引起的,刚开始都是从流量比较大的topic开始找,一切正常,都挺平稳的
  2. 通过查看消费组的消费堆积及速度监控也没有找到异常的消费组(后面发现可能太久没收到消费数据这个消费组的监控数据查不到了)
  3. 后面又去排查其他流量下的topic。结果发现是一个流量相对很小的topic造成的
  4. 小流量Topic为啥会消费流量猛增?
  5. 查看下游消费任务,发现是下游消费程序出错导致数据一直被拉取但是一直没有成功提交偏移量导致
    1. 因为任务异常checkpoint失败Flink任务一直回滚消费
    2. 消费程序一直拉kafka数据,所以产生了消费流量

心问题来了,为什么checkpoint一直失败任务不失败一直重试?