聊聊Kafka:Kafka消息丢失的场景以及最佳实践
发布网友
共1个回答
热心网友
1. 大家好，我是老周。由于项目上线忙碌，我已经有段时间没有更新文章了。很多小伙伴一直在催促。先简单说明一下最近的情况。我们组里有个同事在使用 Kafka 时出现了问题，导致线上消息丢失，我一直在忙于修复这个问题。事情的起因是，一个 Kafka 消费者实例被部署到线上，开始消费数据。但是，由于新版本中引入了新的逻辑，与老版本的逻辑不兼容，导致消费失败，且没有进行重试。关键是，这个实例还提交了 offset。因此，这部分数据没有被业务处理，最终导致了消息丢失。
2. 现在，项目已经忙完了，我终于有了空闲时间，所以决定记录下这个问题，看看是否对大家有所帮助，避免大家踩到同样的坑。如果这对大家有所帮助，那我写的这篇文章也就有了价值。
3. 我们接下来将从三个方面讨论 Kafka 消息丢失的场景以及最佳实践。但在讨论之前，我们先来简要回顾一下 Kafka 的三种消息语义。我相信，作为消息系统的基本抽象，这三种消息语义应该是众所周知的了：
