Как сделать повторную обработку сообщений в очереди Kafka

27.09.2022

Есть несколько материалов на эту тему:

https://medium.com/naukri-engineering/retry-mechanism-and-delay-queues-in-apache-kafka-528a6524f722

https://copyprogramming.com/howto/apache-kafka-consumer-delay-option#apache-kafka-consumer-delay-option

https://habr.com/ru/company/tinkoff/blog/487094/

https://russianblogs.com/article/13811188620/

https://medium.com/naukri-engineering/retry-mechanism-and-delay-queues-in-apache-kafka-528a6524f722

https://habr.com/ru/company/southbridge/blog/547264/

https://medium.com/@bigdataschool/%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-%D1%87%D1%82%D0%B5%D0%BD%D0%B8%D0%B5-%D0%B8-%D0%BE%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B0-%D1%81%D0%BE%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D0%B5-%D0%B2-%D1%82%D0%BE%D0%BF%D0%B8%D0%BA%D0%B0%D1%85-apache-kafka-3-%D0%B2%D0%B0%D0%B6%D0%BD%D1%8B%D1%85-%D0%BA%D0%BE%D0%BD%D1%84%D0%B8%D0%B3%D1%83%D1%80%D0%B0%D1%86%D0%B8%D0%B8-cfad50ce5c30

https://www.bigdataschool.ru/blog/kafka-retention-configurations.html

https://slurm.io/tpost/pnyjznpvr1-apache-kafka-osnovi-tehnologii

https://www.oreilly.com/library/view/kafka-the-definitive/9781491936153/ch04.html

https://slurm.io/tpost/pnyjznpvr1-apache-kafka-osnovi-tehnologii

https://habr.com/ru/company/parimatch_tech/blog/544304/

Общие принципы:

  1. Kafka не удаляет сообщения из очереди
  2. Сообщения можно добавлять повторно, но это будут уже новые сообщения
  3. Если надо сделать отложенную отработку, лучше делать дополнительные топики