Почему сообщения в Kafka не удаляются сразу после чтения?

Question

Kafka не удаляет сообщения после чтения, потому что consumer не владеет сообщением. Сообщения хранятся в топике согласно политике retention. Каждый consumer читает сообщения независимо, используя offset’ы. Это позволяет нескольким consumer-группам читать одни и те же данные. Такой подход делает Kafka логом, а не очередью.

YeaHub · Accepted Answer

Kafka изначально спроектирована не как очередь, а как распределённый commit log.ОпределениеKafka topic — это неизменяемый лог сообщений, в который данные только дописываются и читаются по смещению (offset).Как происходит чтение сообщенийПеред перечислением важно понять, что чтение не изменяет состояние брокера.Producer пишет сообщения в partitionСообщения получают offsetConsumer читает сообщения по offsetOffset сохраняется отдельно от данныхПочему сообщения не удаляютсяУдаление сообщений после чтения нарушило бы ключевые свойства Kafka.Независимые consumer-группыКаждая группа читает в своём темпеНет конфликта между потребителямиПовторное чтениеМожно перечитать данныеМожно восстановить состояниеВысокая пропускная способностьНет координации удаленияМинимум синхронизацииКогда сообщения всё-таки удаляютсяУдаление происходит по правилам retention.По времени (retention.ms)По размеру (retention.bytes)Через log compaction (для key-based данных)ВыводKafka хранит сообщения независимо от чтения. Это делает её надёжным и масштабируемым логом событий, а не классической очередью.