Что такое log compaction и в каких сценариях он применяется?

Question

Log compaction — это режим хранения, при котором Kafka сохраняет только последнее сообщение для каждого ключа. Старые версии сообщений с тем же ключом могут быть удалены. При этом порядок сообщений по времени не является главным. Такой подход полезен для хранения актуального состояния, а не полной истории событий. Log compaction часто используют для state-топиков и справочников.

YeaHub · Accepted Answer

По умолчанию Kafka удаляет данные по времени или размеру (retention). Однако есть сценарии, где важно хранить последнее состояние, а не всю историю. Для этого и существует log compaction.ОпределениеLog compaction — это механизм очистки лога, при котором Kafka гарантирует сохранение последнего сообщения для каждого ключа.1. Как работает log compactionПри включённой компакции Kafka:анализирует сегменты партиции;для каждого ключа оставляет последнее сообщение;старые версии того же ключа помечает на удаление.Важно:компакция происходит асинхронно;старые сообщения могут существовать некоторое время.2. Что сохраняется гарантированноKafka гарантирует:если сообщение с ключом было записано, то последняя версия ключа останется;сообщения без ключа не участвуют в компакции.Это означает:ключ обязателен для compaction;порядок сообщений становится вторичным.3. Типовые сценарии использованияLog compaction применяют, когда нужен «слепок состояния».3.1. Хранение состояния (state store)Примеры:текущий статус заказа;профиль пользователя;настройки системы.Каждый новый апдейт перезаписывает предыдущее состояние.3.2. Event sourcing + состояниеЧастая комбинация:отдельный топик с полной историей событий (retention);отдельный compacted-топик с актуальным состоянием.3.3. Системные топикиKafka сама использует compaction:__consumer_offsets;некоторые служебные данные.4. Удаление ключей (tombstone)Чтобы удалить ключ:продюсер отправляет сообщение с ключом и null-value;Kafka со временем удаляет ключ полностью.Пример идеи:producer.send("users", key=b"user-1", value=None)
5. Ограничения и подводные камниLog compaction — не универсальное решение.Ограничения:нельзя восстановить полную историю изменений;компакция не происходит мгновенно;чтение может вернуть «устаревшие» данные, если компакция ещё не прошла.6. Краткий выводLog compaction стоит использовать, когда нужен актуальный снимок состояния по ключу, а не полная история событий. Это мощный инструмент для state-топиков, но он не заменяет классический retention для event-логов.