Как Kafka хранит данные физически?

Question

Kafka хранит данные на диске в виде последовательных логов. Каждый partition представлен набором файлов сегментов. Сообщения дописываются в конец файлов, что делает запись очень быстрой. Старые данные удаляются или архивируются по политикам хранения. Kafka не изменяет сообщения после записи.

YeaHub · Accepted Answer

ОпределениеФизическое хранение данных в Kafka — это организация сообщений в виде append-only логов на диске.Структура храненияКаждый partition хранится отдельно и состоит из:Log segment файлов с даннымиIndex файлов для быстрого поискаTime index файлов для поиска по времениLog segmentLog segment — это файл, содержащий последовательные сообщения:сообщения только добавляются в конецфайлы имеют ограниченный размерпри достижении лимита создается новый сегментПочему это быстроKafka достигает высокой производительности за счет:Последовательной записи на дискМинимального количества random accessИспользования page cache ОСОтсутствия обновлений и удалений внутри файловПолитики храненияKafka может:хранить данные ограниченное времяхранить данные до достижения заданного размеракомбинировать оба подходаУдаление происходит целыми segment файлами, а не отдельными сообщениями.Краткий выводKafka хранит данные как неизменяемые последовательные логи, что позволяет эффективно работать с диском и обеспечивать высокую пропускную способность.