Что такое топик в Kafka и из каких компонентов он состоит?

Question

Топик в Kafka — это логический «канал», куда продюсеры пишут сообщения, а консьюмеры читают. Внутри топик разделён на партиции, которые позволяют масштабировать запись и чтение. Каждая партиция — это упорядоченный лог сообщений. Для надёжности партиции могут иметь реплики на разных брокерах. Настройки топика определяют, сколько хранить данные и как их очищать.

YeaHub · Accepted Answer

Топик — это центральная концепция Kafka, через которую организуют потоки данных. Однако «топик» — это не один файл и не одна очередь, а набор частей, которые вместе дают масштабирование и надёжность.ОпределениеTopic — это логическое имя потока сообщений в Kafka, которое объединяет набор партиций и их реплик.1. Из чего состоит топикС точки зрения устройства Kafka у топика обычно есть несколько ключевых составляющих.1.1. ПартицииТопик разбивается на partition:каждая партиция — независимый упорядоченный лог;внутри партиции сообщения имеют offset (0, 1, 2, ...);параллелизм достигается за счёт нескольких партиций.Почему это важно:один консьюмер читает партицию последовательно;несколько консьюмеров могут читать разные партиции параллельно.1.2. Реплики (replica)Для каждой партиции Kafka хранит копии на разных брокерах.Есть leader партиции:принимает запись;обслуживает чтение (в типовом режиме).Есть followers:копируют данные с лидера;могут стать лидером при сбое.Зачем это нужно:если брокер падает, данные не теряются (при нормальной репликации);кластер может продолжать работать.1.3. Конфигурация топикаТопик имеет настройки, влияющие на поведение:сколько хранить сообщения;как очищать;сколько партиций и реплик.Даже если никто не читает сообщения, Kafka может хранить их по правилам retention.1.4. Метаданные и распределение по брокерамKafka хранит метаданные:какие брокеры держат какие партиции;где лидер, где реплики;какие ISR (in-sync replicas) сейчас «в строю».Это важно для балансировки и автоматического фейловера.2. Как топик используется на практикеТопики обычно проектируют по смыслу событий:orders — события заказов;payments — события оплаты;user_events — клики/просмотры.2.1. Один топик — много потребителейОдин и тот же топик могут читать разные consumer group:одна группа делает бизнес-обработку;другая пишет в аналитику;третья делает мониторинг/алерты.Это сильная сторона Kafka: данные можно переиспользовать без изменения продюсера.2.2. Ключи и порядокЕсли вы отправляете сообщения с ключом:Kafka стабильно кладёт одинаковый ключ в одну партицию (в типовой схеме).Это значит:для одного user_id или order_id вы сохраните порядок обработки.Пример отправки с ключом:producer.send("orders", key=b"order-123", value=b"created")
3. Типичные ошибки при работе с топикамиПеред завершением полезно знать частые проблемы:3.1. Слишком мало партицийнельзя распараллелить обработку;consumer group не масштабируется.3.2. Слишком много партицийрастёт нагрузка на метаданные и управление;сложнее ребалансы и мониторинг.3.3. Смешивание разных типов событийЕсли в одном топике смешать «заказы» и «платежи», потом сложнее:поддерживать схему сообщений;масштабировать обработку;управлять retention.4. Краткий выводТопик — это логическое имя потока, но реально он состоит из партиций (масштабирование) и реплик (надёжность), плюс конфигурации хранения. Хорошая практика — проектировать топики по смыслу доменных событий и подбирать число партиций под ожидаемый параллелизм.