Что такое топик в Kafka и из каких компонентов он состоит?

Топик — это центральная концепция Kafka, через которую организуют потоки данных. Однако «топик» — это не один файл и не одна очередь, а набор частей, которые вместе дают масштабирование и надёжность.

Определение

Topic — это логическое имя потока сообщений в Kafka, которое объединяет набор партиций и их реплик.

1. Из чего состоит топик

С точки зрения устройства Kafka у топика обычно есть несколько ключевых составляющих.

1.1. Партиции

Топик разбивается на partition:

• каждая партиция — независимый упорядоченный лог;

• внутри партиции сообщения имеют offset (0, 1, 2, ...);

• параллелизм достигается за счёт нескольких партиций.

Почему это важно:

• один консьюмер читает партицию последовательно;

• несколько консьюмеров могут читать разные партиции параллельно.

1.2. Реплики (replica)

Для каждой партиции Kafka хранит копии на разных брокерах.

• Есть leader партиции:

  • принимает запись;

  • обслуживает чтение (в типовом режиме).

• Есть followers:

  • копируют данные с лидера;

  • могут стать лидером при сбое.

Зачем это нужно:

• если брокер падает, данные не теряются (при нормальной репликации);

• кластер может продолжать работать.

1.3. Конфигурация топика

Топик имеет настройки, влияющие на поведение:

• сколько хранить сообщения;

• как очищать;

• сколько партиций и реплик.

Даже если никто не читает сообщения, Kafka может хранить их по правилам retention.

1.4. Метаданные и распределение по брокерам

Kafka хранит метаданные:

• какие брокеры держат какие партиции;

• где лидер, где реплики;

• какие ISR (in-sync replicas) сейчас «в строю».

Это важно для балансировки и автоматического фейловера.

2. Как топик используется на практике

Топики обычно проектируют по смыслу событий:

• orders — события заказов;

• payments — события оплаты;

• user_events — клики/просмотры.

2.1. Один топик — много потребителей

Один и тот же топик могут читать разные consumer group:

• одна группа делает бизнес-обработку;

• другая пишет в аналитику;

• третья делает мониторинг/алерты.

Это сильная сторона Kafka: данные можно переиспользовать без изменения продюсера.

2.2. Ключи и порядок

Если вы отправляете сообщения с ключом:

• Kafka стабильно кладёт одинаковый ключ в одну партицию (в типовой схеме).
  Это значит:

• для одного user_id или order_id вы сохраните порядок обработки.

Пример отправки с ключом:

producer.send("orders", key=b"order-123", value=b"created")

3. Типичные ошибки при работе с топиками

Перед завершением полезно знать частые проблемы:

3.1. Слишком мало партиций

• нельзя распараллелить обработку;

• consumer group не масштабируется.

3.2. Слишком много партиций

• растёт нагрузка на метаданные и управление;

• сложнее ребалансы и мониторинг.

3.3. Смешивание разных типов событий

Если в одном топике смешать «заказы» и «платежи», потом сложнее:

• поддерживать схему сообщений;

• масштабировать обработку;

• управлять retention.

4. Краткий вывод

Топик — это логическое имя потока, но реально он состоит из партиций (масштабирование) и реплик (надёжность), плюс конфигурации хранения. Хорошая практика — проектировать топики по смыслу доменных событий и подбирать число партиций под ожидаемый параллелизм.