Как настроить обработку одного топика несколькими консюмерами для увеличения производительности?

Как работает параллельное потребление в Kafka

Kafka использует модель логов с партициями. Один топик может состоять из нескольких партиций, каждая из которых хранит упорядоченную последовательность сообщений. Когда несколько консюмеров подписываются на один топик в рамках одной группы, Kafka автоматически распределяет партиции между ними. Каждая партиция назначается ровно одному консюмеру в группе, что гарантирует порядок сообщений внутри партиции и позволяет параллельно обрабатывать разные партиции.

Настройка для увеличения производительности

Чтобы увеличить пропускную способность, необходимо:

• Увеличить количество партиций в топике (например, до 10 или 100 в зависимости от нагрузки).
• Запустить несколько экземпляров консюмера с одинаковым group.id.
• Убедиться, что количество консюмеров не превышает количество партиций — лишние консюмеры будут простаивать.

Пример конфигурации консюмера на Python с использованием библиотеки confluent-kafka:

from confluent_kafka import Consumer

conf = {
    'bootstrap.servers': 'localhost:9092',
    'group.id': 'my-group',
    'auto.offset.reset': 'earliest'
}
consumer = Consumer(conf)
consumer.subscribe(['my-topic'])

while True:
    msg = consumer.poll(1.0)
    if msg is None:
        continue
    if msg.error():
        print(f"Error: {msg.error()}")
        continue
    print(f"Received: {msg.value().decode('utf-8')}")

Запустив несколько таких консюмеров с одинаковым group.id, каждый будет обрабатывать свою партицию.

Вывод

Использование групп консюмеров с достаточным количеством партиций — основной способ горизонтального масштабирования потребления в Kafka. Это позволяет линейно увеличивать пропускную способность при росте нагрузки.