Как распределяются сообщения между consumer’ами?

Общая идея

Kafka распределяет нагрузку не по сообщениям, а по partition’ам. Это фундаментальный принцип архитектуры Kafka.

Consumer Group

Consumer Group — это набор consumer’ов, которые совместно читают один или несколько topic’ов.

Основные правила:

1. Один partition → один consumer в группе

2. Один consumer может читать несколько partition’ов

3. Сообщения из partition читаются последовательно

Как происходит распределение

Процесс выглядит так:

1. Consumer’ы объединяются в группу

2. Kafka определяет список partition’ов topic’а

3. Partition’ы распределяются между consumer’ами

Важное ограничение

Kafka никогда:

• не делит один partition между несколькими consumer’ами

• не балансирует нагрузку на уровне отдельных сообщений

Пример

Если:

• topic имеет 4 partition’а

• consumer group состоит из 2 consumer’ов

То:

• каждый consumer получит по 2 partition’а

• обработка будет идти параллельно

Краткий вывод

Распределение сообщений в Kafka происходит через назначение partition’ов consumer’ам внутри группы, что упрощает модель обработки и гарантирует порядок сообщений.