Что такое партиция и зачем нужен механизм партиционирования?

Партиционирование — это главный механизм, который делает Kafka «быстрой и масштабируемой». Без партиций Kafka была бы похожа на одну большую очередь, которая быстро упёрлась бы в пределы одного потока записи/чтения.

Определение

Partition — это упорядоченный, дописываемый в конец лог сообщений, являющийся частью топика.

1. Зачем нужны партиции

Партиции решают сразу несколько задач.

1.1. Масштабирование записи

Если топик имеет несколько партиций:

• продюсеры могут писать в разные партиции параллельно;

• нагрузка распределяется между брокерами (партиции могут лежать на разных узлах).

Это повышает throughput.

1.2. Масштабирование чтения

Consumer group может читать партиции параллельно:

• один консьюмер читает одну или несколько партиций;

• несколько консьюмеров делят партиции между собой.

Вывод:

• максимальный параллелизм группы ограничен числом партиций.

1.3. Гарантия порядка

Kafka гарантирует порядок:

• только внутри одной партиции.

Поэтому, если вам важно, чтобы события одного заказа шли строго по порядку:

• отправляйте их с ключом order_id;

• тогда они попадут в одну партицию и сохранят порядок.

2. Как выбирается партиция

На практике есть несколько подходов.

2.1. По ключу (самый частый вариант)

• продюсер задаёт key;

• Kafka вычисляет партицию из ключа.

Плюсы:

• стабильный порядок для одного ключа;

• равномерное распределение при хорошем ключе.

2.2. Round-robin (без ключа)

Если ключ не задан:

• сообщения раскидываются по партициям «по кругу».

Плюсы:

• хорошее распределение нагрузки.
  Минусы:

• порядок между связанными сообщениями не гарантирован.

2.3. Кастомный partitioner

Иногда делают свой алгоритм:

• например, важные события в отдельные партиции;

• или география (EU/US) по разным сегментам.

3. Практические примеры и последствия

Ниже — типовые ситуации, с которыми сталкиваются в продакшене.

3.1. Пример: обработка заказов

Если сделать ключ = order_id, то:

• order_created, order_paid, order_shipped придут в одном порядке.

Пример отправки:

producer.send("orders", key=b"123", value=b"order_paid")

3.2. Пример: масштабирование обработчиков

Есть топик на 12 партиций:

• максимум 12 консьюмеров в группе могут реально читать параллельно;

• 20 консьюмеров не дадут ускорения (часть будет простаивать).

3.3. Риски «плохого ключа»

Если ключ перекошенный (например, у всех сообщений ключ "default"):

• всё попадёт в одну партицию;

• параллелизм исчезнет;

• одна партиция станет «узким горлом».

4. Краткий вывод

Партиции нужны для масштабирования Kafka и параллельной обработки, а также для сохранения порядка внутри потока. Выбирайте ключ так, чтобы сохранять нужный порядок (например, order_id), и подбирайте количество партиций под ожидаемую нагрузку и параллелизм consumer group.