Вопросы React Frontend Developer

Секционирование — это разделение таблицы на несколько меньших частей (секции), которые обрабатываются отдельно. Это повышает производительность запросов и облегчает управление большими объемами данных.

Партиционирование — это разделение одной большой таблицы на меньшие физические части (партиции) на основе определенных правил. Каждая партиция хранится отдельно, но логически представляет единую таблицу. Основные типы: по диапазону (range), по списку (list) и по хэшу (hash). Партиционирование улучшает производительность запросов, упрощает управление данными (архивация, удаление) и ускоряет операции за счет работы только с relevant партициями.

Topic — это логический канал для сообщений одного типа. Partition — это часть topic’а, в которой сообщения хранятся последовательно. Topic всегда состоит из одного или нескольких partition’ов. Порядок сообщений гарантируется только внутри одного partition’а. Partition’ы позволяют Kafka масштабироваться и обрабатывать данные параллельно.

Partition отвечает за масштабирование и параллельную обработку данных в Kafka. Все сообщения внутри одного partition упорядочены. Один partition может читаться только одним consumer’ом в рамках consumer group. Количество partition’ов напрямую влияет на максимальный параллелизм чтения. Также partition определяет, где физически будут храниться сообщения.

Если consumer’ов больше, чем partition’ов, часть consumer’ов останется без работы. Kafka не может назначить один partition нескольким consumer’ам в одной группе. Такие consumer’ы будут находиться в состоянии ожидания. Они начнут получать данные только если появятся новые partition’ы или часть consumer’ов отключится. Это нормальное и ожидаемое поведение Kafka.