Что такое топик и партиции в Kafka?

Question

Topic — это логическая категория сообщений в Kafka. Topic разбивается на partitions, которые позволяют распределять нагрузку и обеспечивают параллельное чтение. Сообщения внутри partition упорядочены и имеют offset. Consumer читает сообщения последовательно внутри partition.

YeaHub · Accepted Answer

Kafka хранит сообщения в виде append-only журнала.Что такое topicОпределение:Topic — это логический канал, в который продюсеры записывают сообщения, а консюмеры читают их.Пример:orders
payments
logs
Что такое partitionPartition — это физическое разделение topic.Особенности:данные распределяются между partitionsкаждая partition — упорядоченный логмасштабирование достигается увеличением partitionsКак читаются сообщенияConsumer работает так:получает partitionчитает сообщения по offsetсохраняет offsetПример структуры:Topic orders
  Partition 0
  Partition 1
  Partition 2
Зачем нужны partitionsОни позволяют:масштабировать записьмасштабировать чтениераспределять нагрузкуВыводTopic — это логический поток данных, а partitions позволяют масштабировать Kafka и обеспечивают параллельную обработку сообщений.