Какие основные концепции и сущности существуют в Kafka?

Question

Kafka состоит из продюсеров, консьюмеров и брокеров. Сообщения записываются в топики, которые делятся на партиции. Консьюмеры читают данные, управляя offset. Группы консьюмеров позволяют масштабировать обработку. Эти концепции формируют основу Kafka как распределённой системы.

YeaHub · Accepted Answer

Kafka — это распределённая платформа потоковой передачи данных, построенная вокруг набора ключевых сущностей.ОпределениеApache Kafka — это распределённый лог событий, предназначенный для надёжной и масштабируемой передачи сообщений.Основные сущности KafkaПеред перечислением важно понимать: Kafka хранит сообщения, а не просто пересылает их.1) BrokerСервер KafkaХранит данные топиковОбслуживает продюсеров и консьюмеров2) TopicЛогическое имя потока сообщенийРазделяется на партицииИспользуется для категоризации данных3) PartitionФизическое разделение топикаОбеспечивает параллелизмСообщения упорядочены внутри партиции4) ProducerОтправляет сообщения в KafkaВыбирает партициюНе знает, кто будет читать данные5) ConsumerЧитает сообщения из KafkaУправляет offsetМожет читать данные повторно6) Consumer GroupНабор консьюмеровКаждая партиция читается одним консьюмером в группеОбеспечивает масштабирование7) OffsetПозиция сообщения в партицииХранится отдельно от данныхПозволяет контролировать повторное чтениеКраткий выводKafka строится вокруг топиков, партиций и консьюмер-групп, что позволяет масштабировать обработку и надёжно хранить поток событий.