Какие основные сущности в Apache Kafka вы знаете и в чём её принцип работы?

Question

Apache Kafka — это распределенная система для обмена сообщениями, построенная по принципу "публикация-подписка".
Основные сущности: Топик (Topic) — именованная категория или канал, куда отправляются сообщения; Производитель (Producer) — приложение, которое отправляет (публикует) сообщения в топик; Потребитель (Consumer) — приложение, которое читает (подписывается на) сообщения из топика; Брокер (Broker) — сервер, который хранит сообщения и обслуживает клиентов.
Сообщения в топике упорядоченно записываются и хранятся, а потребители читают их в своем темпе, отслеживая свою позицию.

YeaHub · Accepted Answer

Apache Kafka — это распределенная, отказоустойчивая платформа для потоковой передачи данных, которая действует как "центральная нервная система" для данных в реальном времени.Определение ключевых сущностейТопик (Topic):Это логический канал или категория, по которой передаются сообщения. Все сообщения относятся к определенному топику. Например, могут существовать топики user-actions, payment-transactions, logs.Производитель (Producer):Любое приложение или сервис, которое публикует (записывает) сообщения в топик Kafka. Производитель решает, в какой топик отправить сообщение.Потребитель (Consumer):Приложение, которое подписывается на один или несколько топиков и обрабатывает поток сообщений из них. Потребители читают данные в своем темпе.Брокер (Broker):Сервер Kafka. Кластер Kafka состоит из одного или многих брокеров. Каждый брокер хранит часть данных и обрабатывает запросы на чтение/запись.Партиция (Partition):Топик делится на партиции для обеспечения масштабируемости и параллелизма. Каждое сообщение в партиции имеет уникальный, монотонно возрастающий идентификатор — смещение (offset). Партиции распределяются по разным брокерам.java// Упрощенный пример: Producer отправляет сообщение в топик "orders" ProducerRecord record = new ProducerRecord<>("orders", "order-12345", "{\"status\": \"paid\"}"); producer.send(record);Принцип работы (упрощенная схема)Публикация данных: Производители отправляют сообщения (например, события или записи логов) в определенный топик на брокер Kafka.Хранение: Брокер получает сообщение и записывает его в конец лога (партиции) соответствующего топика. Сообщение получает свой offset. Сообщения хранятся на диске в течение заданного времени или до достижения определенного размера.Подписка и чтение: Потребители (часто объединенные в Consumer Groups для распределения нагрузки) подписываются на топики. Каждый потребитель в группе читает данные из определенных партиций, самостоятельно отслеживая свою текущую позицию (offset).Распределенность: Партиции топика и их реплики распределены по разным брокерам в кластере, что обеспечивает отказоустойчивость и высокую доступность.Вывод: Kafka идеально подходит для сценариев, требующих обработки высоконагруженных потоков событий в реальном времени, построения конвейеров данных или реализации архитектуры на основе событий (Event-Driven Architecture), где важна надежность, масштабируемость и возможность повторного чтения данных.