Что такое Kafka

Question

Kafka — это распределенная платформа для передачи и хранения сообщений. Она используется для обработки потоков данных в реальном времени. Kafka обеспечивает высокую пропускную способность и надежность. Сообщения хранятся в топиках и читаются потребителями. Kafka часто применяется в микросервисной архитектуре.

YeaHub · Accepted Answer

Kafka — это не просто очередь сообщений, а полноценная распределенная система для работы с потоками данных.ОпределениеKafka — это распределенная платформа для публикации, хранения и обработки потоков сообщений в реальном времени.Основные концепции KafkaДля понимания Kafka важно разобраться в ее базовых сущностях.1. TopicTopic — это логический канал, в который продюсеры отправляют сообщения.Особенности:сообщения упорядоченыданные хранятся определенное времяодин топик может иметь несколько партиций2. PartitionPartition — это часть топика.Она нужна для:параллельной обработкимасштабированияраспределения нагрузкиПорядок сообщений гарантируется только внутри одной партиции.3. ProducerProducer:отправляет сообщения в Kafkaвыбирает партицию (явно или автоматически)не знает, кто будет читать данные4. ConsumerConsumer:читает сообщения из топиковхранит смещение (offset)может перечитывать данные при необходимости5. Consumer GroupConsumer Group позволяет:распределять партиции между потребителямимасштабировать обработкугарантировать, что сообщение будет обработано одним consumer-ом в группеГде применяется KafkaKafka используют для:обмена событиями между сервисамилогирования и аналитикиevent-driven архитектуробработки больших потоков данныхПреимущества KafkaKafka ценят за:высокую производительностьустойчивость к сбояммасштабируемостьвозможность повторного чтения данныхВыводKafka подходит для систем, где важна надежная и масштабируемая обработка событий и потоков данных в реальном времени.