Вопросы React Frontend Developer

Apache Kafka — это распределенная система для обмена сообщениями, построенная по принципу "публикация-подписка".
Основные сущности: Топик (Topic) — именованная категория или канал, куда отправляются сообщения; Производитель (Producer) — приложение, которое отправляет (публикует) сообщения в топик; Потребитель (Consumer) — приложение, которое читает (подписывается на) сообщения из топика; Брокер (Broker) — сервер, который хранит сообщения и обслуживает клиентов.
Сообщения в топике упорядоченно записываются и хранятся, а потребители читают их в своем темпе, отслеживая свою позицию.

Apache Kafka используется для передачи и обработки больших потоков событий и сообщений. Чаще всего её применяют для асинхронного взаимодействия сервисов, сбора логов и аналитики. Kafka хорошо подходит для систем с высокой нагрузкой и большим объёмом данных. Она позволяет надёжно хранить и быстро читать сообщения. Обычно Kafka используют как центральный event bus в распределённых системах.

Apache Airflow — это инструмент для оркестрации задач и workflow. Он позволяет описывать цепочки задач в виде кода и управлять их выполнением. Airflow часто используют для ETL-пайплайнов, аналитических расчётов и периодических задач. Он не выполняет работу сам, а управляет её запуском и порядком. Основное преимущество Airflow — прозрачность и управляемость процессов.