Вопросы React Frontend Developer

В Node.js существует 4 типа стримов:д

• Readable (чтение)

• Writable (запись)

• Duplex (чтение и запись)

• Transform (модификация данных в процессе чтения/записи)

Spark Structured Streaming обрабатывает данные микропакетами, используя ту же API, что и для пакетной обработки. Данные поступают из Kafka, Kinesis или файловой системы, обрабатываются через DataFrame API и выводятся в хранилища или дашборды. Гарантируется exactly-once семантика обработки.

1. Нет гарантии порядка обработки элементов.

2. Накладные расходы на синхронизацию (медленнее на малых данных).

3. Проблемы с shared state (например, несинхронизированные коллекции).

Потоки (Streams) позволяют обрабатывать данные по частям, экономя память. Основные типы: Readable (чтение), Writable (запись), Duplex (чтение и запись), Transform (изменение данных при передаче).

Параллельные стримы позволяют обрабатывать элементы коллекции в нескольких потоках автоматически. Они имеют смысл только для CPU-bound задач с большим объёмом данных и независимыми операциями. Для I/O, синхронизаций и небольших коллекций они чаще вредят. Также важно помнить, что используется общий ForkJoinPool. Использовать их нужно осторожно.