Как реализовать асинхронную обработку загруженных файлов на бэкенде так, чтобы пользователь мог продолжать работу во время импорта?

Question

Асинхронный импорт строится вокруг очереди (RabbitMQ/Redis) и фоновых воркеров. После загрузки файл сохраняют, создают задачу импорта в БД и отправляют job в очередь. Воркеры обрабатывают файл в фоне, обновляют статус задачи и пишут прогресс. Пользователь получает taskId и периодически запрашивает статус. Это позволяет интерфейсу не блокироваться и продолжать работу.

YeaHub · Accepted Answer

Архитектура асинхронного импорта файловДля асинхронной обработки необходимо разделить:загрузку файлапостановку задачивыполнение тяжёлой обработки1. Этап 1: загрузка файлаBackend:принимает файлсохраняет его в постоянное хранилищесоздаёт запись в таблице imports:id, filename, status='queued', progress=0
отправляет taskId клиентуПользователь получает мгновенный ответ и продолжает работать.2. Этап 2: постановка задачи (job creation)Worker-очередь получает job:{ taskId: 123, filepath: "/uploads/x.xlsx" }
Очередь — RabbitMQ, Redis, SQS.3. Этап 3: фоновая обработкаВоркер:меняет статус → processingоткрывает файл потоковым reader-омобрабатывает батчамипосле каждого батча обновляет прогресс:UPDATE imports SET progress = 37 WHERE id = 123;
после завершения → статус finishedпри ошибке → errored4. Этап 4: пользователь узнаёт прогрессUI выполняет polling:jssetInterval(() => {
    fetch("/api/import/status?id=123")
      .then(showProgress)
}, 2000)
Или WebSocket/SSE для push-уведомлений.5. Этап 5: завершениеКогда прогресс = 100%, интерфейс уведомляет пользователя.6. Особенности реализации1. Worker должен уметь отправлять логи/ошибкиЧтобы UI мог показать ошибку.2. Важно избегать загрузки файла в памятьИспользовать streaming.3. Progress хранится в БД или RedisВыбирается по нагрузке.4. Повторяемость задачЕсли воркер упал — очередь переназначит job другому воркеру.5. Защита от повторной обработкиИспользовать status + idempotency.7. ВыводАсинхронная обработка достигается комбинацией:очереди задачфоновых воркеровпотокового чтения файластатуса прогрессапериодического опроса интерфейсаЭто позволяет пользователю продолжать работу, пока импорт выполняется в фоне.