Как реализовать параллельную загрузку файла по частям?

Параллельная загрузка файла по частям — это техника, при которой большой файл делится на несколько независимых фрагментов (чанков), которые загружаются на сервер одновременно. Это позволяет обойти ограничения на размер одного HTTP-запроса, увеличить скорость загрузки за счёт использования полной пропускной способности канала и обеспечить возможность возобновления передачи при сбоях.

Основные шаги реализации

• Разбиение файла на клиенте: Используя File API (Blob.slice), файл делится на части фиксированного размера (например, по 5 МБ).
• Параллельная отправка: Для каждой части создаётся отдельный HTTP-запрос (обычно PUT или POST). Эти запросы выполняются параллельно, например, с помощью Promise.all в JavaScript.
• Идентификация частей на сервере: Каждая часть отправляется с уникальным идентификатором загрузки (uploadId) и номером части (chunkIndex). Сервер сохраняет части во временное хранилище.
• Сборка файла на сервере: После успешной загрузки всех частей клиент отправляет финальный запрос, и сервер объединяет все части в правильном порядке в итоговый файл.

Пример кода на JavaScript (клиентская часть)

async function uploadFileInParallel(file, chunkSize = 5 * 1024 * 1024) {
    const uploadId = generateUniqueId();
    const totalChunks = Math.ceil(file.size / chunkSize);
    const promises = [];

    for (let i = 0; i < totalChunks; i++) {
        const start = i * chunkSize;
        const end = Math.min(start + chunkSize, file.size);
        const chunk = file.slice(start, end);

        const formData = new FormData();
        formData.append('file', chunk);
        formData.append('uploadId', uploadId);
        formData.append('chunkIndex', i);
        formData.append('totalChunks', totalChunks);

        // Отправляем каждый чанк отдельным запросом
        const promise = fetch('/api/upload-chunk', {
            method: 'POST',
            body: formData
        }).then(res => res.json());
        promises.push(promise);
    }

    // Параллельное выполнение всех запросов на загрузку чанков
    await Promise.all(promises);
    // Финальный запрос на сборку файла
    await fetch(`/api/complete-upload?uploadId=${uploadId}`, { method: 'POST' });
    console.log('File uploaded successfully!');
}

На серверной стороне (например, на Node.js с Express) необходимо реализовать два эндпоинта: один для приёма отдельных частей, другой для их объединения. Части можно временно сохранять в файловую систему или объектное хранилище (например, S3, который поддерживает Multipart Upload из коробки).

Где применяется

Данный подход широко используется в облачных хранилищах (Google Drive, Dropbox), стриминговых платформах для загрузки видео и в enterprise-приложениях для передачи больших объёмов данных. Он особенно полезен в условиях нестабильного интернета, так как позволяет возобновить загрузку только неудавшихся частей, а не всего файла целиком.

Вывод: Параллельную загрузку по частям стоит применять при работе с большими файлами (от десятков мегабайт), когда важны скорость загрузки, отказоустойчивость и возможность возобновления передачи.