Подходы для безопасной обработки больших файлов

Основная цель — никогда не держать весь файл в памяти. Работать нужно кусками, а обработанные данные как можно быстрее освобождать.

1. Потоковое (streaming) чтение файла

Определение: Потоковая обработка — это чтение и обработка файла небольшими кусками (строками, блоками), без загрузки всего содержимого в память.

Для текстовых форматов (CSV, лог-файлы):

• использовать fopen, fgets, fgetcsv

• сразу обрабатывать строку и забывать о ней

• не накапливать массив из тысяч строк, если это не нужно

php

$handle = fopen($filepath, 'r');

while (($row = fgetcsv($handle)) !== false) {
    processRow($row); // обработка строки
    // никаких больших массивов
}

fclose($handle);

Для Excel (XLSX) — использовать библиотеки со streaming-режимом (Spout, PhpSpreadsheet в режиме чтения по строкам).

2. Батчи (batch processing)

Определение: Батч — это небольшая порция данных, обрабатываемая единым блоком (обычно 100–1000 строк).

Зачем:

• уменьшить количество SQL-запросов (bulk insert)

• контролировать память (размер батча фиксирован)

• обновлять прогресс и логировать между батчами

Паттерн:

1. читаем строки по одной

2. складываем в батч

3. при достижении лимита — обрабатываем батч и очищаем память

php

$batch = [];
$batchSize = 1000;

while (($row = fgetcsv($handle)) !== false) {
    $batch[] = normalizeRow($row);

    if (count($batch) >= $batchSize) {
        saveBatchToDb($batch);
        $batch = []; // очищаем массив
    }
}

if ($batch) {
    saveBatchToDb($batch);
}

Так мы всегда контролируем, сколько именно данных держим в памяти.

3. Генераторы и yield для ленивой обработки

Генераторы позволяют превратить чтение файла в ленивый источник данных:

Определение: Ленивая обработка — вычисление значений по мере запроса, а не заранее.

php

function readCsv(string $filepath): Generator {
    $handle = fopen($filepath, 'r');
    while (($row = fgetcsv($handle)) !== false) {
        yield $row;
    }
    fclose($handle);
}

Дальше:

php

foreach (readCsv($path) as $row) {
    processRow($row);
}

Генератор держит в памяти только одну текущую строку + немного состояния.

4. Разделение этапов обработки

Для сложных сценариев полезно разделять:

1. Фаза чтения/парсинга

   • разбираем файл

   • нормализуем данные

   • складываем в промежуточное хранилище (например, временную таблицу или очередь)

2. Фаза бизнес-логики

   • читаем нормализованные данные

   • делаем валидацию, проверку связей, сложные операции

Это помогает:

• проще повторно запускать обработку

• легче логировать и отлаживать

• не завязываться жёстко на формат файла

5. Ограничение памяти и GC

Несколько практических моментов:

1. Не накапливать массивы без необходимости

   • избегать allRows[] = $row на миллионы строк

   • чистить большие структуры ($batch = []; unset($buffer);)

2. Вызывать gc_collect_cycles() при подозрении на утечки

   • не злоупотреблять, но иногда полезно в больших скриптах

3. Не держать открытые ресурсы

   • закрывать файлы, соединения, курсоры

6. Разделение файла на части (chunking по файлам)

Если файл очень большой:

• можно физически разбить его на несколько более мелких файлов

• либо заранее (на стороне отправителя)

• либо на бэкенде (например, резать CSV по N строк и обрабатывать по частям)

Каждый кусок становится отдельной задачей в очереди.

7. Асинхронность и очереди

Почти всегда обработка больших файлов:

• запускается в фоне (воркеры)

• не делается в HTTP-запросе

• состояние хранится в БД (progress, status)

• есть retry на уровне задач

Это снижает риск падения из-за таймаутов и даёт контролируемое использование ресурсов.

8. Вывод

Эффективная обработка больших файлов строится вокруг:

• потокового чтения (строка за строкой)

• батчей фиксированного размера

• ленивой обработки через генераторы

• разделения этапов работы

• вынесения тяжёлой логики во фоновые процессы

Такой подход позволяет безопасно обрабатывать очень большие файлы, не упираясь в лимиты памяти PHP.