Какие подходы позволяют безопасно и эффективно обрабатывать большие файлы, чтобы избежать превышения лимитов памяти: построчная или потоковая обработка, батчи и т.п.?

Question

Большие файлы нельзя загружать целиком в память — их нужно обрабатывать потоково. Для этого используют построчное чтение или чтение небольшими порциями (батчами), где каждая порция данных сразу обрабатывается и сбрасывается из памяти. Также важно ограничивать размер батча, использовать генераторы, отключать ненужное кеширование и делить работу на несколько шагов (например, предварительный парсинг и отдельную фазу записи в БД). Такой подход позволяет обрабатывать файлы хоть на гигабайты, не упираясь в лимит памяти PHP.

YeaHub · Accepted Answer

Подходы для безопасной обработки больших файловОсновная цель — никогда не держать весь файл в памяти. Работать нужно кусками, а обработанные данные как можно быстрее освобождать.1. Потоковое (streaming) чтение файлаОпределение: Потоковая обработка — это чтение и обработка файла небольшими кусками (строками, блоками), без загрузки всего содержимого в память.Для текстовых форматов (CSV, лог-файлы):использовать fopen, fgets, fgetcsvсразу обрабатывать строку и забывать о нейне накапливать массив из тысяч строк, если это не нужноphp$handle = fopen($filepath, 'r');

while (($row = fgetcsv($handle)) !== false) {
    processRow($row); // обработка строки
    // никаких больших массивов
}

fclose($handle);
Для Excel (XLSX) — использовать библиотеки со streaming-режимом (Spout, PhpSpreadsheet в режиме чтения по строкам).2. Батчи (batch processing)Определение: Батч — это небольшая порция данных, обрабатываемая единым блоком (обычно 100–1000 строк).Зачем:уменьшить количество SQL-запросов (bulk insert)контролировать память (размер батча фиксирован)обновлять прогресс и логировать между батчамиПаттерн:читаем строки по однойскладываем в батчпри достижении лимита — обрабатываем батч и очищаем памятьphp$batch = [];
$batchSize = 1000;

while (($row = fgetcsv($handle)) !== false) {
    $batch[] = normalizeRow($row);

if (count($batch) >= $batchSize) {
        saveBatchToDb($batch);
        $batch = []; // очищаем массив
    }
}

if ($batch) {
    saveBatchToDb($batch);
}
Так мы всегда контролируем, сколько именно данных держим в памяти.3. Генераторы и yield для ленивой обработкиГенераторы позволяют превратить чтение файла в ленивый источник данных:Определение: Ленивая обработка — вычисление значений по мере запроса, а не заранее.phpfunction readCsv(string $filepath): Generator {
    $handle = fopen($filepath, 'r');
    while (($row = fgetcsv($handle)) !== false) {
        yield $row;
    }
    fclose($handle);
}
Дальше:phpforeach (readCsv($path) as $row) {
    processRow($row);
}
Генератор держит в памяти только одну текущую строку + немного состояния.4. Разделение этапов обработкиДля сложных сценариев полезно разделять:Фаза чтения/парсингаразбираем файлнормализуем данныескладываем в промежуточное хранилище (например, временную таблицу или очередь)Фаза бизнес-логикичитаем нормализованные данныеделаем валидацию, проверку связей, сложные операцииЭто помогает:проще повторно запускать обработкулегче логировать и отлаживатьне завязываться жёстко на формат файла5. Ограничение памяти и GCНесколько практических моментов:Не накапливать массивы без необходимостиизбегать allRows[] = $row на миллионы строкчистить большие структуры ($batch = []; unset($buffer);)Вызывать gc_collect_cycles() при подозрении на утечкине злоупотреблять, но иногда полезно в больших скриптахНе держать открытые ресурсызакрывать файлы, соединения, курсоры6. Разделение файла на части (chunking по файлам)Если файл очень большой:можно физически разбить его на несколько более мелких файловлибо заранее (на стороне отправителя)либо на бэкенде (например, резать CSV по N строк и обрабатывать по частям)Каждый кусок становится отдельной задачей в очереди.7. Асинхронность и очередиПочти всегда обработка больших файлов:запускается в фоне (воркеры)не делается в HTTP-запросесостояние хранится в БД (progress, status)есть retry на уровне задачЭто снижает риск падения из-за таймаутов и даёт контролируемое использование ресурсов.8. ВыводЭффективная обработка больших файлов строится вокруг:потокового чтения (строка за строкой)батчей фиксированного размераленивой обработки через генераторыразделения этапов работывынесения тяжёлой логики во фоновые процессыТакой подход позволяет безопасно обрабатывать очень большие файлы, не упираясь в лимиты памяти PHP.