Какие преимущества генераторов с точки зрения памяти?

Генераторы в Python — это специальные функции, которые возвращают итератор, производящий значения по одному, а не все сразу. Ключевое слово yield приостанавливает выполнение функции и возвращает значение, сохраняя её состояние для последующего возобновления. Это фундаментально отличается от обычных функций, которые возвращают полный список результатов, занимая память пропорционально размеру данных.

Как это экономит память?

Представьте, что вам нужно обработать файл размером 100 ГБ или сгенерировать последовательность из миллионов чисел. Создание списка со всеми этими данными потребует гигабайты оперативной памяти, что может быть невозможно или неэффективно. Генератор же создаёт элементы "на лету". В памяти одновременно находится только текущий элемент и состояние функции, что требует минимальных ресурсов.

Пример использования

Рассмотрим задачу чтения большого лог-файла и поиска строк, содержащих определённую ошибку.

def read_large_file(file_path):
    with open(file_path, 'r') as file:
        for line in file:          # Файл читается построчно
            yield line             # Каждая строка возвращается по мере чтения

error_lines = (line for line in read_large_file('app.log') 
                if 'ERROR' in line)  # Генераторное выражение

for err_line in error_lines:
    process_error(err_line)          # Обработка происходит потоково

В этом примере файл никогда не загружается в память целиком. Даже если файл огромен, потребление памяти остаётся постоянным и небольшим.

Где это применяется?

• Обработка потоковых данных (логи, данные с сенсоров, сетевые пакеты).
• Работа с большими файлами (CSV, JSON, текстовые файлы).
• Генерация бесконечных последовательностей (например, последовательность Фибоначчи).
• Конвейеры обработки данных (pipeline), где каждый этап передаёт элемент следующему.
• В веб-фреймворках для потоковой отправки ответов клиенту.

Вывод: Используйте генераторы, когда вам нужно работать с большими или потенциально бесконечными наборами данных, и важно минимизировать потребление оперативной памяти. Они являются краеугольным камнем для написания эффективного и масштабируемого кода на Python.