Почему генераторы позволяют экономить память?

Question

Список создаётся сразу целиком и занимает память под все элементы. Генератор вычисляет следующий элемент только когда его запрашивают. Поэтому память нужна только для текущего состояния генератора, а не для всего набора данных. Это особенно полезно при обработке больших потоков данных или файлов.

YeaHub · Accepted Answer

ОпределениеГенератор — это итератор, который вычисляет значения лениво и сохраняет только своё текущее состояние (позицию выполнения и локальные переменные).Что происходит со спискомЕсли вы строите список, Python:Вычисляет все элементыВыделяет память под структуру спискаХранит ссылки на каждый элементПример:numbers = [i * i for i in range(10_000_000)]
Здесь в памяти окажется весь список (пусть даже вам нужно первые 10 значений).Что происходит с генераторомГенератор:Не вычисляет элементы заранееХранит только состояние выполнения (где остановился)Возвращает элементы по запросу next()numbers = (i * i for i in range(10_000_000))
first = next(numbers)
second = next(numbers)
Почему это «дешевле» по памятиПотому что генератору не нужно держать 10 миллионов значений — он держит:текущий iконтекст выполненияссылки на используемые объектыПрактический пример: чтение файлаПлохой вариант для больших файлов:lines = open("big.log").read().splitlines()
Лучше:with open("big.log") as f:
    for line in f:
        # обработка строки
        ...
Здесь строки читаются и обрабатываются по мере прохода, не загружая файл целиком.Компромиссы (важно знать)Экономия памяти обычно означает:Нельзя быстро получить длину последовательностиНельзя «перемотать назад» без пересоздания генератораЕсли нужен многократный проход по данным, иногда выгоднее материализовать списокКраткий выводГенераторы экономят память за счёт ленивых вычислений: данные не хранятся целиком, а выдаются по мере запроса. Это подходит для больших объёмов данных и потоковой обработки.