Какие альтернативы существуют для выполнения CPU-bound задач?

Question

Для CPU-bound задач чаще всего используют несколько процессов вместо потоков. Также применяют нативные библиотеки, которые выполняют вычисления вне Python и освобождают GIL. В некоторых случаях задачи выносят в отдельные сервисы или очереди фоновых задач. Выбор зависит от объёма вычислений и архитектуры системы.

YeaHub · Accepted Answer

ОпределениеCPU-bound задачи — это задачи, в которых основное время тратится на вычисления, а не на ожидание ввода-вывода.Так как потоки в CPython ограничены GIL, применяются другие подходы.Многопроцессный параллелизмСамый распространённый и понятный вариант.Как работаетКаждый процесс:имеет собственный интерпретаторимеет собственный GILможет выполняться на отдельном ядре CPUПример с multiprocessing:from multiprocessing import Process

def work():
    total = 0
    for i in range(10_000_000):
        total += i

processes = [Process(target=work) for _ in range(4)]
for p in processes: p.start()
for p in processes: p.join()
Особенности:реальный параллелизмвысокая стоимость создания процессовнеобходимость сериализации данных (pickle)ProcessPoolExecutorБолее удобная абстракция поверх multiprocessing.from concurrent.futures import ProcessPoolExecutor

with ProcessPoolExecutor() as pool:
    pool.map(work, range(4))
Подходит для:batch-вычисленийCPU-интенсивных фоновых задачНативные библиотеки (C/C++)Многие библиотеки:выполняют код вне Pythonвременно освобождают GILПримеры:NumPySciPyOpenCVimport numpy as np

arr = np.random.rand(10_000_000)
result = np.sum(arr)
Здесь вычисления происходят в C, а не в Python-цикле.Очереди задач и воркерыДля больших систем часто применяют:очередь задачпул воркеровасинхронную обработкуПримеры:CeleryRQкастомные worker-сервисыЭто позволяет:масштабировать вычисления горизонтальноизолировать тяжёлые задачиКраткий выводДля CPU-bound задач в Python используют процессы, нативные библиотеки или вынос вычислений во внешние воркеры. Потоки для этой цели почти всегда неэффективны.