Какие альтернативы существуют для выполнения CPU-bound задач?

Определение

CPU-bound задачи — это задачи, в которых основное время тратится на вычисления, а не на ожидание ввода-вывода.

Так как потоки в CPython ограничены GIL, применяются другие подходы.

Многопроцессный параллелизм

Самый распространённый и понятный вариант.

Как работает

Каждый процесс:

• имеет собственный интерпретатор

• имеет собственный GIL

• может выполняться на отдельном ядре CPU

Пример с multiprocessing:

from multiprocessing import Process

def work():
    total = 0
    for i in range(10_000_000):
        total += i

processes = [Process(target=work) for _ in range(4)]
for p in processes: p.start()
for p in processes: p.join()

Особенности:

• реальный параллелизм

• высокая стоимость создания процессов

• необходимость сериализации данных (pickle)

ProcessPoolExecutor

Более удобная абстракция поверх multiprocessing.

from concurrent.futures import ProcessPoolExecutor

with ProcessPoolExecutor() as pool:
    pool.map(work, range(4))

Подходит для:

• batch-вычислений

• CPU-интенсивных фоновых задач

Нативные библиотеки (C/C++)

Многие библиотеки:

• выполняют код вне Python

• временно освобождают GIL

Примеры:

• NumPy

• SciPy

• OpenCV

import numpy as np

arr = np.random.rand(10_000_000)
result = np.sum(arr)

Здесь вычисления происходят в C, а не в Python-цикле.

Очереди задач и воркеры

Для больших систем часто применяют:

1. очередь задач

2. пул воркеров

3. асинхронную обработку

Примеры:

• Celery

• RQ

• кастомные worker-сервисы

Это позволяет:

• масштабировать вычисления горизонтально

• изолировать тяжёлые задачи

Краткий вывод

Для CPU-bound задач в Python используют процессы, нативные библиотеки или вынос вычислений во внешние воркеры. Потоки для этой цели почти всегда неэффективны.