Как оценить количество корутин или воркеров для обработки большого потока сообщений?

Расчет количества воркеров — это задача оценки пропускной способности системы.

1) Базовая формула оценки

Если:

• поток входящих сообщений = R сообщений/сек

• время обработки одного сообщения = T секунд

Тогда приблизительное число параллельных обработчиков:

количество воркеров ≈ R × T

Пример:

• 200 сообщений/сек

• обработка 0.05 сек

Нужно около:
200 × 0.05 = 10 воркеров

2) Учет типа нагрузки

Важно различать:

1. I/O-bound задачи

• ожидание сети или диска

• можно использовать много корутин

2. CPU-bound задачи

• ограничение числом CPU

• лучше multiprocessing

3) Практический подход

Обычно делают:

1. стартовую оценку

2. нагрузочное тестирование

3. постепенное масштабирование

4) Узкие места

Даже при достаточном числе воркеров bottleneck может быть:

• база данных

• сеть

• сериализация

Вывод
Количество воркеров сначала оценивают по формуле throughput, а затем уточняют экспериментально под реальной нагрузкой.