Как оценить количество корутин или воркеров для обработки большого потока сообщений?

Question

Количество воркеров оценивают исходя из времени обработки одного сообщения и входящего потока. Если известно, сколько сообщений в секунду приходит и сколько времени обрабатывается одно сообщение, можно приблизительно посчитать необходимый уровень параллелизма. Для I/O-bound задач корутин может быть больше, чем CPU-ядер, а для CPU-bound задач обычно ориентируются на число ядер. После первичной оценки обязательно проводят нагрузочные тесты.

YeaHub · Accepted Answer

Расчет количества воркеров — это задача оценки пропускной способности системы.1) Базовая формула оценкиЕсли:поток входящих сообщений = R сообщений/секвремя обработки одного сообщения = T секундТогда приблизительное число параллельных обработчиков:количество воркеров ≈ R × TПример:200 сообщений/секобработка 0.05 секНужно около:200 × 0.05 = 10 воркеров2) Учет типа нагрузкиВажно различать:I/O-bound задачиожидание сети или дискаможно использовать много корутинCPU-bound задачиограничение числом CPUлучше multiprocessing3) Практический подходОбычно делают:стартовую оценкунагрузочное тестированиепостепенное масштабирование4) Узкие местаДаже при достаточном числе воркеров bottleneck может быть:база данныхсетьсериализацияВыводКоличество воркеров сначала оценивают по формуле throughput, а затем уточняют экспериментально под реальной нагрузкой.