Почему синхронный Python-фреймворк может не справляться с высокой нагрузкой при большом количестве внешних вызовов?

Question

Синхронный фреймворк обрабатывает запрос, блокируясь на каждом внешнем вызове. Пока он ждёт сеть или базу, воркер не может обслуживать другие запросы. При росте нагрузки быстро заканчиваются воркеры/потоки, и очередь запросов растёт, увеличивая latency и timeouts. Добавление воркеров помогает до определённого момента, но затем упирается в память и накладные расходы. Поэтому при большом числе внешних вызовов синхронная модель часто деградирует.

YeaHub · Accepted Answer

Суть проблемы: при большом количестве внешних вызовов время ответа становится суммой ожиданий, а синхронный воркер всё это время занят.ОпределениеСинхронная обработка — модель, где выполнение запроса идёт последовательно, и I/O-вызовы блокируют текущий поток/воркер до завершения.Типичный механизм деградацииСначала один воркер “держит” запрос, пока ждёт сеть/БД. Затем при росте RPS:Воркеры исчерпываютсякаждый запрос занимает воркер на долгое время (ожидания внешних систем)Очередь растётновые запросы ждут свободный воркерLatency взлетаетдаже быстрые запросы становятся медленными из-за очередиTimeout cascadeклиент отваливается по таймауту, но воркер продолжает работупоявляются ретраи → нагрузка растёт ещё сильнееПочему “просто добавить воркеров” не всегда решениеПеред перечислением зафиксируем: масштабирование воркеров полезно, но имеет предел.Памятьпроцессы/потоки требуют памяти (стек, объекты, буферы)Context switchingслишком много потоков → расходы на переключение контекстаСопутствующие лимитысоединения к БД, file descriptors, лимиты внешних APIМини-пример проблемы (последовательные ожидания)def handler():
    r1 = http_call_1()  # блокирует
    r2 = http_call_2()  # блокирует
    return merge(r1, r2)
Даже если CPU почти не используется, воркер “занят” ожиданием.Что помогает в таких сценарияхАсинхронные клиенты/драйверы и event loopПараллелизация внешних вызовов (с лимитами)Кеширование и батчингОчереди/фоновые задачи для долгих операцийВыводСинхронный фреймворк плохо держит высокую нагрузку при множестве внешних вызовов, потому что воркеры массово блокируются на ожидании, и система начинает жить в режиме очередей и таймаутов.