Как приблизительно оценить объем памяти, необходимый сервису, если известна нагрузка?

Question

Память оценивают исходя из размера одного объекта обработки и числа одновременно обрабатываемых сообщений. Нужно учитывать буферы, кэш, очереди и накладные расходы Python. Для оценки используют профилирование и нагрузочные тесты. Обычно добавляют запас 20–50%

YeaHub · Accepted Answer

Оценка памяти строится на определении memory footprint одного сообщения и количества одновременно обрабатываемых данных.1) Основной принципПамять ≈ размер данных × количество одновременно обрабатываемых сообщенийПример:сообщение ~50 KBодновременно обрабатывается 500 сообщенийПамять только под данные:50 KB × 500 ≈ 25 MBНо реальное значение выше из-за накладных расходов.2) Накладные расходы PythonДополнительно память расходуют:объекты Pythonстроки и словарибуферы сериализациистек корутин3) Инструменты измеренияПолезные инструменты:tracemallocmemory_profilerobjgraphПример:import tracemalloc
tracemalloc.start()
# выполнение нагрузки
print(tracemalloc.get_traced_memory())
4) Практический подходТипичная схема:замер памяти при N сообщенияхмасштабирование оценкидобавление запасаВыводПамять лучше оценивать экспериментально: сначала расчет, затем нагрузочный тест и корректировка.