Какие узкие места возникают при сериализации и десериализации JSON?

Question

Основные узкие места — это CPU-затраты на парсинг, создание большого количества объектов Python и выделение памяти. Также влияет кодирование и декодирование строк, особенно Unicode. Медленной может быть работа стандартной библиотеки json при больших объемах данных. Для ускорения используют более быстрые библиотеки и уменьшают размер структур.

YeaHub · Accepted Answer

Сериализация и десериализация JSON нагружает систему сразу по нескольким направлениям.1) CPU-нагрузкаПарсер выполняет:разбор структурыпреобразование типовсоздание объектовЭто чисто вычислительная работа, поэтому при больших потоках JSON может стать bottleneck.2) Выделение памятиВо время парсинга:создаются словарисоздаются строкивыделяются спискиЧастые аллокации замедляют работу и увеличивают нагрузку на GC.3) Работа со строкамиОсобенно дорого:декодирование UTF-8создание новых строккопирование данных4) Узкие места на практикеЧасто проблема возникает:при больших payloadпри batch обработкепри большом числе воркеров5) ОптимизацииНа практике применяют:более быстрые библиотекиimport orjson
data = orjson.loads(raw)
streaming-парсингуменьшение структуры данныхВыводГлавные узкие места JSON — CPU-парсинг, аллокации и работа со строками, поэтому оптимизации направлены на уменьшение количества объектов и ускорение парсера.