Какие узкие места возникают при сериализации и десериализации JSON?

Сериализация и десериализация JSON нагружает систему сразу по нескольким направлениям.

1) CPU-нагрузка

Парсер выполняет:

1. разбор структуры

2. преобразование типов

3. создание объектов

Это чисто вычислительная работа, поэтому при больших потоках JSON может стать bottleneck.

2) Выделение памяти

Во время парсинга:

• создаются словари

• создаются строки

• выделяются списки

Частые аллокации замедляют работу и увеличивают нагрузку на GC.

3) Работа со строками

Особенно дорого:

• декодирование UTF-8

• создание новых строк

• копирование данных

4) Узкие места на практике

Часто проблема возникает:

1. при больших payload

2. при batch обработке

3. при большом числе воркеров

5) Оптимизации

На практике применяют:

1. более быстрые библиотеки

import orjson
data = orjson.loads(raw)

2. streaming-парсинг

3. уменьшение структуры данных

Вывод
Главные узкие места JSON — CPU-парсинг, аллокации и работа со строками, поэтому оптимизации направлены на уменьшение количества объектов и ускорение парсера.