Как оптимизировать генерацию отчёта, если через Promise.all выполняется много запросов к нескольким базам данных, включая получение исторических данных?

Когда отчёт собирается через Promise.all из десятков запросов к разным базам, узким местом становится не сам параллелизм, а количество соединений, объём данных и отсутствие индексов. Promise.all лишь запускает промисы одновременно, но каждая БД имеет лимит соединений, а тяжёлые выборки конкурируют за IO и CPU.

Основные направления оптимизации

• Батчинг запросов: вместо N отдельных запросов делать один с WHERE id IN (...) или использовать DataLoader для группировки.
• Индексы и агрегации: исторические данные фильтровать по индексированным полям, агрегировать на стороне БД (GROUP BY, SUM), а не в Node.js.
• Кэширование: результаты редко меняющихся исторических срезов складывать в Redis или материализованные представления.
• Ограничение параллелизма: использовать p-limit или пул соединений, чтобы не перегружать БД.
• Разделение хранилищ: исторические данные выносить в OLAP (ClickHouse) или архивные таблицы.

Пример с ограничением параллелизма и батчингом

import pLimit from 'p-limit';

const limit = pLimit(5); // не более 5 одновременных запросов

async function loadUsers(ids) {
  // один запрос вместо N
  return db.query('SELECT * FROM users WHERE id = ANY($1)', [ids]);
}

async function buildReport(userIds) {
  const chunks = chunk(userIds, 100);
  const users = await Promise.all(
    chunks.map(c => limit(() => loadUsers(c)))
  );
  const history = await limit(() => historyDb.query(
    'SELECT user_id, SUM(amount) FROM events WHERE user_id = ANY($1) GROUP BY user_id',
    [userIds]
  ));
  return merge(users.flat(), history);
}

Такой подход снижает нагрузку на БД, уменьшает число round-trip и позволяет контролировать потребление ресурсов. Для исторических данных агрегация на стороне БД даёт выигрыш в разы по сравнению с выгрузкой всех строк в приложение.

Итог: применяйте батчинг, индексы, кэш и ограничение параллелизма — тогда Promise.all станет безопасным инструментом, а не источником перегрузки баз данных.