Как реализовать буферизацию запросов к внешнему сервису?

Буферизация запросов — это техника, при которой вместо немедленной отправки каждого отдельного запроса к внешнему сервису (например, API аналитики, платежного шлюза или сервиса уведомлений) запросы накапливаются в буфере (очереди) в течение короткого промежутка времени, а затем отправляются одной пачкой. Это особенно полезно, когда внешний сервис имеет строгие ограничения на частоту запросов (rate limits), или когда нужно минимизировать сетевые издержки и нагрузку на обе системы.

Основные принципы реализации

Для реализации буферизации обычно используется следующий подход:

• Очередь (Queue): Входящие запросы помещаются в очередь в памяти или в персистентном хранилище (например, Redis).
• Таймер или размер пачки: Отправка накопленных запросов инициируется либо по истечении заданного интервала времени (например, каждые 5 секунд), либо когда очередь достигает определённого размера (например, 100 запросов).
• Обработка пачки (Batch Processing): Запросы из очереди извлекаются, группируются в один HTTP-запрос (если API поддерживает batch-операции) или отправляются последовательно, но в рамках одного управляемого соединения.
• Обработка ошибок: Важно предусмотреть механизм повторных попыток для неудачных запросов в пачке, чтобы не потерять данные.

Пример кода на Node.js

Рассмотрим простую реализацию буферизации с использованием массива в памяти и таймера.

class RequestBuffer {
  constructor(batchIntervalMs = 5000, maxBatchSize = 10) {
    this.buffer = [];
    this.batchIntervalMs = batchIntervalMs;
    this.maxBatchSize = maxBatchSize;
    this.timer = null;
    this.startTimer();
  }

  addRequest(requestData) {
    this.buffer.push(requestData);
    // Если буфер заполнен, отправляем немедленно
    if (this.buffer.length >= this.maxBatchSize) {
      this.flush();
    }
  }

  startTimer() {
    this.timer = setInterval(() => {
      if (this.buffer.length > 0) {
        this.flush();
      }
    }, this.batchIntervalMs);
  }

  async flush() {
    if (this.buffer.length === 0) return;
    // Копируем текущий буфер и очищаем его
    const batchToSend = [...this.buffer];
    this.buffer = [];
    try {
      // Отправляем пачку запросов на внешний сервис
      await this.sendBatchToExternalService(batchToSend);
      console.log(`Batch of ${batchToSend.length} requests sent successfully.`);
    } catch (error) {
      console.error('Failed to send batch:', error);
      // Можно добавить логику повторной попытки или возврата в буфер
    }
  }

  async sendBatchToExternalService(batch) {
    // Здесь реализация отправки, например, один POST-запрос с массивом данных
    // fetch('https://api.example.com/batch', { method: 'POST', body: JSON.stringify(batch) })
  }
}

// Использование
const buffer = new RequestBuffer(5000, 10);
// Вместо немедленного вызова API:
// externalApi.sendEvent(event);
// Добавляем в буфер:
buffer.addRequest({ userId: 1, action: 'click' });
buffer.addRequest({ userId: 2, action: 'view' });
// Через 5 секунд или при накоплении 10 событий они отправятся пачкой.

Где применяется буферизация

Эта техника широко используется в следующих сценариях:

• Сбор аналитики и метрик: Клиентские или серверные события накапливаются и отправляются периодически, чтобы уменьшить количество HTTP-запросов.
• Интеграция с платежными системами или SMS-шлюзами, где каждый запрос может иметь стоимость, а batch-операции дешевле.
• Запись логов: Логи буферизуются и отправляются в централизованное хранилище (например, ELK-стек) пачками.
• Операции с базами данных: Вместо множества INSERT можно использовать batch-вставку для повышения производительности.

Вывод: Буферизацию запросов стоит применять, когда нужно снизить нагрузку на внешний сервис, соблюсти его лимиты по RPS (requests per second) или оптимизировать сетевые издержки при высокой частоте обращений. Это простой, но эффективный паттерн для повышения отказоустойчивости и эффективности интеграций.