Как обеспечить отказоустойчивость системы при падении backend, frontend или БД?

Отказоустойчивость — это свойство системы продолжать работу при частичных сбоях.

Определение

Отказоустойчивость — способность системы сохранять работоспособность при выходе из строя отдельных компонентов.

Backend

Для backend-сервисов критичны:

1. Горизонтальное масштабирование

   • несколько инстансов

   • stateless-сервисы

2. Автоматическое восстановление

   • health checks

   • рестарты контейнеров

3. Изоляция ошибок

   • таймауты

   • circuit breaker

Frontend

Frontend защищается иначе:

1. CDN

   • кеширование

   • геораспределение

2. Балансировка

   • несколько origin-серверов

   • failover

Базы данных

Наиболее чувствительный компонент:

1. Репликация

   • primary / replica

   • автоматический failover

2. Бэкапы

   • регулярные снапшоты

   • проверка восстановления

3. Шардинг

   • распределение нагрузки

   • снижение blast radius

Общие меры

• устранение single point of failure

• мониторинг и алерты

• chaos-тестирование

Вывод

Отказоустойчивость достигается не одной технологией, а комплексом архитектурных решений.