Какие проблемы возникают при решардинге?

Question

Решардинг — это перенос части данных между шардами при изменении их количества или распределения. Основные проблемы: большие объемы копирования, риск несогласованности данных и необходимость поддерживать работу системы без простоя. Часто приходится делать dual write, поддерживать совместимость роутинга и аккуратно переключать трафик. Ошибки решардинга могут приводить к потерям данных или длительной деградации.

YeaHub · Accepted Answer

Решардинг нужен, когда меняется число шардов, меняется стратегия распределения или появился перекос нагрузки. Это одна из самых “дорогих” операций в жизни системы.Основные проблемы решардинга1) Большие объемы данных и длительностьПеренос данных означает:чтение из исходного шардазапись в целевой шардпроверку целостностиДаже если все автоматизировано, это:нагрузка на сетьнагрузка на дискивлияние на латентность продакшена2) Консистентность во время переносаКлючевой риск: данные продолжают меняться, пока идет миграция.Типовые сложности:запись пришла в старый шард, а чтение уже идет в новыйчасть данных скопирована, часть еще нет“потерянные” апдейты при неправильной синхронизацииЧтобы уменьшить риск, применяют:журналирование измененийдогоняющую синхронизацию (catch-up)фиксацию точки (cutover point)3) Смена роутинга без простояВо время решардинга нужно управлять маршрутизацией запросов.Часто делают так:добавить поддержку “старой” и “новой” схемыпостепенно переводить трафикдержать возможность откатаЕсли роутинг меняется резко:часть запросов начнет ходить “не туда”возрастет число ошибок и таймаутов4) Dual write и его рискиОдин из распространенных подходов — некоторое время писать в две схемы:запись в старый шардзапись в новый шардЭто снижает риск потери данных, но добавляет проблемы:двойная нагрузка на записьсложнее транзакционная целостностьвозможны расхождения при частичных сбоях5) Уникальные ключи и ограниченияПроблема: уникальность на уровне “всего кластера” сложнее обеспечить, когда данные физически в разных местах.Например:уникальный email по всей базеглобальный order_numberПри решардинге может понадобиться:централизованный сервис генерации IDглобальный индекс (дорого)изменение бизнес-ограничений6) Отладка и наблюдаемостьРешардинг требует:метрик прогресса миграцииметрик ошибоксравнения контрольных сумм/количествБез этого вы можете “успешно” завершить перенос с тихими потерями данных.Типичный безопасный план (упрощенно)Обычно делают последовательность:подготовить новый набор шардовначать фоновую миграцию данныхвключить запись изменений (лог или dual write)догнать расхожденияпереключить чтениепереключить записьоставить период наблюдения и возможность rollbackвыключить старую схемуВыводПроблемы решардинга — это объемы данных, консистентность при параллельных изменениях, сложность смены роутинга без простоя, риски dual write и ограничения вроде глобальной уникальности. Поэтому стратегию решардинга продумывают заранее, еще на этапе выбора ключа и схемы шардирования.