Какие подходы существуют для генерации уникальных идентификаторов в распределённых системах?

Question

Уникальные идентификаторы можно генерировать несколькими способами: через UUID, через централизованные механизмы БД (например, последовательности в Postgres), через распределённые алгоритмы вроде Snowflake или через локальные счётчики с префиксами.
UUID не требует координации и хорошо подходит для горизонтально масштабируемых систем, но плохо сортируется. Централизованные sequence в Postgres дают короткие упорядоченные числа, но создают точку отказа.
Snowflake-подобные алгоритмы обеспечивают временную сортировку, не требуют единого сервера и хорошо подходят для высоконагруженных микросервисов.
Выбор конкретного метода зависит от требований к масштабируемости, порядку ID, длине ключей и отказоустойчивости.

YeaHub · Accepted Answer

В распределённых системах требуется надёжно создавать уникальные ID, часто миллиардами. Для этого существует несколько подходов, каждый со своими особенностями.1. UUIDОпределение:UUID (Universally Unique Identifier) — 128-битный уникальный идентификатор, который может генерироваться локально и не требует синхронизации между сервисами.1.1. Плюсыне нужен центральный генератор;минимальный риск коллизий;прекрасно подходит для масштабируемых микросервисов.1.2. Минусызанимают много места в индексах;плохо сортируются (кроме версий v1/v7);менее удобны для чтения.1.3. Примерimport uuid
session_id = uuid.uuid4()
2. Централизованные генераторы ID (например, sequence в Postgres)Определение:Sequence — встроенный генератор автоинкрементных чисел в Postgres, который гарантирует уникальность значений.2.1. ПлюсыID компактные и монотонно возрастающие;легко использовать;хорошо подходят для реляционных БД.2.2. Минусыединая точка отказа;нагрузка может упереться в пропускную способность БД;требуется сетевой доступ к центральному генератору.2.3. ПримерCREATE SEQUENCE order_id_seq;
SELECT nextval('order_id_seq');
3. Локальные счётчики + префиксы нодПодход, при котором каждая нода имеет свой machine_id, а внутри ноды работает локальный автоинкремент.3.1. Плюсыне требует центрального сервера;простая и быстрая генерация.3.2. Минусынужно гарантировать уникальность machine_id;возможны коллизии при некорректной конфигурации.3.3. Пример ID05-00004217
05 — номер ноды, 00004217 — локальный счётчик.4. Snowflake и подобные алгоритмыОпределение:Snowflake — алгоритм Twitter для генерации 64-битных ID, которые включают timestamp, номер ноды и sequence.4.1. Плюсыкомпактные и отсортированы по времени;нет единой точки отказа;высокая пропускная способность.4.2. Минусысложность реализации;зависимости от точной синхронизации времени.4.3. Структура ID (в упрощённом виде)timestamp | machine_id | sequence
5. Хеш-функцииИспользуются для случаев, когда идентификатор должен зависеть от содержимого объекта.5.1. Плюсыодинаковые данные → одинаковый ID;можно использовать для дедупликации.5.2. Минусывозможны коллизии;долговременные вычисления при больших входных данных.5.3. Примерimport hashlib
doc_id = hashlib.sha1(b"content").hexdigest()
6. Как выбирать методПеред выбором генератора нужно определить:нужны ли упорядоченные ID;допустима ли задержка сети;важна ли компактность ключей;является ли система распределённой и сколько в ней нод;нужно ли хранить ID в индексах (в БД).Краткий выводДля простых случаев → UUID.Для строгой упорядоченности → sequence в Postgres.Для больших распределённых систем → Snowflake или аналог.Для данных, где важна повторяемость → хеш-ID.