Что такое шардирование (sharding) базы данных?

Question

Шардирование — это метод горизонтального масштабирования базы данных, при котором данные распределяются across multiple servers (шардов) на основе определенного ключа. Каждый шард содержит подмножество данных и работает независимо. Это позволяет обрабатывать большие объемы данных и высокую нагрузку, так как запросы распределяются между шардами. Шардирование увеличивает сложность системы, но необходимо когда одна машина не может справиться с нагрузкой.

YeaHub · Accepted Answer

Шардирование решает проблему масштабирования баз данных путем распределения данных и нагрузки.1. Принципы шардированияГоризонтальное разделение: Данные распределяются по разным серверамКлюч шардирования: Определяет на какой шард попадут данныеНезависимость шардов: Каждый шард работает автономноПрозрачность: Приложение может не знать о шардировании2. Стратегии шардированияПо диапазону:-- Шард 1: user_id от 1 до 1000000
-- Шард 2: user_id от 1000001 до 2000000
-- Шард 3: user_id от 2000001 до 3000000По хэшу:def get_shard(user_id, total_shards):
    return hash(user_id) % total_shards

# user_id=123 -> шард 1, user_id=456 -> шард 2По географическому расположению:Европейские пользователи → шард в EUАмериканские пользователи → шард в US3. Пример реализации шардированияclass ShardingManager:
    def __init__(self, shard_connections):
        self.shards = shard_connections
        self.total_shards = len(shard_connections)
    
    def get_shard(self, shard_key):
        # Простая стратегия - хэш по ключу
        shard_index = hash(shard_key) % self.total_shards
        return self.shards[shard_index]
    
    def insert_user(self, user_id, user_data):
        shard = self.get_shard(user_id)
        with shard.cursor() as cursor:
            cursor.execute(
                "INSERT INTO users (id, name, email) VALUES (%s, %s, %s)",
                (user_id, user_data['name'], user_data['email'])
            )
            shard.commit()
    
    def get_user(self, user_id):
        shard = self.get_shard(user_id)
        with shard.cursor() as cursor:
            cursor.execute("SELECT * FROM users WHERE id = %s", (user_id,))
            return cursor.fetchone()4. Проблемы и вызовы шардированияРаспределенные транзакции: Сложность обеспечения ACIDJOIN между шардами: Запросы должны работать в пределах одного шардаРешардинг: Перераспределение данных при добавлении/удалении шардовГорячие точки: Неравномерное распределение нагрузкиСложность администрирования: Управление множеством серверов5. Когда использовать шардированиеХорошие кандидаты:Таблицы с сотнями миллионов строкWrite-intensive приложенияСистемы с четко определенными ключами доступаКогда вертикальное масштабирование недостаточноВывод: Шардирование — мощный инструмент для масштабирования, но он значительно усложняет архитектуру системы. Используйте шардирование только когда другие методы масштабирования (индексы, кеширование, репликация) исчерпаны. Тщательно выбирайте ключ шардирования чтобы минимизировать межшардовые запросы.