Какие способы позволяют выявлять повторную загрузку одного и того же файла и какие механизмы детектирования дублей могут использоваться?

Question

Для обнаружения повторной загрузки файла обычно используют хэши содержимого (MD5/SHA-256), комбинацию имени файла и размера, метаданные (дата, источник), а также бизнес-ключи из содержимого (например, идентификаторы записей). При загрузке считают хэш файла или его части, сверяют с ранее сохранёнными значениями и решают, считать ли файл дублем. Также можно использовать дедупликацию на уровне строк: уникальные ключи в БД, индексы, таблицы "processed hash". Комбинация хэшей и бизнес-ограничений позволяет надёжно отсекать повторные загрузки.

YeaHub · Accepted Answer

Детектирование повторной загрузки файлов и дублей данныхНужно решить две задачи:Понять, загружался ли такой файл ранее.Не допустить дублирования данных внутри системы (даже если файл другой, но записи совпадают).1. Детектирование дубликатов файлов по хэшуОпределение: Хэш файла — результат криптографической функции (MD5, SHA-1, SHA-256) над всем содержимым файла.Алгоритм:при загрузке файла — считаем хэшищем этот хэш в таблице uploaded_filesесли найден — файл уже загружалсяСтруктура таблицы:idfile_hashoriginal_namesizecreated_atuser_idphp$hash = hash_file('sha256', $uploadedFilePath);

$exists = $db->fetchOne(
    'SELECT id FROM uploaded_files WHERE file_hash = :hash',
    ['hash' => $hash]
);

if ($exists) {
    // дубликат файла
}
Плюсы:очень надёжно (если использовать сильный алгоритм)не завязано на имя файлалегко реализуетсяМинусы:нужно прочитать файл целиком для хэшированиядля 300 МБ это ощутимая операция (но делается один раз)2. Хэш части файла (sampling)Если полный хэш считать дорого:можно взять первые N МБ + последние N МБили несколько "срезов" по файлухэш рассчитывается по их конкатенацииВероятность коллизии чуть выше, но для бизнес-задач обычно достаточно.3. Проверка по размеру и имени (быстрая эвристика)Быстрый фильтр:если size и original_name не совпадают → точно не тот же файлесли совпадают → возможный дубликат, можно дополнительно проверить хэшЭто уменьшает количество полных хэширований.4. Бизнес-уровень: дубликаты данных из файлаФайл может отличаться (дата выгрузки, количество строк), но содержать уже импортированные записи.Подходы:1. Уникальные ключи в БДНа уровне таблиц:уникальный индекс по бизнес-ключу: например (external_id), (user_id, period), (contract_number)Если запись уже была:вставка падает с ошибкой unique constraintвы решаете: игнорировать, обновлять, логировать2. Хэш строки / набора полейДля каждой строки можно считать хэш её "смысла":php$hash = hash('sha256', $userId . '|' . $date . '|' . $amount);
И хранить его в таблице:row_hash — uniqueпри повторной попытке вставить такой же — срабатывает уникальность5. Связь файла и его содержимогоПолезно хранить:хэш файлаколичество строкдиапазон дат или ключейисточник (поставщик)Тогда:мы знаем, что файл "Поставщик А, данные за январь" уже загруженможно запретить повторную загрузку или предупредить пользователяили предложить режим "пере-заливки" с заменой6. Механизмы на уровне APIМожно добавлять:idempotency-key в запросы импортоввременные блокировки на импорт одного и того же файлалогику "если последний импорт для этого типа ещё не завершён — запрещать новый"7. Детектирование дублей при параллельной обработкеЕсли несколько воркеров обрабатывают один и тот же файл или разные файлы с пересечением:уникальные индексы в БД не дадут записать дубльможно использовать INSERT ... ON CONFLICT DO NOTHING (Postgres)или INSERT IGNORE / REPLACE (MySQL, но аккуратно)8. Комбинация подходовНа практике лучше использовать комбинацию:Быстрая проверка по размеру и имени (эвристика).Надёжная проверка по хэшу файла.Защита на уровне данных: уникальные ключи и хэш строк.Бизнес-ограничения: нельзя загружать один и тот же период дважды без явного подтверждения.9. ВыводДубликаты файлов и данных лучше ловить на нескольких уровнях:хэш файла (или его части) — чтобы понять, что файл уже загружалсяуникальные ключи и хэш строк — чтобы не допустить повторный импорт тех же записейбизнес-ограничения и idempotency — чтобы избежать логических дублей на уровне сценариевЭто делает систему устойчивой к повторным загрузкам и ошибкам пользователей.