Безопасный импорт Excel в Go и PostgreSQL: staging, проверка изменений и защита от повторного применения
Разработчик разобрал импорт пользовательских XLSX как полноценную интеграцию без стабильного контракта. Главная идея — сначала разобрать и проверить данные, показать последствия обновления, а лишь затем изменять рабочие таблицы.
Главное
На первый взгляд загрузка Excel сводится к чтению строк и сохранению записей. В рабочем SaaS эта схема ломается из-за изменённых заголовков, неоднозначных типов ячеек и случайного форматирования. Например, артикул с ведущими нулями нельзя надёжно восстановить, если электронная таблица уже преобразовала его в число. Поэтому автор предлагает заранее определить структуру колонок, правила идентификации и допустимые значения.
Отдельным пунктом становится смысл пустых полей. В одном режиме новый файл представляет полный снимок каталога, и отсутствие записи может означать её удаление или деактивацию. В другом режиме файл содержит только частичные изменения, а пустая ячейка не должна затирать существующее значение. Без явного соглашения об этих действиях одинаковый файл может приводить к противоположным результатам и незаметной потере данных.
Подробности
Вместо прямой записи в основную таблицу предлагается разделить работу на несколько стадий: разбор XLSX, проверка строк и загрузка результата во временную staging-таблицу. Для массовой передачи строк в PostgreSQL автор рассматривает pgx.CopyFrom, позволяющий использовать протокол COPY без отдельных INSERT для каждой позиции. Однако быстрая загрузка во временное хранилище сама по себе ещё не означает готовность применять изменения.
Перед применением система должна искать повторяющиеся ключи внутри файла и строить понятный diff относительно текущего справочника. Предварительный экран показывает, что будет добавлено, изменено или деактивировано, а спорные операции блокируются до решения пользователя. Для полной выгрузки особенно полезно заметить неожиданный массовый вывод товаров из оборота до того, как транзакция изменит данные.
Что это меняет
Автор обращает внимание и на устаревание предварительного просмотра. Пока пользователь изучает diff, другой сотрудник может загрузить новую версию справочника. Применение первого, уже устаревшего результата рискует перезаписать свежие изменения, поэтому операции нужна проверка версии данных. Отдельно следует обеспечить идемпотентность: потерянный ответ сервера после успешной транзакции не должен приводить к повторному изменению базы.
Наконец, XLSX нельзя считать безопасным только потому, что его сформировал человек. Контейнер представляет собой архив с внутренними ресурсами; размер загруженного файла не описывает объём памяти после распаковки. Автор рекомендует изолировать обработку в worker с ограничениями ресурсов и поддерживать библиотеку парсинга в актуальном состоянии. Такой подход превращает импорт из разового скрипта в контролируемый процесс согласования данных.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.