STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Cross-Cleaner: потоковый разбор JSON помогает снизить пик памяти

Разработчик Cross-Cleaner объяснил, почему оптимизация внутренних структур данных не всегда уменьшает расход памяти при загрузке больших JSON-файлов. Следующий рассматриваемый шаг — обрабатывать записи постепенно, не удерживая полный массив исходных объектов. Это технический разбор подхода, а не объявление готового релиза.

Главное

В проекте уже используются средства экономного хранения данных: повторяющиеся строки разделяют память через Arc, а пути сохраняются в виде составных сегментов. Облегчённые структуры CleanerIndex и RegistryIndex содержат только необходимые для отдельных операций поля. Такие решения уменьшают стоимость представления готовой записи, особенно при большом числе повторяющихся значений. Но экономия внутри объекта не отвечает на вопрос, сколько объектов одновременно удерживается в памяти.

Обычное чтение файла через serde_json с преобразованием всего верхнего массива в Vec требует создать коллекцию всех элементов. При разборе каждого объекта могут временно возникать строки и дополнительные поля вспомогательной структуры Helper, которые после преобразования уже не нужны. Однако главный источник долговременной нагрузки — удержание полного набора готовых записей, даже если дальнейшая операция использует только небольшую часть информации из них.

Подробности

Предлагаемый вариант заключается в обходе JSON по одной записи. Программа может сразу строить компактный индекс, обновлять агрегат или выполнять нужную проверку и освобождать промежуточный объект. В таком режиме пик потребления зависит не только от общего размера входного файла, но и от того, сколько данных конкретный алгоритм обязан сохранить после обработки элемента. Особенно ощутима разница в утилитах, выполняющих последовательную фильтрацию или преобразование данных.

Здесь есть важная техническая тонкость. Потоковая десериализация serde_json удобна для последовательности самостоятельных JSON-значений, но верхнеуровневый массив требует отдельного обхода его элементов. Поэтому в разборе рассматривается небольшая управляющая обёртка над десериализатором. Для формата JSON Lines, где каждая строка представляет независимый объект, построчная схема проще. Формат исходной базы напрямую определяет сложность реализации потокового чтения.

Что это меняет

Даже правильный потоковый алгоритм может проиграть на дисковых операциях, если обращаться к источнику слишком мелкими порциями. Поэтому автор обращает внимание на буферизацию чтения. Есть и принципиальное ограничение: для глобальной сортировки, построения полного индекса или сопоставления всех записей может понадобиться значительное сохраняемое состояние. Потоковый парсер не отменяет потребности алгоритма в данных и не даёт автоматической экономии для любой задачи.

Практическая ценность подхода в разделении разных уровней памяти: временные поля десериализатора, компактное представление записи и число одновременно живущих объектов. Интернирование строк улучшает один уровень, а постепенная обработка — другой. Перед переходом на потоковую архитектуру разработчику стоит измерить реальные пики и проверить, способен ли последующий код работать без полного массива. Без этих условий новый парсер только усложнит поддержку проекта.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗