STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Как одна выгрузка трасс замедлила PostgreSQL: разбор производственного инцидента

Автор кейса показывает, как обычная аналитическая выгрузка и неиндексированные запросы вместе превратили спокойную базу PostgreSQL в узкое место сервиса наблюдаемости за LLM. Разбор полезен тем, что связывает метрики ожиданий, устройство кэша и организацию фоновых задач.

Главное

В описанном сервисе Arize Phoenix база PostgreSQL долго работала без заметных проблем. Автор отслеживал Average Active Sessions — число активных или ожидающих сессий — и увидел резкий выход метрики за обычный уровень. Для инстанса с двумя виртуальными ядрами рост AAS до 25 означал уже не просто повышенную нагрузку: запросы начали накапливаться в очереди.

Первый слой диагностики дали wait events. Частые IO:DataFileRead показывали, что нужные страницы приходится читать с диска, а IPC:BufferIo — что несколько процессов одновременно ждут одну и ту же страницу в общей памяти. В Top SQL одновременно выделились тяжёлый запрос дашборда Phoenix и курсорная выгрузка трасс соседней командой. Это помогло перейти от общей жалобы на медленную базу к конкретным конкурирующим операциям.

Подробности

Выгрузка читала большой объём старых трасс через индекс. Такой доступ создавал множество разрозненных чтений и помещал страницы в shared_buffers, вытесняя из кэша данные, которые нужны дашбордам. Одновременно часть запросов Phoenix фильтровала таблицу spans без подходящих индексов. Пока рабочий набор оставался в памяти, проблема была почти незаметна; после охлаждения кэша те же запросы стали регулярно обращаться к диску.

Исправление оказалось не только задачей настройки SQL. Команды перенесли тяжёлый экспорт на ночное окно, чтобы он не конкурировал с пользовательскими запросами в рабочее время. Для наиболее проблемных обращений добавили частичный индекс по корневым трассам; его построили через CREATE INDEX CONCURRENTLY, чтобы не блокировать обычную запись. Автор отдельно отмечает, что ночная выгрузка всё равно охлаждает часть кэша, поэтому реплика для чтения остаётся более изолированным вариантом.

Что это меняет

После изменения расписания повторение длительной деградации прекратилось, а после добавления индексов исчезли тайм-ауты дашбордов на семидневном диапазоне. Главный вывод — смотреть только на CPU или общий процент загрузки недостаточно. Сопоставление AAS с числом vCPU, wait events и Top SQL помогает увидеть, кто вытесняет рабочие данные и почему конкретный запрос не выдерживает холодный кэш.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗