Почему контейнер может зависнуть без OOMKilled: эксперимент с лимитом memory.high в Linux
Механизм cgroup v2 способен замедлить процесс при нехватке памяти, не завершая его. Технический эксперимент показал, что такой режим может скрывать серьёзное ухудшение отклика сервисов: привычного события OOMKilled нет, а задержки продолжают накапливаться.
Главное
Администраторы привыкли связывать превышение лимита памяти контейнера с аварийным завершением. Но Linux различает жёсткую границу memory.max и порог memory.high, после которого ядро пытается освободить страницы и задерживает выделяющий память процесс. Второй механизм задуман для управляемого давления на потребление памяти. При отсутствии подходящего способа освободить ресурсы он способен растянуть выполнение программы на неожиданно долгое время.
В опубликованном эксперименте использовалось ядро Linux 6.8 и отдельная группа cgroup. Автор сравнил свободное выделение памяти, работу с жёстким ограничением и режим с одним порогом memory.high. Когда процесс пересёк мягкую границу, добавление очередных 16 МБ, обычно занимавшее доли секунды, продолжалось больше двух минут. При этом счётчик завершений по нехватке памяти не увеличился: программу остановил тестовый тайм-аут.
Подробности
Причина задержки связана с попытками reclaim, то есть освобождения памяти, и дополнительным ожиданием перед продолжением работы. Если приложение заполняет анонимные страницы, а выгрузка в swap недоступна, ядру зачастую просто некуда перемещать эти данные. Процесс остаётся живым, но большую часть времени не исполняет полезный код. Поэтому низкая загрузка процессора здесь не означает, что система отвечает быстро.
Давление ощущает вся группа cgroup, а не только процесс, создавший перерасход. Автор запустил соседний имитатор сервиса, который регулярно запрашивал небольшие буферы. Хотя собственное потребление им памяти не росло, отклик постепенно увеличивался с нескольких миллисекунд почти до полутора секунд. В общих группах это способно затронуть проверочные команды, новые потоки и другие операции, требующие дополнительных страниц.
Что это меняет
Диагностика должна опираться на показатели давления памяти, а не только на факты перезапуска контейнера. Содержимое memory.events показывает переходы через порог, а memory.pressure помогает увидеть долю времени ожидания. В публикации также рассматриваются отличия поведения systemd и Kubernetes: Kubernetes Memory QoS может использовать соответствующее ограничение, но само по себе оно не заменяет контроль критической деградации приложения.
Практический вывод — проверять сочетание порогов, доступности swap и внешнего наблюдения за задержками. Один мягкий лимит нельзя считать гарантией безопасного восстановления сервиса: он способен превратить быстро заметное падение в длительное зависание. Настройки стоит испытывать под реальной нагрузкой и сопоставлять с потребностями конкретного приложения, прежде чем включать их в производственную конфигурацию.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.