STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Первые минуты сбоя Linux-сервера: инженер предложил порядок диагностики без слепых рестартов

Инженер разобрал последовательность действий при аварии сервиса на Linux: от проверки пользовательского запроса до анализа зависимостей и последних изменений. Главное в таком подходе — сначала собрать признаки неисправности, а затем выбирать вмешательство.

Главное

Предложенный порядок начинается не с перезапуска процесса, а с внешнего симптома. Нужно выяснить, что видит клиент: ошибку HTTP, обрыв соединения, задержку или сбой TLS. Проверка запроса через публичный адрес и напрямую к приложению помогает разделить неисправности прокси, сети и самого сервиса. Даже работающий nginx не доказывает, что его upstream отвечает корректно.

Следом проверяют ресурсы машины. Автор рекомендует сопоставить загрузку процессора с количеством ядер, посмотреть доступную память и сообщения ядра об остановке процессов из-за её нехватки. Отдельно важно проверять не только свободное место в файловой системе, но и inode: множество мелких файлов может заблокировать запись при ещё свободном дисковом объёме.

Подробности

Если ресурсы выглядят штатно, внимание переключается на конкретный сервис. Статус systemd сообщает о коде завершения и повторных запусках; journalctl помогает увидеть первую ошибку до лавины одинаковых сообщений. Команда systemctl cat показывает активную конфигурацию вместе с дополнительными файлами, которые могли изменить лимиты процесса без правки основного unit-файла.

Дальше проверяют соединения с зависимостями: какие порты действительно слушаются, где находится база данных, какое имя разрешается через системный резолвер. Автор отдельно сравнивает getent и dig: они могут дать разные результаты из-за настройки поиска имён. При одновременных ошибках TLS и времени действия токенов стоит проверить часы и синхронизацию сервера, прежде чем менять сертификаты.

Что это меняет

Последний этап посвящён недавним изменениям. Важно сопоставить момент появления неисправности с выкладкой приложения, корректировкой unit-файла, сменой порта, конфигурации прокси или обновлением системного пакета. История развёртывания и журнал изменений позволяют выбрать осмысленный откат или точечное исправление, а не повторять без разбора команды, которые временно меняют симптомы.

Автор предупреждает и о ложных решениях. Удаление открытого работающим процессом лог-файла может не вернуть занятое место, а принудительное завершение процесса не решит проблему, если его тут же поднимет менеджер службы. Во время диагностики полезно фиксировать команды и время действий. Такой журнал связывает наблюдения с изменениями метрик и помогает затем объяснить причину инцидента команде.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗