Почему GitOps не запускает сеть Kubernetes с нуля: пример Flux и Cilium
Практический эксперимент с Kubernetes показывает замкнутую зависимость: Flux должен установить сетевой плагин Cilium, но собственные контроллеры Flux не могут запуститься без работающей сети подов. Выход — отделить первичную подготовку кластера от дальнейшего управления через GitOps.
Главное
Автор технического разбора поднял учебный кластер KinD с отключённым сетевым плагином по умолчанию. Управляющие компоненты Kubernetes остались доступны, однако нода получила состояние NotReady. Подам, которым требовалась собственная сеть, не выдавались адреса, поэтому они зависали в ожидании запуска. Особенно показателен CoreDNS: он необходим рабочему кластеру, но без готового сетевого слоя сам стартовать не может.
Попытка сразу передать установку Cilium под управление Flux проблему не решила. Контроллеры GitOps-системы сами работают в подах, а планировщик не размещает их на неподготовленной ноде из-за ограничивающей метки состояния. Получается логический круг: для установки сетевого компонента требуется работающий Flux, но для запуска Flux требуется тот самый сетевой компонент.
Подробности
В описанном сценарии разорвать зависимость помогает отдельный этап начальной настройки. Сначала сетевой плагин устанавливают внешней командой Helm, затем проверяют готовность ноды и получение адресов служебными подами. Лишь после этого запускают bootstrap Flux, которому уже доступна сеть. Дальнейшие изменения конфигурации и версий можно версионировать в Git и проводить привычным способом.
Важная техническая деталь заключается в том, что агент Cilium способен запуститься в hostNetwork, используя сеть самой ноды. Это объясняет, почему установка сетевого плагина возможна даже тогда, когда обычные приложения ещё не планируются. Такой начальный шаг следует явно описывать в инструкции по восстановлению инфраструктуры, а не надеяться, что манифесты всё исправят самостоятельно.
Что это меняет
Передача уже установленного Cilium под контроль Flux тоже не обязательно проходит без изменений. В эксперименте автора первая сверка HelmRelease вызвала обновление DaemonSet, хотя пользовательские values совпадали. Причина заключалась в различиях отрендеренных манифестов и метаданных между обычным Helm и контроллером Flux. Поэтому сравнения значений конфигурации недостаточно для гарантии отсутствия перезапуска.
Для эксплуатации это означает необходимость планировать момент первого принятия сетевого релиза, сохранять состояние до изменения и смотреть на поколение DaemonSet вместе с фактическими подами после него. Автоматический откат сетевого слоя может быть рискованнее обычного отката приложения, поэтому стратегия восстановления должна быть отдельной. Главный урок кейса — GitOps отлично подходит для штатного управления, но слой, обеспечивающий работу самой системы управления, требует самостоятельного начального процесса.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.