Как в VictoriaMetrics и Grafana разделили клиентов — и почему одно правило остановило алерты
Автор SaaS-платформы Voltir описал устройство общего контура мониторинга для разных заказчиков. Изоляцию приходится проводить не только в хранилищах метрик и логов, но и в Grafana, обработке запросов и правилах оповещений: ошибка в одном месте способна повлиять на всех.
Главное
В описанной архитектуре несколько организаций пользуются общими VictoriaMetrics, VictoriaLogs и Grafana, а также единым процессом vmalert. Для каждого заказчика система хранит собственный идентификатор аккаунта, который определяет область чтения и записи. Экономия ресурсов достигается за счёт общего стека, но его владельцу приходится отдельно проверять границы доступа в каждом сервисе, а не полагаться на факт существования организаций в панели.
На приёме данных применяется промежуточная проверка: агент обращается к nginx со своим токеном, а платформа определяет соответствующего клиента. Номер аккаунта в адресе записи метрик сравнивается с результатом авторизации, иначе пользователь мог бы подставить чужой номер. Для логов идентификатор добавляет сам прокси, переопределяя присланный заголовок. Автор также подчёркивает, что внутренние порты хранилищ недоступны из внешней сети.
Подробности
Отдельный рубеж оказался необходим в Grafana. Если выдать клиенту административные полномочия внутри организации, он сможет перенастроить источник данных и попытаться обратиться к чужому аккаунту. Поэтому заказчикам оставили роли Viewer и Editor, а создание организаций и источников выполняет служебная учётная запись платформы. Такой подход защищает данные не названием роли в клиентском портале, а фактическим запретом менять адреса запросов.
Самый показательный сбой возник в общем движке оповещений. Некорректное значение длительности в правиле клиента привело к отказу перезагрузки общего набора настроек vmalert. Старые правила продолжали действовать, но новые изменения перестали применяться; позднее похожий дефект обнаружился в тексте шаблонов уведомлений. По словам автора, прежний обработчик скрывал ошибку перезагрузки, создавая ложное впечатление успешного сохранения.
Что это меняет
После этого команда перенесла проверку параметров на момент приёма заявки и повторяет её перед заменой файлов конфигурации. Новые правила записываются атомарно, результат перезагрузки проверяется, а при отказе восстанавливается прежняя рабочая версия. Для запросов к общему хранилищу добавляются ограничения по аккаунту, чтобы произвольное выражение одного заказчика не охватывало данные другого. При этом сам общий процесс по-прежнему остаётся общей точкой отказа.
Ещё одна проблема проявилась на стенде автоматических испытаний: после удаления клиентов оставались учётные записи, организации и правила, которые продолжали расходовать ресурсы. Теперь очистка собирает связанные объекты в одном месте, а периодическая сверка ищет остатки. Вывод из кейса шире конкретного стека: безопасность многопользовательского мониторинга нужно подтверждать тестами на чтение, запись, изменение настроек и удаление, а успешный ответ API не заменяет проверку фактического состояния.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.