STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Amvera рассказала, как восстановила PaaS после отказа региона Yandex Cloud

Команда Amvera опубликовала технический разбор октябрьского сбоя облачной инфраструктуры. В центре истории — независимые резервные копии, подготовленная репликация баз данных и экстренное восстановление приложений после потери доступности основного региона.

Главное

Amvera предоставляет платформу, на которой клиент размещает приложение без самостоятельного администрирования виртуальных серверов. Поэтому при недоступности инфраструктуры нагрузка по возвращению проектов в работу ложится не только на пользователей, но и на оператора PaaS. В опубликованном 27 октября разборе компания описала последовательность действий вокруг инцидентов 8–12 октября и объяснила, что из подготовки оказалось действительно полезным.

До сбоя у платформы уже существовали системные и пользовательские резервные копии, однако значительная их часть находилась внутри инфраструктуры того же облачного провайдера. Команда заранее рассмотрела сценарий отказа не отдельного диска или сервера, а целого региона. Это важное различие: наличие нескольких копий в одной зависимой среде не гарантирует восстановления, когда доступа к самой среде нет.

Подробности

По словам Amvera, инженеры организовали дополнительное хранение резервных копий в независимом российском центре обработки данных и репликацию базы между отдельными площадками. Для компании было важно сохранить размещение соответствующих данных в России, поэтому вариант простого переноса копий за рубеж не рассматривался как универсальный. Отдельно подготовили инструменты для переключения базы и развёртывания нового региона.

В хронологии публикации первые затруднения относятся к 8 октября, а потеря основного региона описана 11 октября. В тот же день команда вернула доступ к личному кабинету, затем открыла пользователям скачивание резервных копий и запустила новый российский регион. Эти этапы решали разные задачи: восстановить управление, предоставить данные владельцам проектов и только затем вернуть вычислительные мощности для приложений.

Что это меняет

К ночи 12 октября, согласно отчёту самой Amvera, в новом регионе были восстановлены 99 процентов работавших приложений, причём первоначально многие из них оставались остановленными и требовали повторного запуска. Компания отдельно сообщает о восстановлении кластеров PostgreSQL и возможности ручной помощи в сложных случаях. Эти проценты относятся к заявленной оператором статистике, а не к независимому аудиту доступности сервисов клиентов.

Разбор показывает и трудности, не связанные с хранением данных: изменения доменов и DNS, пиковую нагрузку на оставшиеся регионы, очередь обращений в поддержку. Практический вывод для владельцев онлайн-сервисов состоит в необходимости проверять всю цепочку аварийного восстановления — от расположения копий и доступа к управлению до сетевых настроек и запуска приложений. Сама Amvera признаёт, что после экстренного восстановления часть работ по стабилизации ещё оставалась.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗