STRUCTUREцифровые системыОбсудить проект
НОВОСТЬ · Engineering

Сбой Ceph из-за несовместимых версий: восстановление OSD через RocksDB

Инженер описал, как обслуживание Ceph-диска инструментом из более нового контейнерного образа превратило штатное удаление устаревших данных в проблему совместимости RocksDB. Исправление потребовало проверки версий и отдельного восстановления структуры базы.

Главное

Инцидент произошёл в крупном кластере Ceph на выпуске Quincy. После перезагрузок одного узла несколько OSD не смогли запуститься: на носителях оставались группы размещения, относящиеся к уже удалённым пулам. Для завершения очистки демонам требовались старые карты кластера, которых больше не было. При этом реплики доступных данных находились на других устройствах, поэтому задача состояла в восстановлении узлов без ненужного длительного переноса информации.

Администратор выбрал штатную утилиту для удаления лишних PG на остановленном OSD. Операция завершилась сообщением об успехе, но после неё демон перестал открывать внутреннюю базу BlueStore. В журнале появилась ошибка о неизвестном типе контрольной суммы. Причина оказалась не в самом механизме удаления: команда в оболочке cephadm получила более новый образ Ceph, чем тот, из которого запускался рабочий демон.

Подробности

В результате инструмент версии Reef успел записать части RocksDB с контрольными суммами XXH3, а демон Quincy не распознавал этот формат. Здесь проявилась особенность контейнерной эксплуатации: совпадение имени OSD в командной строке ещё не гарантирует совпадения версии запущенного сервисного инструмента. Наличие разных образов на одном хосте создаёт риск для любых офлайн-операций над хранилищем.

Первые попытки заставить более новый инструмент переписать файлы с прежней контрольной суммой не дали результата. Автор исследовал настройки семейств столбцов RocksDB и проверил обходной путь на отдельном небольшом тестовом BlueStore, не затрагивая рабочие данные. Идея состояла в переносе ключей между новыми семействами, очистке старых файлов и обратном изменении структуры уже средствами совместимой версии.

Что это меняет

После испытания на копии аналогичную процедуру применили к повреждённому OSD. Последовательность включала решардинг, сжатие и обратный решардинг, а затем проверку целостности и запуск демона. По отчёту автора, узел вернулся в строй с сохранёнными данными. Для остальных остановленных OSD использовали инструмент с явно закреплённым образом Quincy и проверяли версию ещё до запуска опасной операции.

Этот случай не следует воспринимать как универсальную инструкцию переписывать RocksDB на действующем кластере: различия релизов и состояния данных могут существенно менять последствия. Гораздо важнее профилактика — контролировать версии сервисных контейнеров, исключать случайное использование соседнего образа и проверять завершение удаления пулов. Для аварийных действий нужны резервный план и воспроизводимое тестирование на копии.

Первоисточник

Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.

Читать исходную новость целиком ↗