Почему аренда GPU для обучения ИИ дорожает из-за пустых токенов и чекпоинтов
Инженерная ретроспектива обучения языковой модели показала, как корректный программный код может приводить к неоправданным расходам на облачные ускорители. Основные потери возникли из-за заполнения последовательностей, записи больших контрольных точек и ошибок автоматизации.

Главное
В опубликованном на Habr разборе автор описал серию облачных прогонов модели для крымскотатарского языка. Первоначальная смета для одной стадии опиралась на число содержательных токенов, хотя реальные вычисления выполнялись над последовательностями фиксированной длины. Короткие реплики дополнялись пустыми позициями: по оценке автора, в первых тестах полезная доля составляла лишь около пяти процентов. GPU тратил время на обработку всего блока независимо от того, участвовали ли дополнительные позиции в обучающем сигнале.
Переход к упаковке коротких примеров в общие блоки с разделением внимания изменил экономику работы. В описанном эксперименте доля занятых содержимым позиций выросла примерно до 99 процентов. Автор сравнил расчётную цену второй стадии до и после изменений: вместо сотен долларов оценка снизилась до нескольких десятков. Это результат конкретного набора данных и конфигурации, а не универсальное обещание такого же ускорения для любой модели.
Подробности
Другим источником простоя стали синхронные контрольные точки. Состояние обучения размером около 46 ГБ сохранялось на сетевой том через каждые 400 шагов, а вычисления возобновлялись лишь после завершения записи. В сумме на сохранения пришлось около 600 ГБ трафика, при этом наблюдаемая занятость ускорителя без учёта потерь на пустых токенах составляла примерно 58–68 процентов времени. В разборе предлагается сначала сохранять локально и выбирать частоту по стоимости потенциальной потери прогресса.
Недостаточная параллельность подготовки данных тоже оказалась существенной: на машине со 128 вычислительными ядрами загрузку обеспечивали только два процесса. Отдельные компоненты были функционально исправны, но совместный конвейер простаивал в ожидании новых пакетов. После нескольких сбоев команда начала проводить полную репетицию запуска с малой моделью, включая переключение этапов, контрольные проверки и поведение вспомогательных скриптов, до почасовой аренды дорогой машины.
Что это меняет
Наконец, автоматический сторож ошибочно считал низкую загрузку GPU признаком зависания и однажды завершил почти готовый прогон во время сохранения. Новый критерий в ретроспективе учитывает не только активность ускорителя, но и движение счётчика шагов. Практический вывод шире одного случая: бюджет дообучения следует оценивать по фактически обрабатываемым позициям, скорости подачи данных, времени жизни всей машины, длительности записей и возможности безопасно восстановить работу после сбоя.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.