Численная ошибка softmax: почему при обучении ИИ может исчезнуть нужный градиент
При вычислениях с ограниченной точностью нейросеть иногда теряет часть сигнала обучения ещё до обновления весов. Разбор нового исследования показывает, почему привычные softmax и cross-entropy могут вести себя не так, как предсказывают формулы, и как изменить порядок вычислений.
Главное
Проблема возникает не из-за неверной математической модели, а на этапе её выполнения компьютером. Softmax переводит оценки классов в вероятности, а функция потерь сравнивает эти вероятности с целевым ответом. Когда модель чрезвычайно уверена в правильном классе, рассчитанная вероятность может округлиться до единицы. Производная потерь для такого класса вычисляется вычитанием единицы, поэтому небольшое, но полезное значение исчезает.
В разобранном примере с логитами 20 и 0 расчёт в формате float32 даёт нулевую производную для правильного ответа, хотя производная конкурирующего класса остаётся ненулевой. Получается асимметрия, которой нет в точной арифметике. Все компоненты градиента должны в сумме компенсировать друг друга: одинаковый сдвиг оценок классов не меняет распределение вероятностей. Машинное округление нарушает это свойство.
Подробности
Вторая ситуация касается дистилляции, когда модель-ученик старается повторить распределение модели-учителя. Даже при одинаковых входных оценках разные пути вычисления вероятностей способны дать слегка отличающиеся результаты. Если один путь проходит через softmax, а другой через log_softmax, накопленные погрешности могут выглядеть как реальная ошибка ученика. В результате обучение получает сигнал там, где математически различий уже нет.
Авторы исследования, на которое ссылается технический разбор, предлагают вычислять малые поправки иначе: сначала сравнивать логиты, а затем учитывать среднюю разницу с весами вероятностей учителя. Такой порядок операций позволяет работать с небольшими величинами без преждевременного вычитания почти равных чисел. Для классификации также важно аккуратно получать градиент целевого класса из вклада конкурентов, сохраняя согласованность компонентов.
Что это меняет
Практическая опасность не ограничивается одной испорченной цифрой в таблице. Ошибка передаётся дальше по вычислительному графу и может влиять на обновление параметров, особенно если оптимизатор учитывает историю величин градиента. Исследователи обсуждают связь этих ошибок с резкими скачками функции потерь после длительного периода спокойного обучения, но это не универсальное объяснение любой нестабильности нейросети.
Для инженеров вывод состоит в необходимости тестировать не только значение функции потерь, но и свойства её производных на крайних входах. Полезно сверять сумму градиентов и сравнивать вычисления при разных форматах точности. Отдельные численные примеры не заменяют полноценной проверки выбранной реализации: перенос исправления в рабочую библиотеку требует тестов на собственных архитектурах, задачах и данных.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.