Дообучение небольшой Gemma на MacBook снизило результат теста: опыт с LoRA
Разработчик локального помощника Lumi проверил, насколько несколько сотен обучающих примеров улучшат маленькую языковую модель. После первой настройки LoRA качество на независимом наборе вопросов упало, а более осторожная вторая попытка вернула исходный результат без заметного прироста.
Главное
Эксперимент проводился с моделью lumi-mini, основанной на Gemma 4 E2B, внутри проекта настольного помощника Lumi. Автор использовал MLX и MacBook, поскольку хотел получить локальную версию без обращения к облачному сервису при обычной работе. Целью было изменить ответы на логические задачи, ударения и разговорные выражения, сохранив остальное поведение модели.
Чтобы не смешивать запоминание примеров с действительным улучшением, ещё до обучения был выделен контрольный набор из 23 заданий. Исходная модель отвечала правильно на 6 из них в выбранных условиях. В первой попытке разработчик подготовил 328 тренировочных примеров и применил LoRA, но после 75 шагов результат сократился до 4 правильных ответов: некоторые навыки, присутствовавшие до настройки, оказались потеряны.
Подробности
По описанию автора, новая модель слишком охотно воспроизводила форму обучающих ответов. Слова и шаблоны отказа начали появляться в ситуациях, для которых они не предназначались, а отдельные простые вычисления стали выполняться хуже. Это наблюдение важно для маленьких моделей: добавление примеров может изменить стиль реакции быстрее, чем расширить способность рассуждать, поэтому оценивать обучение только по отдельным удачным диалогам опасно.
Во второй серии настроек интенсивность обучения уменьшили, сократили число затрагиваемых слоёв и убрали часть повторяющихся формулировок. В тренировочную смесь также добавили ответы исходной модели, чтобы удержать прежние навыки. После 150 шагов контрольный набор снова дал 6 правильных ответов из 23. Таким образом, автор добился восстановления исходного качества, но не получил подтверждённого выигрыша от дообучения.
Что это меняет
Практическая сложность возникла даже после настройки: автор не смог перенести полученный адаптер в используемую им среду Ollama из-за ограничений совместимости форматов. Для пользователей Lumi обученную модель поэтому не заменили на новую. Это частный опыт с конкретной моделью, инструментами и небольшим тестом, а не вывод о бесполезности LoRA вообще; он показывает ценность неизменного экзамена, сравнимых условий и проверки цепочки поставки модели.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.