Jmix улучшила RAG по документации: Javadoc, цельные примеры и тесты ответов
Команда Jmix переработала поиск для ИИ-помощника по Java-документации, не заменяя основную языковую модель. Эксперимент показал, почему для вопросов о программном интерфейсе недостаточно просто находить похожие страницы: нужны точные сигнатуры, законченные примеры и контроль ошибок в ответах.
Главное
Отправной точкой стала проверка ассистента на вопросы с точными названиями методов и атрибутов. Он не смог самостоятельно найти нужные перегрузки FetchPlanBuilder.add, а в ответе про таймер предложил несуществующий атрибут repeatCount. Проблема не сводилась к формулировке вопроса: прежний индекс содержал документацию и примеры интерфейса, но не обеспечивал надёжный поиск непосредственно по объявлениям Java API.
В первоначальной системе страницы документации разбивались на фрагменты по длине, преобразовывались в векторы и хранились в PostgreSQL с pgvector. Подходящие результаты дополнительно сортировались моделью-реранкером перед передачей чат-модели. При механической нарезке важная часть примера могла оказаться отдельно от объявления метода или необходимой аннотации. Поэтому семантическая близость найденного текста не гарантировала корректной инструкции по использованию фреймворка.
Подробности
Инженеры добавили отдельные поисковые корпуса с законченными примерами из документации и карточками Javadoc. Для карточек API формируются пояснения и примеры использования, но названия методов и другие объявления берутся из исходной документации. Созданные фрагменты сверяют с оригинальной страницей; при неудачной обработке сохраняется возможность найти исходный материал. Внутренние классы дополнительно отфильтровали, чтобы ассистент не рекомендовал неподходящие для прикладной разработки интерфейсы.
Одновременно изменились настройки поиска и инструкция для ассистента. Новая конфигурация отбирает больше подходящих фрагментов, оставляет после повторного ранжирования больше результатов и требует проверять предпосылки вопроса. Если пользователь спрашивает про несуществующий атрибут, правильный ответ должен сначала указать на ошибку, а не придумывать готовую конфигурацию. Прежние и обновлённые корпуса оставили доступными для сравнения и возможного возврата.
Что это меняет
Оценку проводили на наборе из 74 контрольных вопросов: использовали повторные прогоны прежней и новой конфигураций, автоматического оценщика и последующий разбор спорных ответов. По сообщению команды, обновлённый вариант получил зачёт на 71 вопросе. При сравнении средних оценок улучшение обнаружили на 13 вопросах, ухудшение — на 11, остальные 50 не показали изменения. Авторы отдельно отмечают ошибки самих эталонов и модели, выставлявшей баллы.
Из опыта Jmix следует полезное инженерное ограничение: успешная оценка не означает, что автоматически сгенерированный код можно применять без проверки. Все изменения поиска и подсказок проводились вместе, поэтому публикация не доказывает эффективность каждого приёма по отдельности. Зато она показывает проверяемую стратегию работы с RAG: сохранять точные первичные объявления, оценивать ответы на реальных сценариях и анализировать не только итоговый балл, но и конкретные ошибки.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.