RAG: почему найденные документы не всегда дают право на ответ
Технический обзор на Хабре сопоставил исследования, которые проверяют способность языковых моделей воздерживаться от неподтверждённых ответов. Центральная проблема: документ может подходить по теме, но не содержать факта, необходимого для вывода.
Главное
Для RAG важно отличать тематическое совпадение от достаточности свидетельств. Поиск может найти фрагмент с нужными именами и терминами, однако между ними не будет указана требуемая связь. Генератор при этом нередко формирует уверенную фразу из знаний, полученных при обучении, или дополняет пробел предположением. В приложении, где разрешены только ответы с подтверждением из найденных файлов, подобный результат остаётся неприемлемым даже при случайном совпадении с истиной.
Первый рассмотренный подход предлагает оценивать достаточность сочетания вопроса и контекста до принятия решения об ответе. Отдельный оценщик сообщает, есть ли в источниках необходимые основания, а затем его сигнал можно объединить с уверенностью самого генератора. Решение зависит от выбранного порога: слишком строгий отсечёт полезные ответы, слишком мягкий оставит неподкреплённые утверждения. Поэтому разработчики сравнивают точность выданных ответов с долей запросов, на которые система вообще отвечает.
Подробности
Другой способ исследует внутренние представления модели. По направлениям активаций пытаются обнаружить, располагает ли генератор материалом для обоснованного ответа. Такой эксперимент требует доступа к скрытым состояниям и настройки классификации; обычный закрытый API, возвращающий текст, не предоставляет этих возможностей. Поэтому для многих прикладных сервисов доступнее независимый оценщик контекста либо контролируемая проверка поведения по заранее размеченным сценариям.
В обзоре также описан Evidence Sufficiency Benchmark, где система получает несколько вариантов доказательств: полные, частичные, посторонние, отсутствующие и противоречивые. Особую сложность создают конфликтующие фрагменты. Каждый может выглядеть убедительно, но нельзя просто предпочесть один и выдать его как подтверждённый факт. Исследователи отдельно изучают эффект порядка предъявления разных свидетельств, который может менять склонность модели отвечать.
Что это меняет
Для инженерной практики важнее не общий показатель точности, а разделение причин ошибок. Система может не извлечь ответ из хорошего контекста, придумать связь при недостатке данных или отказаться, когда информации достаточно. Поэтому тестовый набор должен включать конфликтующие и нерелевантные документы наряду с корректными, а порог отказа необходимо повторно проверять после обновлений корпуса, модели и инструкций. Ни один из описанных методов не заменяет проверки качества самих источников.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.