Ankyra: нейросеть предлагает гипотезы, формальная логика проверяет выводы
Автор Ankyra показал способ совместить гибкость языковой модели с проверяемым логическим выводом. Система разделяет факты из текста, новые предположения и строго выведенные утверждения — поэтому ответ не обязан выглядеть достовернее имеющихся доказательств.
Главное
Обычная языковая модель может уверенно сформулировать правдоподобное продолжение, но сама форма ответа ещё не доказывает его правильность. В описанной архитектуре нейросеть сначала переводит исходный запрос в объекты, отношения и правила, пригодные для машинной проверки. Затем отдельный символьный компонент пытается получить ответ, применяя к этим правилам формальные операции, а не подбирая похожие фразы.
Разработчик предложил различать несколько типов знаний внутри такой системы. Утверждение из входного текста получает статус cited; результат корректного вывода — derivable; новая догадка модели остаётся hypothesis. Если правило противоречит проверке или не имеет необходимого обоснования, оно может получить rejected. Эта маркировка помогает не смешивать исходные данные, выводы и неподтверждённые предположения.
Подробности
Понятный пример — задача о погоде: если в исходных условиях присутствуют дождь и правило о мокрой земле, решение можно получить без творческого дополнения. Иная ситуация возникает, когда пользователь просит определить тип машины по перечисленным признакам. Модели приходится предложить дополнительные правила, поэтому полученный результат зависит не только от исходного текста, но и от явно отмеченных гипотез.
Работа организована итерациями. Сначала решатель исчерпывает следствия текущей теории, после чего языковая модель при необходимости добавляет новую возможную связь, и формальная проверка повторяется. Автор называет такие циклы волнами и задаёт ограничение на обращения к модели. Если доказательство так и не появляется, корректное поведение системы — сообщить об отсутствии подтверждённого ответа, а не выдавать уверенную догадку.
Что это меняет
В публикации приведены авторские испытания на ProofWriter, ProntoQA, AR-LSAT, GSM8K и FOLIO. Например, для ProofWriter указаны 297 успешных решений из 299, а для ProntoQA — 160 из 160; задачи FOLIO оказались сложнее на этапе извлечения структуры из естественного языка. Эти результаты получены на выбранных автором подмножествах тестов и не означают универсальной безошибочности или превосходства на любых задачах.
Главное ограничение подхода лежит на границе между языком и логикой. Формальный решатель способен проверить следование вывода из правил, но не гарантирует истинность предположений, которые модель добавила сама, и не исправит автоматически неверно разобранный исходный текст. Для разработчиков интеллектуальных помощников проект интересен прежде всего возможностью показывать, где заканчивается доказанное знание и начинается гипотеза.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.