Архитектура LLM-проектов: почему бизнес-логику нельзя оставлять внутри промпта
В новом инженерном разборе на Хабре предложен способ отделить полезную работу языковой модели от операций, где нужны строгие правила и воспроизводимый результат. Главное внимание уделено структуре данных, проверке ответов и контролю доступа.
Главное
Языковая модель особенно полезна там, где данные поступают свободным текстом: обращение клиента, вопрос к базе знаний, описание товара или техническое задание. Она помогает распознать намерение и перевести разнородные формулировки в согласованный формат. Но после этого начинается другая часть системы: проверка допустимых значений, расчёт сумм, изменение статусов и запись в базу. Автор материала предлагает не смешивать эти роли, даже если единый запрос к модели выглядит удобнее на демонстрации.
Один из разобранных антипаттернов — передать модели сложный процесс целиком, от чтения договора до вычислений и формирования отчёта. Более устойчивый вариант разбивает его на этапы. Сначала модель извлекает реквизиты и числовые значения в заданную структуру; затем обычный код проверяет наличие сведений в исходном документе и выполняет арифметику; только после этого текстовое описание результата снова можно поручить модели. Так ошибки становятся заметны на конкретном шаге, а не обнаруживаются уже в итоговом документе.
Подробности
Другая группа рисков связана с решениями, которые ошибочно записывают в системный промпт как обязательные бизнес-правила. Например, условия возврата товара, ограничения суммы и полномочия сотрудника нельзя надёжно обеспечить одним текстовым запретом. В предлагаемой схеме модель определяет смысл сообщения и возвращает признаки обращения, а сервер применяет проверяемые правила к данным заказа, роли пользователя и истории операций. Контроль прав выполняется ещё до передачи модели доступных документов и команд.
Выход модели автор рекомендует рассматривать как недоверенный ввод. Вместо произвольного ответа можно запросить JSON с известными полями, типами и перечислениями. Программный валидатор проверяет схему, перечень разрешённых операций, совместимость параметров и наличие подтверждений для извлечённых значений. Для доступа к данным это особенно важно: модель не должна самостоятельно строить и исполнять произвольный SQL или получать сведения, запрещённые текущей роли пользователя.
Что это меняет
Для ответов по корпоративным документам показан отдельный принцип: поиск сначала отбирает материалы с учётом разрешений, а генерация опирается только на найденные фрагменты. При этом даже корректный формат ответа не означает достоверности утверждений; факты и суммы нужно сопоставлять с первичными данными. Материал представляет инженерные рекомендации и упрощённые примеры, а не универсальный стандарт или сравнительный тест моделей. Практический вывод — проектировать проверки и наблюдаемость одновременно с подключением LLM, а не после запуска.
Первоисточник
Материал подготовлен STRUCTURE по открытой публикации Habr. Текст и иллюстрации первоисточника не воспроизводятся целиком.